To jest post gościnny autorstwa Cartera Huffmana, CTO i współzałożyciela Modulate.
Modulować to start-up z siedzibą w Bostonie, którego misją jest tworzenie bogatszych, bezpieczniejszych i bardziej integracyjnych doświadczeń w grach online dla wszystkich. Jesteśmy zespołem światowej klasy ekspertów audio, graczy, sprzymierzeńców i futurystów, którzy chcą budować lepszy świat online i uczynić czat głosowy bezpieczniejszym dla wszystkich graczy. Robimy to właśnie dzięki ToxMod, naszej proaktywnej, głosowej platformie moderacyjnej. Wydawcy gier i programiści używają ToxMod do proaktywnego moderowania czatu głosowego w swoich grach zgodnie z własną polityką treści, kodeksami postępowania i wytycznymi społeczności.
Wybraliśmy AWS ze względu na skalowalność i elastyczność, których potrzebowała nasza aplikacja, a także ze względu na doskonałą obsługę klienta, jaką oferuje. Za pomocą Elastyczna chmura obliczeniowa Amazon (Amazonka EC2) Instancje G5g z procesorami graficznymi NVIDIA T4G Tensor Core jako infrastrukturą dla ToxMod pomogło nam obniżyć koszty 5-krotnie (w porównaniu z instancjami G4dn), jednocześnie osiągając nasze cele w zakresie przepustowości i opóźnień. Jako zwinny start-up możemy ponownie zainwestować te oszczędności w dalsze innowacje, aby pomóc w realizacji naszej misji. W tym poście omawiamy nasz przypadek użycia, wyzwania i alternatywne ścieżki oraz krótki przegląd naszego rozwiązania wykorzystującego AWS.
Zmieniający się metaverse i potrzeba ToxMod
Nowoczesne gry online i platformy Metaverse stały się znacznie bardziej społecznościowe niż ich poprzednicy. W przeszłości gry koncentrowały się na zapewnianiu graczom określonych wrażeń. Dziś ewoluowały, by stać się bardziej przestrzenią wspólną, w której gracze i ich przyjaciele mogą się gromadzić i wybierać różnorodne doświadczenia, w których będą uczestniczyć. Dzięki tej ewolucji toksyczność i słowne obelgi często mogą zrujnować wspaniałe wrażenia online.
W rzeczywistości, zgodnie z Ostatnie badania z Anti-Defamation League, toksyczność w grach jest gorsza niż kiedykolwiek: narażenie na ideologie białej supremacji w grach wzrosło ponad dwukrotnie w 2022 r. Ponad trzy czwarte dorosłych graczy zgłosiło poważne nękanie w grach online. W ubiegłym roku ponad 17 milionów młodych graczy było narażonych na krzywdę i nękanie. Problem tylko się pogłębia, a wraz z nim nadchodzące przepisy które będą wymagały od studiów przyjęcia bardziej aktywnej roli w zarządzaniu i zgłaszaniu toksyczności, potrzeba proaktywnego moderowania głosu jest pilniejsza niż kiedykolwiek.
ToxMod pomaga wydawcom gier i platformom proaktywnie moderować czat głosowy zgodnie z ich własnymi zasadami i wytycznymi, zapewniając bezpieczeństwo i pozytywne społeczności. ToxMod uruchamia serię modeli uczenia maszynowego (ML), które analizują emocjonalne, tekstowe i konwersacyjne aspekty rozmów głosowych, aby określić, czy doszło do jakichkolwiek naruszeń polityki treści wydawcy lub platformy. Naruszenia są zgłaszane moderatorom, którzy mogą podjąć działania przeciwko złym podmiotom. Nasze modele ML obejmują wykrywanie emocji, transkrypcję i analizę konwersacji opartą na NLP, która kategoryzuje naruszenia i zapewnia ocenę rangi, aby określić stopień pewności, że doszło do naruszenia. Te wykrycia mają miejsce w czasie rzeczywistym i umożliwiają wydawcom gier proaktywne moderowanie swoich społeczności w miarę pojawiania się toksyczności, zapobiegając eskalacji szkód wyrządzanych graczom i niebezpiecznych rozmów.
Względy ekonomiczne i techniczne
Mamy dwa rodzaje ograniczeń: ekonomiczne i techniczne. Od strony ekonomicznej naszym problemem jest zmienny popyt i niepewna skala wymaganej infrastruktury obliczeniowej. W branży gier programiści i wydawcy wprowadzają gry z minimalnymi marżami i zwiększają skalę dopiero wtedy, gdy gra staje się bardziej popularna. Ten sukces może oznaczać, że nasi najwięksi klienci przetwarzają miliony godzin rozmów głosowych miesięcznie. Koszty ToxModa skalują się wraz z liczbą godzin przetwarzania dźwięku, która jest bardzo dynamiczna w zależności od zachowania graczy i czynników zewnętrznych wpływających na popularność gry. Obsługa naszych własnych serwerów do zasilania ToxMod jest zbyt kosztowna zarówno pod względem kosztów, jak i przepustowości zespołu. Serwery lokalne nie mają takiej skalowalności i często byłyby niewykorzystywane, co oznacza, że właściwym wyborem dla ToxMod jest chmura. Dzięki AWS możemy dynamicznie skalować, aby dopasować się do wymagań naszych klientów, przy jednoczesnym utrzymaniu kosztów na minimalnym poziomie.
Od strony technicznej, podobnie jak w przypadku tworzenia dowolnej aplikacji przetwarzającej głos, musimy znaleźć równowagę między opóźnieniem a przepustowością. Niektórzy nasi użytkownicy chcą mieć możliwość reagowania na sytuacje, które mogą wystąpić w ich społecznościach w ciągu minuty lub dwóch od ich wystąpienia. Aby sprostać naszym budżetom opóźnień, schodzimy na jak najniższy poziom. Tak się składa, że mamy duże doświadczenie z urządzeniami ARM, ponieważ wiele bazy kodu ToxMod działa na urządzeniach po stronie klienta, które często działają na procesorze ARM. Instancje EC2 G5g z procesorami graficznymi NVIDIA T4G Tensor Core i funkcjami Grawiton AWS2 procesory w naturalny sposób pasowały do niektórych niestandardowych kodów wnioskowania sieci neuronowych, które zostały opracowane do użytku po stronie klienta.
Instancje EC2 G5g zapewniające oszczędność kosztów i niezawodność AWS
Biorąc to pod uwagę, zdecydowaliśmy się wykorzystać instancje G5g jako infrastrukturę dla ToxMod, ponieważ są one opłacalne i zapewniają znajome środowiska do testowania i wdrażania naszych modeli. Ten wybór ostatecznie pomógł nam obniżyć koszty o współczynnik 5 (w porównaniu z instancjami G4dn). Aby móc szybko iterować, potrzebowaliśmy środowiska obliczeniowego znanego naszym analitykom danych i inżynierom ML. Udało nam się uzyskać obraz naszej maszyny ze wszystkimi odpowiednimi sterownikami, bibliotekami i zmiennymi środowiskowymi działającymi w instancjach G5g w ciągu jednego dnia. Zaczęliśmy od instancji G4dn, a nasze wstępne testy na G5g pozwoliły nam obniżyć koszty o 40%. Wiele z naszych najdroższych modeli do uruchomienia jest związanych z procesorami graficznymi, więc byliśmy w stanie dalej optymalizować nasze koszty, dopasowując rozmiar do rozmiaru instancji, co pozwoliło nam zmaksymalizować wykorzystanie procesora przy jednoczesnym dostępie do pojedynczego procesora graficznego.
Poza instancjami G5g, które działały szczególnie dobrze w naszej konfiguracji, wiedzieliśmy, że możemy liczyć na wsparcie techniczne AWS i zarządzanie kontem, które pomoże nam szybko rozwiązać problemy i utrzymać wyjątkowo długi czas pracy przy bardzo zmiennym obciążeniu. Kiedy zaczynaliśmy, wydawaliśmy mniej niż dwucyfrowe kwoty miesięcznie, a jednak skontaktowała się z nami prawdziwa osoba, aby dowiedzieć się o naszym przypadku użycia, a zespół ludzi pracował z nami, aby nasza aplikacja nie tylko działała, ale działała przy najbardziej kosztownych efektywny sposób.
Przegląd naszego rozwiązania
Rozwiązanie ToxMod zaczyna się od przetwarzania dźwięku, które jest realizowane poprzez integrację naszego zestawu SDK z infrastrukturą czatu głosowego gry lub platformy. Korzystanie z zestawu SDK (za pośrednictwem interfejsu API lub innego interfejsu) ma kluczowe znaczenie, ponieważ podczas przetwarzania dźwięku trzeba wyjątkowo oszczędzać zasoby. W przypadku każdego pojedynczego strumienia audio musimy go szybko przetworzyć i przekazać z powrotem do reszty systemu, w przeciwnym razie klienci napotkają usterki w dźwięku, czego chcemy za wszelką cenę uniknąć. Wiele rzeczy może powodować usterki — w tym alokacja pamięci, wyrzucanie elementów bezużytecznych i wywołania systemowe — dlatego opracowaliśmy ToxMod SDK, aby zapewnić możliwie płynne przetwarzanie dźwięku.
Z SDK czaty głosowe są kodowane w krótkich buforach i wysyłane przez Internet. Po stronie przetwarzania buforujemy kilka sekund dźwięku i staramy się znaleźć naturalne punkty przerwania w rozmowach głosowych przed wysłaniem pakietu do chmury AWS, gdzie zapisujemy przychodzące dane przez AWS Lambda Funkcje. Stamtąd analiza konwersacji dźwiękowej odbywa się poprzez przetwarzanie w instancjach G5g z naszymi różnymi modelami audio ML. Minimalizujemy narzuty, grupując wszystkie otrzymywane pakiety i wysyłając je do procesorów graficznych w instancjach G5g. Instancje G5g są przesyłane przez kolejki klipów audio do przetworzenia, które połączyliśmy z grupami automatycznego skalowania, które skutecznie skalują się w górę lub w dół, w zależności od zmian ruchu w ciągu dnia.
Patrząc przed siebie
ToxMod jest stworzony dla studiów każdej wielkości, od małych niezależnych zespołów deweloperskich po AAA, wielozespołowych programistów i wydawców. Dziś jesteśmy lepiej niż kiedykolwiek przygotowani do zapewniania poziomu wsparcia, rozwoju produktów i niezawodnych funkcji, których zespoły korporacyjne w największych studiach oczekują od swoich partnerów programistycznych. Dzięki wielojęzycznej obsłudze 18 języków, całodobowemu wsparciu klasy korporacyjnej, dostępnym licencjom dla jednego dzierżawcy dla studiów z wieloma grami oraz obsłudze skalowalnej infrastruktury ML zapewnianej przez AWS, jesteśmy tutaj, aby pomóc studiom AAA uczynić czat głosowy bezpiecznym dla swoich graczy.
Jeśli chcesz dowiedzieć się więcej o tym, jak instancje EC2 G5g mogą pomóc w ekonomicznym wdrożeniu obciążeń ML, zobacz Instancje Amazon EC2 G5g.
O autorach
Cartera Huffmana jest CTO i współzałożycielem Modulate, startupu zajmującego się technologią głosową, którego celem jest walka z toksycznością online i poprawa komunikacji głosowej w grach. Ma doświadczenie w fizyce, uczeniu maszynowym i analizie danych, a wcześniej pracował w Laboratorium Napędu Odrzutowego NASA. Pasjonuje się rozumieniem i manipulowaniem ludzką mową za pomocą głębokich sieci neuronowych. Ukończył MIT z Bachelor of Science w dziedzinie fizyki.
Shruti Koparkar jest starszym menedżerem ds. marketingu produktów w AWS. Pomaga klientom odkrywać, oceniać i dostosowywać akcelerowaną infrastrukturę obliczeniową EC2 do ich potrzeb w zakresie uczenia maszynowego.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/modulate-makes-voice-chat-safer-while-reducing-infrastructure-costs-by-a-factor-of-5-with-amazon-ec2-g5g-instances/
- :Jest
- $W GÓRĘ
- 100
- 17 milionów
- 2022
- 7
- a
- AAA
- zdolność
- Zdolny
- O nas
- nadużycie
- przyśpieszony
- dostęp
- realizowane
- Stosownie
- Konto
- Zarządzanie kontem
- osiągnięcia
- Działania
- aktywny
- aktorzy
- adres
- przyjąć
- Dorosły
- wpływający
- przed
- Cele
- Wszystkie kategorie
- przydział
- alternatywny
- Amazonka
- Amazon EC2
- analiza
- w czasie rzeczywistym sprawiają,
- i
- api
- Zastosowanie
- SĄ
- ARM
- AS
- aspekty
- At
- audio
- samochód
- dostępny
- AWS
- z powrotem
- tło
- Łazienka
- Bilans
- przepustowość
- baza
- na podstawie
- BE
- bo
- stają się
- staje się
- zanim
- Ulepsz Swój
- pomiędzy
- przerwa
- Budżety
- bufor
- budować
- Budowanie
- wybudowany
- by
- CAN
- walizka
- Spowodować
- wyzwania
- wymiana pieniędzy
- wybór
- Dodaj
- wybrał
- Teledyski
- Chmura
- Współzałożyciel
- kod
- podstawa kodu
- kolekcja
- Komunikacja
- społeczności
- społeczność
- w porównaniu
- obliczać
- computing
- Prowadzenie
- pewność
- systemu
- Rozważania
- Ograniczenia
- zawartość
- Rozmowa
- konwersacyjny
- rozmowy
- rdzeń
- Koszty:
- oszczędności
- opłacalne
- Koszty:
- mógłby
- Para
- pokrywa
- krytyczny
- CTO
- kurator
- zwyczaj
- klient
- Obsługa klienta
- Klientów
- Niebezpieczny
- dane
- analiza danych
- dzień
- postanowiła
- głęboko
- Kreowanie
- rozwijać
- Wykrywanie
- Ustalać
- dev
- rozwinięty
- deweloperzy
- oprogramowania
- urządzenia
- cyfry
- robi
- Podwójna
- dwu cyfrowy
- podwojona
- na dół
- sterowniki
- dynamiczny
- dynamicznie
- Gospodarczy
- skutecznie
- umożliwiać
- włączony
- Inżynierowie
- zapewnić
- Enterprise
- klasy korporacyjnej
- Środowisko
- środowiska
- oceniać
- EVER
- wszyscy
- ewolucja
- ewoluowały
- oczekiwać
- drogi
- doświadczenie
- Doświadczenia
- doświadczać
- eksperci
- odkryj
- narażony
- Ekspozycja
- zewnętrzny
- niezwykle
- Czynniki
- znajomy
- Korzyści
- Wyposażony w
- nakarmiony
- walka
- Znajdź
- dopasować
- taflowy
- koncentruje
- W razie zamówieenia projektu
- przyjaciele
- od
- Funkcje
- dalej
- gra
- Gracze
- Games
- przemysł gier
- gier
- otrzymać
- miejsce
- Go
- Gole
- GPU
- GPU
- wspaniały
- Grupy
- Gość
- Guest Post
- wytyczne
- ręka
- zdarzyć
- Wydarzenie
- Have
- mający
- pomoc
- pomógł
- pomaga
- tutaj
- Wysoki
- wysoko
- historycznie
- GODZINY
- W jaki sposób
- http
- HTTPS
- człowiek
- ideologie
- obraz
- in
- zawierać
- Włącznie
- Przybywający
- przemysł
- Infrastruktura
- początkowy
- Innowacja
- przykład
- integracja
- Interfejs
- Internet
- problemy
- IT
- jpg
- konserwacja
- laboratorium
- Brak
- Języki
- największym
- Utajenie
- uruchomić
- UCZYĆ SIĘ
- nauka
- poziom
- biblioteki
- licencje
- lubić
- załadować
- Partia
- niski
- maszyna
- uczenie maszynowe
- utrzymać
- robić
- WYKONUJE
- i konserwacjami
- kierownik
- zarządzający
- manipulowanie
- sposób
- wiele
- marginesy
- Marketing
- Mecz
- Maksymalizuj
- Może..
- znaczenie
- Poznaj nasz
- Pamięć
- Metaverse
- platformy metaverse
- milion
- miliony
- minimalny
- minimum
- chwila
- Misja
- MIT
- ML
- modele
- umiar
- Miesiąc
- jeszcze
- większość
- wielokrotność
- wiele gier
- Naturalny
- Potrzebować
- wymagania
- sieć
- sieci
- sieci neuronowe
- sieci neuronowe
- numer
- Nvidia
- miejsce
- of
- Oferty
- on
- Online
- gier online
- operacyjny
- Optymalizacja
- Inne
- Inaczej
- przegląd
- własny
- pakiet
- Pakiety
- szczególnie
- wzmacniacz
- namiętny
- Przeszłość
- Ludzie
- osoba
- Fizyka
- Platforma
- Platformy
- plato
- Analiza danych Platona
- PlatoDane
- gracze
- zwrotnica
- polityka
- popularność
- ustawione
- pozytywny
- możliwy
- Post
- power
- powered
- zapobieganie
- poprzednio
- Proaktywne
- Problem
- wygląda tak
- Obrobiony
- przetwarzanie
- Procesor
- Procesory
- Produkt
- rozwój produktów
- napęd
- zapewniać
- zapewnia
- że
- wydawcy
- szybko
- osiągnięty
- real
- w czasie rzeczywistym
- otrzymać
- redukcja
- zainwestować ponownie
- Zgłoszone
- Raportowanie
- wymagać
- wymagany
- REST
- krzepki
- Rola
- zrujnować
- run
- bieganie
- "bezpiecznym"
- bezpieczniej
- Zapisz
- Oszczędności
- Skalowalność
- skalowalny
- Skala
- skalowaniem
- nauka
- Naukowcy
- wynik
- Sdk
- sekund
- wysyłanie
- senior
- Serie
- służyć
- Serwery
- usługa
- ciężki
- Short
- bok
- pojedynczy
- sytuacje
- Rozmiar
- rozmiary
- mały
- So
- Obserwuj Nas
- Tworzenie
- rozwiązanie
- kilka
- coś
- Typ przestrzeni
- specyficzny
- przemówienie
- Spędzanie
- rozpoczęty
- startup
- Nadal
- strumień
- strajk
- studia
- sukces
- udany
- wsparcie
- system
- Brać
- zespół
- Zespoły
- Techniczny
- Technologia
- REGULAMIN
- test
- Testy
- że
- Połączenia
- ich
- Im
- Te
- rzeczy
- Przez
- poprzez
- wydajność
- czas
- do
- już dziś
- ruch drogowy
- typy
- Ostatecznie
- Niepewny
- zrozumienie
- uptime
- pilny
- us
- Stosowanie
- posługiwać się
- przypadek użycia
- Użytkownicy
- różnorodność
- przez
- NARUSZENIE
- Naruszenia
- Głos
- DOBRZE
- który
- Podczas
- biały
- KIM
- będzie
- w
- w ciągu
- Praca
- pracował
- pracujący
- świat
- klasa światowa
- by
- rok
- You
- młody
- Twój
- zefirnet