Aceasta este o postare a invitaților lui Carter Huffman, CTO și co-fondator la Modulate.
Modula este un startup din Boston cu misiunea de a construi experiențe de jocuri online mai bogate, mai sigure și mai incluzive pentru toată lumea. Suntem o echipă de experți audio de clasă mondială, jucători, aliați și futuriști care sunt dornici să construiască o lume online mai bună și să facă chatul vocal mai sigur pentru toți jucătorii. Facem exact asta cu ToxMod, platforma noastră proactivă de moderare vocală. Editorii și dezvoltatorii de jocuri folosesc ToxMod pentru a modera în mod proactiv chatul vocal în jocurile lor în conformitate cu propriile politici de conținut, coduri de conduită și ghiduri ale comunității.
Am ales AWS pentru scalabilitatea și elasticitatea de care avea nevoie aplicația noastră, precum și pentru serviciul excelent pentru clienți pe care îl oferă. Folosind Cloud Elastic de calcul Amazon (Amazon EC2) Instanțele G5g prezentând GPU-uri NVIDIA T4G Tensor Core ca infrastructură pentru ToxMod, ne-a ajutat să ne reducem costurile cu un factor de 5 (comparativ cu instanțele G4dn) în timp ce ne atingem obiectivele privind debitul și latența. În calitate de startup agilă, putem reinvesti aceste economii de costuri în inovații suplimentare pentru a ne ajuta să ne îndeplinim misiunea. În această postare, acoperim cazul nostru de utilizare, provocările și căile alternative și o scurtă prezentare generală a soluției noastre folosind AWS.
Metaversul în schimbare și nevoia de ToxMod
Jocurile online moderne și platformele metaverse au devenit mult mai sociale decât predecesorii lor. Din punct de vedere istoric, jocurile s-au concentrat pe oferirea unei experiențe specifice pentru jucători. Astăzi, au evoluat pentru a fi mai mult un spațiu comun, în care jucătorii și prietenii lor se pot reuni și pot alege o varietate de experiențe la care să participe. Odată cu această evoluție, toxicitatea și abuzul verbal pot ruina adesea experiențe online grozave.
De fapt, potrivit a studiu recent de la Anti-Defamation League, toxicitatea în jocuri este mai rea ca niciodată: expunerea la ideologiile supremaciste albe în jocuri sa dublat în 2022. Peste trei sferturi dintre jucătorii adulți au raportat că s-au confruntat cu hărțuire severă în jocurile online. Peste 17 milioane de tineri jucători au fost expuși la vătămări și hărțuiri în ultimul an. Problema nu face decât să se înrăutățească, și cu reglementările viitoare care va necesita ca studiourile să își asume un rol mai activ în gestionarea și raportarea toxicității, nevoia de moderare proactivă a vocii este mai urgentă ca niciodată.
ToxMod ajută editorii de jocuri și platformele să își modereze în mod proactiv chat-ul vocal în conformitate cu propriile politici și linii directoare, menținând comunitățile lor în siguranță și pozitive. ToxMod rulează o serie de modele de învățare automată (ML) care analizează aspectele emoționale, textuale și conversaționale ale conversațiilor vocale pentru a determina dacă există încălcări ale politicilor de conținut ale editorului sau ale platformei. Încălcările sunt semnalate moderatorilor umani care pot lua măsuri împotriva actorilor răi. Modelele noastre ML includ detectarea emoțiilor, transcrierea și analiza conversațională bazată pe NLP, care clasifică încălcările și oferă un scor pentru a determina cât de sigur este că a avut loc o încălcare. Aceste detectări au loc în timp real și permit editorilor de jocuri să-și modereze în mod proactiv comunitățile pe măsură ce apare toxicitatea, prevenind escaladarea daunelor aduse jucătorilor și a conversațiilor periculoase.
Considerații economice și tehnice
Avem două tipuri de constrângeri: economice și tehnice. Din punct de vedere economic, problema noastră este cererea variabilă și scara incertă a infrastructurii de calcul necesare. În industria jocurilor, dezvoltatorii și editorii lansează jocuri cu marje minime și cresc doar pe măsură ce jocul devine mai de succes. Acest succes poate însemna că cei mai mari clienți ai noștri procesează milioane de ore de chat vocal pe lună. Costurile ToxMod cresc în funcție de numărul de ore de procesare audio, care este foarte dinamic pe baza comportamentului jucătorilor și a factorilor externi care afectează popularitatea unui joc. Operarea propriilor servere pentru a alimenta ToxMod este prohibitiv de costisitoare atât în ceea ce privește costul, cât și lățimea de bandă a echipei. Serverele locale nu au această scalabilitate și ar fi adesea subutilizate, ceea ce înseamnă că alegerea potrivită pentru ToxMod este cloud-ul. Cu AWS, putem scala dinamic pentru a se potrivi cererii clienților noștri, menținând în același timp costurile la minimum.
Din punct de vedere tehnic, ca și în cazul construirii oricărei aplicații de proces vocal, trebuie să găsim un echilibru între latență și debit. Unii dintre utilizatorii noștri doresc abilitatea de a aborda situațiile care pot apărea în comunitățile lor într-un minut sau două dintre ele. Pentru a ne îndeplini bugetele de latență, mergem la un nivel cât mai scăzut posibil. Se întâmplă să avem multă experiență cu dispozitivele ARM, deoarece o mare parte din baza de cod ToxMod rulează pe dispozitive de pe partea clientului care rulează adesea pe un procesor ARM. Instanțele EC2 G5g alimentate de GPU-uri NVIDIA T4G Tensor Core și care oferă AWS Graviton2 procesoarele erau o potrivire naturală pentru unele dintre codurile personalizate de inferență ale rețelei neuronale care se dezvoltaseră pentru utilizare pe partea clientului.
Instanțele EC2 G5g pentru rentabilitate și fiabilitate AWS
Având în vedere aceste considerente, am decis să folosim instanțe G5g ca infrastructură pentru ToxMod, deoarece acestea sunt rentabile și oferă medii familiare pentru a testa și implementa modelele noastre. Această alegere ne-a ajutat în cele din urmă să ne reducem costurile cu un factor de 5 (comparativ cu instanțele G4dn). Pentru a putea repeta rapid, aveam nevoie de un mediu de calcul familiar pentru oamenii de știință de date și inginerii ML. Am reușit să obținem imaginea mașinii noastre cu toate driverele relevante, bibliotecile și variabilele de mediu care rulează pe instanțe G5g într-o zi. Am început pe instanțele G4dn, iar testele noastre inițiale pe G5g ne-au permis să ne reducem costurile cu 40%. Multe dintre cele mai scumpe modele ale noastre de rulat sunt legate de GPU, așa că am putut să ne optimizăm și mai mult costurile prin dimensionarea corectă la o dimensiune a instanței care ne-a permis să maximizăm utilizarea procesorului, având în același timp acces la un singur GPU.
Dincolo de instanțele G5g care funcționează deosebit de bine pentru configurația noastră, știam că ne putem baza pe suportul tehnic AWS și pe managementul contului pentru a ne ajuta să rezolvăm rapid problemele și să menținem un timp de funcționare extrem de ridicat, în timp ce ne confruntăm cu o sarcină foarte variabilă. Când am început, cheltuiam mai puțin de două cifre pe lună, și totuși o persoană reală a contactat pentru a afla despre cazul nostru de utilizare și o echipă de oameni a lucrat cu noi pentru ca aplicația noastră nu numai să funcționeze, ci și să funcționeze la cel mai mare cost. manieră eficientă.
Prezentare generală a soluției noastre
Soluția ToxMod începe cu ingerarea audio, care se realizează prin integrarea SDK-ului nostru în infrastructura de chat vocal a unui joc sau platformă. Utilizarea unui SDK (pe o interfață API sau altă interfață) este critică, deoarece atunci când procesați audio, trebuie să fiți extrem de eficient din punct de vedere al resurselor. Pentru orice flux audio unic, trebuie să-l procesăm și să-l predăm rapid restului sistemului, altfel clienții vor întâmpina erori în audio, ceea ce dorim să evităm cu orice preț. O mulțime de lucruri pot cauza erori – inclusiv alocarea memoriei, colectarea gunoiului și apelurile de sistem – așa că am dezvoltat SDK-ul ToxMod pentru a asigura cea mai fluidă procesare audio posibilă.
Din SDK, chaturile vocale sunt codificate în buffer-uri scurte și trimise pe internet. Pe partea de asimilare, tamponăm câteva secunde de sunet și încercăm să găsim puncte de întrerupere naturale în conversațiile vocale înainte de a trimite pachetul la AWS Cloud, unde salvăm datele primite prin AWS Lambdas funcții. De acolo, analiza conversației audio se face prin procesare pe instanțe G5g care rulează varietatea noastră de modele audio ML. Minimizăm cheltuielile generale prin gruparea tuturor pachetelor pe care le primim și trimițându-le către GPU-urile în instanțele G5g. Instanțele G5g sunt alimentate prin cozi de clipuri audio pentru a le procesa, pe care le-am conectat la grupuri de scalare automată care cresc sau descresc eficient pe măsură ce traficul variază pe parcursul zilei.
Privind înainte
ToxMod este construit pentru studiouri de toate dimensiunile, de la echipe mici de dezvoltatori indie la AAA, dezvoltatori și editori cu mai multe echipe. Astăzi, suntem mai bine poziționați ca niciodată pentru a oferi nivelul de asistență, dezvoltare de produse și caracteristici robuste pe care echipele de întreprindere din cele mai mari studiouri le așteaptă de la partenerii lor de software. Cu suport multilingv pentru 18 limbi, asistență la nivel de întreprindere 24/7, licențe disponibile pentru un singur chiriaș pentru studiourile cu mai multe jocuri și suportul infrastructurii ML scalabile oferite de AWS, suntem aici pentru a ajuta studiourile AAA să facă chatul vocal sigur. pentru jucătorii lor.
Dacă doriți să aflați mai multe despre modul în care instanțele EC2 G5g vă pot ajuta să implementați în mod eficient sarcinile de lucru ML, consultați Instanțele Amazon EC2 G5g.
Despre Autori
Carter Huffman este CTO și co-fondator al Modulate, un startup de tehnologie vocală care își propune să combată toxicitatea online și să îmbunătățească comunicarea vocală în jocuri. El are experiență în fizică, învățarea automată și analiza datelor și a lucrat anterior la Jet Propulsion Laboratory al NASA. Este pasionat de înțelegerea și manipularea vorbirii umane folosind rețele neuronale profunde. A absolvit MIT cu o licență în științe în fizică.
Shruti Koparkar este Senior Product Marketing Manager la AWS. Ea îi ajută pe clienți să exploreze, să evalueze și să adopte infrastructura de calcul accelerată EC2 pentru nevoile lor de învățare automată.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/machine-learning/modulate-makes-voice-chat-safer-while-reducing-infrastructure-costs-by-a-factor-of-5-with-amazon-ec2-g5g-instances/
- :este
- $UP
- 100
- 17 milioane de euro
- 2022
- 7
- a
- AAA
- capacitate
- Capabil
- Despre Noi
- abuz
- accelerat
- acces
- realizat
- Conform
- Cont
- managementul contului
- realizarea
- Acțiune
- activ
- actori
- adresa
- adopta
- Adult
- care afectează
- împotriva
- isi propune
- TOATE
- alocare
- alternativă
- Amazon
- Amazon EC2
- analiză
- analiza
- și
- api
- aplicație
- SUNT
- ARM
- AS
- aspecte
- At
- audio
- Auto
- disponibil
- AWS
- înapoi
- fundal
- Rău
- Sold
- Lățime de bandă
- de bază
- bazat
- BE
- deoarece
- deveni
- devine
- înainte
- Mai bine
- între
- Pauză
- Bugete
- tampon
- construi
- Clădire
- construit
- by
- CAN
- caz
- Provoca
- provocări
- schimbarea
- alegere
- Alege
- a ales
- clipuri
- Cloud
- Co-fondator
- cod
- baza codului
- colectare
- Comunicare
- Comunități
- comunitate
- comparație
- Calcula
- tehnica de calcul
- Conduce
- încrezător
- Configuraţie
- Considerații
- constrângeri
- conţinut
- Conversație
- de conversaţie
- conversații
- Nucleu
- A costat
- economii
- cost-eficiente
- Cheltuieli
- ar putea
- Cuplu
- acoperi
- critic
- CTO
- curator
- personalizat
- client
- Serviciu clienți
- clienţii care
- Periculos
- de date
- analiza datelor
- zi
- hotărât
- adânc
- Cerere
- implementa
- Detectare
- Determina
- dev
- dezvoltat
- Dezvoltatorii
- Dezvoltare
- Dispozitive
- cifre
- face
- dubla
- cifre duble
- sa dublat
- jos
- drivere
- dinamic
- dinamic
- Economic
- eficient
- permite
- activat
- inginerii
- asigura
- Afacere
- íntreprindere
- Mediu inconjurator
- medii
- evalua
- EVER
- toată lumea
- evoluţie
- evoluat
- aștepta
- scump
- experienţă
- Experiențe
- confruntă
- experți
- explora
- expus
- Expunere
- extern
- extrem
- factori
- familiar
- DESCRIERE
- Dispunând
- fed-
- luptă
- Găsi
- potrivi
- fanionat
- concentrat
- Pentru
- Prietenii lui
- din
- funcții
- mai mult
- joc
- Gamerii
- Jocuri
- industria jocurilor
- jocuri
- obține
- obtinerea
- Go
- Goluri
- GPU
- unități de procesare grafică
- mare
- Grupului
- Oaspete
- Vizitator Mesaj
- orientări
- mână
- întâmpla
- lucru
- Avea
- având în
- ajutor
- a ajutat
- ajută
- aici
- Înalt
- extrem de
- istoricește
- ORE
- Cum
- http
- HTTPS
- uman
- ideologii
- imagine
- in
- include
- Inclusiv
- Intrare
- industrie
- Infrastructură
- inițială
- Inovaţie
- instanță
- integrare
- interfaţă
- Internet
- probleme de
- IT
- jpg
- păstrare
- laborator
- lipsă
- Limbă
- cea mai mare
- Latență
- lansa
- AFLAȚI
- învăţare
- Nivel
- biblioteci
- licențe
- ca
- încărca
- Lot
- Jos
- maşină
- masina de învățare
- menține
- face
- FACE
- administrare
- manager
- de conducere
- manipulant
- manieră
- multe
- marjele
- Marketing
- Meci
- Maximaliza
- Mai..
- sens
- Întâlni
- Memorie
- Metaverse
- platforme metaverse
- milion
- milioane
- minim
- minim
- minut
- Misiune
- MIT
- ML
- Modele
- moderare
- Lună
- mai mult
- cele mai multe
- multiplu
- mai multe jocuri
- Natural
- Nevoie
- nevoilor
- reţea
- rețele
- rețele neuronale
- rețele neuronale
- număr
- Nvidia
- a avut loc
- of
- promoții
- on
- on-line
- jocuri online
- de operare
- Optimizați
- Altele
- in caz contrar
- Prezentare generală
- propriu
- pachet
- pachete
- în special
- parteneri
- pasionat
- trecut
- oameni
- persoană
- Fizică
- platformă
- Platforme
- Plato
- Informații despre date Platon
- PlatoData
- jucători
- puncte
- Politicile
- popularitate
- poziţionat
- pozitiv
- posibil
- Post
- putere
- alimentat
- prevenirea
- în prealabil
- Proactivă
- Problemă
- proces
- Procesat
- prelucrare
- procesor
- procesoare
- Produs
- dezvoltare de produs
- propulsie
- furniza
- furnizează
- furnizarea
- editori
- repede
- atins
- real
- în timp real
- a primi
- reducerea
- reinvesti
- Raportat
- Raportarea
- necesita
- necesar
- REST
- robust
- Rol
- ruina
- Alerga
- funcţionare
- sigur
- mai sigur
- Economisiți
- Economie
- scalabilitate
- scalabil
- Scară
- scalare
- Ştiinţă
- oamenii de stiinta
- scor
- sdk
- secunde
- trimitere
- senior
- serie
- servi
- Servere
- serviciu
- sever
- Pantaloni scurți
- parte
- singur
- situații
- Mărimea
- dimensiuni
- mic
- So
- Social
- Software
- soluţie
- unele
- ceva
- Spaţiu
- specific
- discurs
- Cheltuire
- început
- lansare
- Încă
- curent
- grevă
- studiouri
- succes
- de succes
- a sustine
- sistem
- Lua
- echipă
- echipe
- Tehnic
- Tehnologia
- termeni
- test
- teste
- acea
- lor
- Lor
- Acestea
- lucruri
- Prin
- de-a lungul
- debit
- timp
- la
- astăzi
- trafic
- Tipuri
- în cele din urmă
- Nesigur
- înţelegere
- uptime
- urgent
- us
- Folosire
- utilizare
- carcasa de utilizare
- utilizatorii
- varietate
- de
- ÎNCĂLCARE
- încălcări
- Voce
- BINE
- care
- în timp ce
- alb
- OMS
- voi
- cu
- în
- Apartamente
- a lucrat
- de lucru
- lume
- de clasă mondială
- ar
- an
- Tu
- tineri
- Ta
- zephyrnet