See on külalispostitus, mille autor on Carter Huffman, CTO ja Modulate kaasasutaja.
Moduleerige on Bostonis asuv idufirma, mille missiooniks on luua rikkalikum, turvalisem ja kaasavam võrgumängukogemus kõigile. Oleme meeskond maailmatasemel helieksperte, mängijaid, liitlasi ja futuriste, kes soovivad luua paremat võrgumaailma ja muuta häälvestlus kõigi mängijate jaoks turvalisemaks. Teeme just seda ToxModiga, meie ennetava häälepõhise modereerimisplatvormiga. Mängude väljaandjad ja arendajad kasutavad ToxModi, et ennetavalt modereerida oma mängudes häälvestlust vastavalt oma sisueeskirjadele, käitumiskoodeksitele ja kogukonna juhistele.
Valisime AWS-i selle mastaapsuse ja elastsuse tõttu, mida meie rakendus vajas, aga ka suurepärase klienditeeninduse tõttu. Kasutades Amazon Elastic Compute Cloud (Amazon EC2) G5g eksemplarid NVIDIA T4G Tensor Core GPU-d ToxModi infrastruktuurina on aidanud meil kulusid 5 korda vähendada (võrreldes G4dn-juhtumitega), saavutades samal ajal läbilaskevõime ja latentsusaega seotud eesmärgid. Nõrga idufirmana saame selle kulude kokkuhoiu reinvesteerida edasistesse uuendustesse, et aidata oma missiooni täita. Selles postituses käsitleme oma kasutusjuhtu, väljakutseid ja alternatiivseid teid ning lühiülevaadet meie AWS-i kasutavast lahendusest.
Muutuv metaversum ja vajadus ToxModi järele
Kaasaegsed võrgumängud ja metaversumiplatvormid on muutunud palju sotsiaalsemaks kui nende eelkäijad. Ajalooliselt on mängud keskendunud mängijatele konkreetse kureeritud kogemuse pakkumisele. Tänaseks on need muutunud rohkem ühiskondlikuks ruumiks, kus mängijad ja nende sõbrad saavad koguneda ja valida erinevaid elamusi, millest osa saada. Sellise arenguga võivad mürgisus ja verbaalne väärkohtlemine sageli rikkuda muidu suurepäraseid veebikogemusi.
Tegelikult vastavalt a hiljutine uuring alates Laimuvastane League, on mängude toksilisus hullem kui kunagi varem: valgete ülemvõimu ideoloogiate esinemine mängudes kahekordistus 2022. aastal. Rohkem kui kolmveerand täiskasvanud mängijatest teatas, et kogevad võrgumängudes tõsist ahistamist. Rohkem kui 17 miljonit noort mängijat said viimase aasta jooksul kahju ja ahistamist. Probleem ainult süveneb ja koos tulevased määrused mis nõuab stuudiotelt aktiivsemat rolli toksilisuse haldamisel ja sellest teatamisel, on vajadus ennetava hääle modereerimise järele pakilisem kui kunagi varem.
ToxMod aitab mängude väljaandjatel ja platvormidel oma häälvestlust ennetavalt modereerida vastavalt oma eeskirjadele ja juhistele, hoides nende kogukonnad turvalisena ja positiivsena. ToxMod käitab masinõppe (ML) mudelite seeriat, mis analüüsivad häälvestluste emotsionaalseid, tekstilisi ja vestluslikke aspekte, et teha kindlaks, kas väljaandja või platvormi sisupoliitikat on rikutud. Rikkumised märgitakse inimmoderaatoritele, kes saavad halbade näitlejate vastu midagi ette võtta. Meie ML-mudelid hõlmavad emotsioonide tuvastamist, transkriptsiooni ja NLP-põhise vestlusanalüüsi, mis kategoriseerib rikkumised ja annab auastme hinde, et teha kindlaks, kui kindel on rikkumine. Need tuvastamised toimuvad reaalajas ja võimaldavad mängude avaldajatel ennetavalt oma kogukondi toksilisuse ilmnemisel modereerida, vältides mängijate kahjustamist ja ohtlike vestluste eskaleerumist.
Majanduslikud ja tehnilised kaalutlused
Meil on kahte tüüpi piiranguid: majanduslikud ja tehnilised. Majanduslikust küljest on meie probleemiks muutuv nõudlus ja vajaliku arvutustaristu ebakindel ulatus. Mängutööstuses lansseerivad arendajad ja kirjastajad mänge minimaalse marginaaliga ja suurendavad neid ainult mängu edukamaks muutudes. See edu võib tähendada, et meie suurimad kliendid töötlevad miljoneid tunde häälvestlust kuus. ToxModi kulud skaalavad koos töödeldud helitundide arvuga, mis on mängijate käitumise ja mängu populaarsust mõjutavate väliste tegurite põhjal väga dünaamiline. Oma serverite kasutamine ToxModi toiteks on nii kulude kui ka meeskonna ribalaiuse poolest ülemäära kallis. Kohapealsetel serveritel puudub see mastaapsus ja need jäävad sageli alakasutatud, mis tähendab, et ToxModi jaoks on õige valik pilv. AWS-iga saame dünaamiliselt skaleerida, et see vastaks meie klientide nõudlusele, hoides kulud minimaalsed.
Tehnilise poole pealt, nagu iga kõneprotsessirakenduse loomisel, peame leidma tasakaalu latentsuse ja läbilaskevõime vahel. Mõned meie kasutajad soovivad, et oleks võimalik lahendada olukordi, mis võivad tekkida nende kogukonnas minuti või kahe jooksul pärast nende toimumist. Oma latentsuseelarvete täitmiseks läheme võimalikult madalale tasemele. Meil on ARM-seadmetega palju kogemusi, kuna suur osa ToxModi koodibaasist töötab kliendipoolsetes seadmetes, mis töötavad sageli ARM-protsessoris. EC2 G5g eksemplarid töötavad NVIDIA T4G Tensor Core GPU-del ja sisaldavad AWS Graviton2 protsessorid sobisid loomulikult mõne kohandatud närvivõrgu järelduskoodi jaoks, mis oli välja töötatud kliendipoolseks kasutamiseks.
EC2 G5g eksemplarid kulutõhususe ja AWS-i töökindluse tagamiseks
Nendest kaalutlustest lähtudes otsustasime kasutada ToxModi infrastruktuurina G5g eksemplare, kuna need on kulutõhusad ja pakuvad tuttavaid keskkondi meie mudelite testimiseks ja juurutamiseks. See valik aitas meil lõpuks oma kulusid 5 korda vähendada (võrreldes G4dn-juhtumitega). Kiireks itereerimiseks vajasime arvutuskeskkonda, mis oli meie andmeteadlastele ja ML-i inseneridele tuttav. Suutsime saada oma masina pildi koos kõigi asjakohaste draiverite, teekide ja keskkonnamuutujatega, mis töötavad G5g eksemplaridel ühe päeva jooksul. Alustasime G4dn-i eksemplaridega ja meie esialgsed testid G5g-s võimaldasid meil kulusid 40% vähendada. Paljud meie kõige kallimad mudelid on GPU-ga seotud, nii et saime oma kulusid veelgi optimeerida, valides õige suuruse eksemplari suurusele, mis võimaldas meil maksimeerida protsessori kasutust, säilitades samal ajal juurdepääsu ühele GPU-le.
Lisaks sellele, et G5g eksemplarid töötasid meie konfiguratsiooni jaoks eriti hästi, teadsime, et võime loota AWS-i tehnilisele toele ja kontohaldusele, mis aitab meil probleeme kiiresti lahendada ja säilitada äärmiselt kõrge tööaega, kogedes samal ajal väga muutuvat koormust. Kui me alustasime, kulutasime kuus vähem kui kahekohalise numbri võrra, kuid ometi võttis meie kasutusjuhtumiga tutvumiseks ühendust reaalne inimene ja meiega töötas koos inimeste meeskond, et meie rakendus mitte ainult ei töötaks, vaid töötaks ka kõige kulukamalt. tõhusal viisil.
Ülevaade meie lahendusest
ToxModi lahendus algab heli sisestamisega, mis saavutatakse meie SDK integreerimisega mängu või platvormi häälvestluse infrastruktuuri. SDK kasutamine (API või muu liidese kaudu) on kriitiline, sest heli töötlemisel peate olema äärmiselt ressursitõhus. Iga üksiku helivoo puhul peame selle töötlema ja kiiresti ülejäänud süsteemile tagasi andma, vastasel juhul kogevad kliendid helis tõrkeid, mida tahame iga hinna eest vältida. Paljud asjad võivad põhjustada tõrkeid, sealhulgas mälu eraldamine, prügi kogumine ja süsteemikõned, nii et oleme välja töötanud ToxMod SDK, et tagada võimalikult sujuv helitöötlus.
SDK-st kodeeritakse häälvestlused lühikestesse puhvritesse ja saadetakse Interneti kaudu. Sisseelamise poolel puhverdame paar sekundit heli ja proovime enne paketi saatmist AWS-pilve leida häälvestlustes loomulikud katkestuspunktid, kus salvestame sissetulevad andmed AWS Lambda funktsioonid. Sealt edasi toimub helivestluse analüüs G5g-juhtumite töötlemise teel, mis käitavad meie erinevaid ML-helimudeleid. Minimeerime üldkulud, koondades kõik vastuvõetud paketid ja saates need G5g eksemplaride GPU-dele. G5g eksemplare suunatakse töötlemiseks heliklippide järjekordade kaudu, mille oleme ühendanud automaatse skaleerimise rühmadega, mis skaleeruvad tõhusalt üles või alla, kuna liiklus päeva jooksul muutub.
tulevikku
ToxMod on loodud igas suuruses stuudiotele, alates väikestest indie-arendusmeeskondadest kuni AAA, mitme meeskonnaga arendajate ja kirjastajateni. Oleme täna paremas positsioonis kui kunagi varem, et pakkuda sellist tuge, tootearendust ja töökindlaid funktsioone, mida suurimate stuudiote ettevõtete meeskonnad oma tarkvarapartneritelt ootavad. Tänu 18 keele mitmekeelsele toele, ööpäevaringsele ettevõtte tasemele toele, saadaolevatele ühe rentniku litsentsidele mitme mänguga stuudiotele ja AWS-i pakutava skaleeritava ML-infrastruktuuri toele oleme siin, et aidata AAA stuudiotel muuta häälvestlus turvaliseks. oma mängijate jaoks.
Kui soovite lisateavet selle kohta, kuidas EC2 G5g eksemplarid võivad aidata teil ML töökoormust kulutõhusalt juurutada, vaadake Amazon EC2 G5g eksemplarid.
Autoritest
Carter Huffman on Modulate, kõnetehnoloogia idufirma CTO ja kaasasutaja, mille eesmärk on võidelda võrgutoksilisusega ja tõhustada mängudes kõnesidet. Tal on füüsika, masinõppe ja andmeanalüüsi taust ning ta on varem töötanud NASA reaktiivmootorite laboris. Ta on kirglik inimkõne mõistmise ja manipuleerimise vastu sügavate närvivõrkude abil. Ta on lõpetanud MIT-i füüsika bakalaureusekraadiga.
Shruti Koparkar on AWS-i vanemtoodete turundusjuht. Ta aitab klientidel uurida, hinnata ja oma masinõppe vajaduste jaoks EC2 kiirendatud andmetöötluse infrastruktuuri kasutusele võtta.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/modulate-makes-voice-chat-safer-while-reducing-infrastructure-costs-by-a-factor-of-5-with-amazon-ec2-g5g-instances/
- :on
- $ UP
- 100
- 17 miljonit
- 2022
- 7
- a
- AAA
- võime
- Võimalik
- MEIST
- kuritarvitamise
- kiirendatud
- juurdepääs
- saavutatud
- Vastavalt
- konto
- konto haldamine
- saavutamisel
- tegevus
- aktiivne
- osalejad
- aadress
- vastu võtma
- Täiskasvanud
- mõjutades
- vastu
- Eesmärgid
- Materjal: BPA ja flataatide vaba plastik
- eraldamine
- alternatiiv
- Amazon
- Amazon EC2
- analüüs
- analüüsima
- ja
- API
- taotlus
- OLEME
- ARM
- AS
- aspektid
- At
- heli-
- auto
- saadaval
- AWS
- tagasi
- tagapõhi
- Halb
- Saldo
- Bandwidth
- baas
- põhineb
- BE
- sest
- muutuma
- muutub
- enne
- Parem
- vahel
- Murdma
- eelarvekomisjoni
- puhver
- ehitama
- Ehitus
- ehitatud
- by
- CAN
- juhul
- Põhjus
- väljakutseid
- muutuv
- valik
- Vali
- Valisin
- klambrid
- Cloud
- Asutaja
- kood
- koodi alus
- kogumine
- KOMMUNIKATSIOON
- Ühenduste
- kogukond
- võrreldes
- Arvutama
- arvutustehnika
- Läbi viima
- kindel
- konfiguratsioon
- kaalutlused
- piiranguid
- sisu
- Vestlus
- jutukas
- vestlused
- tuum
- Maksma
- kulude kokkuhoid
- kuluefektiivne
- kulud
- võiks
- Paar
- cover
- kriitiline
- CTO
- kureeritud
- tava
- klient
- Kasutajatugi
- Kliendid
- Ohtlik
- andmed
- andmete analüüs
- päev
- otsustatud
- sügav
- Nõudlus
- juurutada
- Detection
- Määrama
- dev
- arenenud
- Arendajad
- & Tarkvaraarendus
- seadmed
- numbrit
- teeme
- kahekordistada
- kahekohalised numbrid
- kahekordistunud
- alla
- draiverid
- dünaamiline
- dünaamiliselt
- Majanduslik
- tõhusalt
- võimaldama
- lubatud
- Inseneride
- tagama
- ettevõte
- ettevõtte tasemel
- keskkond
- keskkondades
- hindama
- KUNAGI
- igaüks
- evolutsioon
- arenenud
- ootama
- kallis
- kogemus
- Kogemused
- kogevad
- ekspertide
- uurima
- avatud
- Säritus
- väline
- äärmiselt
- tegurid
- tuttav
- FUNKTSIOONID
- Lisaks
- Toidetud
- võitlema
- leidma
- sobima
- märgistatud
- keskendunud
- eest
- sõbrad
- Alates
- funktsioonid
- edasi
- mäng
- Mängijad
- Mängud
- mängutööstus
- mäng
- saama
- saamine
- Go
- Eesmärgid
- GPU
- GPU
- suur
- Grupi omad
- külaline
- Külaline Postitus
- suunised
- käsi
- juhtuda
- Juhtub
- Olema
- võttes
- aitama
- aitas
- aitab
- siin
- Suur
- kõrgelt
- ajalooliselt
- Lahtiolekuajad
- Kuidas
- http
- HTTPS
- inim-
- ideoloogiad
- pilt
- in
- sisaldama
- Kaasa arvatud
- Sissetulev
- tööstus
- Infrastruktuur
- esialgne
- Innovatsioon
- Näiteks
- integratsioon
- Interface
- Internet
- küsimustes
- IT
- jpg
- pidamine
- labor
- puudus
- Keeled
- suurim
- Hilinemine
- algatama
- Õppida
- õppimine
- Tase
- raamatukogud
- Litsentsid
- nagu
- koormus
- Partii
- Madal
- masin
- masinõpe
- säilitada
- tegema
- TEEB
- juhtimine
- juht
- juhtiv
- manipuleerimine
- viis
- palju
- marginaalid
- Turundus
- Vastama
- Maksimeerima
- mai..
- tähendus
- Vastama
- Mälu
- Metaverse
- metaverse platvormid
- miljon
- miljonid
- minimaalne
- miinimum
- minut
- missioon
- MIT
- ML
- mudelid
- mõõdukus
- kuu
- rohkem
- kõige
- mitmekordne
- mitu mängu
- Natural
- Vajadus
- vajadustele
- võrk
- võrgustikud
- Närvivõrgus
- närvivõrgud
- number
- Nvidia
- toimunud
- of
- Pakkumised
- on
- Internetis
- online-mängude
- tegutsevad
- optimeerima
- Muu
- muidu
- ülevaade
- enda
- pakend
- paketid
- eriti
- partnerid
- kirglik
- minevik
- Inimesed
- inimene
- Füüsika
- inimesele
- Platvormid
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängijad
- võrra
- Poliitika
- populaarsus
- paigutatud
- positiivne
- võimalik
- post
- võim
- sisse
- ennetada
- varem
- Proaktiivne
- Probleem
- protsess
- Töödeldud
- töötlemine
- Protsessor
- töötlejad
- Toode
- tootearendus
- tõukejõu
- anda
- annab
- pakkudes
- kirjastajad
- kiiresti
- jõudis
- reaalne
- reaalajas
- saama
- vähendamine
- reinvesteerima
- asjakohane
- Teatatud
- Aruandlus
- nõudma
- nõutav
- REST
- jõuline
- Roll
- häving
- jooks
- jooksmine
- ohutu
- ohutum
- Säästa
- Hoiused
- Skaalautuvus
- skaalautuvia
- Skaala
- ketendamine
- teadus
- teadlased
- skoor
- SDK
- sekundit
- saatmine
- vanem
- Seeria
- teenima
- Serverid
- teenus
- raske
- Lühike
- külg
- ühekordne
- olukordades
- SUURUS
- suurused
- väike
- So
- sotsiaalmeedia
- tarkvara
- lahendus
- mõned
- midagi
- Ruum
- konkreetse
- kõne
- Kulutused
- alustatud
- käivitamisel
- Veel
- oja
- lööma
- stuudiod
- edu
- edukas
- toetama
- süsteem
- Võtma
- meeskond
- meeskonnad
- Tehniline
- Tehnoloogia
- tingimused
- test
- testid
- et
- .
- oma
- Neile
- Need
- asjad
- Läbi
- läbi kogu
- läbilaskevõime
- aeg
- et
- täna
- liiklus
- liigid
- lõpuks
- ebakindel
- mõistmine
- töö kestvus
- kiireloomuline
- us
- Kasutus
- kasutama
- kasutage juhtumit
- Kasutajad
- sort
- kaudu
- RIKKUMINE
- Rikkumised
- Hääl
- Hästi
- mis
- kuigi
- valge
- WHO
- will
- koos
- jooksul
- Töö
- töötas
- töö
- maailm
- maailmaklass
- oleks
- aasta
- sa
- noor
- Sinu
- sephyrnet