Dette er et gjesteinnlegg av Carter Huffman, CTO og medgründer hos Modulate.
Moduler er en Boston-basert oppstart med et oppdrag om å bygge rikere, tryggere, mer inkluderende online spillopplevelser for alle. Vi er et team av lydeksperter i verdensklasse, spillere, allierte og fremtidsforskere som er ivrige etter å bygge en bedre online verden og gjøre talechat tryggere for alle spillere. Vi gjør nettopp det med ToxMod, vår proaktive, stemmebaserte modereringsplattform. Spillutgivere og utviklere bruker ToxMod til proaktivt å moderere talechat i spillene sine i henhold til deres egne innholdsretningslinjer, atferdskoder og retningslinjer for fellesskapet.
Vi valgte AWS for skalerbarheten og elastisiteten som applikasjonen vår trengte, samt den gode kundeservicen den tilbyr. Ved hjelp av Amazon Elastic Compute Cloud (Amazon EC2) G5g-forekomster med NVIDIA T4G Tensor Core GPUer som infrastrukturen for ToxMod har hjulpet oss med å redusere kostnadene våre med en faktor 5 (sammenlignet med G4dn-forekomster) samtidig som vi oppnår målene våre om gjennomstrømning og ventetid. Som en kvikk startup kan vi reinvestere disse kostnadsbesparelsene i ytterligere innovasjon for å hjelpe oss med å tjene oppdraget vårt. I dette innlegget dekker vi vår brukssituasjon, utfordringer og alternative veier, og en kort oversikt over løsningen vår ved hjelp av AWS.
Den skiftende metaversen og behovet for ToxMod
Moderne nettspill og metaverse-plattformer har blitt langt mer sosiale enn sine forgjengere. Historisk sett har spill fokusert på å gi en spesifikk kurert opplevelse til spillere. I dag har de utviklet seg til å være mer et fellesrom, hvor spillere og vennene deres kan samles og velge en rekke opplevelser å ta del i. Med denne utviklingen kan toksisitet og verbal mishandling ofte ødelegge ellers gode nettopplevelser.
Faktisk, ifølge a fersk undersøkelse fra Anti-Defamation League, toksisitet i spill er verre enn noen gang: eksponering for hvite overlegenhetsideologier i spill ble mer enn doblet i 2022. Over tre fjerdedeler av voksne spillere rapporterte at de opplevde alvorlig trakassering i nettspill. Mer enn 17 millioner unge spillere ble utsatt for skade og trakassering det siste året. Problemet blir bare verre, og med kommende forskrifter som vil kreve at studioer tar en mer aktiv rolle i å administrere og rapportere om toksisitet, er behovet for proaktiv stemmemoderering mer presserende enn noen gang.
ToxMod hjelper spillutgivere og plattformer med å proaktivt moderere talechattene deres i henhold til deres egne retningslinjer og retningslinjer, og holder lokalsamfunnene deres trygge og positive. ToxMod kjører en serie maskinlæringsmodeller (ML) som analyserer de emosjonelle, tekstlige og samtalemessige aspektene ved stemmesamtaler for å avgjøre om det er noen brudd på utgiverens eller plattformens innholdsretningslinjer. Brudd blir flagget til menneskelige moderatorer som kan iverksette tiltak mot dårlige skuespillere. Våre ML-modeller inkluderer følelsesdeteksjon, transkripsjon og NLP-drevet samtaleanalyse som kategoriserer brudd og gir en rangeringsscore for å bestemme hvor sikker det er at et brudd har skjedd. Disse oppdagelsene skjer i sanntid og gjør det mulig for spillutgivere å proaktivt moderere samfunnene sine etter hvert som toksisitet oppstår, og forhindrer skade på spillere og farlige samtaler i å eskalere.
Økonomiske og tekniske hensyn
Vi har to typer begrensninger: økonomiske og tekniske. På den økonomiske siden er problemet variabel etterspørsel og den usikre omfanget av den nødvendige datainfrastrukturen. I spillindustrien lanserer utviklere og utgivere spill med minimale marginer og skalerer bare opp etter hvert som spillet blir mer vellykket. Den suksessen kan bety at våre største kunder behandler millioner av timer med talechat per måned. ToxMods kostnader skalerer med antall timer behandlet lyd, som er veldig dynamisk basert på spillernes oppførsel og eksterne faktorer som påvirker spillets popularitet. Å drive våre egne servere for å drive ToxMod er uoverkommelig dyrt med tanke på både kostnader og teambåndbredde. On-premise servere mangler denne skalerbarheten og vil ofte bli underutnyttet, noe som betyr at det riktige valget for ToxMod er skyen. Med AWS kan vi skalere dynamisk for å matche kundenes etterspørsel samtidig som vi holder kostnadene på et minimum.
På den tekniske siden, som med å bygge en hvilken som helst stemmeprosessapplikasjon, må vi finne en balanse mellom ventetid og gjennomstrømning. Noen av brukerne våre vil ha muligheten til å håndtere situasjoner som kan oppstå i deres lokalsamfunn innen et minutt eller to av dem. For å møte latensbudsjettene våre går vi så lavt som mulig. Vi har tilfeldigvis mye erfaring med ARM-enheter fordi mye av ToxMod-kodebasen kjører på klientsideenheter som ofte kjører på en ARM-prosessor. EC2 G5g-forekomstene drevet av NVIDIA T4G Tensor Core GPUer og har AWS Graviton2 prosessorer passet naturlig for noen av de tilpassede nevrale nettverksslutningskodene som hadde utviklet seg for bruk på klientsiden.
EC2 G5g-forekomster for kostnadseffektivitet og AWS-pålitelighet
Med disse hensynene bestemte vi oss for å bruke G5g-instanser som infrastruktur for ToxMod fordi de er kostnadseffektive og gir kjente miljøer for å teste og distribuere modellene våre. Dette valget hjalp oss til slutt med å redusere kostnadene våre med en faktor 5 (sammenlignet med G4dn-forekomster). For å kunne iterere raskt, trengte vi et datamiljø som var kjent for våre dataforskere og ML-ingeniører. Vi var i stand til å få maskinbildet vårt med alle relevante drivere, biblioteker og miljøvariabler som kjørte på G5g-forekomster i løpet av en dag. Vi startet med G4dn-forekomster, og våre første tester på G5g gjorde det mulig for oss å redusere kostnadene med 40 %. Mange av de dyreste modellene våre å kjøre er GPU-bundne, så vi var i stand til å optimalisere kostnadene våre ytterligere ved å tilpasse størrelsen til en forekomststørrelse som gjorde det mulig for oss å maksimere CPU-utnyttelsen samtidig som vi hadde tilgang til en enkelt GPU.
Utover at G5g-forekomster fungerer spesielt godt for konfigurasjonen vår, visste vi at vi kunne stole på AWSs tekniske støtte og kontoadministrasjon for å hjelpe oss med å løse problemer raskt og opprettholde ekstremt høy oppetid samtidig som vi opplever svært varierende belastning. Da vi startet brukte vi mindre enn tosifret per måned, og likevel nådde en ekte person ut for å lære mer om brukssaken vår, og et team av mennesker jobbet med oss for å få applikasjonen vår til ikke bare å fungere, men å jobbe med de mest kostnads- effektiv måte.
Oversikt over vår løsning
ToxMods løsning begynner med lydinntak, som oppnås gjennom integrering av vår SDK i et spills eller plattforms stemmechat-infrastruktur. Bruken av en SDK (over et API eller annet grensesnitt) er kritisk fordi når du behandler lyd, må du være ekstremt ressurseffektiv. For en enkelt lydstrøm må vi behandle den og levere den tilbake til resten av systemet raskt, ellers vil kunder støte på feil i lyden, noe vi vil unngå for enhver pris. Mange ting kan forårsake feil – inkludert minnetildeling, søppelinnsamling og systemanrop – så vi har utviklet ToxMod SDK for å sikre en jevnest mulig lydbehandling.
Fra SDK-en blir talechatter kodet i korte buffere og sendt over internett. På inntakssiden bufrer vi et par sekunder med lyd, og vi prøver å finne naturlige pausepunkter i talesamtaler før vi sender pakken til AWS Cloud, hvor vi lagrer innkommende data via AWS Lambda funksjoner. Derfra gjøres analyse av lydsamtalen via prosessering på G5g-forekomster som kjører vårt utvalg av ML-lydmodeller. Vi minimerer overhead ved å samle alle pakkene vi mottar og sende dem til GPU-ene i G5g-forekomstene. G5g-forekomstene mates gjennom køer med lydklipp for å behandle, som vi har koblet til automatiske skaleringsgrupper som effektivt skalerer opp eller ned ettersom trafikken varierer i løpet av dagen.
Ser framover
ToxMod er bygget for studioer i alle størrelser, fra små indie-utviklerteam til AAA, multi-team-utviklere og utgivere. I dag er vi bedre posisjonert enn noen gang for å tilby nivået av støtte, produktutvikling og robuste funksjoner som bedriftsteamene i de største studioene forventer av sine programvarepartnere. Med flerspråklig støtte for 18 språk, 24/7 støtte i bedriftsgrad, tilgjengelige lisenser med én leietaker for studioer med flere spill, og støtte fra den skalerbare ML-infrastrukturen som AWS tilbyr, er vi her for å hjelpe AAA-studioer med å gjøre talechat trygg for sine spillere.
Hvis du vil lære mer om hvordan EC2 G5g-forekomster kan hjelpe deg kostnadseffektivt distribuere ML-arbeidsbelastningene dine, se Amazon EC2 G5g-forekomster.
Om forfatterne
Carter Huffman er CTO og medgründer av Modulate, en oppstart av stemmeteknologi som tar sikte på å bekjempe online toksisitet og forbedre stemmekommunikasjon i spill. Han har bakgrunn fra fysikk, maskinlæring og dataanalyse, og har tidligere jobbet ved NASAs Jet Propulsion Laboratory. Han er lidenskapelig opptatt av å forstå og manipulere menneskelig tale ved hjelp av dype nevrale nettverk. Han ble uteksaminert fra MIT med en Bachelor of Science in Physics.
Shruti Koparkar er Senior Product Marketing Manager hos AWS. Hun hjelper kundene med å utforske, evaluere og ta i bruk EC2-akselerert datainfrastruktur for deres maskinlæringsbehov.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
- kilde: https://aws.amazon.com/blogs/machine-learning/modulate-makes-voice-chat-safer-while-reducing-infrastructure-costs-by-a-factor-of-5-with-amazon-ec2-g5g-instances/
- :er
- $OPP
- 100
- 17 millioner
- 2022
- 7
- a
- AAA
- evne
- I stand
- Om oss
- misbruk
- akselerert
- adgang
- oppnådd
- Ifølge
- Logg inn
- kontoadministrasjon
- oppnå
- Handling
- aktiv
- aktører
- adresse
- adoptere
- Voksen
- påvirker
- mot
- mål
- Alle
- allokering
- alternativ
- Amazon
- Amazon EC2
- analyse
- analysere
- og
- api
- Søknad
- ER
- ARM
- AS
- aspekter
- At
- lyd
- auto
- tilgjengelig
- AWS
- tilbake
- bakgrunn
- dårlig
- Balansere
- Båndbredde
- basen
- basert
- BE
- fordi
- bli
- blir
- før du
- Bedre
- mellom
- Break
- Budsjetter
- buffer
- bygge
- Bygning
- bygget
- by
- CAN
- saken
- Årsak
- utfordringer
- endring
- valg
- Velg
- valgte
- klipp
- Cloud
- Med-grunnlegger
- kode
- kodebase
- samling
- Kommunikasjon
- Communities
- samfunnet
- sammenlignet
- Beregn
- databehandling
- Gjennomføre
- trygg
- Konfigurasjon
- betraktninger
- begrensninger
- innhold
- Samtale
- conversational
- samtaler
- Kjerne
- Kostnad
- kostnadsbesparelser
- kostnadseffektiv
- Kostnader
- kunne
- Par
- dekke
- kritisk
- CTO
- kuratert
- skikk
- kunde
- Kundeservice
- Kunder
- Dangerous
- dato
- dataanalyse
- dag
- besluttet
- dyp
- Etterspørsel
- utplassere
- Gjenkjenning
- Bestem
- dev
- utviklet
- utviklere
- Utvikling
- Enheter
- sifre
- gjør
- dobbelt
- dobbelt sifre
- doblet
- ned
- drivere
- dynamisk
- dynamisk
- økonomisk
- effektivt
- muliggjøre
- aktivert
- Ingeniører
- sikre
- Enterprise
- enterprise-klasse
- Miljø
- miljøer
- evaluere
- NOEN GANG
- alle
- evolusjon
- utviklet seg
- forvente
- dyrt
- erfaring
- Erfaringer
- opplever
- eksperter
- utforske
- utsatt
- Eksponering
- utvendig
- ekstremt
- faktorer
- kjent
- Egenskaper
- Featuring
- Fed
- slåss
- Finn
- passer
- flaggede
- fokuserte
- Til
- venner
- fra
- funksjoner
- videre
- spill
- Gamers
- Games
- spillindustri
- gaming
- få
- få
- Go
- Mål
- GPU
- GPU
- flott
- Gruppens
- Gjest
- gjest innlegg
- retningslinjer
- hånd
- skje
- Skjer
- Ha
- å ha
- hjelpe
- hjulpet
- hjelper
- her.
- Høy
- svært
- historisk
- TIMER
- Hvordan
- http
- HTTPS
- menneskelig
- ideologier
- bilde
- in
- inkludere
- Inklusive
- Innkommende
- industri
- Infrastruktur
- innledende
- Innovasjon
- f.eks
- integrering
- Interface
- Internet
- saker
- IT
- jpg
- holde
- laboratorium
- maling
- språk
- største
- Ventetid
- lansere
- LÆRE
- læring
- Nivå
- bibliotekene
- lisenser
- i likhet med
- laste
- Lot
- Lav
- maskin
- maskinlæring
- vedlikeholde
- gjøre
- GJØR AT
- ledelse
- leder
- administrerende
- manipulere
- måte
- mange
- marginer
- Marketing
- Match
- Maksimer
- Kan..
- betyr
- Møt
- Minne
- metaverse
- metaverse plattformer
- millioner
- millioner
- minimal
- minimum
- minutt
- Oppdrag
- MIT
- ML
- modeller
- moderasjon
- Måned
- mer
- mest
- flere
- flere spill
- Naturlig
- Trenger
- behov
- nettverk
- nettverk
- nevrale nettverket
- nevrale nettverk
- Antall
- Nvidia
- forekom
- of
- Tilbud
- on
- på nett
- online gaming
- drift
- Optimalisere
- Annen
- ellers
- oversikt
- egen
- pakke
- pakker
- spesielt
- partnere
- lidenskapelig
- Past
- Ansatte
- person
- Fysikk
- plattform
- Plattformer
- plato
- Platon Data Intelligence
- PlatonData
- spillere
- poeng
- Politikk
- popularitet
- posisjonert
- positiv
- mulig
- Post
- makt
- powered
- hindre
- tidligere
- Proaktiv
- Problem
- prosess
- Bearbeidet
- prosessering
- prosessor
- prosessorer
- Produkt
- produktutvikling
- fremdrift
- gi
- gir
- gi
- utgivere
- raskt
- nådd
- ekte
- sanntids
- motta
- redusere
- reinvestere
- relevant
- rapportert
- Rapportering
- krever
- påkrevd
- REST
- robust
- Rolle
- ødelegge
- Kjør
- rennende
- trygge
- sikrere
- Spar
- Besparelser
- skalerbarhet
- skalerbar
- Skala
- skalering
- Vitenskap
- forskere
- Resultat
- SDK
- sekunder
- sending
- senior
- Serien
- betjene
- Servere
- tjeneste
- alvorlig
- Kort
- side
- enkelt
- situasjoner
- Størrelse
- størrelser
- liten
- So
- selskap
- Software
- løsning
- noen
- noe
- Rom
- spesifikk
- tale
- utgifter
- startet
- oppstart
- Still
- stream
- streik
- studioer
- suksess
- vellykket
- støtte
- system
- Ta
- lag
- lag
- Teknisk
- Teknologi
- vilkår
- test
- tester
- Det
- De
- deres
- Dem
- Disse
- ting
- Gjennom
- hele
- gjennomstrømning
- tid
- til
- i dag
- trafikk
- typer
- Til syvende og sist
- Usikker
- forståelse
- oppetid
- som haster
- us
- bruk
- bruke
- bruk sak
- Brukere
- variasjon
- av
- BRUDD
- Brudd
- Voice
- VI VIL
- hvilken
- mens
- hvit
- HVEM
- vil
- med
- innenfor
- Arbeid
- arbeidet
- arbeid
- verden
- verdensklasse
- ville
- år
- Du
- Young
- Din
- zephyrnet