Dette er et gæsteindlæg af Carter Huffman, CTO og medstifter hos Modulate.
Moduler er en Boston-baseret startup, der har en mission om at bygge rigere, sikrere og mere inkluderende online spiloplevelser for alle. Vi er et team af lydeksperter i verdensklasse, spillere, allierede og fremtidsforskere, som er ivrige efter at bygge en bedre onlineverden og gøre stemmechat mere sikker for alle spillere. Vi gør netop det med ToxMod, vores proaktive, stemmebaserede modereringsplatform. Spiludgivere og -udviklere bruger ToxMod til proaktivt at moderere stemmechat i deres spil i henhold til deres egne indholdspolitikker, adfærdskodekser og fællesskabsretningslinjer.
Vi valgte AWS for den skalerbarhed og elasticitet, som vores applikation havde brug for, samt den gode kundeservice, den tilbyder. Ved brug af Amazon Elastic Compute Cloud (Amazon EC2) G5g-forekomster med NVIDIA T4G Tensor Core GPU'er som infrastrukturen til ToxMod har hjulpet os med at sænke vores omkostninger med en faktor 5 (sammenlignet med G4dn-forekomster), samtidig med at vi har nået vores mål om gennemløb og latenstid. Som en kvik startup kan vi geninvestere disse omkostningsbesparelser i yderligere innovation for at hjælpe med at tjene vores mission. I dette indlæg dækker vi vores use case, udfordringer og alternative veje og et kort overblik over vores løsning ved hjælp af AWS.
Det skiftende metavers og behovet for ToxMod
Moderne onlinespil og metaverse platforme er blevet langt mere sociale end deres forgængere. Historisk set har spil fokuseret på at give spillere en specifik kurateret oplevelse. I dag har de udviklet sig til mere at være et fællesrum, hvor spillere og deres venner kan samles og vælge en række forskellige oplevelser at tage del i. Med denne udvikling kan toksicitet og verbalt misbrug ofte ødelægge ellers fantastiske onlineoplevelser.
Faktisk, ifølge a nylig undersøgelse fra Anti-Defamation League, er toksiciteten i spil værre end nogensinde: eksponeringen for hvide overherredømmende ideologier i spil blev mere end fordoblet i 2022. Over tre fjerdedele af voksne spillere rapporterede, at de havde oplevet alvorlig chikane i onlinespil. Mere end 17 millioner unge spillere blev udsat for skader og chikane i det seneste år. Problemet bliver kun værre, og med kommende regler som vil kræve, at studierne tager en mere aktiv rolle i styring og rapportering om toksicitet, er behovet for proaktiv stemmemoderering mere presserende end nogensinde.
ToxMod hjælper spiludgivere og platforme med proaktivt at moderere deres stemmechat i henhold til deres egne politikker og retningslinjer, hvilket holder deres samfund sikre og positive. ToxMod kører en række maskinlæringsmodeller (ML), der analyserer de følelsesmæssige, tekstmæssige og samtalemæssige aspekter af stemmesamtaler for at afgøre, om der er nogen overtrædelser af udgiverens eller platformens indholdspolitikker. Overtrædelser rapporteres til menneskelige moderatorer, som kan gribe ind over for dårlige skuespillere. Vores ML-modeller inkluderer følelsesdetektion, transskription og NLP-drevet samtaleanalyse, der kategoriserer overtrædelser og giver en rangscore for at bestemme, hvor sikker det er, at en krænkelse har fundet sted. Disse detekteringer sker i realtid og gør det muligt for spiludgivere at proaktivt moderere deres fællesskaber, når der opstår toksicitet, hvilket forhindrer skade på spillere og farlige samtaler i at eskalere.
Økonomiske og tekniske overvejelser
Vi har to typer begrænsninger: økonomiske og tekniske. På den økonomiske side er vores problem variabel efterspørgsel og det usikre omfang af den nødvendige computerinfrastruktur. I spilindustrien lancerer udviklere og udgivere spil med minimale marginer og skalerer kun op, efterhånden som spillet bliver mere succesfuldt. Den succes kan betyde, at vores største kunder behandler millioner af timers talechat om måneden. ToxMods omkostninger skalerer med antallet af timers behandlet lyd, hvilket er meget dynamisk baseret på spillernes adfærd og eksterne faktorer, der påvirker et spils popularitet. Det er uoverkommeligt dyrt at drive vores egne servere for at drive ToxMod med hensyn til både omkostninger og teambåndbredde. On-premise servere mangler denne skalerbarhed og vil ofte blive underudnyttet, hvilket betyder, at det rigtige valg for ToxMod er skyen. Med AWS kan vi dynamisk skalere for at matche vores kunders efterspørgsel og samtidig holde omkostningerne på et minimum.
På den tekniske side, som med at bygge enhver stemmeprocesapplikation, er vi nødt til at finde en balance mellem latenstid og gennemløb. Nogle af vores brugere ønsker muligheden for at håndtere situationer, der kan opstå i deres lokalsamfund, inden for et minut eller to af dem. For at overholde vores latensbudgetter går vi så lavt som muligt. Vi har tilfældigvis stor erfaring med ARM-enheder, fordi meget af ToxMod-kodebasen kører på klientside-enheder, der ofte kører på en ARM-processor. EC2 G5g-instanserne drevet af NVIDIA T4G Tensor Core GPU'er og med AWS Graviton2 processorer var en naturlig pasform for nogle af de brugerdefinerede neurale netværksslutningskoder, der var udviklet til brug på klientsiden.
EC2 G5g-instanser for omkostningseffektivitet og AWS-pålidelighed
Med disse overvejelser besluttede vi at bruge G5g-instanser som infrastrukturen til ToxMod, fordi de er omkostningseffektive og giver velkendte miljøer til at teste og implementere vores modeller. Dette valg hjalp os i sidste ende med at sænke vores omkostninger med en faktor 5 (sammenlignet med G4dn-forekomster). For at kunne iterere hurtigt, havde vi brug for et computermiljø, som var kendt for vores datavidenskabsmænd og ML-ingeniører. Vi var i stand til at få vores maskinbillede med alle de relevante drivere, biblioteker og miljøvariabler kørende på G5g-forekomster inden for en dag. Vi startede med G4dn-forekomster, og vores indledende test på G5g gjorde det muligt for os at sænke vores omkostninger med 40 %. Mange af vores dyreste modeller at køre er GPU-bundne, så vi var i stand til yderligere at optimere vores omkostninger ved at tilpasse størrelsen til en instansstørrelse, der gjorde det muligt for os at maksimere CPU-udnyttelsen, mens vi stadig havde adgang til en enkelt GPU.
Ud over, at G5g-instanser fungerede særligt godt til vores konfiguration, vidste vi, at vi kunne regne med, at AWS's tekniske support og kontoadministration hjælper os med at løse problemer hurtigt og opretholde ekstrem høj oppetid, samtidig med at vi oplever meget variabel belastning. Da vi startede, brugte vi mindre end tocifrede cifre om måneden, og alligevel nåede en rigtig person ud for at lære mere om vores use case, og et team af mennesker arbejdede sammen med os for at få vores applikation til ikke kun at fungere, men arbejde med de mest omkostninger- effektiv måde.
Overblik over vores løsning
ToxMods løsning begynder med lydindtagelse, som opnås gennem integration af vores SDK i et spils eller platforms voice chat-infrastruktur. Brugen af en SDK (over en API eller anden grænseflade) er kritisk, fordi når du behandler lyd, skal du være ekstremt ressourceeffektiv. For enhver enkelt lydstream skal vi behandle den og give den tilbage til resten af systemet hurtigt, ellers vil kunderne støde på fejl i lyden, hvilket er noget, vi vil undgå for enhver pris. En masse ting kan forårsage fejl – inklusive hukommelsesallokering, skraldindsamling og systemopkald – så vi har udviklet ToxMod SDK for at sikre den glatteste lydbehandling som muligt.
Fra SDK'et kodes stemmechats i korte buffere og sendes over internettet. På indtagelsessiden bufferer vi et par sekunders lyd, og vi forsøger at finde naturlige pausepunkter i stemmesamtaler, inden vi sender pakken til AWS Cloud, hvor vi gemmer de indkommende data via AWS Lambda funktioner. Derfra udføres analyse af lydsamtalen via behandling på G5g-instanser, der kører vores udvalg af ML-lydmodeller. Vi minimerer overhead ved at samle alle de pakker, vi modtager, og sende dem til GPU'erne i G5g-forekomsterne. G5g-forekomsterne føres gennem køer af lydklip for at behandle, som vi har tilsluttet til automatisk skaleringsgrupper, der effektivt skalerer op eller ned, da trafikken varierer i løbet af dagen.
Fremadrettet
ToxMod er bygget til studier i alle størrelser, fra små indie-udviklerteams til AAA, multi-team udviklere og udgivere. I dag er vi bedre positioneret end nogensinde til at levere det niveau af support, produktudvikling og robuste funktioner, som virksomhedsteams på de største studier forventer af deres softwarepartnere. Med flersproget support til 18 sprog, 24/7 enterprise-grade support, tilgængelige single-lejer-licenser til studier med flere spil og understøttelsen af den skalerbare ML-infrastruktur, som AWS leverer, er vi her for at hjælpe AAA-studier med at gøre stemmechat sikker for deres spillere.
Hvis du gerne vil vide mere om, hvordan EC2 G5g-instanser kan hjælpe dig med at implementere dine ML-arbejdsbelastninger omkostningseffektivt, skal du se Amazon EC2 G5g-forekomster.
Om forfatterne
Carter Huffman er CTO og medstifter af Modulate, en stemmeteknologi startup, der har til formål at bekæmpe online toksicitet og forbedre stemmekommunikation i spil. Han har en baggrund i fysik, maskinlæring og dataanalyse og har tidligere arbejdet på NASAs Jet Propulsion Laboratory. Han brænder for at forstå og manipulere menneskelig tale ved hjælp af dybe neurale netværk. Han dimitterede fra MIT med en Bachelor of Science in Physics.
Shruti Koparkar er Senior Product Marketing Manager hos AWS. Hun hjælper kunder med at udforske, evaluere og anvende EC2 accelereret computerinfrastruktur til deres maskinlæringsbehov.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. Adgang her.
- Kilde: https://aws.amazon.com/blogs/machine-learning/modulate-makes-voice-chat-safer-while-reducing-infrastructure-costs-by-a-factor-of-5-with-amazon-ec2-g5g-instances/
- :er
- $OP
- 100
- 17 millioner
- 2022
- 7
- a
- AAA
- evne
- I stand
- Om
- misbrug
- accelereret
- adgang
- gennemført
- Ifølge
- Konto
- kontoadministration
- opnå
- Handling
- aktiv
- aktører
- adresse
- vedtage
- Voksen
- påvirker
- mod
- målsætninger
- Alle
- allokering
- alternativ
- Amazon
- Amazon EC2
- analyse
- analysere
- ,
- api
- Anvendelse
- ER
- ARM
- AS
- aspekter
- At
- lyd
- auto
- til rådighed
- AWS
- tilbage
- baggrund
- Bad
- Balance
- båndbredde
- bund
- baseret
- BE
- fordi
- bliver
- bliver
- før
- Bedre
- mellem
- Pause
- Budgetter
- buffer
- bygge
- Bygning
- bygget
- by
- CAN
- tilfælde
- Årsag
- udfordringer
- skiftende
- valg
- Vælg
- valgte
- clips
- Cloud
- Medstifter
- kode
- kodebase
- samling
- Kommunikation
- Fællesskaber
- samfund
- sammenlignet
- Compute
- computing
- Adfærd
- sikker
- Konfiguration
- overvejelser
- begrænsninger
- indhold
- Samtale
- konversation
- samtaler
- Core
- Koste
- omkostningsbesparelser
- omkostningseffektiv
- Omkostninger
- kunne
- Par
- dæksel
- kritisk
- CTO
- kurateret
- skik
- kunde
- Kundeservice
- Kunder
- Dangerous
- data
- dataanalyse
- dag
- besluttede
- dyb
- Efterspørgsel
- indsætte
- Detektion
- Bestem
- dev
- udviklet
- udviklere
- Udvikling
- Enheder
- cifre
- gør
- fordoble
- dobbeltcifre
- fordoblet
- ned
- drivere
- dynamisk
- dynamisk
- Økonomisk
- effektivt
- muliggøre
- aktiveret
- Ingeniører
- sikre
- Enterprise
- enterprise-grade
- Miljø
- miljøer
- evaluere
- NOGENSINDE
- alle
- evolution
- udviklet sig
- forvente
- dyrt
- erfaring
- Oplevelser
- oplever
- eksperter
- udforske
- udsat
- Eksponering
- ekstern
- ekstremt
- faktorer
- bekendt
- Funktionalitet
- Med
- Fed
- kæmpe
- Finde
- passer
- Markeret
- fokuserede
- Til
- venner
- fra
- funktioner
- yderligere
- spil
- Gamers
- Spil
- spilindustrien
- spil
- få
- få
- Go
- Mål
- GPU
- GPU'er
- stor
- Gruppens
- Gæst
- gæst Indlæg
- retningslinjer
- hånd
- ske
- Happening
- Have
- have
- hjælpe
- hjulpet
- hjælper
- link.
- Høj
- stærkt
- historisk
- HOURS
- Hvordan
- http
- HTTPS
- menneskelig
- ideologier
- billede
- in
- omfatter
- Inklusive
- Indgående
- industrien
- Infrastruktur
- initial
- Innovation
- instans
- integration
- grænseflade
- Internet
- spørgsmål
- IT
- jpg
- holde
- laboratorium
- Mangel
- Sprog
- største
- Latency
- lancere
- LÆR
- læring
- Niveau
- biblioteker
- licenser
- ligesom
- belastning
- Lot
- Lav
- maskine
- machine learning
- vedligeholde
- lave
- maerker
- ledelse
- leder
- styring
- manipulere
- måde
- mange
- marginer
- Marketing
- Match
- Maksimer
- Kan..
- betyder
- Mød
- Hukommelse
- metaverse
- metaverse platforme
- million
- millioner
- mindste
- minimum
- minut
- Mission
- MIT
- ML
- modeller
- mådehold
- Måned
- mere
- mest
- flere
- flere spil
- Natural
- Behov
- behov
- netværk
- net
- neurale netværk
- neurale netværk
- nummer
- Nvidia
- forekom
- of
- Tilbud
- on
- online
- online spil
- drift
- Optimer
- Andet
- Ellers
- oversigt
- egen
- pakke
- pakker
- især
- partnere
- lidenskabelige
- forbi
- Mennesker
- person,
- Fysik
- perron
- Platforme
- plato
- Platon Data Intelligence
- PlatoData
- spillere
- punkter
- politikker
- popularitet
- positionerede
- positiv
- mulig
- Indlæg
- magt
- strøm
- forebyggelse
- tidligere
- Proaktiv
- Problem
- behandle
- Behandlet
- forarbejdning
- Processor
- processorer
- Produkt
- produktudvikling
- fremdrift
- give
- giver
- leverer
- udgivere
- hurtigt
- nået
- ægte
- realtid
- modtage
- reducere
- geninvestere
- relevant
- rapporteret
- Rapportering
- kræver
- påkrævet
- REST
- robust
- roller
- ruin
- Kør
- kører
- sikker
- sikrere
- Gem
- Besparelser
- Skalerbarhed
- skalerbar
- Scale
- skalering
- Videnskab
- forskere
- score
- SDK
- sekunder
- afsendelse
- senior
- Series
- tjener
- Servere
- tjeneste
- svær
- Kort
- side
- enkelt
- situationer
- Størrelse
- størrelser
- lille
- So
- Social
- Software
- løsninger
- nogle
- noget
- Space
- specifikke
- tale
- udgifterne
- påbegyndt
- opstart
- Stadig
- strøm
- strejke
- Studios
- succes
- vellykket
- support
- systemet
- Tag
- hold
- hold
- Teknisk
- Teknologier
- vilkår
- prøve
- tests
- at
- deres
- Them
- Disse
- ting
- Gennem
- hele
- kapacitet
- tid
- til
- i dag
- Trafik
- typer
- Ultimativt
- Uncertain
- forståelse
- oppetid
- presserende
- us
- Brug
- brug
- brug tilfælde
- brugere
- række
- via
- KRÆNKELSE
- Overtrædelser
- Voice
- GODT
- som
- mens
- hvid
- WHO
- vilje
- med
- inden for
- Arbejde
- arbejdede
- arbejder
- world
- verdens klasse
- ville
- år
- Du
- unge
- Din
- zephyrnet