Detta är ett gästinlägg av Carter Huffman, CTO och medgrundare på Modulate.
Modulera är en Boston-baserad startup som har ett uppdrag att bygga rikare, säkrare, mer inkluderande onlinespelupplevelser för alla. Vi är ett team av ljudexperter i världsklass, spelare, allierade och futurister som är ivriga att bygga en bättre onlinevärld och göra röstchatt säkrare för alla spelare. Vi gör just det med ToxMod, vår proaktiva, röstbaserade modereringsplattform. Spelutgivare och utvecklare använder ToxMod för att proaktivt moderera röstchatt i sina spel enligt deras egna innehållspolicyer, uppförandekoder och community-riktlinjer.
Vi valde AWS för den skalbarhet och elasticitet som vår applikation behövde samt den fantastiska kundservice den erbjuder. Använder sig av Amazon Elastic Compute Cloud (Amazon EC2) G5g-instanser med NVIDIA T4G Tensor Core GPU:er som infrastrukturen för ToxMod har hjälpt oss att sänka våra kostnader med en faktor 5 (jämfört med G4dn-instanser) samtidigt som vi har uppnått våra mål om genomströmning och latens. Som en pigg startup kan vi återinvestera dessa kostnadsbesparingar i ytterligare innovation för att hjälpa vårt uppdrag. I det här inlägget täcker vi vårt användningsfall, utmaningar och alternativa vägar, och en kort översikt över vår lösning med AWS.
Den föränderliga metaversen och behovet av ToxMod
Moderna onlinespel och metaverse-plattformar har blivit mycket mer sociala än sina föregångare. Historiskt sett har spel fokuserat på att tillhandahålla en specifik kurerad upplevelse till spelare. Idag har de utvecklats till att bli mer av ett gemensamt utrymme, där spelare och deras vänner kan samlas och välja en mängd olika upplevelser att ta del av. Med denna utveckling kan toxicitet och verbala övergrepp ofta förstöra annars fantastiska onlineupplevelser.
Faktum är att enligt a färsk studie från Anti-Defamation League, toxiciteten i spel är värre än någonsin: exponeringen för vita supremacistiska ideologier i spel mer än fördubblades 2022. Över tre fjärdedelar av vuxna spelare rapporterade att de upplevde allvarliga trakasserier i onlinespel. Mer än 17 miljoner unga spelare utsattes för skada och trakasserier under det senaste året. Problemet blir bara värre och med kommande förordningar som kommer att kräva att studior tar en mer aktiv roll i att hantera och rapportera om toxicitet, är behovet av proaktiv röstmoderering mer akut än någonsin.
ToxMod hjälper spelutgivare och plattformar att proaktivt moderera sin röstchatt enligt deras egna policyer och riktlinjer, vilket håller deras samhällen säkra och positiva. ToxMod kör en serie maskininlärningsmodeller (ML) som analyserar de känslomässiga, textmässiga och konversationsaspekterna av röstsamtal för att avgöra om det finns några brott mot utgivarens eller plattformens innehållspolicyer. Överträdelser flaggas till mänskliga moderatorer som kan vidta åtgärder mot dåliga aktörer. Våra ML-modeller inkluderar känslodetektering, transkription och NLP-driven konversationsanalys som kategoriserar överträdelser och ger en rangordning för att avgöra hur säkert det är att en överträdelse har inträffat. Dessa upptäckter sker i realtid och gör det möjligt för spelutgivare att proaktivt moderera sina samhällen när toxicitet inträffar, vilket förhindrar skada på spelare och farliga konversationer från att eskalera.
Ekonomiska och tekniska överväganden
Vi har två typer av begränsningar: ekonomiska och tekniska. På den ekonomiska sidan är vårt problem varierande efterfrågan och den osäkra omfattningen av den nödvändiga beräkningsinfrastrukturen. I spelbranschen lanserar utvecklare och utgivare spel med minimala marginaler och skalar bara upp när spelet blir mer framgångsrikt. Den framgången kan innebära att våra största kunder behandlar miljontals timmars röstchatt per månad. ToxMods kostnader skalar med antalet timmar bearbetat ljud, vilket är väldigt dynamiskt baserat på spelarnas beteende och externa faktorer som påverkar ett spels popularitet. Att driva våra egna servrar för att driva ToxMod är oöverkomligt dyrt både vad gäller kostnad och bandbredd. Lokala servrar saknar denna skalbarhet och skulle ofta bli underutnyttjade, vilket innebär att det rätta valet för ToxMod är molnet. Med AWS kan vi skala dynamiskt för att matcha våra kunders efterfrågan samtidigt som vi håller kostnaderna på ett minimum.
På den tekniska sidan, som med att bygga alla röstprocessapplikationer, måste vi hitta en balans mellan latens och genomströmning. Några av våra användare vill ha möjligheten att ta itu med situationer som kan uppstå i deras samhällen inom en minut eller två av dem. För att möta våra latensbudgetar går vi så låga nivåer som möjligt. Vi råkar ha mycket erfarenhet av ARM-enheter eftersom mycket av ToxMod-kodbasen körs på enheter på klientsidan som ofta körs på en ARM-processor. EC2 G5g-instanserna drivs av NVIDIA T4G Tensor Core GPU:er och har AWS Graviton2 processorer var en naturlig passform för några av de anpassade neurala nätverksslutningskoder som hade utvecklats för användning på klientsidan.
EC2 G5g-instanser för kostnadseffektivitet och AWS-tillförlitlighet
Med dessa överväganden beslutade vi att använda G5g-instanser som infrastruktur för ToxMod eftersom de är kostnadseffektiva och ger välbekanta miljöer för att testa och distribuera våra modeller. Detta val hjälpte oss till slut att sänka våra kostnader med en faktor 5 (jämfört med G4dn-instanser). För att kunna iterera snabbt behövde vi en datormiljö som var bekant för våra datavetare och ML-ingenjörer. Vi kunde få vår maskinavbildning med alla relevanta drivrutiner, bibliotek och miljövariabler som kördes på G5g-instanser inom en dag. Vi började med G4dn-instanser och våra första tester på G5g gjorde det möjligt för oss att sänka våra kostnader med 40 %. Många av våra dyraste modeller att köra är GPU-bundna, så vi kunde optimera våra kostnader ytterligare genom att anpassa storleken till en instansstorlek som gjorde det möjligt för oss att maximera CPU-användningen samtidigt som vi fortfarande hade tillgång till en enda GPU.
Utöver att G5g-instanser fungerar särskilt bra för vår konfiguration, visste vi att vi kunde lita på AWS tekniska support och kontohantering för att hjälpa oss att lösa problem snabbt och bibehålla extremt hög drifttid samtidigt som vi upplever mycket varierande belastning. När vi började spenderade vi mindre än tvåsiffriga siffror per månad, och ändå nådde en verklig person ut för att lära sig mer om vårt användningsfall och ett team av människor arbetade med oss för att få vår applikation inte bara att fungera, utan att fungera till de mest kostnads- effektivt sätt.
Översikt över vår lösning
ToxMods lösning börjar med ljudintag, vilket åstadkoms genom integration av vår SDK i ett spels eller plattforms röstchattinfrastruktur. Användningen av en SDK (över ett API eller annat gränssnitt) är avgörande eftersom när du bearbetar ljud måste du vara extremt resurseffektiv. För varje enskild ljudström måste vi bearbeta den och lämna tillbaka den till resten av systemet snabbt, annars kommer kunderna att stöta på fel i ljudet, vilket är något vi vill undvika till varje pris. Många saker kan orsaka problem – inklusive minnesallokering, sophämtning och systemsamtal – så vi har utvecklat ToxMod SDK för att säkerställa en så smidig ljudbehandling som möjligt.
Från SDK:n kodas röstchatt i korta buffertar och skickas över internet. På intagssidan buffrar vi ett par sekunders ljud, och vi försöker hitta naturliga brytpunkter i röstsamtal innan vi skickar paketet till AWS Cloud, där vi sparar inkommande data via AWS Lambda funktioner. Därifrån görs analys av ljudkonversationen via bearbetning på G5g-instanser som kör våra olika ML-ljudmodeller. Vi minimerar overhead genom att batcha alla paket vi tar emot och skicka dem till GPU:erna i G5g-instanserna. G5g-instanserna matas genom köer av ljudklipp för att bearbeta, som vi har kopplat till automatiska skalningsgrupper som effektivt skalar upp eller ner eftersom trafiken varierar under dagen.
Ser framåt
ToxMod är byggd för studior av alla storlekar, från små indiedev-team till AAA, multi-team-utvecklare och utgivare. Idag är vi bättre positionerade än någonsin för att tillhandahålla den nivå av support, produktutveckling och robusta funktioner som företagsteam i de största studiorna förväntar sig av sina mjukvarupartners. Med flerspråkigt stöd för 18 språk, support dygnet runt, alla dagar i företagsklass, tillgängliga licenser med en enda hyresgäst för studior med flera spel och stöd för den skalbara ML-infrastrukturen som AWS tillhandahåller, är vi här för att hjälpa AAA-studior att göra röstchatt säker för sina spelare.
Om du vill lära dig mer om hur EC2 G5g-instanser kan hjälpa dig att kostnadseffektivt distribuera dina ML-arbetsbelastningar, se Amazon EC2 G5g-instanser.
Om författarna
Carter Huffman är CTO och medgrundare av Modulate, en startup för röstteknologi som syftar till att bekämpa onlinetoxicitet och förbättra röstkommunikation i spel. Han har en bakgrund inom fysik, maskininlärning och dataanalys och har tidigare arbetat på NASA:s Jet Propulsion Laboratory. Han brinner för att förstå och manipulera mänskligt tal med hjälp av djupa neurala nätverk. Han tog examen från MIT med en Bachelor of Science in Physics.
Shruti Koparkar är Senior Product Marketing Manager på AWS. Hon hjälper kunder att utforska, utvärdera och använda EC2 accelererad datorinfrastruktur för deras maskininlärningsbehov.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. Tillgång här.
- Källa: https://aws.amazon.com/blogs/machine-learning/modulate-makes-voice-chat-safer-while-reducing-infrastructure-costs-by-a-factor-of-5-with-amazon-ec2-g5g-instances/
- :är
- $UPP
- 100
- 17 miljoner
- 2022
- 7
- a
- AAA
- förmåga
- Able
- Om Oss
- missbruk
- accelererad
- tillgång
- åstadkommit
- Enligt
- Konto
- kontohantering
- uppnå
- Handling
- aktiv
- aktörer
- adress
- anta
- Vuxen
- påverkar
- mot
- Syftet
- Alla
- fördelning
- alternativ
- amason
- Amazon EC2
- analys
- analysera
- och
- api
- Ansökan
- ÄR
- ARM
- AS
- aspekter
- At
- audio
- bil
- tillgänglig
- AWS
- tillbaka
- bakgrund
- Badrum
- Balansera
- Bandbredd
- bas
- baserat
- BE
- därför att
- blir
- blir
- innan
- Bättre
- mellan
- Ha sönder
- budgetar
- buffert
- SLUTRESULTAT
- Byggnad
- byggt
- by
- KAN
- Vid
- Orsak
- utmaningar
- byte
- val
- Välja
- valde
- klipp
- cloud
- Medgrundare
- koda
- kodbas
- samling
- Kommunikation
- samhällen
- samfundet
- jämfört
- Compute
- databehandling
- Genomför
- säker
- konfiguration
- överväganden
- begränsningar
- innehåll
- Konversation
- konversera
- konversationer
- Kärna
- Pris
- kostnadsbesparingar
- kostnadseffektiv
- Kostar
- kunde
- Par
- täcka
- kritisk
- CTO
- kurerad
- beställnings
- kund
- Kundservice
- Kunder
- Dangerous
- datum
- dataanalys
- dag
- beslutade
- djup
- Efterfrågan
- distribuera
- Detektering
- Bestämma
- dev
- utvecklade
- utvecklare
- Utveckling
- enheter
- siffror
- gör
- dubbla
- dubbelsiffriga
- fördubblats
- ner
- chaufförer
- dynamisk
- dynamiskt
- Ekonomisk
- effektivt
- möjliggöra
- aktiverad
- Ingenjörer
- säkerställa
- Företag
- företagsklass
- Miljö
- miljöer
- utvärdera
- NÅGONSIN
- alla
- Utvecklingen
- utvecklats
- förvänta
- dyra
- erfarenhet
- Erfarenheter
- upplever
- experter
- utforska
- utsatta
- Exponering
- extern
- extremt
- faktorer
- bekant
- Funktioner
- Med
- Fed
- bekämpa
- hitta
- passa
- flaggad
- fokuserade
- För
- vänner
- från
- funktioner
- ytterligare
- lek
- Spelare
- Games
- spelindustrin
- Gaming
- skaffa sig
- få
- Go
- Mål
- GPU
- GPUs
- stor
- Gruppens
- Gäst
- gäst inlägg
- riktlinjer
- sidan
- hända
- Happening
- Har
- har
- hjälpa
- hjälpte
- hjälper
- här.
- Hög
- höggradigt
- historiskt
- ÖPPETTIDER
- Hur ser din drömresa ut
- http
- HTTPS
- humant
- ideologier
- bild
- in
- innefattar
- Inkludering
- Inkommande
- industrin
- Infrastruktur
- inledande
- Innovation
- exempel
- integrering
- Gränssnitt
- Internet
- problem
- IT
- jpg
- hålla
- laboratorium
- Brist
- Språk
- största
- Latens
- lansera
- LÄRA SIG
- inlärning
- Nivå
- bibliotek
- licenser
- tycka om
- läsa in
- Lot
- Låg
- Maskinen
- maskininlärning
- bibehålla
- göra
- GÖR
- ledning
- chef
- hantera
- manipulerings
- sätt
- många
- marginaler
- Marknadsföring
- Match
- Maximera
- Maj..
- betyder
- Möt
- Minne
- Metavers
- metaverse plattformar
- miljon
- miljoner
- minimum
- minsta
- minut
- Mission
- MIT
- ML
- modeller
- måttfullhet
- Månad
- mer
- mest
- multipel
- flera spel
- Natural
- Behöver
- behov
- nät
- nätverk
- neurala nätverk
- neurala nätverk
- antal
- Nvidia
- inträffade
- of
- Erbjudanden
- on
- nätet
- onlinespel
- drift
- Optimera
- Övriga
- annat
- Översikt
- egen
- paket
- paket
- särskilt
- partner
- brinner
- Tidigare
- Personer
- personen
- Fysik
- plattform
- Plattformar
- plato
- Platon Data Intelligence
- PlatonData
- spelare
- poäng
- Strategier
- popularitet
- placerad
- positiv
- möjlig
- Inlägg
- kraft
- drivs
- förebyggande
- tidigare
- Proaktiv
- Problem
- process
- Bearbetad
- bearbetning
- Processorn
- processorer
- Produkt
- produktutveckling
- framdrivning
- ge
- ger
- tillhandahålla
- förlag
- snabbt
- kommit fram till
- verklig
- realtid
- motta
- reducerande
- återinvestera
- relevanta
- Rapporterad
- Rapportering
- kräver
- Obligatorisk
- REST
- robusta
- Roll
- ruin
- Körning
- rinnande
- säker
- säkrare
- Save
- Besparingar
- skalbarhet
- skalbar
- Skala
- skalning
- Vetenskap
- vetenskapsmän
- göra
- sDK
- sekunder
- skicka
- senior
- Serier
- tjänar
- Servrar
- service
- svår
- Kort
- sida
- enda
- situationer
- Storlek
- storlekar
- Small
- So
- Social hållbarhet
- Mjukvara
- lösning
- några
- något
- Utrymme
- specifik
- tal
- Spendera
- igång
- start
- Fortfarande
- ström
- strejka
- Studios
- framgång
- framgångsrik
- stödja
- system
- Ta
- grupp
- lag
- Teknisk
- Teknologi
- villkor
- testa
- tester
- den där
- Smakämnen
- deras
- Dem
- Dessa
- saker
- Genom
- hela
- genomströmning
- tid
- till
- i dag
- trafik
- typer
- Ytterst
- Osäker
- förståelse
- upptid
- brådskande
- us
- Användning
- användning
- användningsfall
- användare
- mängd
- via
- ÖVERTRÄDELSE
- Överträdelser
- Röst
- VÄL
- som
- medan
- vit
- VEM
- kommer
- med
- inom
- Arbete
- arbetade
- arbetssätt
- världen
- världsklass
- skulle
- år
- Om er
- ung
- Din
- zephyrnet