Dit is een gastpost van Carter Huffman, CTO en mede-oprichter bij Modulate.
Moduleren is een in Boston gevestigde startup met een missie om rijkere, veiligere en meer inclusieve online game-ervaringen voor iedereen te creรซren. We zijn een team van audio-experts van wereldklasse, gamers, bondgenoten en futuristen die graag een betere online wereld willen bouwen en voicechat veiliger willen maken voor alle spelers. Dat doen we met ToxMod, ons proactieve, voice-native moderatieplatform. Game-uitgevers en -ontwikkelaars gebruiken ToxMod om proactief voicechat in hun games te modereren volgens hun eigen inhoudsbeleid, gedragscodes en communityrichtlijnen.
We kozen voor AWS vanwege de schaalbaarheid en elasticiteit die onze applicatie nodig had, evenals de geweldige klantenservice die het biedt. Gebruik makend van Amazon Elastic Compute-cloud (Amazone EC2) G5g-instanties met NVIDIA T4G Tensor Core GPU's als infrastructuur voor ToxMod heeft ons geholpen onze kosten met een factor 5 te verlagen (vergeleken met G4dn-instanties) terwijl we onze doelen op het gebied van doorvoer en latentie bereikten. Als behendige startup kunnen we deze kostenbesparingen herinvesteren in verdere innovatie om onze missie te helpen vervullen. In dit bericht behandelen we onze use case, uitdagingen en alternatieve paden, en een kort overzicht van onze oplossing met behulp van AWS.
De veranderende metaverse en behoefte aan ToxMod
Moderne online games en metaverse platforms zijn veel socialer geworden dan hun voorgangers. Historisch gezien hebben games zich gericht op het bieden van een specifieke samengestelde ervaring aan spelers. Tegenwoordig zijn ze geรซvolueerd naar een meer gemeenschappelijke ruimte, waar spelers en hun vrienden samen kunnen komen en een verscheidenheid aan ervaringen kunnen kiezen om aan deel te nemen. Met deze evolutie kunnen toxiciteit en verbaal geweld vaak anders geweldige online ervaringen verpesten.
In feite, volgens een recente studie van het Anti-Defamation League, is de toxiciteit in games erger dan ooit: de blootstelling aan blanke supremacistische ideologieรซn in games is in 2022 meer dan verdubbeld. Meer dan driekwart van de volwassen gamers meldde ernstige intimidatie te hebben ervaren in online games. Meer dan 17 miljoen jonge gamers werden het afgelopen jaar blootgesteld aan schade en intimidatie. Het probleem wordt alleen maar erger, en met komende regelgeving waarvoor studio's een actievere rol moeten spelen bij het beheren en rapporteren van toxiciteit, is de behoefte aan proactieve stemmoderatie urgenter dan ooit.
ToxMod helpt game-uitgevers en platforms om hun voicechat proactief te modereren volgens hun eigen beleid en richtlijnen, waardoor hun gemeenschappen veilig en positief blijven. ToxMod voert een reeks machine learning (ML)-modellen uit die de emotionele, tekstuele en gespreksaspecten van spraakgesprekken analyseren om te bepalen of er sprake is van schendingen van het inhoudsbeleid van de uitgever of het platform. Overtredingen worden gemeld aan menselijke moderators die actie kunnen ondernemen tegen kwaadwillenden. Onze ML-modellen omvatten emotiedetectie, transcriptie en door NLP aangedreven conversatieanalyse die overtredingen categoriseert en een rangscore geeft om te bepalen hoe zeker het is dat een overtreding heeft plaatsgevonden. Deze detecties vinden in realtime plaats en stellen game-uitgevers in staat hun community's proactief te modereren wanneer er toxiciteit optreedt, waardoor wordt voorkomen dat spelers schade oplopen en gevaarlijke gesprekken niet escaleren.
Economische en technische overwegingen
We hebben twee soorten beperkingen: economische en technische. Aan de economische kant is ons probleem de variabele vraag en de onzekere omvang van de vereiste computerinfrastructuur. In de gamesindustrie lanceren ontwikkelaars en uitgevers games met minimale marges en schalen alleen op naarmate de game succesvoller wordt. Dat succes kan betekenen dat onze grootste klanten maandelijks miljoenen uren aan voicechat verwerken. De kosten van ToxMod worden geschaald met het aantal uren verwerkte audio, wat erg dynamisch is op basis van het gedrag van spelers en externe factoren die de populariteit van een game beรฏnvloeden. Het gebruik van onze eigen servers om ToxMod van stroom te voorzien, is onbetaalbaar, zowel qua kosten als qua teambandbreedte. Lokale servers missen deze schaalbaarheid en zouden vaak onderbenut blijven, wat betekent dat de juiste keuze voor ToxMod de cloud is. Met AWS kunnen we dynamisch schalen om aan de vraag van onze klanten te voldoen, terwijl we de kosten tot een minimum beperken.
Aan de technische kant moeten we, net als bij het bouwen van elke spraakverwerkingstoepassing, een balans vinden tussen latentie en doorvoer. Sommige van onze gebruikers willen de mogelijkheid hebben om situaties aan te pakken die zich binnen een minuut of twee kunnen voordoen in hun gemeenschap. Om aan onze latentiebudgetten te voldoen, gaan we zo laag mogelijk. We hebben toevallig veel ervaring met ARM-apparaten omdat veel van de ToxMod-codebasis draait op client-side apparaten die vaak op een ARM-processor draaien. De EC2 G5g-instanties aangedreven door NVIDIA T4G Tensor Core GPU's en met AWS Graviton2 processors waren een natuurlijke fit voor een deel van de aangepaste neurale netwerk-inferentiecode die was ontwikkeld voor gebruik aan de clientzijde.
EC2 G5g-instanties voor kostenefficiรซntie en AWS-betrouwbaarheid
Met deze overwegingen hebben we besloten om G5g-instanties te gebruiken als infrastructuur voor ToxMod, omdat ze kosteneffectief zijn en vertrouwde omgevingen bieden om onze modellen te testen en te implementeren. Deze keuze heeft ons uiteindelijk geholpen onze kosten met een factor 5 te verlagen (vergeleken met G4dn-instanties). Om snel te kunnen itereren, hadden we een rekenomgeving nodig die bekend was bij onze datawetenschappers en ML-engineers. We waren in staat om onze machine-image met alle relevante stuurprogramma's, bibliotheken en omgevingsvariabelen binnen een dag op G5g-instanties te krijgen. We zijn begonnen met G4dn-instanties en dankzij onze eerste tests met G5g konden we onze kosten met 40% verlagen. Veel van onze duurste modellen om uit te voeren zijn GPU-gebonden, dus we konden onze kosten verder optimaliseren door de juiste grootte aan te passen aan een instantiegrootte die ons in staat stelde het CPU-gebruik te maximaliseren terwijl we nog steeds toegang hadden tot een enkele GPU.
Afgezien van G5g-instanties die bijzonder goed werkten voor onze configuratie, wisten we dat we konden rekenen op de technische ondersteuning en het accountbeheer van AWS om ons te helpen problemen snel op te lossen en een extreem hoge uptime te behouden terwijl we een zeer variabele belasting ondervonden. Toen we begonnen, gaven we minder dan dubbele cijfers per maand uit, en toch nam een โโecht persoon contact op om meer te weten te komen over onze use case en een team van mensen werkte met ons samen om onze applicatie niet alleen te laten werken, maar ook tegen de meeste kosten te laten werken. efficiรซnte wijze.
Overzicht van onze oplossing
De oplossing van ToxMod begint met audio-opname, wat wordt bereikt door integratie van onze SDK in de voicechat-infrastructuur van een game of platform. Het gebruik van een SDK (via een API of andere interface) is van cruciaal belang, want wanneer u audio verwerkt, moet u uiterst hulpbronnenefficiรซnt zijn. Voor elke enkele audiostream moeten we deze verwerken en snel teruggeven aan de rest van het systeem, anders krijgen klanten storingen in de audio, iets wat we koste wat het kost willen vermijden. Veel dingen kunnen glitches veroorzaken, waaronder geheugentoewijzing, afvalverzameling en systeemaanroepen, dus hebben we de ToxMod SDK ontwikkeld om de soepelste audioverwerking mogelijk te maken.
Vanuit de SDK worden voicechats in korte buffers gecodeerd en via internet verzonden. Aan de kant van de opname bufferen we een paar seconden audio en proberen we natuurlijke breekpunten in spraakgesprekken te vinden voordat we het pakket naar de AWS Cloud sturen, waar we de binnenkomende gegevens opslaan via AWS Lambda functies. Van daaruit wordt de analyse van het audiogesprek uitgevoerd via verwerking op G5g-instanties met onze verschillende ML-audiomodellen. We minimaliseren de overhead door alle pakketten die we ontvangen in batches te verwerken en deze naar de GPU's in de G5g-instanties te sturen. De G5g-instanties worden door wachtrijen met audioclips gevoerd om te verwerken, die we hebben gekoppeld aan automatisch schalende groepen die efficiรซnt omhoog of omlaag schalen naarmate het verkeer gedurende de dag varieert.
De toekomst
ToxMod is gebouwd voor studio's van elke omvang, van kleine indie-ontwikkelaarsteams tot AAA, ontwikkelaars met meerdere teams en uitgevers. Vandaag zijn we beter gepositioneerd dan ooit om het niveau van ondersteuning, productontwikkeling en robuuste functies te bieden die bedrijfsteams in de grootste studio's van hun softwarepartners verwachten. Met meertalige ondersteuning voor 18 talen, 24/7 enterprise-grade ondersteuning, beschikbare single-tenant licenties voor studio's met meerdere games en de ondersteuning van de schaalbare ML-infrastructuur die AWS biedt, zijn we er om AAA-studio's te helpen voicechat veilig te maken voor hun spelers.
Als u meer wilt weten over hoe EC2 G5g-instanties u kunnen helpen uw ML-workloads kosteneffectief te implementeren, raadpleeg dan Amazon EC2 G5g-instanties.
Over de auteurs
Carter Huffman is de CTO en mede-oprichter van Modulate, een startup voor spraaktechnologie die tot doel heeft online toxiciteit te bestrijden en spraakcommunicatie in games te verbeteren. Hij heeft een achtergrond in natuurkunde, machine learning en data-analyse en werkte eerder bij NASA's Jet Propulsion Laboratory. Hij is gepassioneerd door het begrijpen en manipuleren van menselijke spraak met behulp van diepe neurale netwerken. Hij studeerde af aan het MIT met een Bachelor of Science in Physics.
Shruti Koparkar is Senior Product Marketing Manager bij AWS. Ze helpt klanten bij het verkennen, evalueren en adopteren van EC2 versnelde computerinfrastructuur voor hun machine learning-behoeften.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
- Bron: https://aws.amazon.com/blogs/machine-learning/modulate-makes-voice-chat-safer-while-reducing-infrastructure-costs-by-a-factor-of-5-with-amazon-ec2-g5g-instances/
- :is
- $UP
- 100
- 17 miljoen
- 2022
- 7
- a
- AAA
- vermogen
- in staat
- Over
- misbruik
- versneld
- toegang
- volbracht
- Volgens
- Account
- account management
- het bereiken van
- Actie
- actieve
- actoren
- adres
- adopteren
- Adult
- die van invloed
- tegen
- wil
- Alles
- toewijzing
- alternatief
- Amazone
- Amazon EC2
- analyse
- analyseren
- en
- api
- Aanvraag
- ZIJN
- ARM
- AS
- aspecten
- At
- audio
- auto
- Beschikbaar
- AWS
- terug
- achtergrond
- slecht
- Balance
- bandbreedte
- baseren
- gebaseerde
- BE
- omdat
- worden
- wordt
- vaardigheden
- Betere
- tussen
- Breken
- Begrotingen
- buffer
- bouw
- Gebouw
- bebouwd
- by
- CAN
- geval
- Veroorzaken
- uitdagingen
- veranderende
- keuze
- Kies
- koos
- clips
- Cloud
- Mede-oprichter
- code
- codebasis
- Collectie
- Communicatie
- Gemeenschappen
- gemeenschap
- vergeleken
- Berekenen
- computergebruik
- Gedrag
- zeker
- Configuratie
- overwegingen
- beperkingen
- content
- Gesprek
- spraakzaam
- conversaties
- Kern
- Kosten
- kostenbesparingen
- kostenefficient
- Kosten
- kon
- Koppel
- deksel
- kritisch
- CTO
- curated
- gewoonte
- klant
- Klantenservice
- Klanten
- gevaarlijk
- gegevens
- gegevensanalyse
- dag
- beslist
- deep
- Vraag
- implementeren
- Opsporing
- Bepalen
- Dev
- ontwikkelde
- ontwikkelaars
- Ontwikkeling
- systemen
- cijfers
- doen
- verdubbelen
- dubbele cijfers
- verdubbelde
- beneden
- chauffeurs
- dynamisch
- dynamisch
- Economisch
- efficiรซnt
- in staat stellen
- ingeschakeld
- Ingenieurs
- verzekeren
- Enterprise
- enterprise-kwaliteit
- Milieu
- omgevingen
- schatten
- OOIT
- iedereen
- Evolutie
- evolueerde
- verwachten
- duur
- ervaring
- Ervaringen
- het ervaren van
- deskundigen
- Verken
- blootgestelde
- Media
- extern
- uiterst
- factoren
- vertrouwd
- Voordelen
- Met
- Fed
- vechten
- VIND DE PLEK DIE PERFECT VOOR JOU IS
- geschikt
- markeerde
- gericht
- Voor
- vrienden
- oppompen van
- functies
- verder
- spel
- Gamers
- Spellen
- game-industrie
- gaming
- krijgen
- het krijgen van
- Go
- Doelen
- GPU
- GPU's
- groot
- Groep
- Gast
- Gast Bericht
- richtlijnen
- hand
- gebeuren
- Happening
- Hebben
- met
- hulp
- geholpen
- helpt
- hier
- Hoge
- zeer
- historisch
- HOURS
- Hoe
- http
- HTTPS
- menselijk
- ideologieรซn
- beeld
- in
- omvatten
- inclusief
- Inkomend
- -industrie
- Infrastructuur
- eerste
- Innovatie
- instantie
- integratie
- Interface
- Internet
- problemen
- IT
- jpg
- houden
- laboratorium
- Gebrek
- Talen
- grootste
- Wachttijd
- lancering
- LEARN
- leren
- Niveau
- bibliotheken
- licenties
- als
- laden
- lot
- Laag
- machine
- machine learning
- onderhouden
- maken
- MERKEN
- management
- manager
- beheren
- manipuleren
- manier
- veel
- marges
- Marketing
- Match
- Maximaliseren
- Mei..
- betekenis
- Maak kennis met
- Geheugen
- metaverse
- metaverse platforms
- miljoen
- miljoenen
- minimaal
- minimum
- minuut
- Missie
- MIT
- ML
- modellen
- gematigdheid
- Maand
- meer
- meest
- meervoudig
- meerdere spellen
- Naturel
- Noodzaak
- behoeften
- netwerk
- netwerken
- neuraal netwerk
- neurale netwerken
- aantal
- Nvidia
- opgetreden
- of
- Aanbod
- on
- online.
- online gaming
- werkzaam
- Optimaliseer
- Overige
- anders-
- overzicht
- het te bezitten.
- pakket
- pakketten
- vooral
- partners
- hartstochtelijk
- verleden
- Mensen
- persoon
- Fysica
- platform
- platforms
- Plato
- Plato gegevensintelligentie
- PlatoData
- spelers
- punten
- beleidsmaatregelen door te lezen.
- populariteit
- gepositioneerd
- positief
- mogelijk
- Post
- energie
- aangedreven
- het voorkomen van
- die eerder
- Proactieve
- probleem
- Verwerkt
- verwerking
- Gegevensverwerker
- processors
- Product
- productontwikkeling
- voortstuwing
- zorgen voor
- biedt
- het verstrekken van
- uitgevers
- snel
- bereikt
- vast
- real-time
- ontvangen
- vermindering
- herinvesteren
- relevante
- gemeld
- Rapportage
- vereisen
- nodig
- REST
- robuust
- Rol
- ruรฏneren
- lopen
- lopend
- veilig
- veiliger
- Bespaar
- Bespaar geld
- Schaalbaarheid
- schaalbare
- Scale
- scaling
- Wetenschap
- wetenschappers
- partituur
- sdk
- seconden
- verzending
- senior
- -Series
- dienen
- Servers
- service
- streng
- Bermuda's
- kant
- single
- situaties
- Maat
- maten
- Klein
- So
- Social
- Software
- oplossing
- sommige
- iets
- Tussenruimte
- specifiek
- toespraak
- Uitgaven
- gestart
- startup
- Still
- stream
- slaan
- studios
- succes
- geslaagd
- ondersteuning
- system
- Nemen
- team
- teams
- Technisch
- Technologie
- termen
- proef
- testen
- dat
- De
- hun
- Ze
- Deze
- spullen
- Door
- overal
- doorvoer
- niet de tijd of
- naar
- vandaag
- verkeer
- types
- Tenslotte
- Onzeker
- begrip
- uptime
- dringend
- us
- Gebruik
- .
- use case
- gebruikers
- variรซteit
- via
- OVERTREDING
- Overtredingen
- Stem
- GOED
- welke
- en
- wit
- WIE
- wil
- Met
- binnen
- Mijn werk
- werkte
- werkzaam
- wereld
- van het allerbeste niveau
- zou
- jaar
- You
- jong
- Your
- zephyrnet