Online gaming en sociale communities bieden spraak- en tekstchatfunctionaliteit waarmee hun gebruikers kunnen communiceren. Hoewel spraak- en tekstchat vaak vriendelijke scherts ondersteunen, kan dit ook leiden tot problemen zoals haatzaaiende uitlatingen, cyberpesten, intimidatie en oplichting. Tegenwoordig vertrouwen veel bedrijven uitsluitend op menselijke moderators om giftige inhoud te beoordelen. Het verifiëren van schendingen in de chat is echter tijdrovend, foutgevoelig en lastig op te schalen.
In dit bericht introduceren we oplossingen die audio- en tekstchat-moderatie mogelijk maken met behulp van verschillende AWS-services, waaronder Amazon Transcribe, Amazon begrijpt het, Amazonebodem en Amazon OpenSearch-service.
Sociale platforms zijn op zoek naar een kant-en-klare moderatieoplossing die eenvoudig te initiëren is, maar vereisen ook maatwerk voor het beheren van divers beleid. Latentie en kosten zijn ook kritische factoren waarmee rekening moet worden gehouden. Door de toxiciteitsclassificatie te orkestreren met grote taalmodellen (LLM's) met behulp van generatieve AI, bieden we een oplossing die eenvoud, latentie, kosten en flexibiliteit in evenwicht houdt om aan verschillende vereisten te voldoen.
De voorbeeldcode voor dit bericht is beschikbaar in de GitHub-repository.
Workflow voor het modereren van audiochats
Een workflow voor het modereren van audiochats kan worden geïnitieerd door een gebruiker die andere gebruikers op een gamingplatform rapporteert wegens beleidsschendingen zoals godslastering, aanzetten tot haat of intimidatie. Dit vertegenwoordigt een passieve benadering van audiomoderatie. Het systeem neemt alle audiogesprekken op zonder directe analyse. Wanneer een rapport wordt ontvangen, haalt de workflow de bijbehorende audiobestanden op en start het analyseproces. Een menselijke moderator beoordeelt vervolgens het gerapporteerde gesprek en onderzoekt de inhoud ervan om te bepalen of het platformbeleid wordt geschonden.
Als alternatief kan de workflow proactief worden geactiveerd. In een sociale audiochatroom kan het systeem bijvoorbeeld alle gesprekken opnemen en analyses toepassen.
Zowel passieve als proactieve benaderingen kunnen de volgende pijplijn voor audioanalyse activeren.
De workflow voor audiomoderatie omvat de volgende stappen:
- De workflow begint met het ontvangen van het audiobestand en het opslaan ervan op een Amazon eenvoudige opslagservice (Amazon S3) bucket waar Amazon Transcribe toegang toe heeft.
- De Amazon-transcriptie
StartTranscriptionJob
API wordt aangeroepen met Detectie van toxiciteit ingeschakeld. Amazon Transcribe zet de audio om in tekst en biedt aanvullende informatie over toxiciteitsanalyse. Voor meer informatie over toxiciteitsanalyse, zie Markeer schadelijk taalgebruik in gesproken gesprekken met Amazon Transcribe Toxicity Detection. - Als de toxiciteitsanalyse een toxiciteitsscore oplevert die een bepaalde drempel overschrijdt (bijvoorbeeld 50%), kunnen we gebruiken Kennisbanken voor Amazon Bedrock om de boodschap te evalueren aan de hand van aangepast beleid met behulp van LLM's.
- De menselijke moderator ontvangt een gedetailleerd audiomoderatierapport waarin de gesprekssegmenten worden belicht die als giftig en in strijd met het beleid worden beschouwd, zodat hij of zij een weloverwogen beslissing kan nemen.
De volgende schermafbeelding toont een voorbeeldtoepassing die de toxiciteitsanalyse voor een audiosegment weergeeft. Het bevat de originele transcriptie, de resultaten van de Amazon Transcribe-toxiciteitsanalyse en de analyse die is uitgevoerd met behulp van een Amazon Bedrock-kennisbank via het Amazon Bedrock Anthropic Claude V2-model.
De LLM-analyse levert een schendingsresultaat op (Y of N) en legt de reden uit achter de beslissing van het model met betrekking tot beleidsschending. Bovendien bevat de kennisbank de beleidsdocumenten waarnaar wordt verwezen die bij de evaluatie zijn gebruikt, waardoor moderators aanvullende context krijgen.
Amazon Transcribe Toxiciteitsdetectie
Amazon Transcribe is een automatische spraakherkenningsservice (ASR) waarmee ontwikkelaars eenvoudig spraak-naar-tekstmogelijkheden aan hun applicaties kunnen toevoegen. De workflow voor audiomoderatie maakt gebruik van Amazon Transcribe Toxicity Detection, een door machine learning (ML) aangedreven mogelijkheid die audio- en tekstgebaseerde aanwijzingen gebruikt om op stem gebaseerde giftige inhoud te identificeren en te classificeren in zeven categorieën, waaronder seksuele intimidatie, haatzaaiende uitlatingen en bedreigingen. , misbruik, godslastering, beledigingen en expliciet taalgebruik. Naast het analyseren van tekst gebruikt Toxicity Detection spraaksignalen zoals tonen en toonhoogte om giftige bedoelingen in spraak te identificeren.
De audiomoderatieworkflow activeert de beleidsevaluatie van de LLM alleen wanneer de toxiciteitsanalyse een ingestelde drempel overschrijdt. Deze aanpak vermindert de latentie en optimaliseert de kosten door selectief LLM's toe te passen, waardoor een aanzienlijk deel van het verkeer wordt weggefilterd.
Gebruik LLM-prompt-engineering om tegemoet te komen aan aangepast beleid
De vooraf getrainde Toxicity Detection-modellen van Amazon Transcribe en Amazon Comprehend bieden een brede toxiciteittaxonomie, die vaak wordt gebruikt door sociale platforms voor het modereren van door gebruikers gegenereerde inhoud in audio- en tekstformaten. Hoewel deze vooraf getrainde modellen efficiënt problemen met een lage latentie kunnen detecteren, hebt u mogelijk een oplossing nodig om schendingen van uw specifieke bedrijfs- of bedrijfsdomeinbeleid op te sporen, wat met de vooraf getrainde modellen alleen niet kan worden bereikt.
Daarnaast het opsporen van overtredingen in contextuele gesprekken, zoals het identificeren seksuele verzorging van kinderen gesprekken vereist een aanpasbare oplossing waarbij rekening wordt gehouden met de chatberichten en de context daarbuiten, zoals de leeftijd, het geslacht en de gespreksgeschiedenis van de gebruiker. Dit is waar LLM's de flexibiliteit kunnen bieden die nodig is om deze vereisten uit te breiden.
Amazon Bedrock is een volledig beheerde service die een keuze biedt uit goed presterende funderingsmodellen (FM's) van toonaangevende AI-bedrijven. Deze oplossingen gebruiken Anthropic Claude v2 van Amazon Bedrock om audiotranscripties en tekstchatberichten te modereren met behulp van een flexibel promptsjabloon, zoals beschreven in de volgende code:
De sjabloon bevat tijdelijke aanduidingen voor de beleidsbeschrijving, het chatbericht en aanvullende regels waarvoor moderatie vereist is. Het Anthropic Claude V2-model levert antwoorden in het geïnstrueerde formaat (Y of N), samen met een analyse waarin wordt uitgelegd waarom het denkt dat het bericht in strijd is met het beleid. Met deze aanpak kunt u flexibele moderatiecategorieën definiëren en uw beleid in menselijke taal verwoorden.
De traditionele methode voor het trainen van een intern classificatiemodel omvat omslachtige processen zoals data-annotatie, training, testen en modelimplementatie, waarvoor de expertise van datawetenschappers en ML-ingenieurs vereist is. LLM's bieden daarentegen een hoge mate van flexibiliteit. Zakelijke gebruikers kunnen aanwijzingen in menselijke taal wijzigen, wat leidt tot verbeterde efficiëntie en kortere iteratiecycli in ML-modeltraining.
Amazon Bedrock-kennisbanken
Hoewel prompt-engineering efficiënt is voor het aanpassen van beleid, kan het direct injecteren van langdurig beleid en regels in LLM-prompts voor elk bericht latentie veroorzaken en de kosten verhogen. Om dit aan te pakken, gebruiken we de kennisbanken van Amazon Bedrock als een beheerd Retrieval Augmented Generation (RAG)-systeem. Hierdoor kunt u het beleidsdocument flexibel beheren, waardoor de workflow voor elk invoerbericht alleen de relevante beleidssegmenten ophaalt. Dit minimaliseert het aantal tokens dat voor analyse naar de LLM's wordt verzonden.
U kunt gebruik maken van de AWS-beheerconsole om de beleidsdocumenten te uploaden naar een S3-bucket en vervolgens de documenten te indexeren naar een vectordatabase voor efficiënt ophalen. Het volgende is een conceptuele workflow die wordt beheerd door een Amazon Bedrock-kennisbank die documenten ophaalt uit Amazon S3, de tekst in stukjes splitst en de Amazon Bedrock Titan-tekstinsluitingsmodel om de tekstfragmenten om te zetten in vectoren, die vervolgens worden opgeslagen in de vectordatabase.
In deze oplossing gebruiken we Amazon OpenSearch-service als vectoropslag. OpenSearch is een schaalbare, flexibele en uitbreidbare open source-softwaresuite voor zoek-, analyse-, beveiligingsmonitoring- en observatietoepassingen, gelicentieerd onder de Apache 2.0-licentie. OpenSearch Service is een volledig beheerde service die het eenvoudig maakt om OpenSearch in de AWS Cloud te implementeren, schalen en gebruiken.
Nadat het document is geïndexeerd in OpenSearch Service, verzendt de workflow voor audio- en tekstmoderatie chatberichten, waardoor de volgende querystroom voor aangepaste beleidsevaluatie wordt geactiveerd.
Het proces is vergelijkbaar met de initiatieworkflow. Eerst wordt het sms-bericht geconverteerd naar tekstinsluitingen met behulp van de Amazon Bedrock Titan Text Embedding API. Deze inbedding wordt vervolgens gebruikt om een vector zoeken tegen de OpenSearch Service-database, die al is gevuld met documentinsluitingen. De database retourneert beleidssegmenten met de hoogste overeenkomende score, relevant voor het ingevoerde tekstbericht. Vervolgens stellen we prompts op die zowel het invoerchatbericht als het beleidssegment bevatten, die ter evaluatie naar Anthropic Claude V2 worden gestuurd. Het LLM-model retourneert een analyseresultaat op basis van de promptinstructies.
Voor gedetailleerde instructies over hoe u een nieuw exemplaar kunt maken met uw beleidsdocument in een kennisbank van Amazon Bedrock, raadpleegt u Knowledge Bases biedt nu volledig beheerde RAG-ervaring in Amazon Bedrock.
Workflow voor het modereren van tekstchats
De moderatieworkflow voor tekstchats volgt een soortgelijk patroon als audiomoderatie, maar maakt gebruik van Amazon Comprehend-toxiciteitsanalyse, die is afgestemd op tekstmoderatie. De voorbeeldapp ondersteunt een interface voor het uploaden van bulktekstbestanden in CSV- of TXT-indeling en biedt een interface met één bericht voor snel testen. Het volgende diagram illustreert de werkstroom.
De workflow voor tekstmoderatie omvat de volgende stappen:
- De gebruiker uploadt een tekstbestand naar een S3-bucket.
- Amazon Comprehend-toxiciteitsanalyse wordt toegepast op het sms-bericht.
- Als de toxiciteitsanalyse een toxiciteitsscore oplevert die een bepaalde drempel overschrijdt (bijvoorbeeld 50%), gebruiken we een Amazon Bedrock-kennisbank om de boodschap te evalueren aan de hand van aangepast beleid met behulp van de Anthropic Claude V2 LLM.
- Er wordt een beleidsevaluatierapport naar de menselijke moderator gestuurd.
Amazon Begrijp toxiciteitsanalyse
In de workflow voor tekstmoderatie gebruiken we de toxiciteitsanalyse van Amazon Comprehend om het toxiciteitsniveau van de sms-berichten te beoordelen. Amazon Comprehend is een dienst voor natuurlijke taalverwerking (NLP) die ML gebruikt om waardevolle inzichten en verbanden in tekst bloot te leggen. De Amazon Comprehend-API voor toxiciteitsdetectie kent een algemene toxiciteitsscore toe aan tekstinhoud, variërend van 0 tot 1, waarmee de waarschijnlijkheid wordt aangegeven dat deze giftig is. Het categoriseert tekst ook in de volgende categorieën en geeft voor elke categorie een betrouwbaarheidsscore: hate_speech
, grafisch, harrassement_or_abuse
, seksueel, violence_or_threat
, belediging en godslastering.
In deze workflow voor tekstmoderatie speelt Amazon Comprehend-toxiciteitsanalyse een cruciale rol bij het identificeren of het binnenkomende sms-bericht giftige inhoud bevat. Net als bij de audiomoderatieworkflow bevat deze een voorwaarde om de downstream LLM-beleidsevaluatie alleen te activeren wanneer de toxiciteitsanalyse een score retourneert die een vooraf gedefinieerde drempel overschrijdt. Deze optimalisatie helpt de algehele latentie en kosten die gepaard gaan met LLM-analyse te verminderen.
Samengevat
In dit bericht hebben we oplossingen geïntroduceerd voor het modereren van audio- en tekstchats met behulp van AWS-services, waaronder Amazon Transcribe, Amazon Comprehend, Amazon Bedrock en OpenSearch Service. Deze oplossingen maken gebruik van vooraf getrainde modellen voor toxiciteitsanalyse en zijn georkestreerd met generatieve AI LLM's om de optimale balans in nauwkeurigheid, latentie en kosten te bereiken. Ze stellen u ook in staat om uw eigen beleid flexibel te definiëren.
U kunt de voorbeeld-app ervaren door de instructies in de GitHub repo.
Over de auteur
Lana Zhang is een Senior Solutions Architect bij het AWS WWSO AI Services-team, gespecialiseerd in AI en ML voor contentmoderatie, computervisie, natuurlijke taalverwerking en generatieve AI. Met haar expertise is ze toegewijd aan het promoten van AWS AI/ML-oplossingen en het helpen van klanten bij het transformeren van hun zakelijke oplossingen in diverse sectoren, waaronder sociale media, gaming, e-commerce, media, reclame en marketing.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- Bron: https://aws.amazon.com/blogs/machine-learning/moderate-audio-and-text-chats-using-aws-ai-services-and-llms/
- : heeft
- :is
- :niet
- :waar
- 100
- 118
- 14
- 7
- a
- Over
- misbruik
- toegang
- accommoderen
- Account
- nauwkeurigheid
- Bereiken
- over
- activeren
- toevoegen
- toevoeging
- Extra
- Extra informatie
- adres
- ADVERTISING
- tegen
- leeftijd
- AI
- AI-diensten
- AI / ML
- Alles
- Het toestaan
- toestaat
- alleen
- langs
- al
- ook
- Hoewel
- Amazone
- Amazon begrijpt het
- Amazon Transcribe
- Amazon Web Services
- an
- analyse
- analytics
- het analyseren van
- en
- antropisch
- apache
- api
- gebruiken
- Aanvraag
- toepassingen
- toegepast
- Solliciteer
- Het toepassen van
- nadering
- benaderingen
- ZIJN
- AS
- schatten
- helpen
- Assistent
- bijstaan
- geassocieerd
- At
- audio
- aangevuld
- auteur
- Automatisch
- Beschikbaar
- AWS
- Balance
- saldi
- baseren
- gebaseerde
- BE
- geweest
- begint
- achter
- wezen
- zowel
- Breaking
- breed
- bedrijfsdeskundigen
- maar
- by
- CAN
- bekwaamheid
- categorieën
- zeker
- uitdagend
- de chat
- katten
- keuze
- classificatie
- classificeren
- Cloud
- code
- algemeen
- communiceren
- Gemeenschappen
- Bedrijven
- afstand
- begrijpen
- computer
- Computer visie
- conceptuele
- voorwaarde
- uitgevoerd
- vertrouwen
- aansluitingen
- Overwegen
- beschouwd
- aangezien
- bevat
- content
- verband
- contextual
- contrast
- Gesprek
- conversaties
- converteren
- geconverteerd
- Kosten
- Kosten
- kon
- en je merk te creëren
- kritisch
- cruciaal
- hinderlijk
- Klanten
- aanpasbare
- maatwerk
- aangepaste
- cycli
- gegevens
- Database
- beslissen
- beslissing
- toegewijd aan
- bepalen
- Mate
- levert
- implementeren
- inzet
- beschrijving
- gedetailleerd
- opsporen
- Opsporing
- Bepalen
- ontwikkelaars
- diagram
- direct
- weergeven
- diversen
- document
- documenten
- doet
- domein
- beneden
- e-commerce
- elk
- doeltreffendheid
- doeltreffend
- efficiënt
- beide
- inbedding
- machtigen
- in staat stellen
- ingeschakeld
- maakt
- Engineering
- Ingenieurs
- verbeterde
- schatten
- evaluatie
- voorbeeld
- meer dan
- overschrijdt
- ervaring
- expert
- expertise
- uitleggen
- Verklaart
- verlengen
- factoren
- Dien in
- Bestanden
- filtering
- VIND DE PLEK DIE PERFECT VOOR JOU IS
- Voornaam*
- Flexibiliteit
- flexibel
- flexibel
- stroom
- volgend
- volgt
- Voor
- formaat
- Foundation
- vriendelijk
- oppompen van
- geheel
- functionaliteit
- Bovendien
- gaming
- Gaming platform
- Geslacht
- generatie
- generatief
- generatieve AI
- Grafisch
- schadelijk
- haat
- helpt
- haar
- Hoge
- goed presterende
- hoogst
- markeren
- geschiedenis
- Hoe
- How To
- Echter
- HTML
- http
- HTTPS
- menselijk
- identificeren
- het identificeren van
- if
- illustreert
- Onmiddellijk
- in
- omvat
- Inclusief
- Inkomend
- Laat uw omzet
- index
- geïndexeerd
- geeft aan
- wat aangeeft
- industrieën
- informatie
- op de hoogte
- beginnen
- geïnitieerd
- ingewijden
- inwijding
- invoer
- inzichten
- instantie
- instructies
- Belediging
- aandachtig
- Interface
- in
- voorstellen
- geïntroduceerd
- onderzoeken
- ingeroepen
- oproept
- gaat
- problemen
- IT
- herhaling
- HAAR
- Jobomschrijving:
- jpg
- Houden
- kennis
- taal
- Groot
- Wachttijd
- leiden
- leidend
- leren
- Niveau
- Vergunning
- Erkend
- waarschijnlijkheid
- LLM
- Laag
- machine
- machine learning
- maken
- MERKEN
- beheer
- beheerd
- management
- beheren
- veel
- Marketing
- matching
- Mei..
- middel
- Media
- Bericht
- berichten
- methode
- minimaliseert
- ML
- model
- modellen
- matig
- modereren
- gematigdheid
- wijzigen
- Grensverkeer
- meer
- Dan moet je
- Naturel
- Natural Language Processing
- Noodzaak
- nodig
- New
- nlp
- nu
- aantal
- of
- bieden
- Aanbod
- vaak
- on
- Slechts
- open
- open source
- besturen
- optimale
- optimalisatie
- Optimaliseert
- or
- georkestreerd
- orkestreren
- origineel
- Overige
- uit
- geschetst
- buiten
- totaal
- het te bezitten.
- passief
- Patronen
- Uitvoeren
- pijpleiding
- toonhoogte
- platform
- platforms
- Plato
- Plato gegevensintelligentie
- PlatoData
- speelt
- dan
- beleidsmaatregelen door te lezen.
- beleidsmaatregelen
- bevolkte
- deel
- Post
- voorgedefinieerde
- Proactieve
- problemen
- processen
- verwerking
- VULGAIR TAALGEBRUIK
- Het bevorderen van
- prompts
- zorgen voor
- biedt
- het verstrekken van
- vraag
- Quick
- doek
- variërend
- motivering
- ontvangen
- ontvangt
- ontvangende
- erkenning
- record
- archief
- verminderen
- Gereduceerd
- vermindert
- verwijzen
- waarnaar wordt verwezen
- met betrekking tot
- verwant
- relevante
- vertrouwen
- verslag
- gemeld
- Rapportage
- vertegenwoordigt
- vereisen
- Voorwaarden
- vereist
- Reageren
- reacties
- resultaat
- Resultaten
- ophalen
- Retourneren
- beoordelen
- Recensies
- Rol
- Kamer
- Regel
- reglement
- veilig
- Veiligheid
- monster
- voldoen
- schaalbare
- Scale
- oplichting
- wetenschappers
- partituur
- Ontdek
- sectie
- veiligheid
- Zoeken
- segment
- segmenten
- verzendt
- senior
- verzonden
- service
- Diensten
- reeks
- zeven
- Seksueel
- ze
- Shows
- aanzienlijke
- gelijk
- Eenvoudig
- eenvoud
- Social
- social media
- sociale platforms
- Software
- uitsluitend
- oplossing
- Oplossingen
- bron
- gespecialiseerd
- specifiek
- toespraak
- Spraakherkenning
- spraak-naar-tekst
- splits
- gesproken
- Stappen
- mediaopslag
- shop
- opgeslagen
- bewaartemperatuur
- eenvoudig
- dergelijk
- suite
- ondersteuning
- steunen
- system
- TAG
- op maat gemaakt
- ingenomen
- taxonomie
- team
- sjabloon
- Testen
- tekst
- dat
- De
- hun
- Ze
- harte
- Deze
- ze
- denkt
- dit
- bedreigingen
- drempel
- Door
- tijdrovend
- Titan
- naar
- vandaag
- tokens
- traditioneel
- verkeer
- Trainingen
- transformeren
- leiden
- veroorzaakt
- triggering
- Trust
- ontdekken
- voor
- Uploaden
- .
- gebruikt
- Gebruiker
- gebruikers
- toepassingen
- gebruik
- waardevol
- divers
- het verifiëren
- OVERTREDING
- Overtredingen
- visie
- Stem
- we
- web
- webservices
- wanneer
- of
- welke
- en
- Waarom
- Wikipedia
- wil
- Met
- binnen
- zonder
- woorden
- workflow
- You
- Your
- zephyrnet