Segnala linguaggio dannoso nelle conversazioni parlate con Amazon Transcribe Rilevamento di tossicità

Ripubblicato da Platone

Seguaci: 0

L’aumento delle attività sociali online come i social network o i giochi online è spesso caratterizzato da comportamenti ostili o aggressivi che possono portare a manifestazioni non richieste di incitamento all’odio, cyberbullismo o molestie. Ad esempio, molte comunità di gioco online offrono funzionalità di chat vocale per facilitare la comunicazione tra i propri utenti. Sebbene la chat vocale spesso supporti battute amichevoli e chiacchiere indecenti, può anche portare a problemi come incitamento all'odio, cyberbullismo, molestie e truffe. La segnalazione di linguaggio dannoso aiuta le organizzazioni a mantenere le conversazioni civili e a mantenere un ambiente online sicuro e inclusivo in cui gli utenti possano creare, condividere e partecipare liberamente. Oggi molte aziende si affidano esclusivamente a moderatori umani per esaminare i contenuti tossici. Tuttavia, ridimensionare i moderatori umani per soddisfare queste esigenze con una qualità e una velocità sufficienti è costoso. Di conseguenza, molte organizzazioni rischiano di dover affrontare elevati tassi di abbandono degli utenti, danni alla reputazione e sanzioni normative. Inoltre, i moderatori sono spesso colpiti psicologicamente dalla revisione del contenuto tossico.

Amazon Transcribe è un servizio di riconoscimento vocale automatico (ASR) che consente agli sviluppatori di aggiungere facilmente funzionalità di sintesi vocale alle loro applicazioni. Oggi siamo entusiasti di annunciarlo Rilevamento della tossicità di Amazon Transcribe, una funzionalità basata sull'apprendimento automatico (ML) che utilizza segnali audio e testuali per identificare e classificare contenuti tossici basati sulla voce in sette categorie, tra cui molestie sessuali, incitamento all'odio, minacce, abusi, volgarità, insulti e linguaggio grafico . Oltre al testo, il rilevamento della tossicità utilizza segnali vocali come toni e intonazione per individuare l'intento tossico nel parlato.

Si tratta di un miglioramento rispetto ai sistemi di moderazione dei contenuti standard progettati per concentrarsi solo su termini specifici, senza tenere conto delle intenzioni. La maggior parte delle aziende ha uno SLA di 7-15 giorni per rivedere i contenuti segnalati dagli utenti perché i moderatori devono ascoltare lunghi file audio per valutare se e quando la conversazione è diventata tossica. Con Amazon Transcribe Toxicity Detection, i moderatori esaminano solo la parte specifica del file audio contrassegnata per contenuti tossici (rispetto all'intero file audio). Il contenuto che i moderatori umani devono rivedere è ridotto del 95%, consentendo ai clienti di ridurre il loro SLA a poche ore, oltre a consentire loro di moderare in modo proattivo più contenuti oltre a quelli segnalati dagli utenti. Permetterà alle aziende di rilevare e moderare automaticamente i contenuti su larga scala, fornire un ambiente online sicuro e inclusivo e agire prima che ciò possa causare abbandono degli utenti o danni alla reputazione. I modelli utilizzati per il rilevamento dei contenuti tossici vengono gestiti da Amazon Transcribe e aggiornati periodicamente per mantenerne l'accuratezza e la pertinenza.

In questo post imparerai come:

Identifica i contenuti dannosi nel parlato con il rilevamento della tossicità di Amazon Transcribe
Utilizza la console Amazon Transcribe per il rilevamento della tossicità
Crea un lavoro di trascrizione con rilevamento della tossicità utilizzando il file Interfaccia della riga di comando di AWS (AWS CLI) e SDK Python
Utilizza la risposta API di rilevamento della tossicità di Amazon Transcribe

Rileva la tossicità nella chat audio con Amazon Transcribe Toxicity Detection

Amazon Transcribe ora fornisce una soluzione semplice basata su ML per segnalare linguaggio dannoso nelle conversazioni parlate. Questa funzionalità è particolarmente utile per i social media, i giochi e le esigenze generali, eliminando la necessità per i clienti di fornire i propri dati per addestrare il modello ML. Il rilevamento della tossicità classifica i contenuti audio tossici nelle seguenti sette categorie e fornisce un punteggio di confidenza (0–1) per ciascuna categoria:

profanità – Discorso che contiene parole, frasi o acronimi scortesi, volgari o offensivi.
Discorso dell'odio – Discorso che critica, insulta, denuncia o disumanizza una persona o un gruppo sulla base di un’identità (come razza, etnia, genere, religione, orientamento sessuale, abilità e origine nazionale).
Sessuale – Discorso che indica interesse, attività o eccitazione sessuale utilizzando riferimenti diretti o indiretti a parti del corpo, tratti fisici o sesso.
Insulti – Discorso che include un linguaggio umiliante, umiliante, beffardo, offensivo o sminuente. Questo tipo di linguaggio è anche etichettato come bullismo.
Violenza o minaccia – Discorso che include minacce che cercano di infliggere dolore, lesioni o ostilità verso una persona o un gruppo.
Grafico – Discorso che utilizza immagini visivamente descrittive e spiacevolmente vivide. Questo tipo di linguaggio è spesso intenzionalmente prolisso per amplificare il disagio del destinatario.
Molestie o abusi – Discorso inteso a influenzare il benessere psicologico del destinatario, compresi termini umilianti e oggettivanti.

Puoi accedere al rilevamento di tossicità tramite la console Amazon Transcribe o chiamando direttamente le API utilizzando l'AWS CLI o gli SDK AWS. Sulla console Amazon Transcribe puoi caricare i file audio di cui desideri testare la tossicità e ottenere risultati in pochi clic. Amazon Transcribe identificherà e classificherà i contenuti tossici, come molestie, incitamento all'odio, contenuti di natura sessuale, violenza, insulti e linguaggio volgare. Amazon Transcribe fornisce inoltre un punteggio di affidabilità per ciascuna categoria, fornendo informazioni preziose sul livello di tossicità del contenuto. Il rilevamento della tossicità è attualmente disponibile nell'API standard di Amazon Transcribe per l'elaborazione batch e supporta la lingua inglese statunitense.

Procedura dettagliata sulla console Amazon Transcribe

Per iniziare, accedi a Console di gestione AWS e vai su Amazon Transcribe. Per creare un nuovo lavoro di trascrizione, devi caricare i file registrati in un file Servizio di archiviazione semplice Amazon (Amazon S3) prima che possano essere elaborati. Nella pagina delle impostazioni audio, come mostrato nello screenshot seguente, abilita Rilevamento della tossicità e procedere con la creazione del nuovo lavoro. Amazon Transcribe elaborerà il processo di trascrizione in background. Man mano che il lavoro avanza, puoi aspettarti che lo stato cambi in COMPLETATO quando il processo è terminato.

Per rivedere i risultati di un lavoro di trascrizione, scegli il lavoro dall'elenco dei lavori per aprirlo. Scorri verso il basso fino a Anteprima della trascrizione sezione per verificare i risultati su Tossicità scheda. L'interfaccia utente mostra segmenti di trascrizione codificati a colori per indicare il livello di tossicità, determinato dal punteggio di confidenza. Per personalizzare la visualizzazione, è possibile utilizzare le barre di attivazione/disattivazione nel Filtri Pannello. Queste barre consentono di regolare le soglie e filtrare di conseguenza le categorie di tossicità.

Lo screenshot seguente ha coperto parti del testo della trascrizione a causa della presenza di informazioni sensibili o tossiche.

API di trascrizione con una richiesta di rilevamento della tossicità

In questa sezione ti guidiamo attraverso la creazione di un lavoro di trascrizione con rilevamento della tossicità utilizzando le interfacce di programmazione. Se il file audio non è già in un bucket S3, caricalo per garantire l'accesso da parte di Amazon Transcribe. Analogamente alla creazione di un lavoro di trascrizione sulla console, quando si richiama il lavoro, è necessario fornire i seguenti parametri:

TranscriptionJobName – Specificare un nome lavoro univoco.
MediaFileUri – Inserisci la posizione URI del file audio su Amazon S3. Amazon Transcribe supporta i seguenti formati audio: MP3, MP4, WAV, FLAC, AMR, OGG o WebM
Codice Lingua - Impostato en-US. Al momento della stesura di questo documento, il rilevamento della tossicità supporta solo la lingua inglese americana.
Categorie di tossicità - Passa il ALL valore per includere tutte le categorie di rilevamento della tossicità supportate.

Di seguito sono riportati esempi di avvio di un lavoro di trascrizione con rilevamento della tossicità abilitato utilizzando Python3:

import time
import boto3 transcribe = boto3.client('transcribe', 'us-east-1')
job_name = "toxicity-detection-demo"
job_uri = "s3://my-bucket/my-folder/my-file.wav" # start a transcription job
transcribe.start_transcription_job( TranscriptionJobName = job_name, Media = { 'MediaFileUri': job_uri }, OutputBucketName = 'doc-example-bucket', OutputKey = 'my-output-files/', LanguageCode = 'en-US', ToxicityDetection = [{'ToxicityCategories': ['ALL']}]
) # wait for the transcription job to complete
while True: status = transcribe.get_transcription_job(TranscriptionJobName = job_name) if status['TranscriptionJob']['TranscriptionJobStatus'] in ['COMPLETED', 'FAILED']: break print("Not ready yet...") time.sleep(5) print(status)

Puoi richiamare lo stesso processo di trascrizione con rilevamento della tossicità utilizzando il seguente comando AWS CLI:

aws transcribe start-transcription-job --region us-east-1 --transcription-job-name toxicity-detection-demo --media MediaFileUri=s3://my-bucket/my-folder/my-file.wav --output-bucket-name doc-example-bucket --output-key my-output-files/ --language-code en-US --toxicity-detection ToxicityCategories=ALL

API di trascrizione con risposta di rilevamento della tossicità

L'output JSON del rilevamento della tossicità di Amazon Transcribe includerà i risultati della trascrizione nel campo dei risultati. L'abilitazione del rilevamento della tossicità aggiunge un campo aggiuntivo chiamato toxicityDetection sotto il campo dei risultati. toxicityDetection include un elenco di elementi trascritti con i seguenti parametri:

testo – Il testo grezzo trascritto
tossicità – Un punteggio di confidenza del rilevamento (un valore compreso tra 0 e 1)
categoria – Un punteggio di confidenza per ciascuna categoria di discorso tossico
Ora di inizio – La posizione iniziale del rilevamento nel file audio (secondi)
Tempo scaduto – La posizione finale del rilevamento nel file audio (secondi)

Di seguito è riportato un esempio di risposta abbreviata al rilevamento della tossicità che è possibile scaricare dalla console:

{ "results":{ "transcripts": [...], "items":[...], "toxicityDetection": [ { "text": "A TOXIC TRANSCRIPTION SEGMENT GOES HERE.", "toxicity": 0.8419, "categories": { "PROFANITY": 0.7041, "HATE_SPEECH": 0.0163, "SEXUAL": 0.0097, "INSULT": 0.8532, "VIOLENCE_OR_THREAT": 0.0031, "GRAPHIC": 0.0017, "HARASSMENT_OR_ABUSE": 0.0497 }, "start_time": 16.298, "end_time": 20.35 }, ... ] }, "status": "COMPLETED"
}

Sommario

In questo post, abbiamo fornito una panoramica della nuova funzionalità di rilevamento della tossicità di Amazon Transcribe. Abbiamo anche descritto come analizzare l'output JSON del rilevamento della tossicità. Per ulteriori informazioni, consulta la console Amazon Transcribe e prova l'API di trascrizione con rilevamento della tossicità.

Amazon Transcribe Toxicity Detection è ora disponibile nelle seguenti regioni AWS: Stati Uniti orientali (Ohio), Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (Oregon), Asia Pacifico (Sydney), Europa (Irlanda) ed Europa (Londra). Per saperne di più, visita Amazon Transcribe.

Scopri moderazione dei contenuti su AWS e il nostro casi d'uso ML di moderazione dei contenuti. Fai il primo passo verso semplificando le operazioni di moderazione dei contenuti con AWS.

Circa l'autore

Lana Zhang è Senior Solutions Architect presso il team AWS WWSO AI Services, specializzato in AI e ML per la moderazione dei contenuti, la visione artificiale e l'elaborazione del linguaggio naturale. Con la sua esperienza, si dedica alla promozione delle soluzioni AWS AI/ML e assiste i clienti nella trasformazione delle loro soluzioni aziendali in diversi settori, tra cui social media, giochi, e-commerce, pubblicità e marketing.

Sumit Kumar è un Senior Product Manager, tecnico presso il team AWS AI Language Services. Ha 10 anni di esperienza nella gestione dei prodotti in una varietà di domini ed è appassionato di AI/ML. Al di fuori del lavoro, Sumit ama viaggiare e si diverte a giocare a cricket e tennis su prato.