Ilmoita haitallisesta sisällöstä käyttämällä Amazon Comprehend Toxicity Detection -toimintoa

Julkaissut Platon

seuraajia: 0

Verkkoyhteisöt lisäävät käyttäjien sitoutumista eri aloilla, kuten pelaaminen, sosiaalinen media, verkkokauppa, treffit ja verkko-oppiminen. Näiden verkkoyhteisöjen jäsenet luottavat alustan omistajiin tarjoamaan turvallisen ja osallistavan ympäristön, jossa he voivat vapaasti kuluttaa sisältöä ja osallistua. Sisällön valvojia käytetään usein tarkistamaan käyttäjien luomaa sisältöä ja varmistamaan, että se on turvallista ja käyttöehtojesi mukaista. Kuitenkin jatkuvasti kasvava sopimattoman sisällön mittakaava, monimutkaisuus ja monimuotoisuus tekevät ihmisten moderoinnin työnkuluista skaalautumattomia ja kalliita. Tuloksena on köyhiä, haitallisia ja ei-kallistavia yhteisöjä, jotka irrottavat käyttäjiä ja vaikuttavat kielteisesti yhteisöön ja liiketoimintaan.

Koneella luotu sisältö on käyttäjien luoman sisällön lisäksi tuonut uuden haasteen sisällön moderointiin. Se luo automaattisesti erittäin realistista sisältöä, joka voi olla sopimatonta tai haitallista laajassa mittakaavassa. Teollisuudella on edessään uusi haaste: tekoälyn luoman sisällön automaattinen moderointi suojellakseen käyttäjiä haitallisilta materiaaleilta.

Tässä viestissä esittelemme myrkyllisyyden havaitsemisen, uuden ominaisuuden Amazonin käsitys joka auttaa tunnistamaan automaattisesti haitallisen sisällön käyttäjien tai koneen luomasta tekstistä. Tämä sisältää pelkkää tekstiä, kuvista poimittua tekstiä ja ääni- tai videosisällöstä litteroitua tekstiä.

Tunnista myrkyllisyys tekstisisällöstä Amazon Comprehendillä

Amazon Comprehend on luonnollisen kielen käsittelypalvelu (NLP), joka käyttää koneoppimista (ML) löytääkseen arvokkaita oivalluksia ja yhteyksiä tekstistä. Se tarjoaa valikoiman ML-malleja, jotka voidaan joko esikouluttaa tai mukauttaa API-rajapintojen kautta. Amazon Comprehend tarjoaa nyt suoraviivaisen, NLP-pohjaisen ratkaisun myrkyllisen sisällön havaitsemiseen tekstistä.

Amazon Comprehend Toxicity Detection API antaa tekstisisällölle yleisen myrkyllisyyden arvosanan, joka vaihtelee välillä 0–1, mikä osoittaa sen myrkyllisyyden todennäköisyyden. Se myös luokittelee tekstin seuraaviin seitsemään luokkaan ja antaa jokaiselle luotettavuuspisteet:

VIHA_PUHE – Puhe, joka arvostelee, loukkaa, tuomitsee tai epäinhimillistä henkilöä tai ryhmää identiteetin perusteella, olipa kyseessä sitten rotu, etnisyys, sukupuoli-identiteetti, uskonto, seksuaalinen suuntautuminen, kyky, kansallinen alkuperä tai muu identiteettiryhmä.
GRAPHIC – Puhe, jossa käytetään visuaalisesti kuvaavia, yksityiskohtaisia ja epämiellyttävän eloisia kuvia. Tällainen kielenkäyttö tehdään usein monisanaiseksi, jotta se voimistaa loukkausta tai epämukavuutta tai haittaa vastaanottajalle.
HARASSMENT_OR_ABUSE – Puhe, joka asettaa häiritsevää voimadynamiikkaa puhujan ja kuulijan välille (aikomuksesta riippumatta), pyrkii vaikuttamaan vastaanottajan psyykkiseen hyvinvointiin tai objektiivisii henkilöä.
SEXUAL – Puhe, joka osoittaa seksuaalista kiinnostusta, aktiivisuutta tai kiihottumista käyttämällä suoria tai epäsuoria viittauksia kehon osiin, fyysisiin piirteisiin tai sukupuoleen.
VIOLENCE_OR_THREAT – Puhe, joka sisältää uhkauksia, joilla pyritään aiheuttamaan kipua, vammoja tai vihamielisyyttä henkilöä tai ryhmää kohtaan.
LOUKKAUS – Puhe, joka sisältää alentavaa, nöyryyttävää, pilkkaavaa, loukkaavaa tai vähättelevää kieltä.
HYVYYS – Puhe, joka sisältää sanoja, lauseita tai lyhenteitä, jotka ovat epäkohteliasta, mautonta tai loukkaavaa.

Voit käyttää Toxicity Detection API:ta kutsumalla sitä suoraan käyttämällä AWS-komentoriviliitäntä (AWS CLI) ja AWS SDK:t. Myrkyllisyyden havaitsemista Amazon Comprehendissä tuetaan tällä hetkellä englannin kielellä.

Käyttötapaukset

Tekstin moderaatiolla on ratkaiseva rooli käyttäjien luoman sisällön hallinnassa eri muodoissa, mukaan lukien sosiaalisen median viestit, online-chat-viestit, keskustelupalstat, verkkosivustojen kommentit ja paljon muuta. Lisäksi video- ja äänisisältöä hyväksyvät alustat voivat käyttää tätä ominaisuutta transkriptoidun äänisisällön moderointiin.

Generatiivisten tekoälyjen ja suurten kielimallien (LLM) ilmaantuminen edustaa uusinta trendiä tekoälyn alalla. Tämän seurauksena on kasvava tarve responsiivisille ratkaisuille LLM:ien tuottaman sisällön moderointiin. Amazon Comprehend Toxicity Detection API soveltuu ihanteellisesti tähän tarpeeseen.

Amazon Comprehend Toxicity Detection API -pyyntö

Voit lähettää Toxicity Detection API:lle enintään 10 tekstisegmenttiä, joiden kokorajoitus on 1 kt. Pyynnön jokainen tekstisegmentti käsitellään itsenäisesti. Seuraavassa esimerkissä luomme JSON-tiedoston nimeltä toxicity_api_input.json sisältää tekstisisällön, mukaan lukien kolme mallitekstiosaa moderointia varten. Huomaa, että esimerkissä hävyttömät sanat on peitetty nimellä XXXX.

{ "TextSegments": [ {"Text": "and go through the door go through the door he's on the right"}, {"Text": "he's on the right XXXXX him"}, {"Text": "what the XXXX are you doing man that's why i didn't want to play"} ], "LanguageCode": "en"
}

Voit käyttää AWS CLI:tä Toxicity Detection API:n käynnistämiseen käyttämällä edellistä tekstisisällön sisältävää JSON-tiedostoa:

aws comprehend detect-toxic-content --cli-input-json file://toxicity_api_input.json

Amazon Comprehend Toxicity Detection API -vastaus

Toxicity Detection API -vastauksen JSON-lähtö sisältää myrkyllisyysanalyysin tuloksen ResultList ala. ResultList luettelee tekstisegmentin kohteet, ja järjestys edustaa järjestystä, jossa tekstisekvenssit vastaanotettiin API-pyynnössä. Toksisuus edustaa havaitsemisen yleistä luottamuspistettä (välillä 0–1). Labels sisältää luettelon myrkyllisyysmerkinnöistä luotettavuuspisteineen, jotka on luokiteltu myrkyllisyyden tyypin mukaan.

Seuraava koodi näyttää JSON-vastauksen Toxicity Detection API:lta edellisen osion pyyntöesimerkin perusteella:

{ "ResultList": [ { "Toxicity": 0.009200000204145908, "Labels": [ { "Name": "PROFANITY", "Score": 0.0007999999797903001}, { "Name": "HATE_SPEECH", "Score": 0.0017999999690800905}, { "Name": "INSULT", "Score": 0.003000000026077032}, { "Name": "GRAPHIC", "Score": 0.0010000000474974513}, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.0013000000035390258}, { "Name": "SEXUAL", "Score": 0.0017000000225380063}, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.004999999888241291} ] }, { "Toxicity": 0.7358999848365784, "Labels": [ { "Name": "PROFANITY", "Score": 0.011900000274181366}, { "Name": "HATE_SPEECH", "Score": 0.019500000402331352}, { "Name": "INSULT", "Score": 0.0714000016450882}, { "Name": "GRAPHIC", "Score": 0.006099999882280827}, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.018200000748038292}, { "Name": "SEXUAL", "Score": 0.0027000000700354576}, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.8145999908447266} ] }, { "Toxicity": 0.9843000173568726, "Labels": [ { "Name": "PROFANITY", "Score": 0.9369999766349792 }, { "Name": "HATE_SPEECH", "Score": 0.30880001187324524 }, { "Name": "INSULT", "Score": 0.42100000381469727 }, { "Name": "GRAPHIC", "Score": 0.12630000710487366 }, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.25519999861717224 }, { "Name": "SEXUAL", "Score": 0.19169999659061432 }, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.19539999961853027 } ] } ]
}

Edellisessä JSON-versiossa ensimmäistä tekstisegmenttiä pidetään turvallisena ja sen myrkyllisyyspisteet ovat alhaiset. Kuitenkin toinen ja kolmas tekstisegmentti saivat toksisuuspisteet 73 % ja 98 %. Toisen segmentin osalta Amazon Comprehend havaitsee korkean myrkyllisyyspisteen VIOLENCE_OR_THREAT; kolmannen segmentin osalta se havaitsee PROFANITY korkealla toksisuuspisteellä.

Esimerkkipyyntö Python SDK:lla

Seuraava koodinpätkä osoittaa, kuinka Python SDK:ta käytetään Toxicity Detection API:n käynnistämiseen. Tämä koodi vastaanottaa saman JSON-vastauksen kuin aiemmin esitelty AWS CLI -komento.

import boto3 import base64
# Initialize a Comprehend boto3 client object
comprehend_client = session.client('comprehend') # Call comprehend Detect Toxic Content API with text segments
response = comprehend_client.detect_toxic_content( TextSegments=[ {"Text": "and go through the door go through the door he's on the right"}, {"Text": "he's on the right XXXXX him"}, {"Text": "what the XXXX are you doing man that's why i didn't want to play"} ], LanguageCode='en'
)

Yhteenveto

Tässä viestissä annoimme yleiskatsauksen uudesta Amazon Comprehend Toxicity Detection API:sta. Kuvasimme myös, kuinka voit jäsentää API-vastauksen JSON-tiedoston. Lisätietoja on kohdassa Ymmärrä API-asiakirja.

Amazon Comprehend myrkyllisyyden tunnistus on nyt yleisesti saatavilla neljällä alueella: us-east-1, us-west-2, eu-west-1 ja ap-southeast-2.

Lisätietoja sisällön valvonnasta on kohdassa Ohjeita sisällön moderointiin AWS:ssä. Ota ensimmäinen askel kohti virtaviivaistaa sisällönvalvontatoimintojasi AWS:n avulla.

Tietoja Tekijät

Lana Zhang on AWS WWSO AI Services -tiimin vanhempi ratkaisuarkkitehti, joka on erikoistunut tekoälyyn ja ML:ään sisällön moderointiin, tietokonenäköön, luonnollisen kielen käsittelyyn ja generatiiviseen tekoälyyn. Asiantuntijuudellaan hän on omistautunut edistämään AWS AI/ML -ratkaisuja ja auttamaan asiakkaita muuttamaan liiketoimintaratkaisujaan eri toimialoilla, mukaan lukien sosiaalinen media, pelit, sähköinen kaupankäynti, media, mainonta ja markkinointi.

Ravisha SK on AWS:n tekninen vanhempi tuotepäällikkö keskittyen tekoälyyn/ML:ään. Hänellä on yli 10 vuoden kokemus data-analytiikasta ja koneoppimisesta eri aloilla. Vapaa-ajallaan hän nauttii lukemisesta, keittiössä kokeilemisesta ja uusista kahviloista.