Mittarit sisällön moderoinnin arvioimiseksi Amazon Rekognitionissa ja muissa sisällönvalvontapalveluissa

Sisällön valvonta on prosessi, jossa seulotaan ja seurataan käyttäjien luomaa sisältöä verkossa. Turvallisen ympäristön tarjoamiseksi sekä käyttäjille että brändeille alustojen on moderoitava sisältöä varmistaakseen, että se noudattaa ennalta määritettyjä, alustalle ja sen yleisölle soveltuvia hyväksyttävää käyttäytymistä koskevia ohjeita.

Kun alusta valvoo sisältöä, hyväksyttävää käyttäjän luomaa sisältöä (UGC) voidaan luoda ja jakaa muiden käyttäjien kanssa. Sopimaton, myrkyllinen tai kielletty käytös voidaan estää, estää reaaliajassa tai poistaa jälkikäteen riippuen alustalla olevista sisällönvalvontatyökaluista ja -menettelyistä.

Voit käyttää Amazon Rekognition -sisällön moderointi tunnistaa sopimatonta, ei-toivottua tai loukkaavaa sisältöä, luoda turvallisempaa käyttökokemusta, tarjota mainostajille tuotemerkkiturvallisuustakuita ja noudattaa paikallisia ja maailmanlaajuisia säädöksiä.

Tässä viestissä käsittelemme keskeisiä elementtejä, joita tarvitaan sisällönvalvontapalvelun suorituskyvyn arvioimiseen eri tarkkuusmittareiden perusteella, ja annamme esimerkin Amazon Rekognitionin käytöstä. Content Moderation API:t.

Mitä arvioida

Kun arvioit sisällönvalvontapalvelua, suosittelemme seuraavia vaiheita.

Ennen kuin voit arvioida API:n suorituskykyä käyttötapauksissasi, sinun on valmisteltava edustava testitietojoukko. Seuraavassa on joitain korkean tason ohjeita:

• Kokoelma – Ota riittävän suuri satunnainen näyte (kuvia tai videoita) tiedoista, jotka haluat lopulta suorittaa Amazon Rekognitionin kautta. Jos esimerkiksi aiot moderoida käyttäjien lataamia kuvia, voit ottaa viikon verran käyttäjäkuvia testiä varten. Suosittelemme valitsemaan sarjan, jossa on tarpeeksi kuvia ilman, että ne ovat liian suuria käsiteltäväksi (kuten 1,000 10,000–XNUMX XNUMX kuvaa), vaikka isommat sarjat ovat parempia.
• Määritelmä – Käytä sovelluksesi sisältöohjeita päättääksesi, minkä tyyppistä vaarallista sisältöä olet kiinnostunut havaitsemaan Amazon Rekognitionista maltillisuus käsitteet taksonomia. Saatat esimerkiksi olla kiinnostunut havaitsemaan kaiken tyyppisen alastomuuden ja graafisen väkivallan tai verisen verisuon.
• huomautus – Nyt tarvitset testisarjallesi ihmisen luoman perustotuuden valituilla tarroilla, jotta voit verrata koneen ennusteita niihin. Tämä tarkoittaa, että jokaiseen kuvaan merkitään valitsemiesi käsitteiden olemassaolo tai puuttuminen. Voit merkitä kuvatietoihisi käyttämällä Amazon SageMaker Ground Totuus (GT) hallita kuvan huomautuksia. Voit viitata GT kuvamerkintöihin, merkintöjen yhdistäminen ja Annotaatiotulosteen käsittely.

Hanki ennusteita testitietojoukostasi Amazon Rekognitionin avulla

Seuraavaksi haluat saada ennusteita testitietojoukostasi.

Ensimmäinen askel on määrittää vähimmäisluottamuspiste (kynnysarvo, kuten 50 %), jolla haluat mitata tuloksia. Oletuskynnyksemme on 50, mikä tarjoaa hyvän tasapainon suuren vaarallisen sisällön hakemisen välillä ilman, että annettaisiin liikaa vääriä ennusteita turvallisesta sisällöstä. Alustallasi voi kuitenkin olla erilaisia ​​liiketoimintatarpeita, joten sinun tulee mukauttaa tätä luottamuskynnystä tarpeen mukaan. Voit käyttää MinConfidence API-pyyntöjesi parametri tasapainottaa sisällön havaitseminen (palauttaminen) havainnoinnin tarkkuuteen (tarkkuus). Jos vähennät MinConfidence, havaitset todennäköisesti suurimman osan sopimattomasta sisällöstä, mutta todennäköisesti poimit myös sisältöä, joka ei itse asiassa ole sopimatonta. Jos lisäät MinConfidence varmistat todennäköisesti, että kaikki havaitsemasi sisältö on todella sopimatonta, mutta osaa sisällöstä ei välttämättä ole merkitty tunnisteella. Suosittelemme kokeilemaan muutamilla MinConfidence arvot tietojoukossasi ja valitse kvantitatiivisesti paras arvo tietoalueellesi.

Suorita seuraavaksi testisarjasi jokainen näyte (kuva tai video) Amazon Rekognition -valvontasovellusliittymän kautta (DetectModerationLabels).

Mittaa mallin tarkkuus kuvista

Voit arvioida mallin tarkkuutta vertaamalla ihmisen luomia totuusmerkintöjä mallin ennusteisiin. Toistat tämän vertailun jokaiselle kuvalle erikseen ja yhdistät sitten koko testisarjan:

• Kuvakohtaiset tulokset – Mallin ennuste määritellään pariksi {label_name, confidence_score} (jossa luottamuspiste >= aiemmin valitsemasi kynnys). Jokaisen kuvan ennuste katsotaan oikeaksi, kun se vastaa perustotuutta (GT). Ennuste on yksi seuraavista vaihtoehdoista:
  • Tosi positiivinen (TP): sekä ennuste että GT ovat "vaarallisia"
  • Todellinen negatiivinen (TN): sekä ennuste että GT ovat "turvallisia"
  • vääriä positiivisia (FP): ennuste sanoo "turvaton", mutta GT on "turvallinen"
  • Väärä negatiivinen (FN): ennuste on "turvallinen", mutta GT on "turvaton"
• Kootut tulokset kaikista kuvista – Seuraavaksi voit koota nämä ennusteet tietojoukkotason tuloksiksi:
  • Väärin positiivinen määrä (FPR) – Tämä on testijoukon kuvien prosenttiosuus, jotka malli on virheellisesti merkinnyt sisältäviksi vaarallista sisältöä: (FP): FP / (TN+FP).
  • Väärin negatiivinen osuus (FNR) – Tämä on testisarjan vaarallisten kuvien prosenttiosuus, jotka malli jää huomaamatta: (FN): FN / (FN+TP).
  • Todellinen positiivinen prosenttiosuus (TPR) – Kutsutaan myös takaisinkutsuksi. Tämä laskee mallin oikein havaitseman tai ennustaman vaarallisen sisällön prosenttiosuuden: TP / (TP + FN) = 1 – FNR.
  • Tarkkuus – Tämä laskee oikeiden ennusteiden prosenttiosuuden (turvaton sisältö) suhteessa tehtyjen ennusteiden kokonaismäärään: TP / (TP+FP).

Tutkitaanpa esimerkkiä. Oletetaan, että testisarjasi sisältää 10,000 9,950 kuvaa: 50 9,800 turvallista ja 9,950 vaarallista. Malli ennustaa oikein 45 50 kuvasta XNUMX XNUMX:stä turvallisiksi ja XNUMX XNUMX:stä vaarallisiksi:

• TP = 45
• TN = 9800
• FP = 9950 - 9800 = 150
• FN = 50 - 45 = 5
• RPF = 150 / (9950 + 150) = 0.015 = 1.5 %
• FNR = 5 / (5 + 45) = 0.1 = 10 %
• TPR/Recall = 45 / (45 + 5) = 0.9 = 90 %
• Tarkkuus = 45 / (45 + 150) = 0.23 = 23 %

Mittaa mallin tarkkuus videoissa

Jos haluat arvioida videoiden suorituskykyä, sinun on suoritettava muutama lisävaihe:

1. Ota näyte kunkin videon kehyksistä. Suosittelemme näytteenottoa tasaisesti nopeudella 0.3–1 kuvaa sekunnissa (fps). Jos video on esimerkiksi koodattu nopeudella 24 fps ja haluat ottaa näytteen yhdestä ruudusta joka 3. sekunti (0.3 fps), sinun on valittava yksi 72 kuvan välein.
2. Suorita nämä näytekehykset Amazon Rekognition -sisällön moderoinnin kautta. Voit joko käyttää videosovellusliittymäämme, joka jo ottaa näytteitä kehyksistä puolestasi (nopeudella 3 fps), tai käyttää kuvasovellusliittymää, jolloin haluat ottaa näytteitä harvemmin. Suosittelemme jälkimmäistä vaihtoehtoa, kun otetaan huomioon videoiden tietojen redundanssi (peräkkäiset kehykset ovat hyvin samanlaisia).
3. Laske ruutukohtaiset tulokset kuten edellisessä osiossa selitettiin (kuvakohtaiset tulokset).
4. Kootulokset koko testisarjalta. Tässä sinulla on kaksi vaihtoehtoa yrityksesi kannalta merkityksellisten tulosten mukaan:
   1. Kehystason tulokset – Tämä pitää kaikkia näytekuvia itsenäisinä kuvina ja aggregoi tulokset täsmälleen kuten aiemmin on kuvattu kuville (FPR, FNR, palautus, tarkkuus). Jos jotkut videot ovat huomattavasti pidempiä kuin toiset, ne lisäävät kehyksiä kokonaismäärään, mikä tekee vertailusta epätasapainoisen. Siinä tapauksessa suosittelemme alkuperäisen näytteenottostrategian muuttamista kiinteään kehysmäärään videota kohti. Voit esimerkiksi ottaa tasaisesti näytteen 50–100 kehystä videota kohden (olettaen, että videot ovat vähintään 2–3 minuutin pituisia).
   2. Videotason tulokset – Joissakin käyttötapauksissa ei ole väliä, pystyykö malli ennustamaan oikein 50 % vai 99 % videon kehyksistä. Jopa yksittäinen virheellinen vaarallinen ennuste yhdessä ruudussa voi laukaista loppupään ihmisen arvioinnin, ja vain videoita, joiden ennusteet ovat 100 % oikein, pidetään todella oikein. Jos tämä on sinun käyttötapasi, suosittelemme, että lasket FPR/FNR/TPR kunkin videon kehysten yli ja harkitset videota seuraavasti:

Kun olet laskenut nämä kullekin videolle erikseen, voit laskea kaikki aiemmin käyttöön ottamamme mittarit:

• Väärin merkittyjen (FP) tai ohitettujen (FN) videoiden prosenttiosuus
• Tarkkuutta ja muistamista

Mittaa suorituskykyä maaleja vastaan

Lopuksi sinun on tulkittava nämä tulokset tavoitteiden ja kykyjesi yhteydessä.

Mieti ensin yrityksesi tarpeita seuraavien seikkojen osalta:

• Päiväys – Opi tiedoistasi (päivittäinen määrä, datatyyppi ja niin edelleen) ja vaarallisen ja turvallisen sisältösi jakelusta. Onko se esimerkiksi tasapainossa (50/50), vinossa (10/90) vai erittäin vinossa (1/99, eli vain 1 % ei ole turvallista)? Tällaisen jakauman ymmärtäminen voi auttaa sinua määrittämään todelliset mittaritavoitteesi. Esimerkiksi turvallisen sisällön määrä on usein suuruusluokkaa suurempi kuin vaarallisen sisällön (erittäin vinossa), mikä tekee tästä melkein poikkeamien havaitsemisongelman. Tässä skenaariossa väärien positiivisten määrä voi olla suurempi kuin todellisten positiivisten, ja voit käyttää tietotietojasi (jakauman vinous, datamäärä ja niin edelleen) päättääksesi, minkä FPR:n kanssa voit työskennellä.
• Metrinen tavoitteet – Mitkä ovat yrityksesi kriittisimmät osa-alueet? FPR:n alentaminen tapahtuu usein korkeamman FNR:n kustannuksella (ja päinvastoin), ja on tärkeää löytää oikea tasapaino, joka toimii sinulle. Jos et voi missata mitään vaarallista sisältöä, haluat todennäköisesti lähes 0 % FNR:n (100 %:n palautus). Tämä aiheuttaa kuitenkin suurimman määrän vääriä positiivisia tuloksia, ja sinun on päätettävä tavoite (maksimi) FPR, jonka kanssa voit työskennellä, perustuen ennusteen jälkeiseen putkeen. Voit halutessasi sallia jonkin verran vääriä negatiivisia, jotta voit löytää paremman tasapainon ja alentaa FPR:ää: esimerkiksi 5 %:n FNR:n hyväksyminen 0 %:n sijaan voi laskea FPR:n 2 %:sta 0.5 %:iin, mikä vähentää huomattavasti määrää. merkityistä sisällöistä.

Kysy seuraavaksi itseltäsi, mitä mekanismeja käytät merkittyjen kuvien jäsentämiseen. Vaikka API:t eivät ehkä tarjoa 0 % FPR:ää ja FNR:ää, se voi silti tuoda valtavia säästöjä ja skaalaa (esimerkiksi merkitsemällä vain 3 % kuvistasi olet jo suodattanut pois 97 % sisällöstäsi). Kun yhdistät sovellusliittymän joidenkin myöhempien mekanismien kanssa, kuten henkilötyövoiman, joka tarkistaa merkityn sisällön, saavutat helposti tavoitteesi (esimerkiksi 0.5 % merkittyä sisältöä). Huomaa, että tämä pariliitos on huomattavasti halvempaa kuin 100 %:n sisältösi ihmisen tarkistaminen.

Kun olet päättänyt loppupään mekanismeistasi, suosittelemme, että arvioit tuettavan suorituskyvyn. Jos sinulla on esimerkiksi työntekijöitä, jotka voivat vahvistaa vain 2 % päivittäisestä sisällöstäsi, sisällönvalvontasovellusliittymämme tavoitetavoitteesi on 2 %:n liputusprosentti (FPR+TPR).

Lopuksi, jos perustotuusmerkintöjen saaminen on liian vaikeaa tai liian kallista (esimerkiksi tietomääräsi on liian suuri), suosittelemme merkitsemään sovellusliittymän ilmoittaman pienen määrän kuvia. Vaikka tämä ei salli FNR-arviointeja (koska tietosi eivät sisällä vääriä negatiivisia), voit silti mitata TPR:n ja FPR:n.

Seuraavassa osiossa tarjoamme ratkaisun kuvan moderoinnin arviointiin. Voit käyttää samanlaista lähestymistapaa videon moderoinnin arvioinnissa.

Ratkaisun yleiskatsaus

Seuraava kaavio havainnollistaa erilaisia ​​AWS-palveluita, joiden avulla voit arvioida Amazon Rekognition -sisällön moderoinnin suorituskykyä testitietojoukossasi.

Sisällön moderoinnin arvioinnissa on seuraavat vaiheet:

1. Lataa arviointitietojoukkosi kohteeseen Amazonin yksinkertainen tallennuspalvelu (Amazon S3).
2. Käytä Ground Truthia määrittääksesi perustotuuden maltillisuustunnisteet.
3. Luo ennustetut valvontatunnisteet käyttämällä Amazon Rekognitionin esikoulutettua moderointisovellusliittymää muutamalla kynnysarvolla. (Esimerkiksi 70%, 75% ja 80%).
4. Arvioi kunkin kynnyksen suorituskykyä laskemalla todelliset positiiviset, todelliset negatiiviset, väärät positiiviset ja väärät negatiiviset. Määritä käyttötapauksesi optimaalinen kynnysarvo.
5. Valinnaisesti voit räätälöidä työvoiman koon oikeiden ja väärien positiivisten tulosten ja käytön perusteella Amazonin laajennettu AI (Amazon A2I) lähettääksesi automaattisesti kaiken merkityn sisällön nimetyille työntekijöillesi manuaalista tarkistusta varten.

Seuraavissa osissa on koodinpätkät vaiheita 1, 2 ja 3 varten. Katso täydellinen päästä päähän -lähdekoodi Jupyter-muistikirja.

Edellytykset

Asenna Jupyter-kannettava tietokone seuraavasti ennen aloittamista:

1. Luo muistikirjan esimerkki in Amazon Sage Maker.
2. Kun muistikirja on aktiivinen, valitse Avaa Jupyter.
3. Valitse Jupyter-kojetaulusta Uusi, ja valitse terminaali.
4. Kirjoita terminaaliin seuraava koodi:

   cd SageMaker
   git clone https://github.com/aws-samples/amazon-rekognition-code-samples.git

5. Avaa muistivihko tätä viestiä varten: content-moderation-evaluation/Evaluating-Amazon-Rekognition-Content-Moderation-Service.ipynb.
6. Lataa arviointitietojoukkosi osoitteeseen Amazonin yksinkertainen tallennuspalvelu (Amazon S3).

Käymme nyt läpi Jupyter-muistikirjan vaiheet 2–4.

Käytä Ground Truthia moderointitunnisteiden määrittämiseen

Määritä tunnisteet Ground Truthissa suorittamalla seuraavat vaiheet:

1. Luo luettelon syöttötiedosto Ground Truth -työtäsi varten ja lataa se Amazon S3:een.
2. Luo merkintäkokoonpano, joka sisältää kaikki Ground Truth -etikettityössä tarvittavat moderointitarrat. Tarkistaaksesi käytettävien tarrakategorioiden lukumäärän rajan, katso Tarraluokkakiintiöt. Seuraavassa koodinpätkässä käytämme viittä tunnistetta (katso Amazon Rekognitionissa käytetty hierarkkinen taksonomia lisätietoja) plus yksi etiketti (Safe_Content), joka merkitsee sisällön turvalliseksi:

   # customize CLASS_LIST to include all labels that can be used to classify sameple data, it's up to 10 labels
   # In order to easily match image label with content moderation service supported taxonomy, 
   
   CLASS_LIST = ["", "", "", "", "", "Safe_Content"]
   print("Label space is {}".format(CLASS_LIST))
   
   json_body = {"labels": [{"label": label} for label in CLASS_LIST]}
   with open("class_labels.json", "w") as f:
       json.dump(json_body, f)
   
   s3.upload_file("class_labels.json", BUCKET, EXP_NAME + "/class_labels.json")

3. Luo mukautettu työntekijän tehtävämalli antaaksesi Ground Truth -työvoimalle merkintäohjeet ja lataa se Amazon S3:een.
   Ground Truth -etikettityö on määritelty kuvan luokittelutehtäväksi (multilabel). Katso lähdekoodista ohjeet ohjemallin mukauttamiseen.
4. Päätä, mitä työvoimaa haluat käyttää Ground Truth -työn suorittamiseen. Sinulla on kaksi vaihtoehtoa (katso lisätietoja lähdekoodista):
   1. Käyttää yksityistä työvoimaa omassa organisaatiossasi merkitsemään arviointitietoaineisto.
   2. Käyttää julkista työvoimaa merkitäksesi arviointitietojoukon.
5. Luo ja lähetä Ground Truth -merkintätyö. Voit myös määrittää seuraavan koodin työn parametrien merkitseminen vastaamaan erityisiä liiketoimintavaatimuksiasi. Katso lähdekoodista täydelliset ohjeet Ground Truth -työn luomiseen ja määrittämiseen.

   human_task_config = {
       "AnnotationConsolidationConfig": {
           "AnnotationConsolidationLambdaArn": acs_arn,
       },
       "PreHumanTaskLambdaArn": prehuman_arn,
       "MaxConcurrentTaskCount": 200,  # 200 images will be sent at a time to the workteam.
       "NumberOfHumanWorkersPerDataObject": 3,  # 3 separate workers will be required to label each image.
       "TaskAvailabilityLifetimeInSeconds": 21600,  # Your workteam has 6 hours to complete all pending tasks.
       "TaskDescription": task_description,
       "TaskKeywords": task_keywords,
       "TaskTimeLimitInSeconds": 180,  # Each image must be labeled within 3 minutes.
       "TaskTitle": task_title,
       "UiConfig": {
           "UiTemplateS3Uri": "s3://{}/{}/instructions.template".format(BUCKET, EXP_NAME),
       },
   }

Kun työ on lähetetty, sinun pitäisi nähdä seuraavanlainen tulos:

Labeling job name is: ground-truth-cm-1662738403

Odota, että arviointitietojoukon merkintätyö on valmis, ja jatka sitten seuraavaan vaiheeseen.

Käytä Amazon Rekognition -valvontasovellusliittymää ennakoitujen valvontatunnisteiden luomiseen.

Seuraava koodinpätkä näyttää kuinka Amazon Rekognitionia käytetään moderointisovellusliittymä moderointitunnisteiden luominen:

client=boto3.client('rekognition')
def moderate_image(photo, bucket):
    response = client.detect_moderation_labels(Image={'S3Object':{'Bucket':bucket,'Name':photo}})
    return len(response['ModerationLabels'])

Arvioi suorituskyky

Hait ensin maan totuuden moderointitunnisteet Ground Truth -merkintätyön tuloksista arviointitietojoukolle, minkä jälkeen suoritit Amazon Rekognition -valvontasovellusliittymän saadaksesi ennustetut moderointitunnisteet samalle tietojoukolle. Koska tämä on binääriluokitusongelma (turvallinen vs. vaarallinen sisältö), laskemme seuraavat tiedot (olettaen, että vaarallinen sisältö on positiivinen):

Laskemme myös vastaavat arviointimittarit:

Seuraava koodinpätkä näyttää, kuinka nämä tiedot lasketaan:

FPR = FP / (FP + TN)
FNR = FN / (FN + TP)
Recall = TP / (TP + FN)
Precision = TP / (TP + FP)

Yhteenveto

Tässä viestissä käsitellään keskeisiä elementtejä, joita tarvitaan sisällönvalvontapalvelusi tehokkuuden arvioimiseen erilaisten tarkkuusmittareiden perusteella. Tarkkuus on kuitenkin vain yksi monista ulottuvuuksista, jotka sinun on arvioitava valitessasi tiettyä sisällönvalvontapalvelua. On tärkeää, että sisällytät muita parametreja, kuten palvelun koko ominaisuusjoukon, helppokäyttöisyyden, olemassa olevat integraatiot, yksityisyyden ja suojauksen, mukautusvaihtoehdot, skaalautuvuuden vaikutukset, asiakaspalvelun ja hinnoittelun. Lisätietoja sisällön hallinnasta Amazon Rekognitionissa on osoitteessa Amazon Rekognition -sisällön moderointi.

Tietoja kirjoittajista

Amit Gupta on AWS:n vanhempi AI-palveluratkaisuarkkitehti. Hän haluaa tarjota asiakkailleen hyvin suunniteltuja koneoppimisratkaisuja laajassa mittakaavassa.

Davide Modolo on Applied Science Manager AWS AI Labsissa. Hän on valmistunut tohtoriksi tietokonenäön alalta Edinburghin yliopistosta (Iso-Britannia), ja hän on intohimoinen uusien tieteellisten ratkaisujen kehittämiseen todellisiin asiakasongelmiin. Työn ulkopuolella hän nauttii matkustamisesta ja kaikenlaisesta urheilusta, erityisesti jalkapallosta.

Jian Wu on AWS:n vanhempi yritysratkaisuarkkitehti. Hän on työskennellyt AWS:ssä 6 vuotta kaikenkokoisten asiakkaiden kanssa. Hän haluaa auttaa asiakkaita innovoimaan nopeammin ottamalla käyttöön pilven ja tekoälyn/ML:n. Ennen AWS:ään liittymistään Jian keskittyi yli 10 vuotta ohjelmistokehitykseen, järjestelmän käyttöönottoon ja infrastruktuurin hallintaan. Työn ohella hän viihtyy aktiivisesti ja viettää aikaa perheensä kanssa.