Mõõdikud sisu modereerimise hindamiseks Amazon Rekognitionis ja muudes sisu modereerimisteenustes

Sisu modereerimine on võrgus kasutajate loodud sisu sõelumine ja jälgimine. Nii kasutajatele kui ka kaubamärkidele turvalise keskkonna pakkumiseks peavad platvormid sisu modereerima, tagamaks, et see vastaks platvormile ja selle vaatajaskonnale kehtivatele vastuvõetava käitumise juhistele.

Kui platvorm sisu modereerib, saab luua vastuvõetava kasutaja loodud sisu (UGC) ja jagada seda teiste kasutajatega. Sobimatut, mürgist või keelatud käitumist saab ennetada, reaalajas blokeerida või pärast seda eemaldada, olenevalt platvormi sisu modereerimise tööriistadest ja protseduuridest.

Võite kasutada Amazon Rekognitioni sisu modereerimine sobimatu, soovimatu või solvava sisu tuvastamiseks, turvalisema kasutuskogemuse loomiseks, reklaamijatele brändiohutuse tagatiste pakkumiseks ning kohalike ja ülemaailmsete eeskirjade järgimiseks.

Selles postituses käsitleme põhielemente, mis on vajalikud sisu modereerimisteenuse toimivuse aspekti hindamiseks erinevate täpsusmõõdikute osas, ja anname näite Amazon Rekognitioni kasutamisest. Sisu modereerimise API-d.

Mida hinnata

Sisu modereerimisteenuse hindamisel soovitame järgmisi samme.

Enne API toimivuse hindamist oma kasutusjuhtudel peate valmistama ette representatiivse testandmestiku. Järgmised on mõned kõrgetasemelised juhised.

• kogumine – Võtke piisavalt suur juhuslik proov (pildid või videod) andmetest, mida soovite lõpuks Amazon Rekognitioni kaudu käivitada. Näiteks kui plaanite modereerida kasutajate üleslaaditud pilte, võite testi jaoks võtta nädala jagu kasutajapilte. Soovitame valida komplekti, millel on piisavalt pilte, ilma et need oleksid töötlemiseks liiga suured (nt 1,000–10,000 XNUMX pilti), kuigi suuremad komplektid on paremad.
• Määratlus – Kasutage oma rakenduse sisujuhiseid, et otsustada, millist tüüpi ebaturvalist sisu soovite Amazon Rekognitionist tuvastada. mõõdukuse mõisted taksonoomia. Näiteks võite olla huvitatud igasuguse selgesõnalise alastuse ja graafilise vägivalla või verevalamise tuvastamisest.
• Märkus – Nüüd vajate valitud siltide abil oma testikomplekti jaoks inimese loodud põhitõde, et saaksite masina ennustusi nendega võrrelda. See tähendab, et igale pildile on lisatud märkused teie valitud mõistete olemasolu või puudumise kohta. Pildiandmetele märkuste lisamiseks võite kasutada Amazon SageMaker Ground Truth (GT) pildi annotatsiooni haldamiseks. Võite viidata GT piltide märgistamiseks, annotatsioonide koondamine ja annotatsiooni väljundi töötlemine.

Saate Amazon Rekognitioni abil ennustusi oma testiandmestiku kohta

Järgmisena soovite saada ennustusi oma testiandmestiku kohta.

Esimene samm on otsustada, milline on minimaalne usaldusskoor (läviväärtus, näiteks 50%), mille juures soovite tulemusi mõõta. Meie vaikelävi on seatud 50-le, mis pakub head tasakaalu suure hulga ebaturvalise sisu hankimise vahel, ilma et tekiks liiga palju valesid ennustusi turvalise sisu kohta. Kuid teie platvormil võivad olla erinevad ärivajadused, seega peaksite seda usaldusläve vastavalt vajadusele kohandama. Võite kasutada MinConfidence parameeter teie API taotlustes, et tasakaalustada sisu tuvastamist (tagasikutsumist) ja tuvastamise täpsust (täpsus). Kui vähendate MinConfidence, avastate tõenäoliselt suurema osa sobimatust sisust, kuid tõenäoliselt leiate ka sisu, mis tegelikult pole sobimatu. Kui suurendate MinConfidence tõenäoliselt tagate, et kogu teie tuvastatud sisu on tõesti sobimatu, kuid mõnda sisu ei pruugita märgistada. Soovitame katsetada mõnega MinConfidence väärtusi oma andmestikus ja valige kvantitatiivselt oma andmedomeeni jaoks parim väärtus.

Järgmisena käivitage testikomplekti iga näidis (pilt või video) Amazon Rekognitioni modereerimise API kaudu (DetectModeration Labels).

Mõõtke piltidel mudeli täpsust

Saate hinnata mudeli täpsust, kui võrrelda inimese loodud põhitõe märkusi mudeli ennustustega. Korrate seda võrdlust iga pildi jaoks eraldi ja seejärel koondate kogu testikomplekti:

• Pildipõhised tulemused – Mudeli ennustus määratletakse paarina {label_name, confidence_score} (kus usaldusskoor >= teie varem valitud lävi). Iga pildi puhul loetakse ennustus õigeks, kui see ühtib põhitõega (GT). Ennustus on üks järgmistest valikutest.
  • Tõeliselt positiivne (TP): nii ennustus kui ka GT on "ebaturvalised"
  • Tõeline negatiivne (TN): nii ennustus kui ka GT on "ohutud"
  • valepositiivseid (FP): ennustus ütleb "ebaturvaline", kuid GT on "turvaline"
  • Valenegatiivne (FN): ennustus on "turvaline", kuid GT on "ebaturvaline"
• Koondtulemused kõigi piltide kohta – Järgmisena saate need ennustused koondada andmestikutaseme tulemusteks.
  • Valepositiivne määr (FPR) – See on katsekomplektis olevate piltide protsent, mille mudel on valesti märgistanud kui ebaturvalist sisu: (FP): FP / (TN+FP).
  • Valenegatiivne määr (FNR) – See on testkomplektis olevate ebaturvaliste kujutiste protsent, mis mudelil vahele jäid: (FN): FN / (FN+TP).
  • Tõeline positiivne määr (TPR) – Seda nimetatakse ka tagasikutsumiseks, see arvutab mudeli poolt õigesti avastatud või ennustatud ebaturvalise sisu (põhitõde) protsendi: TP / (TP + FN) = 1 – FNR.
  • Täpsus – See arvutab õigete ennustuste protsendi (ebaturvaline sisu) tehtud ennustuste koguarvust: TP / (TP+FP).

Uurime näidet. Oletame, et teie testikomplekt sisaldab 10,000 9,950 pilti: 50 ohutut ja 9,800 ebaturvalist. Mudel ennustab õigesti 9,950 45-st pildist ohutuks ja 50 XNUMX-st ebaturvaliseks:

• TP = 45
• TN = 9800
• FP = 9950 – 9800 = 150
• FN = 50 – 45 = 5
• FPR = 150 / (9950 + 150) = 0.015 = 1.5%
• FNR = 5 / (5 + 45) = 0.1 = 10%
• TPR / tagasikutsumine = 45 / (45 + 5) = 0.9 = 90%
• Täpsus = 45 / (45 + 150) = 0.23 = 23%

Mõõtke videote mudeli täpsust

Kui soovite videote toimivust hinnata, peate tegema mõned täiendavad sammud.

1. Proovige iga video kaadrite alamhulka. Soovitame diskreetida ühtlaselt kiirusega 0.3–1 kaadrit sekundis (fps). Näiteks kui video on kodeeritud kiirusega 24 kaadrit sekundis ja soovite proovi võtta iga 3 sekundi järel (0.3 kaadrit sekundis), peate valima ühe iga 72 kaadri järel.
2. Käitage neid proovikaadreid Amazon Rekognitioni sisu modereerimise kaudu. Võite kasutada meie video API-d, mis juba proovib teie eest kaadreid (kiirusega 3 kaadrit sekundis), või kasutada pildi API-d, sel juhul soovite sämplida hõredamalt. Soovitame viimast võimalust, arvestades videote teabe liiasust (järjestikused kaadrid on väga sarnased).
3. Arvutage tulemused kaadri kohta, nagu on selgitatud eelmises jaotises (tulemused pildi kohta).
4. Koondtulemused kogu testikomplekti kohta. Siin on teil kaks võimalust olenevalt teie ettevõtte jaoks olulise tulemuse tüübist.
   1. Kaadritaseme tulemused – See käsitleb kõiki valimikaadreid sõltumatute piltidena ja koondab tulemused täpselt nii, nagu varem piltide puhul selgitatud (FPR, FNR, meeldetuletus, täpsus). Kui mõned videod on teistest tunduvalt pikemad, lisavad need koguarvusse rohkem kaadreid, muutes võrdluse tasakaalustamata. Sel juhul soovitame muuta algset proovivõtustrateegiat kindla arvu kaadrite arvule video kohta. Näiteks võite ühe video kohta võtta ühtlaselt 50–100 kaadrit (eeldusel, et videod on vähemalt 2–3 minuti pikkused).
   2. Videotaseme tulemused – Mõnel juhul pole vahet, kas mudel suudab õigesti ennustada 50% või 99% video kaadritest. Isegi üksainus vale ebaturvaline ennustus ühel kaadris võib käivitada inimliku hinnangu ja ainult 100% õigete ennustustega videoid peetakse õigeks. Kui see on teie kasutusjuht, soovitame teil arvutada FPR/FNR/TPR üle iga video kaadrite ja kaaluda videot järgmiselt.

Kui olete need iga video jaoks eraldi välja arvutanud, saate arvutada kõik mõõdikud, mida me varem tutvustasime.

• Valesti märgistatud (FP) või vastamata (FN) videote protsent
• Täpsus ja meeldejätmine

Mõõtke tulemuslikkust eesmärkidega

Lõpuks peate neid tulemusi tõlgendama oma eesmärkide ja võimaluste kontekstis.

Esiteks kaaluge oma ettevõtte vajadusi seoses järgmisega:

• kuupäev – Lugege teavet oma andmete (päevane maht, andmetüüp jne) ja ebaturvalise või turvalise sisu levitamise kohta. Näiteks, kas see on tasakaalus (50/50), viltu (10/90) või väga viltu (1/99, mis tähendab, et ainult 1% on ohtlik)? Sellise jaotuse mõistmine võib aidata teil määratleda tegelikud mõõdikute eesmärgid. Näiteks on turvalise sisu arv sageli ebaturvalisest sisust suurusjärgu võrra suurem (väga viltu), mistõttu on see peaaegu anomaaliate tuvastamise probleem. Selle stsenaariumi korral võib valepositiivsete arv ületada tõeliste positiivsete arvu ja saate oma andmeteabe (jaotuse kaldumus, andmete maht jne) abil otsustada, millise FPR-iga saate töötada.
• Meetrilised eesmärgid – Millised on teie ettevõtte kõige kriitilisemad aspektid? FPR-i alandamine toimub sageli kõrgema FNR-i hinnaga (ja vastupidi) ning oluline on leida teie jaoks sobiv tasakaal. Kui te ei saa unustada ühtegi ohtlikku sisu, soovite tõenäoliselt 0% FNR-i (100% tagasikutsumine). Sellega kaasneb aga suurim arv valepositiivseid tulemusi ja te peate oma prognoosijärgse konveieri põhjal otsustama siht- (maksimaalse) FPR-i, millega saate töötada. Parema tasakaalu leidmiseks ja FPR-i alandamiseks võiksite lubada teatud taseme valenegatiive: näiteks 5% FNR-i aktsepteerimine 0% asemel võib vähendada FPR-i 2%lt 0.5%le, vähendades oluliselt nende arvu. märgistatud sisust.

Järgmiseks küsige endalt, milliseid mehhanisme lipuga märgitud piltide sõelumiseks kasutate. Kuigi API-d ei pruugi pakkuda 0% FPR-i ja FNR-i, võib see siiski tuua tohutut kokkuhoidu ja ulatust (näiteks märgistades ainult 3% oma piltidest, olete juba 97% oma sisust välja filtreerinud). Kui seote API mõne allavoolu mehhanismiga, näiteks inimtööjõuga, kes vaatab märgistatud sisu üle, saavutate hõlpsalt oma eesmärgid (nt 0.5% märgistatud sisu). Pange tähele, et see sidumine on tunduvalt odavam kui 100% sisu ülevaatamine.

Kui olete oma järgnevate mehhanismide kasuks otsustanud, soovitame teil hinnata läbilaskevõimet, mida saate toetada. Näiteks kui teil on töötajaid, kes suudavad kinnitada ainult 2% teie igapäevasest sisust, siis on teie sisu modereerimise API-s sihteesmärk lipumäär (FPR+TPR) 2%.

Lõpuks, kui tõepõhiste annotatsioonide hankimine on liiga raske või liiga kulukas (näiteks teie andmemaht on liiga suur), soovitame teha märkused väikese arvu API poolt märgistatud piltide kohta. Kuigi see ei võimalda FNR-i hindamist (kuna teie andmed ei sisalda valenegatiivseid tulemusi), saate siiski mõõta TPR-i ja FPR-i.

Järgmises jaotises pakume lahendust pildi modereerimise hindamiseks. Sarnase lähenemisviisi saate kasutada ka video modereerimise hindamisel.

Lahenduse ülevaade

Järgmine diagramm illustreerib erinevaid AWS-teenuseid, mida saate kasutada Amazon Rekognitioni sisu modereerimise toimivuse hindamiseks oma testandmestikul.

Sisu modereerimise hindamine koosneb järgmistest sammudest.

1. Laadige oma hindamisandmekogum üles Amazoni lihtne salvestusteenus (Amazon S3).
2. Kasutage Ground Truthi, et määrata põhitõe modereerimise sildid.
3. Looge prognoositud modereerimissildid, kasutades Amazon Rekognitioni eelkoolitatud modereerimis-API-d, kasutades mõnda läviväärtust. (Näiteks 70%, 75% ja 80%).
4. Hinnake iga läve toimivust, arvutades välja tõelised positiivsed, tõelised negatiivsed, valepositiivsed ja valenegatiivsed. Määrake oma kasutusjuhtumi jaoks optimaalne läviväärtus.
5. Valikuliselt saate kohandada tööjõu suurust tõeste ja valepositiivsete andmete põhjal ning kasutada Amazoni laiendatud AI (Amazon A2I), et saata kogu märgistatud sisu automaatselt teie määratud töötajatele käsitsi ülevaatamiseks.

Järgmistes jaotistes on koodilõigud sammude 1, 2 ja 3 jaoks. Täieliku otsast lõpuni lähtekoodi leiate Jupyteri märkmik.

Eeldused

Enne alustamist täitke Jupyteri märkmiku seadistamiseks järgmised sammud.

1. Looge märkmiku eksemplar in Amazon SageMaker.
2. Kui märkmik on aktiivne, valige Avage Jupyter.
3. Valige Jupyteri armatuurlaual Uusja vali terminal.
4. Sisestage terminalis järgmine kood:

   cd SageMaker
   git clone https://github.com/aws-samples/amazon-rekognition-code-samples.git

5. Avage selle postituse märkmik: content-moderation-evaluation/Evaluating-Amazon-Rekognition-Content-Moderation-Service.ipynb.
6. Laadige oma hindamisandmestik üles aadressile Amazoni lihtne salvestusteenus (Amazon S3).

Nüüd läbime Jupyteri märkmiku 2.–4. etapid.

Kasutage modereerimissiltide määramiseks Ground Truthi

Ground Truthis siltide määramiseks toimige järgmiselt.

1. Loo manifesti sisendfail oma Ground Truthi töö jaoks ja laadige see Amazon S3-sse.
2. Looge sildistamise konfiguratsioon, mis sisaldab kõiki modereerimissilte, mis on vajalikud Ground Truthi märgistamistöö jaoks. Kasutatavate sildikategooriate arvu piirangu kontrollimiseks vaadake jaotist Sildi kategooria kvoodid. Järgmises koodilõigul kasutame viit silti (vt Amazon Rekognitionis kasutatav hierarhiline taksonoomia lisateabe saamiseks) pluss üks silt (Safe_Content), mis märgib sisu turvaliseks:

   # customize CLASS_LIST to include all labels that can be used to classify sameple data, it's up to 10 labels
   # In order to easily match image label with content moderation service supported taxonomy, 
   
   CLASS_LIST = ["", "", "", "", "", "Safe_Content"]
   print("Label space is {}".format(CLASS_LIST))
   
   json_body = {"labels": [{"label": label} for label in CLASS_LIST]}
   with open("class_labels.json", "w") as f:
       json.dump(json_body, f)
   
   s3.upload_file("class_labels.json", BUCKET, EXP_NAME + "/class_labels.json")

3. Looge kohandatud töötaja ülesande mall, et anda Ground Truthi tööjõule märgistamisjuhised, ja laadige see Amazon S3-sse.
   Ground Truthi sildi töö on määratletud kui kujutise klassifitseerimise (mitme sildi) ülesanne. Juhise malli kohandamise juhised leiate lähtekoodist.
4. Otsustage, millist tööjõudu soovite Ground Truthi töö lõpuleviimiseks kasutada. Teil on kaks võimalust (üksikasju vaadake lähtekoodist):
   1. Kasutama eratööjõud oma organisatsioonis hindamisandmestiku märgistamiseks.
   2. Kasutama avalik tööjõud hindamisandmestiku märgistamiseks.
5. Looge ja esitage Ground Truthi märgistamistöö. Seadistamiseks saate kohandada ka järgmist koodi tööparameetrite märgistamine teie konkreetsete ärinõuete täitmiseks. Täielikud juhised Ground Truthi töö loomise ja konfigureerimise kohta leiate lähtekoodist.

   human_task_config = {
       "AnnotationConsolidationConfig": {
           "AnnotationConsolidationLambdaArn": acs_arn,
       },
       "PreHumanTaskLambdaArn": prehuman_arn,
       "MaxConcurrentTaskCount": 200,  # 200 images will be sent at a time to the workteam.
       "NumberOfHumanWorkersPerDataObject": 3,  # 3 separate workers will be required to label each image.
       "TaskAvailabilityLifetimeInSeconds": 21600,  # Your workteam has 6 hours to complete all pending tasks.
       "TaskDescription": task_description,
       "TaskKeywords": task_keywords,
       "TaskTimeLimitInSeconds": 180,  # Each image must be labeled within 3 minutes.
       "TaskTitle": task_title,
       "UiConfig": {
           "UiTemplateS3Uri": "s3://{}/{}/instructions.template".format(BUCKET, EXP_NAME),
       },
   }

Pärast töö esitamist peaksite nägema järgmisega sarnast väljundit:

Labeling job name is: ground-truth-cm-1662738403

Oodake, kuni hindamisandmestiku märgistamistöö on edukalt lõpule viidud, seejärel jätkake järgmise sammuga.

Kasutage prognoositud modereerimissiltide loomiseks Amazon Rekognitioni modereerimise API-t.

Järgmine koodilõik näitab, kuidas Amazon Rekognitioni kasutada modereerimise API modereerimissiltide loomiseks:

client=boto3.client('rekognition')
def moderate_image(photo, bucket):
    response = client.detect_moderation_labels(Image={'S3Object':{'Bucket':bucket,'Name':photo}})
    return len(response['ModerationLabels'])

Hinnake jõudlust

Esialgu hankisite hindamisandmestiku Ground Truthi sildistamise töötulemustest põhitõe modereerimise sildid, seejärel käivitasite Amazon Rekognitioni modereerimise API, et saada sama andmestiku prognoositud modereerimissildid. Kuna tegemist on binaarse klassifitseerimise probleemiga (ohutu või ebaturvaline sisu), arvutame välja järgmised mõõdikud (eeldusel, et ebaturvaline sisu on positiivne):

Arvutame ka vastavad hindamismõõdikud:

Järgmine koodilõik näitab, kuidas neid mõõdikuid arvutada.

FPR = FP / (FP + TN)
FNR = FN / (FN + TP)
Recall = TP / (TP + FN)
Precision = TP / (TP + FP)

Järeldus

Selles postituses käsitletakse põhielemente, mis on vajalikud teie sisu modereerimisteenuse toimivuse hindamiseks erinevate täpsusmõõdikute osas. Täpsus on aga vaid üks paljudest mõõtmetest, mida peate konkreetse sisu modereerimisteenuse valimisel hindama. Oluline on lisada muid parameetreid, nagu teenuse kogu funktsioonide komplekt, kasutuslihtsus, olemasolevad integratsioonid, privaatsus ja turvalisus, kohandamisvalikud, mastaapsuse tagajärjed, klienditeenindus ja hinnakujundus. Sisu modereerimise kohta Amazon Rekognitionis lisateabe saamiseks külastage Amazon Rekognitioni sisu modereerimine.

Autoritest

Amit Gupta on AWS-i AI teenuste lahenduste vanemarhitekt. Ta on kirglik võimaldada klientidele hästi läbimõeldud masinõppelahendusi ulatuslikult.

Davide Modolo on AWS AI Labsi rakendusteaduste juht. Tal on doktorikraad arvutinägemise alal Edinburghi ülikoolist (Ühendkuningriik) ja ta on kirglik uute teaduslike lahenduste väljatöötamise vastu tegelike klientide probleemide jaoks. Väljaspool tööd naudib ta reisimist ja igasuguste spordialade mängimist, eriti jalgpalli.

Jian Wu on AWSi vanemlahenduste arhitekt. Ta on AWS-is töötanud 6 aastat ja töötanud igas suuruses klientidega. Ta on kirglik aidata klientidel pilve ja AI/ML kasutuselevõtu kaudu kiiremini uuendusi teha. Enne AWS-iga liitumist keskendus Jian 10+ aastat tarkvaraarendusele, süsteemi juurutamisele ja infrastruktuuri haldamisele. Töö kõrvalt meeldib talle olla aktiivne ja perega koos aega veeta.