Conținutul generat de utilizatori (UGC) crește exponențial, precum și cerințele și costurile pentru a menține conținutul și comunitățile online în siguranță și conform. Platformele web și mobile moderne alimentează afacerile și stimulează implicarea utilizatorilor prin funcții sociale, de la startup-uri la organizații mari. Membrii comunității online se așteaptă la experiențe sigure și incluzive în care pot consuma și contribui liber cu imagini, videoclipuri, text și audio. Volumul, varietatea și complexitatea în continuă creștere ale UGC fac ca fluxurile de lucru tradiționale de moderare umană să fie dificil de scalat pentru a proteja utilizatorii. Aceste limitări obligă clienții să adopte procese de atenuare ineficiente, costisitoare și reactive, care implică un risc inutil pentru utilizatori și pentru companie. Rezultatul este o experiență de comunitate săracă, dăunătoare și neincluzivă, care dezactivează utilizatorii, impactând negativ comunitatea și obiectivele de afaceri.
Soluția sunt fluxuri de lucru scalabile de moderare a conținutului care se bazează pe inteligența artificială (AI), învățarea automată (ML), învățarea profundă (DL) și tehnologiile de procesare a limbajului natural (NLP). Aceste constructe traduc, transcriu, recunosc, detectează, maschează, redactează și aduc strategic talentul uman în fluxul de lucru de moderare, pentru a desfășura acțiunile necesare pentru a menține utilizatorii în siguranță și implicați, crescând în același timp acuratețea și eficiența procesului și reducând costurile operaționale.
Această postare analizează cum să construiți fluxuri de lucru de moderare a conținutului folosind serviciile AWS AI. Pentru a afla mai multe despre nevoile afacerii, impactul și reducerile de costuri pe care moderarea automată a conținutului le aduce în rețelele sociale, jocurile, comerțul electronic și industriile de publicitate, consultați Utilizați serviciile AWS AI pentru a automatiza moderarea conținutului și conformitatea.
Prezentare generală a soluțiilor
Nu aveți nevoie de experiență în ML pentru a implementa aceste fluxuri de lucru și puteți adapta aceste modele la nevoile dvs. specifice de afaceri! AWS oferă aceste capabilități prin servicii complet gestionate care înlătură complexitatea operațională și ridicarea greutății nediferențiate și fără o echipă de știință a datelor.
În această postare, demonstrăm cum să moderam eficient spațiile în care clienții discută și revizuiesc produsele folosind text, audio, imagini, video și chiar fișiere PDF. Următoarea diagramă ilustrează arhitectura soluției.
Cerințe preliminare
În mod implicit, aceste modele demonstrează o metodologie fără server, în care plătiți doar pentru ceea ce utilizați. Continuați să plătiți pentru resursele de calcul, cum ar fi AWS Fargate containere și depozitare, cum ar fi Serviciul Amazon de stocare simplă (Amazon S3), până când ștergeți acele resurse. Serviciile AWS AI discutate urmează, de asemenea, un model de prețuri de consum pe operațiune.
Mediile care nu sunt de producție pot testa fiecare dintre aceste modele în cadrul nivelului gratuit, presupunând eligibilitatea contului dvs.
Text simplu moderat
În primul rând, trebuie să implementați moderarea conținutului pentru textul simplu. Această procedură servește drept bază pentru tipuri de media mai sofisticate și presupune doi pași de nivel înalt:
- Tradu textul.
- Analizați textul.
Clienții globali doresc să colaboreze cu platformele sociale în limba lor maternă. Îndeplinirea acestei așteptări poate adăuga complexitate, deoarece echipele de proiectare trebuie să construiască un flux de lucru sau pași pentru fiecare limbă. În schimb, puteți folosi Traducerea Amazon pentru a converti textul în peste 70 de limbi și variante în peste 15 regiuni. Această capacitate vă permite să scrieți reguli de analiză pentru o singură limbă și să aplicați acele reguli în comunitatea online globală.
Amazon Translate este un serviciu de traducere automată neuronală care oferă traducere rapidă, de înaltă calitate, accesibilă și personalizabilă. Îl puteți integra în fluxurile dvs. de lucru pentru a detecta limba dominantă și Tradu textul. Următoarea diagramă ilustrează fluxul de lucru.
API-urile funcționează după cum urmează:
- DetectDominantLanguage API determină limba dominantă a textului introdus. Pentru o listă de limbi pe care Amazon Comprehend le poate detecta, consultați Limba dominantă.
- Traduceți text API traduce textul introdus din limba sursă în limba țintă cu opțional mascarea profanei. Pentru o listă a limbilor disponibile și a codurilor de limbă, consultați Limbi și coduri de limbă acceptate.
- StartExecution și StartSyncExecution API-urile pornesc un Funcții pas AWS mașină de stat.
Apoi, puteți utiliza NLP pentru a descoperi conexiuni în text, cum ar fi descoperirea expresiilor cheie, analizarea sentimentelor și detectarea informațiilor de identificare personală (PII). Amazon Comprehend API-urile extrag acele informații valoroase și le transmit în handlere de funcții personalizate.
Trecându-i pe acei handler înăuntru AWS Lambdas funcțiile îți scalează elastic codul fără să te gândești la servere sau clustere. Alternativ, puteți procesa informații de la Amazon Comprehend cu modele de arhitectură pentru microservicii. Indiferent de timpul de execuție, codul tău se concentrează pe utilizarea rezultatelor, nu pe analizarea textului.
Următoarea diagramă ilustrează fluxul de lucru.
Funcțiile Lambda interacționează cu următoarele API-uri:
- DetectEntities API descoperă și grupează în text numele obiectelor din lumea reală, cum ar fi persoane și locuri. Puteți folosi un vocabular personalizat pentru a redacta tipuri de entități neadecvate și specifice companiei.
- DetectSentiment API identifică sentimentul general al textului ca fiind pozitiv, negativ sau neutru. Puteți antrena clasificatori personalizați pentru a recunoaște situațiile de interes specifice industriei și pentru a extrage semnificația conceptuală a textului.
- DetectPIIEntities API identifică PII în textul dvs., cum ar fi adresa, numărul de cont bancar sau numărul de telefon. Ieșirea conține tipul de entitate PII și locația corespunzătoare.
Fișiere audio moderate
Pentru a modera fișierele audio, trebuie să transcrieți fișierul în text și apoi să îl analizați. Acest proces are două variante, în funcție de dacă procesați fișiere individuale (sincrone) sau fluxuri audio live (asincrone). Fluxurile de lucru sincrone sunt ideale pentru procesarea în lot, apelantul primind un răspuns complet. În schimb, fluxurile audio necesită eșantionare periodică cu rezultate multiple de transcriere.
Transcriere Amazon este un serviciu de recunoaștere automată a vorbirii care utilizează modele ML pentru a converti sunetul în text. Îl puteți integra în fluxurile de lucru sincrone prin începerea unei lucrări de transcriere si periodic interogarea stării jobului. După finalizarea lucrării, puteți analiza rezultatul utilizând fluxul de lucru de moderare a textului simplu de la pasul anterior.
Următoarea diagramă ilustrează fluxul de lucru.
API-urile funcționează după cum urmează:
- Start TranscriptionJob API-ul începe o lucrare asincronă pentru a transcrie vorbirea în text.
- GetTranscriptionJob API returnează informații despre o lucrare de transcriere. Pentru a vedea starea jobului, verificați
TranscriptionJobStatus
camp. Dacă proprietatea status esteCOMPLETED
, puteți găsi rezultatele în locația specificată înTranscriptFileUri
camp. Dacă activați redactarea conținutului, transcrierea redactată apare înRedactedTranscriptFileUri
.
Fluxurile audio live au nevoie de un model diferit care să accepte un model de livrare în timp real. Transmisia în flux poate include conținut media preînregistrat, cum ar fi filme, muzică și podcasturi, și conținut media în timp real, cum ar fi transmisiile de știri în direct. Puteți transcrie fragmente audio instantaneu folosind Streaming Amazon Transcribe peste protocoalele HTTP/2 și WebSockets. După ce postați o bucată în serviciu, primiți una sau mai multe obiecte rezultat al transcripției descrierea segmentelor de transcripție parțială și completă. Segmentele care necesită moderare pot reutiliza fluxul de lucru cu text simplu din secțiunea anterioară. Următoarea diagramă ilustrează acest proces.
StartStreamingTranscription API-ul pornește un flux HTTP/2 bidirecțional în care fluxul audio este transmis către Amazon Transcribe, transmite rezultatele transcripției către aplicația dvs.
Moderați imagini și fotografii
Moderarea imaginilor necesită detectarea conținutului nepotrivit, nedorit sau ofensator care conține nuditate, sugestie, violență și alte categorii din conținutul imaginilor și al fotografiilor.
Amazon Rekognition vă permite să simplificați sau să automatizați fluxurile de lucru pentru moderarea imaginilor și video fără a necesita experiență ML. Amazon Rekognition returnează o taxonomie ierarhică a etichetelor legate de moderare. Aceste informații facilitează definirea regulilor de afaceri granulare conform standardelor și practicilor dvs., siguranței utilizatorilor și ghidurilor de conformitate. Experiența ML nu este necesară pentru a utiliza aceste capabilități. Amazon Rekognition poate detecta și citi textul dintr-o imagine și poate returna casete de delimitare pentru fiecare cuvânt găsit. Amazon Rekognition acceptă detectarea textului scris în engleză, arabă, rusă, germană, franceză, italiană, portugheză și spaniolă!
Puteți utiliza predicțiile mașinii pentru a automatiza în întregime anumite sarcini de moderare. Această capacitate permite moderatorilor umani să se concentreze pe lucrări de ordin superior. În plus, Amazon Rekognition poate revizui rapid milioane de imagini sau mii de videoclipuri folosind ML și poate semnala subsetul de active care necesită acțiuni suplimentare. Prefiltrarea ajută la furnizarea unei acoperiri de moderare cuprinzătoare, dar rentabile, reducând în același timp cantitatea de conținut pe care echipele umane îl moderează.
Următoarea diagramă ilustrează fluxul de lucru.
API-urile funcționează după cum urmează:
- DetectModerationLabels API detectează conținut nesigur în imaginile formatate JPEG sau PNG specificate. Utilizați DetectModerationLabels pentru a modera imaginile în funcție de cerințele dvs. De exemplu, este posibil să doriți să filtrați imaginile care conțin nuditate, dar nu imaginile care conțin conținut sugestiv.
- DetectText API detectează textul din imaginea de intrare și îl convertește în text care poate fi citit de mașină.
Documente cu text bogat moderat
Apoi, puteți utiliza Text Amazon pentru a extrage text și date scrise de mână din documentele scanate. Acest proces începe cu invocarea StartDocumentAnalysis acțiune pentru a analiza fișiere Microsoft Word și Adobe PDF. Puteți monitoriza progresul lucrării cu ajutorul GetDocumentAnalysis acţiune.
Rezultatul analizei specifică fiecare pagină descoperită, paragraf, tabel și pereche cheie-valoare din document. De exemplu, să presupunem că un furnizor de servicii medicale trebuie să mascheze numele pacienților doar în câmpul de descriere a cererii. În acest caz, raportul de analiză poate alimenta conducte inteligente de procesare a documentelor care moderează și redactează câmpul de date specific. Următoarea diagramă ilustrează conducta.
API-urile funcționează după cum urmează:
- StartDocumentAnalysis API începe analiza asincronă a unui document de intrare pentru relațiile dintre elementele detectate, cum ar fi perechi cheie-valoare, tabele și elemente de selecție
- GetDocumentAnalysis API obține rezultatele pentru o operațiune asincronă Amazon Texttract care analizează textul dintr-un document
Videoclipuri moderate
O abordare standard a moderarii conținutului video este printr-o procedură de eșantionare a cadrelor. Multe cazuri de utilizare nu trebuie să verifice fiecare cadru, iar selectarea unuia la fiecare 15-30 de secunde este suficientă. Cadrele video eșantionate pot reutiliza mașina de stare pentru a modera imaginile din secțiunea anterioară. În mod similar, procesul existent de moderare a sunetului poate suporta conținutul audibil al fișierului. Următoarea diagramă ilustrează acest flux de lucru.
invoca API rulează o funcție Lambda și așteaptă sincron răspunsul.
Să presupunem că fișierul media este un film întreg cu mai multe scene. În acest caz, puteți utiliza API-ul Amazon Rekognition Segment, un API compozit pentru detectarea indiciilor tehnice sau detectarea loviturilor. Apoi, puteți utiliza aceste decalaje de timp pentru a procesa în paralel fiecare segment cu modelul de moderare video anterior, așa cum se arată în diagrama următoare.
API-urile funcționează după cum urmează:
- StartSegmentationDetection API-ul începe detectarea asincronă a detectării segmentelor dintr-un videoclip stocat
- GetSegmentationDetection API primește rezultatele detectării segmentelor unei analize Amazon Rekognition Video începute de API StartSegmentDetection
Extragerea cadrelor individuale din film nu necesită preluarea obiectului de pe Amazon S3 de mai multe ori. O soluție naivă presupune citirea videoclipului în memorie și paginarea până la sfârșit. Acest model este ideal pentru clipuri scurte și în cazul în care evaluările nu sunt sensibile la timp.
O altă strategie presupune mutarea fișierului o dată la Sistem de fișiere elastice Amazon (Amazon EFS), un sistem de fișiere partajat, scalabil și complet gestionat pentru alte servicii AWS, cum ar fi Lambda. Cu Amazon EFS pentru Lambda, puteți distribui eficient datele prin invocări de funcții. Fiecare invocare gestionează eficient o mică parte, deblocând potențialul de procesare masiv paralelă și timpi de procesare mai rapid.
A curăța
După ce experimentați cu metodele din această postare, ar trebui să ștergeți orice conținut din compartimentele S3 pentru a evita costurile viitoare. Dacă ați implementat aceste modele cu resurse de calcul furnizate, cum ar fi Cloud Elastic de calcul Amazon (Amazon EC2) sau Serviciul Amazon de containere elastice (Amazon ECS), ar trebui să opriți aceste instanțe pentru a evita alte taxe.
Concluzie
Conținutul generat de utilizatori și valoarea acestuia pentru jocuri, rețelele sociale, comerțul electronic și organizațiile de servicii financiare și de sănătate vor continua să crească. Totuși, startup-urile și organizațiile mari trebuie să creeze procese eficiente de moderare pentru a proteja utilizatorii, informațiile și afacerea, reducând în același timp costurile operaționale. Această soluție demonstrează modul în care tehnologiile AI, ML și NLP vă pot ajuta eficient să moderați conținutul la scară. Puteți personaliza serviciile AWS AI pentru a răspunde nevoilor dvs. specifice de moderare! Aceste capabilități complet gestionate îndepărtează complexitățile operaționale. Această flexibilitate integrează strategic perspectivele contextuale și talentul uman în procesele tale de moderare.
Pentru informații suplimentare, resurse și pentru a începe gratuit astăzi, vizitați Pagina principală pentru moderarea conținutului AWS.
Despre Autori
Nate Bachmeier este un arhitect senior de soluții AWS care explorează nomade New York-ul, câte o integrare în cloud la un moment dat. Este specializat în migrarea și modernizarea aplicațiilor. Pe lângă asta, Nate este student cu normă întreagă și are doi copii.
Ram Patangi este arhitect de soluții la Amazon Web Services din San Francisco Bay Area. El a ajutat clienții din agricultură, asigurări, servicii bancare, comerț cu amănuntul, asistență medicală și științe ale vieții, ospitalitate și verticale de înaltă tehnologie să-și conducă afacerile cu succes pe AWS Cloud. El este specializat în baze de date, analiză și învățare automată.
Roop Bains este arhitect de soluții la AWS, care se concentrează pe AI/ML. Este pasionat de a ajuta clienții să inoveze și să-și atingă obiectivele de afaceri folosind inteligența artificială și învățarea automată. În timpul liber, lui Roop îi place să citească și să facă drumeții.
- Coinsmart. Cel mai bun schimb de Bitcoin și Crypto din Europa.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. ACCES LIBER.
- CryptoHawk. Radar Altcoin. Încercare gratuită.
- Sursa: https://aws.amazon.com/blogs/machine-learning/content-moderation-design-patterns-with-aws-managed-ai-services/
- "
- 100
- 70
- Despre Noi
- REZUMAT
- Cont
- peste
- Acțiune
- acțiuni
- plus
- Suplimentar
- adresa
- Promovare
- agricultură
- AI
- Servicii AI
- Amazon
- Amazon Web Services
- sumă
- analiză
- Google Analytics
- api
- API-uri
- aplicație
- aplicatii
- abordare
- arhitectură
- ZONĂ
- artificial
- inteligență artificială
- Inteligența artificială (AI)
- Inteligența artificială și învățarea în mașină
- Bunuri
- audio
- automatizarea
- Automata
- Automat
- disponibil
- AWS
- Bancă
- cont bancar
- Bancar
- Golf
- construi
- afaceri
- întreprinderi
- apelant
- capacități
- transporta
- cazuri
- provocare
- taxe
- clipuri
- Cloud
- cod
- colabora
- cum
- Comunități
- comunitate
- complexități
- conformitate
- conforme
- cuprinzător
- Calcula
- Conexiuni
- consuma
- consum
- Recipient
- Containere
- conține
- conţinut
- continua
- a contribui
- Corespunzător
- cost-eficiente
- Cheltuieli
- crea
- personalizat
- clienţii care
- personalizabil
- de date
- știința datelor
- baze de date
- Oferă
- livrare
- demonstra
- În funcție
- Amenajări
- detectat
- Detectare
- diferit
- discuta
- documente
- Nu
- conduce
- e-commerce
- E-commerce
- eficiență
- eficient
- eficient
- permite
- angajament
- Engleză
- entitate
- exemplu
- existent
- aștepta
- experienţă
- Experiențe
- experiment
- expertiză
- exponențial
- FAST
- mai repede
- DESCRIERE
- financiar
- Flexibilitate
- debit
- Concentra
- se concentrează
- urma
- următor
- găsit
- Fundație
- FRAME
- Francisco
- Gratuit
- Franceză
- Combustibil
- funcţie
- mai mult
- viitor
- jocuri
- Caritate
- Grupului
- Crește
- orientări
- Sănătate
- de asistență medicală
- ajutor
- ajutor
- ajută
- de înaltă calitate
- Cum
- Cum Pentru a
- HTTPS
- uman
- imagine
- Impactul
- punerea în aplicare a
- implementat
- include
- crescând
- individ
- industrii
- informații
- intrare
- perspective
- asigurare
- integra
- integrare
- Inteligență
- interes
- IT
- Loc de munca
- Cheie
- copii
- etichete
- limbă
- Limbă
- mare
- AFLAȚI
- învăţare
- Life Sciences
- ridicare
- Listă
- locaţie
- maşină
- masina de învățare
- FACE
- gestionate
- masca
- sens
- Mass-media
- Reuniunea
- Membri actuali
- Memorie
- Microsoft
- ar putea
- milioane
- ML
- Mobil
- model
- Modele
- monitor
- mai mult
- film
- Filme
- în mişcare
- multiplu
- Muzică
- nume
- Natural
- negativ
- New York
- ştiri
- număr
- on-line
- funcionar
- operaţie
- organizații
- Altele
- global
- pasionat
- Model
- Plătește
- oameni
- Expresii
- Platforme
- Podcast-uri
- sărac
- Portugheză
- pozitiv
- potenţial
- putere
- Predictii
- precedent
- de stabilire a prețurilor
- proces
- procese
- prelucrare
- Produse
- proprietate
- proteja
- protocoale
- furniza
- repede
- Citind
- în timp real
- a primi
- recunoaște
- reducerea
- Relaţii
- raportează
- necesita
- necesar
- Cerinţe
- Resurse
- răspuns
- REZULTATE
- cu amănuntul
- reveni
- Returnează
- revizuiască
- Recenzii
- Risc
- norme
- Alerga
- sigur
- Siguranţă
- San
- San Francisco
- scalabil
- Scară
- scene
- Ştiinţă
- ȘTIINȚE
- secunde
- segment
- segmente
- sentiment
- serverless
- serviciu
- Servicii
- comun
- Pantaloni scurți
- indicat
- asemănător
- simplu
- mic
- Social
- social media
- soluţie
- soluţii
- sofisticat
- spații
- specializată
- standard
- standarde
- Începe
- început
- începe
- Startup-urile
- Stat
- Stare
- depozitare
- Strategie
- curent
- de streaming
- student
- Reușit
- a sustine
- Sprijină
- sistem
- TRAINERI
- Ţintă
- sarcini
- echipă
- Tehnic
- Tehnologii
- test
- Sursa
- Gândire
- mii
- Prin
- timp
- astăzi
- împreună
- tradiţional
- Copie
- Traducere
- Tipuri
- descoperi
- utilizare
- utilizatorii
- valoare
- varietate
- verticalele
- Video
- Video
- volum
- web
- servicii web
- Ce
- dacă
- în timp ce
- în
- fără
- Apartamente