A felhasználók által generált tartalom (UGC) exponenciálisan nő, csakúgy, mint a tartalom és az online közösségek biztonságának és megfelelőségének megőrzésének követelményei és költségei. A modern webes és mobilplatformok lendületet adnak a vállalkozásoknak, és közösségi funkciókon keresztül ösztönzik a felhasználók elköteleződését, az induló vállalkozásoktól a nagy szervezetekig. Az online közösség tagjai biztonságos és befogadó élményeket várnak el, ahol szabadon fogyaszthatnak és hozzájárulhatnak képek, videók, szövegek és hanganyagokhoz. Az UGC folyamatosan növekvő mennyisége, változatossága és összetettsége miatt a hagyományos emberi moderálási munkafolyamatok nagy kihívást jelentenek a felhasználók védelme érdekében. Ezek a korlátozások az ügyfeleket nem hatékony, költséges és reaktív csökkentési folyamatokra kényszerítik, amelyek szükségtelen kockázatot jelentenek a felhasználók és a vállalkozás számára. Az eredmény egy gyenge, káros és nem befogadó közösségi élmény, amely elszakítja a felhasználókat, negatív hatással van a közösségre és az üzleti célokra.
A megoldás a méretezhető tartalommoderálási munkafolyamatok, amelyek mesterséges intelligencia (AI), gépi tanulás (ML), mély tanulás (DL) és természetes nyelvi feldolgozás (NLP) technológiákra támaszkodnak. Ezek a konstrukciók lefordítják, átírják, felismerik, észlelik, maszkolják, szerkesztik és stratégiailag bevonják az emberi tehetségeket a moderálási munkafolyamatba, hogy végrehajtsák a felhasználók biztonságát és elkötelezettségét, miközben növelik a pontosságot és a folyamatok hatékonyságát, valamint csökkentik a működési költségeket.
Ez a bejegyzés áttekinti, hogyan lehet tartalommoderálási munkafolyamatokat felépíteni az AWS AI-szolgáltatások segítségével. Ha többet szeretne megtudni az üzleti igényekről, hatásokról és költségcsökkentésekről, amelyeket az automatizált tartalommoderálás jelent a közösségi médiában, a játékban, az e-kereskedelemben és a hirdetési iparágakban, lásd: Használja az AWS AI-szolgáltatásokat a tartalom moderálásának és megfelelőségének automatizálására.
Megoldás áttekintése
Nincs szüksége ML szakértelemre ezeknek a munkafolyamatoknak a megvalósításához, és ezeket a mintákat az Ön konkrét üzleti igényeihez szabhatja! Az AWS ezeket a képességeket teljesen felügyelt szolgáltatásokon keresztül biztosítja, amelyek megszüntetik a működési bonyolultságot és a differenciálatlan nehézemelést, adattudományi csapat nélkül.
Ebben a bejegyzésben bemutatjuk, hogyan lehet hatékonyan moderálni azokat a tereket, ahol az ügyfelek szöveg, hang, kép, videó, sőt PDF-fájlok használatával megvitatják és véleményezik a termékeket. A következő ábra a megoldás architektúráját mutatja be.
Előfeltételek
Alapértelmezés szerint ezek a minták kiszolgáló nélküli módszert mutatnak, ahol csak azért kell fizetni, amit használ. Továbbra is fizet a számítási erőforrásokért, mint pl AWS Fargate konténerek és tárolók, mint pl Amazon egyszerű tárolási szolgáltatás (Amazon S3), amíg nem törli ezeket az erőforrásokat. A tárgyalt AWS AI-szolgáltatások is egy műveletenkénti fogyasztási árazási modellt követnek.
A nem éles környezetek ezeket a mintákat tesztelhetik a Free Tier-en belül, feltételezve, hogy fiókja alkalmas.
Mérsékelt egyszerű szöveg
Először is be kell vezetnie a tartalommoderálást az egyszerű szöveghez. Ez az eljárás a kifinomultabb médiatípusok alapjául szolgál, és két magas szintű lépést foglal magában:
- Fordítsa le a szöveget.
- Elemezze a szöveget.
A globális ügyfelek az anyanyelvükön szeretnének együttműködni a közösségi platformokkal. Ennek az elvárásnak való megfelelés bonyolultabbá teheti, mivel a tervezőcsapatoknak minden nyelvhez munkafolyamatot vagy lépéseket kell létrehozniuk. Ehelyett használhatja Amazon Translate szöveg konvertálásához több mint 70 nyelvre és változatra több mint 15 régióban. Ez a képesség lehetővé teszi, hogy elemzési szabályokat írjon egyetlen nyelvre, és alkalmazza ezeket a szabályokat a globális online közösségben.
Az Amazon Translate egy neurális gépi fordítási szolgáltatás, amely gyors, kiváló minőségű, megfizethető és testreszabható nyelvi fordítást biztosít. Integrálhatja a munkafolyamataiba, hogy észlelje a domináns nyelvet és fordítsa le a szöveget. A következő diagram a munkafolyamatot mutatja be.
Az API-k a következőképpen működnek:
- A DetectDominantLanguage Az API meghatározza a beviteli szöveg domináns nyelvét. Az Amazon Comprehend által észlelhető nyelvek listáját lásd: Domináns nyelv.
- A TranslateText Az API opcionálisan lefordítja a beviteli szöveget a forrásnyelvről a célnyelvre trágárság maszkolás. Az elérhető nyelvek és nyelvi kódok listáját lásd: Támogatott nyelvek és nyelvi kódok.
- A StartExecution és a StartSyncExecution Az API-k elindítanak egy AWS lépésfunkciók állapotgép.
Ezután az NLP segítségével összefüggéseket fedezhet fel a szövegben, például kulcskifejezéseket, érzelmeket elemezhet és személyazonosításra alkalmas információkat (PII) észlelhet. Amazon Comprehend Az API-k kivonják ezeket az értékes információkat, és átadják őket az egyéni függvénykezelőknek.
Futtatni azokat a kezelőket bent AWS Lambda Funkciók rugalmasan skálázzák a kódot anélkül, hogy a szerverekre vagy fürtökre gondolnának. Alternatív megoldásként feldolgozhatja az Amazon Comprehend betekintéseit mikroszolgáltatási architektúra minták. A futásidőtől függetlenül a kód az eredmények felhasználására összpontosít, nem a szöveg elemzésére.
A következő diagram a munkafolyamatot mutatja be.
A lambda-függvények a következő API-kkal működnek együtt:
- A DetectEntities Az API felfedezi és csoportosítja a valós objektumok neveit, például személyeket és helyeket a szövegben. Egyéni szókincs segítségével szerkesztheti a nem megfelelő és vállalkozásspecifikus entitástípusokat.
- A DetectSentiment Az API pozitívként, negatívként vagy semlegesként azonosítja a szöveg általános hangulatát. Megtaníthatja az egyéni osztályozókat, hogy felismerjék az iparág-specifikus helyzeteket, és kivonják a szöveg fogalmi jelentését.
- A DetectPIIEntities Az API azonosítja a személyazonosításra alkalmas adatokat a szövegben, például címet, bankszámlaszámot vagy telefonszámot. A kimenet tartalmazza a személyazonosításra alkalmas entitás típusát és a megfelelő helyét.
Mérsékelt hangfájlok
Hangfájlok moderálásához át kell írnia a fájlt szöveggé, majd elemeznie kell. Ennek a folyamatnak két változata van attól függően, hogy egyedi fájlokat (szinkron) vagy élő hangfolyamokat (aszinkron) dolgoz fel. A szinkron munkafolyamatok ideálisak a kötegelt feldolgozáshoz, a hívó fél egy teljes választ kap. Ezzel szemben az audio streamek rendszeres mintavételezést igényelnek többszörös átírási eredménnyel.
Amazon átirat egy automatikus beszédfelismerő szolgáltatás, amely ML modelleket használ a hang szöveggé alakítására. Integrálhatja a szinkron munkafolyamatokba azáltal, hogy átírási munka megkezdése és időszakosan lekérdezi a munka állapotát. A feladat befejezése után elemezheti a kimenetet az előző lépés egyszerű szöveges moderálási munkafolyamatával.
A következő diagram a munkafolyamatot mutatja be.
Az API-k a következőképpen működnek:
- A StartTranscriptionJob Az API elindít egy aszinkron feladatot a beszéd szöveggé történő átírásához.
- A GetTranscriptionJob Az API egy átírási feladattal kapcsolatos információkat ad vissza. A munka állapotának megtekintéséhez ellenőrizze a
TranscriptionJobStatus
terület. Ha a status tulajdonság azCOMPLETED
, az eredményeket a megadott helyen találjaTranscriptFileUri
terület. Ha engedélyezi a tartalomszerkesztést, a szerkesztett átirat megjelenikRedactedTranscriptFileUri
.
Az élő hangfolyamokhoz más mintára van szükség, amely támogatja a valós idejű továbbítási modellt. A streamelés tartalmazhat előre rögzített médiát, például filmeket, zenét és podcastokat, valamint valós idejű médiát, például élő híradásokat. A hangdarabokat azonnal átírhatja a használatával Amazon Transcribe streaming HTTP/2 és WebSockets protokollokon keresztül. Miután egy darabot elküld a szolgáltatásba, kap egy vagy több darabot átírási eredmény objektumok a részleges és teljes transzkripciós szegmensek leírása. A moderálást igénylő szegmensek újra felhasználhatják az előző szakasz egyszerű szöveges munkafolyamatát. A következő diagram ezt a folyamatot szemlélteti.
A StartStreamingTranscription Az API elindít egy kétirányú HTTP/2 adatfolyamot, ahol a hanganyag az Amazon Transcribe-ba áramlik, és az átírási eredményeket továbbítja az alkalmazáshoz.
A képek és fényképek moderálása
A képek moderálásához a nem megfelelő, nem kívánt vagy sértő, meztelenséget, sugalmakat, erőszakot és egyéb kategóriákat tartalmazó tartalmak észlelése szükséges a képekből és fényképekből.
Amazon felismerés lehetővé teszi a kép- és videómoderálási munkafolyamatok egyszerűsítését vagy automatizálását ML-szakértelem nélkül. Az Amazon Rekognition a moderálással kapcsolatos címkék hierarchikus taxonómiáját adja vissza. Ez az információ megkönnyíti a részletes üzleti szabályok meghatározását a szabványoknak és gyakorlatoknak, a felhasználói biztonságnak és a megfelelőségi irányelveknek megfelelően. E képességek használatához nem szükséges ML tapasztalat. Az Amazon Rekognition képes észlelni és elolvasni a szöveget a képen, és határolókereteket ad vissza minden talált szóhoz. Az Amazon Rekognition támogatja az angol, arab, orosz, német, francia, olasz, portugál és spanyol nyelven írt szövegészlelést!
A gépi előrejelzések segítségével bizonyos moderálási feladatokat teljesen automatizálhat. Ez a képesség lehetővé teszi az emberi moderátorok számára, hogy a magasabb rendű munkára összpontosítsanak. Ezenkívül az Amazon Rekognition gyorsan át tud nézni több millió képet vagy több ezer videót az ML használatával, és megjelöli a további beavatkozást igénylő eszközök részhalmazát. Az előszűrés átfogó, mégis költséghatékony moderálási lefedettséget biztosít, miközben csökkenti az emberi csapatok által moderált tartalom mennyiségét.
A következő diagram a munkafolyamatot mutatja be.
Az API-k a következőképpen működnek:
- A DetectModerationLabels Az API észleli a nem biztonságos tartalmat a megadott JPEG vagy PNG formátumú képekben. A DetectModerationLabels segítségével moderálhatja a képeket az Ön igényei szerint. Előfordulhat például, hogy ki szeretné szűrni azokat a képeket, amelyek meztelenséget tartalmaznak, de nem sugalmazó tartalmat.
- A Szöveg észlelése Az API felismeri a szöveget a beviteli képben, és gépi olvasásra alkalmas szöveggé alakítja.
Mérsékelt rich text dokumentumok
Ezután használhatja Amazon szöveg kézzel írt szövegek és adatok kinyerésére a beolvasott dokumentumokból. Ez a folyamat a StartDocumentAnalysis művelet a Microsoft Word és Adobe PDF fájlok elemzéséhez. A munka előrehaladását a GetDocumentAnalysis akció.
Az elemzés eredménye meghatározza a dokumentum minden fedetlen oldalát, bekezdését, táblázatát és kulcs-érték párját. Tegyük fel például, hogy az egészségügyi szolgáltatónak csak az igényleírás mezőben kell elfednie a betegek nevét. Ebben az esetben az elemzési jelentés bekapcsolható intelligens dokumentumfeldolgozó csővezetékek amelyek moderálják és módosítják az adott adatmezőt. A következő ábra szemlélteti a csővezetéket.
Az API-k a következőképpen működnek:
- A StartDocumentAnalysis Az API elindítja egy bemeneti dokumentum aszinkron elemzését az észlelt elemek, például kulcs-érték párok, táblák és kiválasztási elemek közötti kapcsolatokra.
- A GetDocumentAnalysis Az API lekéri az Amazon Textract aszinkron művelet eredményeit, amely elemzi a dokumentum szövegét
Videók moderálása
A videótartalom-moderálás szokásos megközelítése a képkocka-mintavételezési eljárás. Sok esetben nem kell minden képkockát ellenőrizni, és elegendő 15–30 másodpercenként kiválasztani egyet. A mintavételezett videokockák újra felhasználhatják az állapotgépet az előző szakasz képeinek moderálására. Hasonlóképpen, a hang moderálására szolgáló meglévő folyamat támogatja a fájl hallható tartalmát. A következő diagram ezt a munkafolyamatot mutatja be.
A Indítsunk Az API egy Lambda függvényt futtat, és szinkronban várja a választ.
Tegyük fel, hogy a médiafájl egy teljes film több jelenettel. Ebben az esetben használhatja a Amazon Rekognition Segment API, egy összetett API technikai jelzések vagy lövésészlelés észlelésére. Ezután ezeket az időeltolásokat használhatja az egyes szegmensek párhuzamos feldolgozásához az előző videó moderálási mintával, amint az a következő diagramon látható.
Az API-k a következőképpen működnek:
- A StartSegmentationDetection Az API elindítja a szegmensészlelés aszinkron észlelését egy tárolt videóban
- A GetSegmentationDetection Az API megkapja a StartSegmentDetection API által elindított Amazon Rekognition Video elemzés szegmensészlelési eredményeit
Az egyes képkockák filmből való kinyeréséhez nincs szükség az objektum többszöri lekérésére az Amazon S3-ból. A naiv megoldás a videó memóriába olvasását és lapozását jelenti a végéig. Ez a minta ideális rövid klipekhez, és ahol az értékelések nem időérzékenyek.
Egy másik stratégia a fájl egyszeri áthelyezését foglalja magában Amazon elasztikus fájlrendszer (Amazon EFS), egy teljesen felügyelt, méretezhető, megosztott fájlrendszer más AWS-szolgáltatásokhoz, például a Lambdához. Val vel Amazon EFS a Lambdához, hatékonyan oszthatja el az adatokat a függvényhívások között. Minden hívás hatékonyan kezel egy kis részt, felszabadítva a hatalmas párhuzamos feldolgozás és a gyorsabb feldolgozási idők lehetőségét.
Tisztítsuk meg
Miután kísérletezett az ebben a bejegyzésben szereplő módszerekkel, törölnie kell az S3-csoportok tartalmát a jövőbeni költségek elkerülése érdekében. Ha ezeket a mintákat olyan kiépített számítási erőforrásokkal valósította meg, mint pl Amazon rugalmas számítási felhő (Amazon EC2) ill Amazon Elastic Container Service (Amazon ECS), állítsa le ezeket a példányokat a további díjak elkerülése érdekében.
Következtetés
A felhasználók által generált tartalom és annak értéke a játékok, a közösségi média, az e-kereskedelem, valamint a pénzügyi és egészségügyi szolgáltató szervezetek számára tovább fog növekedni. Ennek ellenére az induló vállalkozásoknak és a nagy szervezeteknek hatékony moderációs folyamatokat kell létrehozniuk a felhasználók, az információk és az üzlet védelme érdekében, miközben csökkentik a működési költségeket. Ez a megoldás bemutatja, hogy az AI, ML és NLP technológiák hogyan segíthetik hatékonyan a tartalom nagyarányú moderálását. Testreszabhatja az AWS AI szolgáltatásokat, hogy megfeleljen az Ön egyedi moderálási igényeinek! Ezek a teljesen felügyelt képességek megszüntetik a működési bonyolultságokat. Ez a rugalmasság stratégiailag integrálja a kontextuális betekintést és az emberi tehetséget a moderálási folyamatokba.
További információkért, forrásokért és a még ma ingyenes induláshoz látogassa meg a Az AWS tartalommoderálási kezdőlapja.
A szerzőkről
Nate Bachmeier az AWS Senior Solutions Architect, aki nomád módon fedezi fel New Yorkot, egy-egy felhőintegrációval. Szakterülete az alkalmazások migrálása és modernizálása. Ezen kívül Nate nappali tagozatos diák, és két gyereke van.
Ram Pathangi az Amazon Web Services megoldástervezője a San Francisco Bay Area-ban. Segített a mezőgazdaságban, a biztosításban, a bankszektorban, a kiskereskedelemben, az egészségügyben és az élettudományokban, a vendéglátásban és a csúcstechnológiás ágazatokban tevékenykedő ügyfeleknek sikeresen működtetni vállalkozásaikat az AWS Cloudon. Szakterülete az adatbázisok, az analitika és a gépi tanulás.
Roop Bains az AWS megoldástervezője, aki az AI/ML-re összpontosít. Szenvedélyesen segíti ügyfeleit innovációban és üzleti céljaik elérésében mesterséges intelligencia és gépi tanulás segítségével. Szabadidejében Roop szeret olvasni és túrázni.
- Coinsmart. Európa legjobb Bitcoin- és kriptográfiai tőzsdéje.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. SZABAD HOZZÁFÉRÉS.
- CryptoHawk. Altcoin radar. Ingyenes próbaverzió.
- Forrás: https://aws.amazon.com/blogs/machine-learning/content-moderation-design-patterns-with-aws-managed-ai-services/
- "
- 100
- 70
- Rólunk
- KIVONAT
- Fiók
- át
- Akció
- cselekvések
- mellett
- További
- cím
- Hirdetés
- mezőgazdaság
- AI
- AI szolgáltatások
- amazon
- Az Amazon Web Services
- összeg
- elemzés
- analitika
- api
- API-k
- Alkalmazás
- alkalmazások
- megközelítés
- építészet
- TERÜLET
- mesterséges
- mesterséges intelligencia
- Mesterséges intelligencia (AI)
- Mesterséges intelligencia és gépi tanulás
- Eszközök
- hang-
- automatizált
- Automatizált
- Automatikus
- elérhető
- AWS
- Bank
- bankszámla
- Banking
- öböl
- épít
- üzleti
- vállalkozások
- Hívó
- képességek
- visz
- esetek
- kihívást
- díjak
- klipek
- felhő
- kód
- együttműködik
- hogyan
- Közösségek
- közösség
- bonyodalmak
- teljesítés
- engedékeny
- átfogó
- Kiszámít
- kapcsolatok
- fogyaszt
- fogyasztás
- Konténer
- Konténerek
- tartalmaz
- tartalom
- folytatódik
- contribuer
- Megfelelő
- költséghatékony
- kiadások
- teremt
- szokás
- Ügyfelek
- szabható
- dátum
- adat-tudomány
- adatbázisok
- szállít
- kézbesítés
- bizonyítani
- attól
- Design
- észlelt
- Érzékelés
- különböző
- megvitatni
- dokumentumok
- Nem
- hajtás
- e-commerce
- e-kereskedelem
- hatékonyság
- hatékony
- eredményesen
- lehetővé
- eljegyzés
- Angol
- egység
- példa
- létező
- vár
- tapasztalat
- Tapasztalatok
- kísérlet
- szakvélemény
- exponenciálisan
- GYORS
- gyorsabb
- Jellemzők
- pénzügyi
- Rugalmasság
- áramlási
- Összpontosít
- koncentrál
- következik
- következő
- talált
- Alapítvány
- KERET
- Francisco
- Ingyenes
- francia
- Üzemanyag
- funkció
- további
- jövő
- szerencsejáték
- Globális
- Csoportok
- Nő
- irányelvek
- Egészség
- egészségügyi
- segít
- segít
- segít
- jó minőségű
- Hogyan
- How To
- HTTPS
- emberi
- kép
- Hatás
- végre
- végre
- tartalmaz
- növekvő
- egyéni
- iparágak
- információ
- bemenet
- meglátások
- biztosítás
- integrálni
- integráció
- Intelligencia
- kamat
- IT
- Munka
- Kulcs
- gyerekek
- Címkék
- nyelv
- Nyelvek
- nagy
- TANUL
- tanulás
- Life Sciences
- emelő
- Lista
- elhelyezkedés
- gép
- gépi tanulás
- KÉSZÍT
- sikerült
- maszk
- jelenti
- Média
- találkozó
- Partnerek
- Memory design
- microsoft
- esetleg
- Több millió
- ML
- Mobil
- modell
- modellek
- monitor
- több
- film
- Filmek
- mozgó
- többszörös
- zene
- nevek
- Természetes
- negatív
- New York
- hír
- szám
- online
- működik
- működés
- szervezetek
- Más
- átfogó
- szenvedélyes
- Mintás
- Fizet
- Emberek (People)
- kifejezés
- Platformok
- Podcastek
- szegény
- portugál
- pozitív
- potenciális
- hatalom
- Tippek
- előző
- árazás
- folyamat
- Folyamatok
- feldolgozás
- Termékek
- ingatlan
- védelme
- protokollok
- ad
- gyorsan
- Olvasás
- real-time
- kap
- elismerik
- csökkentő
- Kapcsolatok
- jelentést
- szükség
- kötelező
- követelmények
- Tudástár
- válasz
- Eredmények
- kiskereskedelem
- visszatérés
- Visszatér
- Kritika
- Vélemények
- Kockázat
- szabályok
- futás
- biztonságos
- Biztonság
- San
- San Francisco
- skálázható
- Skála
- jelenetek
- Tudomány
- TUDOMÁNYOK
- másodperc
- részes
- szegmensek
- érzés
- vagy szerver
- szolgáltatás
- Szolgáltatások
- megosztott
- rövid
- mutatott
- Hasonlóképpen
- Egyszerű
- kicsi
- Közösség
- Közösségi média
- megoldások
- Megoldások
- kifinomult
- terek
- specializálódott
- standard
- szabványok
- kezdet
- kezdődött
- kezdődik
- Startups
- Állami
- Állapot
- tárolás
- Stratégia
- folyam
- folyó
- diák
- sikeresen
- támogatás
- Támogatja
- rendszer
- Tehetség
- cél
- feladatok
- csapat
- Műszaki
- Technologies
- teszt
- The Source
- Gondolkodás
- ezer
- Keresztül
- idő
- Ma
- együtt
- hagyományos
- Másolat
- Fordítás
- típusok
- feltárni
- használ
- Felhasználók
- érték
- fajta
- függőlegesek
- videó
- Videók
- kötet
- háló
- webes szolgáltatások
- Mit
- vajon
- míg
- belül
- nélkül
- Munka