Amazonova interaktivna video storitev (Amazon IVS) je upravljana rešitev za pretakanje v živo, ki je zasnovana tako, da zagotavlja hitro in preprosto nastavitev, ki vam omogoča ustvarjanje interaktivnih video izkušenj in obravnava interaktivno video vsebino od vnosa do dostave.
S povečano uporabo prenosa v živo postane potreba po učinkovitem moderiranju vsebine še bolj ključna. Uporabniško ustvarjena vsebina (UGC) predstavlja kompleksne izzive za varnost. Mnoga podjetja se pri spremljanju video tokov zanašajo na človeške moderatorje, kar je zamudno, nagnjeno k napakam in se ne prilagaja hitrosti rasti podjetja. Vse bolj je potrebna avtomatizirana rešitev za moderiranje, ki podpira človeka v zanki (HITL).
Moderiranje vsebine Amazon Rekognition, zmožnost Amazonsko ponovno vžiganje, avtomatizira in poenostavi delovne tokove moderiranja slik in videoposnetkov, ne da bi zahteval izkušnje s strojnim učenjem (ML). V tej objavi pojasnjujemo običajno prakso vizualnega moderiranja pretočnega predvajanja v živo z rešitvijo, ki za moderiranje pretočnega predvajanja v živo uporablja API za slike Amazon Rekognition. To rešitev lahko uvedete v svoj račun AWS z uporabo Komplet za razvoj oblaka AWS (AWS CDK) paket, ki je na voljo v naši GitHub repo.
Zmerna vizualna vsebina pretakanja v živo
Najpogostejši pristop k vizualnemu moderiranju pretoka UGC v živo vključuje vzorčenje slik iz toka in uporabo moderiranja slik za prejemanje rezultatov v skoraj realnem času. Platforme za pretakanje v živo lahko uporabljajo prilagodljiva pravila za moderiranje vizualne vsebine. Na primer, platforme z mlajšim občinstvom imajo lahko stroga pravila glede vsebine za odrasle in nekaterih izdelkov, medtem ko se druge lahko osredotočajo na simbole sovraštva. Te platforme vzpostavijo različna pravila, da se učinkovito uskladijo s svojimi politikami. Hibridni postopek, ki združuje človeški in samodejni pregled, je običajen pristop oblikovanja. Nekateri tokovi bodo samodejno ustavljeni, vendar bodo človeški moderatorji prav tako ocenili, ali tok krši pravilnike platforme in ga je treba deaktivirati.
Naslednji diagram ponazarja konceptualni potek dela sistema za moderiranje v skoraj realnem času, zasnovan z ohlapno povezavo s sistemom za pretakanje v živo.
Potek dela vsebuje naslednje korake:
- Storitev pretakanja v živo (ali odjemalska aplikacija) vzorči slikovne okvire iz video tokov na podlagi določenega intervala.
- Mehanizem pravil ocenjuje smernice za moderiranje, določa pogostost vzorčenja toka in veljavne kategorije moderiranja, vse znotraj vnaprej določenih pravilnikov. Ta postopek vključuje uporabo algoritmov ML in ne-ML.
- Mehanizem pravil opozori moderatorje, ko zazna kršitve v videotokih.
- Človeški moderatorji ocenijo rezultat in deaktivirajo prenos v živo.
Moderiranje UGC prenosov v živo se razlikuje od klasičnega moderiranja videa v medijih. Upošteva različne predpise. Kako pogosto se slike vzorčijo iz video okvirjev za moderiranje, je običajno določeno s pravilnikom o zaupanju in varnosti platforme in pogodbo o ravni storitev (SLA). Na primer, če želi platforma za pretakanje v živo ustaviti kanale v 3 minutah zaradi kršitev pravilnika, je praktičen pristop vzorčenje vsaki 1–2 minuti, kar moderatorjem omogoči čas, da preverijo in ukrepajo. Nekatere platforme zahtevajo prilagodljiv nadzor frekvence moderiranja. Na primer, zelo ugledni streamerji morda potrebujejo manj moderiranja, medtem ko novi zahtevajo več pozornosti. To omogoča tudi optimizacijo stroškov z zmanjšanjem frekvence vzorčenja.
Stroški so pomemben dejavnik pri kateri koli rešitvi za moderiranje pretočnega predvajanja v živo. Ker se UGC platforme za pretakanje v živo hitro širijo, lahko moderiranje sočasnih tokov pri visoki frekvenci povzroči pomisleke glede stroškov. Rešitev, predstavljena v tej objavi, je zasnovana za optimizacijo stroškov, tako da vam omogoča, da definirate pravila moderiranja, da prilagodite frekvenco vzorčenja, prezrete podobne slikovne okvirje in druge tehnike.
Snemanje pretočne vsebine Amazon IVS v Amazon S3
Amazon IVS ponuja izvorne rešitve za snemanje pretočne vsebine v Preprosta storitev shranjevanja Amazon (Amazon S3) vedro in generiranje sličic – slikovni okvirji iz video toka. Privzeto ustvarja sličice vsakih 60 sekund in uporabnikom ponuja možnost prilagajanja kakovosti in pogostosti slike. Uporabljati Konzola za upravljanje AWS, ti lahko ustvarite konfiguracijo snemanja in ga povežite s kanalom Amazon IVS. Ko je konfiguracija snemanja povezana s kanalom, se tokovi v živo kanala samodejno posnamejo v določeno vedro S3.
Za uporabo funkcije samodejnega snemanja v Amazon S3 ali za pisanje v Amazon S3 ni stroškov Amazon IVS. Obstajajo stroški za shranjevanje Amazon S3, klice Amazon S3 API, ki jih Amazon IVS opravi v imenu stranke, in serviranje shranjenega videa gledalcem. Za podrobnosti o stroških Amazon IVS glejte Stroški (pretakanje z nizko zakasnitvijo).
API-ji za moderiranje Amazon Rekognition
V tej rešitvi uporabljamo Amazon Rekognition DetectModerationLabel API za moderiranje sličic Amazon IVS v skoraj realnem času. Amazon Rekognition Content Moderation zagotavlja predhodno usposobljene API-je za analizo širokega spektra neprimerne ali žaljive vsebine, kot so nasilje, golota, simboli sovraštva in drugo. Za izčrpen seznam taksonomij Amazon Rekognition Content Moderation glejte Moderiranje vsebine.
Naslednji delček kode prikazuje, kako poklicati API Amazon Rekognition DetectModerationLabel za moderiranje slik znotraj AWS Lambda funkcija s knjižnico Python Boto3:
Sledi primer odgovora API-ja za moderiranje slik Amazon Rekognition:
Za dodatne primere API-ja za moderiranje slik Amazon Rekognition glejte naše Laboratorij za moderiranje vsebin.
Pregled rešitev
Ta rešitev se integrira z Amazon IVS z branjem sličic iz vedra S3 in pošiljanjem slik v API za moderiranje slik Amazon Rekognition. Omogoča izbire za samodejno zaustavitev toka in pregled s strani človeka v zanki. Konfigurirate lahko pravila za samodejno zaustavitev tokov sistema glede na pogoje. Vključuje tudi lahek portal za človeški pregled, ki moderatorjem omogoča spremljanje tokov, upravljanje opozoril o kršitvah in zaustavitev tokov, kadar je to potrebno.
V tem razdelku na kratko predstavljamo arhitekturo sistema. Za podrobnejše informacije glejte GitHub repo.
Naslednji posnetek zaslona prikazuje uporabniški vmesnik moderatorja, ki mu omogoča spremljanje aktivnih tokov z opozorili o moderiranju in izvajanje dejanj, kot je ustavitev toka ali opustitev opozoril.
Uporabniki lahko prilagodijo pravila moderiranja, nadzorujejo frekvenco vzorčenja video toka na kanal, konfigurirajo kategorije moderiranja Amazon Rekognition s pragovi zaupanja in omogočijo preverjanje podobnosti, kar zagotavlja učinkovitost in optimizacijo stroškov z izogibanjem obdelavi odvečnih slik.
Naslednji posnetek zaslona prikazuje uporabniški vmesnik za upravljanje globalne konfiguracije.
Rešitev uporablja arhitekturo mikrostoritev, ki je sestavljena iz dveh ključnih komponent, ohlapno povezanih z Amazon IVS.
pravilnik motor
Mehanizem pravil tvori hrbtenico sistema moderiranja pretočnega predvajanja v živo. Gre za storitev obdelave v živo, ki omogoča moderiranje v skoraj realnem času. Uporablja Amazon Rekognition za moderiranje slik, preverja rezultate glede na prilagodljiva pravila, uporablja algoritme zgoščevanja slik za prepoznavanje in izključevanje podobnih slik ter lahko samodejno ustavi tokove ali opozori podsistem za človeški pregled ob kršitvah pravil. Storitev se integrira z Amazon IVS prek branja slik na osnovi Amazon S3 in olajša priklic API-ja prek Amazon API Gateway.
Naslednji diagram arhitekture ponazarja potek dela moderiranja v skoraj realnem času.
Obstajata dva načina za sprožitev delovnega toka obdelave mehanizma pravil:
- Sprožilec datoteke S3 – Ko je nova slika dodana v vedro S3, se potek dela začne. To je priporočen način za integracijo Amazon IVS.
- Klic REST API – Opravite lahko klic RESTful API na API Gateway z bajti slike v telesu zahteve. API shrani sliko v vedro S3, kar sproži obdelavo v skoraj realnem času. Ta pristop je primeren za slike, ki jih posname odjemalska stran aplikacije za pretakanje v živo in se prenašajo prek interneta.
Potek dela za obdelavo slik, ki ga upravlja Korak funkcije AWS, vključuje več korakov:
- Preverite pravilo frekvence vzorčenja. Obdelava se ustavi, če je čas prejšnjega vzorčenja premlad.
- Če je omogočeno v konfiguraciji, izvedite preverjanje podobnosti z algoritmi zgoščevanja slike. Postopek preskoči sliko, če je podobna prejšnji, prejeti za isti kanal.
- Uporabite API za moderiranje slike Amazon Rekognition, da ocenite sliko glede na konfigurirana pravila, pri čemer uporabite prag zaupanja in zanemarite nepotrebne kategorije.
- Če rezultat moderiranja krši katera koli pravila, pošljite obvestilo na Amazon Simple notification Service (Amazon SNS) tema, ki opozarja spodnje sisteme z opozorili o moderiranju.
- Če je pravilo moderiranja samodejne ustavitve kršeno, bo tok Amazon IVS samodejno ustavljen.
Zasnova upravlja pravila prek stroja stanja Step Functions, ki zagotavlja grafični vmesnik povleci in spusti za prilagodljivo definicijo delovnega toka. Mehanizem pravil lahko razširite tako, da vključite dodatne poteke dela s funkcijami korakov.
Nadzorna plošča in upravljanje
Nadzorna plošča za spremljanje in upravljanje je spletna aplikacija z uporabniškim vmesnikom, ki moderatorjem omogoča spremljanje pretokov Amazon IVS v živo. Zagotavlja opozorila o moderiranju v skoraj realnem času, kar moderatorjem omogoča, da ustavijo tokove ali opustijo opozorila. Spletni portal skrbnikom omogoča tudi upravljanje pravil moderiranja za mehanizem pravil. Podpira dve vrsti konfiguracij:
- Pravila kanala – Določite lahko pravila za določene kanale.
- Globalna pravila – Ta pravila veljajo za vse ali podmnožico kanalov Amazon IVS, ki nimajo posebnih konfiguracij. Definirate lahko regularni izraz za uporabo globalnega pravila za imena kanalov Amazon IVS, ki se ujemajo z vzorcem. Na primer: .* velja za vse kanale. /^test-/ velja za kanale z imeni, ki se začnejo s test-.
Sistem je spletna aplikacija brez strežnika, ki vključuje statični vmesnik React, ki gostuje na Amazon S3 s Amazon CloudFront za predpomnjenje. Za preverjanje pristnosti skrbi Amazon Cognito. Podatki se strežejo prek API Gateway in Lambda, s shranjevanjem v stanju Amazon DynamoDB. Naslednji diagram ponazarja to arhitekturo.
Nadzorna plošča je lahka predstavitvena aplikacija, ki moderatorjem nudi bistvene funkcije. Za izboljšanje funkcionalnosti lahko razširite izvedbo za podporo več moderatorjem s sistemom upravljanja in zmanjšate zakasnitev z implementacijo potisnega mehanizma z uporabo WebSockets.
Zakasnitev moderiranja
Rešitev je zasnovana za moderiranje v skoraj realnem času, z zakasnitvijo, izmerjeno v dveh ločenih podsistemih:
- Potek dela mehanizma pravil – Delovni tok mehanizma pravil, od prejemanja slik do pošiljanja obvestil prek storitve Amazon SNS, je v povprečju v 2 sekundah. Ta storitev takoj obravnava slike prek stroja stanja Step Functions. API za moderiranje slik Amazon Rekognition obdela manj kot 500 milisekund za povprečne velikosti datotek pod 1 MB. (Te ugotovitve temeljijo na testih, opravljenih z vzorčno aplikacijo, ki izpolnjujejo zahteve skoraj v realnem času.) V Amazon IVS imate možnost izbrati različne resolucije sličic prilagodite velikost slike.
- Spletni portal za spremljanje – Spletni portal za spremljanje je naročen na temo SNS mehanizma pravil. Beleži opozorila v tabeli DynamoDB, medtem ko uporabniški vmesnik spletnega mesta pridobi najnovejša opozorila vsakih 10 sekund. Ta oblika prikazuje lahek prikaz moderatorjevega pogleda. Če želite dodatno zmanjšati zakasnitev, razmislite o implementaciji WebSocketa za takojšnje pošiljanje opozoril v uporabniški vmesnik ob njihovem prihodu prek Amazon SNS.
Razširite rešitev
Ta objava se osredotoča na moderiranje vizualne vsebine v živo. Vendar pa je rešitev namenoma prilagodljiva, zmožna prilagoditi zapletena poslovna pravila in razširljiva za podporo drugim vrstam medijev, vključno z moderiranjem sporočil v klepetu in zvoka v prenosih v živo. Mehanizem pravil lahko izboljšate tako, da uvedete nove poteke dela stroja stanj Step Functions z logiko pošiljanja navzgor. V prihodnjih objavah se bomo poglobili v moderiranje besedila in zvoka v živo z uporabo storitev AI AWS.
Povzetek
V tej objavi smo zagotovili pregled vzorčne rešitve, ki prikazuje, kako moderirati videoposnetke Amazon IVS v živo z Amazon Rekognition. Vzorčno aplikacijo lahko preizkusite tako, da sledite navodilom v GitHub repo in ga namestite v svoj račun AWS z uporabo vključenega paketa AWS CDK.
Več o tem moderiranje vsebine na AWS. Naredite prvi korak k poenostavitev postopkov moderiranja vsebine z AWS.
O avtorjih
Lana Zhang je višji arhitekt rešitev pri AWS WWSO AI Services team, specializiran za AI in ML za moderiranje vsebine, računalniški vid, obdelavo naravnega jezika in generativno umetno inteligenco. S svojim strokovnim znanjem je predana promociji rešitev AWS AI/ML in pomoči strankam pri preoblikovanju njihovih poslovnih rešitev v različnih panogah, vključno z družbenimi mediji, igrami, e-trgovino, mediji, oglaševanjem in trženjem.
Tony Vu je višji partnerski inženir pri Twitchu. Specializiran je za ocenjevanje partnerske tehnologije za integracijo z Amazon Interactive Video Service (IVS), s ciljem razviti in zagotoviti celovite skupne rešitve našim strankam IVS.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/moderate-your-amazon-ivs-live-stream-using-amazon-rekognition/
- : je
- 1
- 10
- 100
- 118
- 12
- 500
- 60
- 7
- a
- O meni
- ustrežljiv
- Račun
- čez
- Ukrep
- dejavnosti
- aktivna
- dodano
- Dodatne
- administratorji
- Izobraževanje odraslih
- Oglaševanje
- proti
- Sporazum
- AI
- Storitve AI
- AI / ML
- Usmerjanje
- Cilje
- Opozorite
- Opozorila
- algoritmi
- vsi
- Dovoli
- Prav tako
- Amazon
- Amazonsko ponovno vžiganje
- Amazon Web Services
- an
- analizirati
- in
- kaj
- API
- API-ji
- aplikacija
- primerno
- uporaba
- velja
- Uporabi
- Uporaba
- pristop
- Arhitektura
- SE
- Prihod
- AS
- oceniti
- Ocenjevanje
- pomoč
- povezan
- At
- pozornosti
- občinstva
- audio
- Preverjanje pristnosti
- Avtor
- avto
- Avtomatizirano
- avtomatizira
- Samodejno
- samodejno
- Na voljo
- povprečno
- izogibanje
- AWS
- Hrbtenica
- temeljijo
- BE
- postane
- ime
- spodaj
- telo
- tako
- Na kratko
- izgradnjo
- poslovni
- vendar
- by
- klic
- poziva
- CAN
- zmožnost
- lahko
- Zajeto
- kategorije
- poskrbi
- nekatere
- izzivi
- Channel
- kanali
- Stroški
- preveriti
- Pregledi
- možnosti
- klasična
- stranke
- bližje
- Cloud
- Koda
- združevanje
- Skupno
- Podjetja
- kompleksna
- deli
- celovito
- računalnik
- Računalniška vizija
- idejni
- Skrbi
- sočasno
- Pogoji
- poteka
- zaupanje
- konfiguracija
- konfigurirano
- Razmislite
- premislek
- vsebuje
- Vsebuje
- vsebina
- nadzor
- nadzor
- strošek
- stroški
- skupaj
- ključnega pomena
- stranka
- Stranke, ki so
- prilagodljiv
- prilagodite
- Armaturna plošča
- datum
- namenjen
- globlje
- privzeto
- opredeliti
- opredelitev
- poda
- dostava
- potopite
- demo
- dokazuje,
- razporedi
- uvajanja
- Oblikovanje
- zasnovan
- podrobno
- Podrobnosti
- določi
- določanje
- Razvoj
- Razvoj
- drugačen
- Opusti
- prikazovalniki
- izrazit
- razne
- Ne
- e-trgovina
- Učinkovito
- učinkovito
- zaposluje
- pooblastitvi
- pooblašča
- omogočena
- omogoča
- omogočanje
- konec
- Motor
- inženir
- okrepi
- zagotavlja
- bistvena
- vzpostaviti
- Tudi
- Tudi vsak
- Primer
- Primeri
- Razširi
- izkušnje
- Doživetja
- strokovno znanje
- Pojasnite
- izraz
- razširiti
- olajša
- Feature
- Lastnosti
- Featuring
- ženska
- file
- Ugotovitve
- prva
- opremljanje
- prilagodljiv
- Osredotočite
- Osredotoča
- po
- za
- Obrazci
- frekvenca
- pogosto
- iz
- spredaj
- Prednji del
- funkcija
- funkcionalnost
- funkcije
- nadalje
- igre na srečo
- Prehod
- ustvarja
- ustvarjajo
- generativno
- Generativna AI
- gif
- Globalno
- Rast
- Smernice
- Ročaji
- hash
- mešanje
- sovražijo
- Imajo
- he
- jo
- visoka
- zelo
- gostila
- Kako
- Kako
- Vendar
- HTML
- http
- HTTPS
- človeškega
- Hybrid
- if
- ignorirati
- ponazarja
- slika
- slike
- Izvajanje
- izvajanja
- Pomembno
- in
- vključeno
- vključuje
- Vključno
- vključujoč
- povečal
- vedno
- industrij
- Podatki
- primer
- takoj
- Navodila
- Integrira
- integracija
- namerno
- interaktivno
- Internet
- v
- uvesti
- Predstavljamo
- IT
- skupno
- jpg
- Ključne
- Pomanjkanje
- jezik
- Latenca
- Zadnji
- učenje
- manj
- Naj
- Lets
- Knjižnica
- light
- lahek
- LINK
- Seznam
- v živo
- Prenosi v živo
- Logika
- stroj
- strojno učenje
- Znamka
- IZDELA
- upravljanje
- upravlja
- upravljanje
- upravlja
- upravljanje
- več
- Trženje
- Stave
- ujemanje
- Maj ..
- Mehanizem
- mediji
- srečanja
- sporočil
- Metode
- mikro storitve
- morda
- milisekund
- Minute
- ML
- zmernost
- monitor
- spremljanje
- več
- Najbolj
- več
- Ime
- Imena
- materni
- naravna
- Obdelava Natural Language
- potrebno
- Nimate
- potrebna
- Novo
- št
- Obvestilo
- Obvestila
- predmet
- of
- žaljive
- Ponudbe
- on
- ONE
- tiste
- operacije
- Optimizirajte
- Možnost
- or
- Ostalo
- drugi
- naši
- več
- Splošni
- pregled
- paket
- partner
- Vzorec
- za
- Izvedite
- performance
- platforma
- Platforme
- platon
- Platonova podatkovna inteligenca
- PlatoData
- politike
- politika
- Portal
- Prispevek
- Prispevkov
- Praktično
- praksa
- predstavljeni
- darila
- prejšnja
- Postopek
- Procesi
- obravnavati
- Izdelki
- Spodbujanje
- zagotavljajo
- če
- zagotavlja
- zagotavljanje
- Push
- Python
- kakovost
- Hitri
- dvigniti
- območje
- hitro
- Reagirajo
- reading
- prejeti
- prejetih
- prejema
- nedavno
- priznajo
- priporočeno
- Zabeležena
- Snemanje
- evidence
- zmanjša
- zmanjšanje
- glejte
- redni
- predpisi
- zanašajo
- ugledne
- zahteva
- zahteva
- Zahteve
- Odgovor
- povzroči
- Rezultati
- pregleda
- Pravilo
- pravila
- Varnost
- Enako
- Lestvica
- Zaslon
- sekund
- Oddelek
- pošljite
- pošiljanja
- višji
- ločena
- služil
- Brez strežnika
- Storitev
- Storitve
- služijo
- nastavitev
- več
- je
- shouldnt
- strani
- Podoben
- Enostavno
- Velikosti
- velikosti
- delček
- socialna
- družbeni mediji
- Rešitev
- rešitve
- nekaj
- specializirano
- specializacijo
- specifična
- določeno
- hitrost
- Začetek
- začne
- Država
- statična
- Korak
- Koraki
- stop
- ustavil
- ustavljanje
- shranjevanje
- shranjeni
- trgovine
- naravnost
- tok
- pretakanje
- tokovi
- Stroga
- taka
- podpora
- Podpora
- Podpira
- sistem
- sistemi
- miza
- Bodite
- skupina
- tehnike
- Tehnologija
- testi
- besedilo
- da
- O
- njihove
- Njih
- Tukaj.
- te
- ta
- Prag
- skozi
- thumbnail
- čas
- zamudno
- do
- Tony
- tudi
- temo
- proti
- preoblikovanje
- sprožijo
- sproži
- Zaupajte
- Trzanje
- dva
- Vrste
- tipično
- UGC
- ui
- pod
- nepotrebna
- prihajajoče
- naprej
- Uporaba
- uporaba
- Uporabniki
- uporablja
- uporabo
- Uporaben
- preverjanje
- preko
- Video
- Video posnetki
- Poglej
- gledalcev
- kršil
- POVREDA
- Kršitve
- Nasilje
- Vizija
- vizualna
- način..
- we
- web
- Spletna aplikacija
- spletne storitve
- Spletna stran
- spletna vtičnica
- kdaj
- medtem ko
- ali
- ki
- medtem
- široka
- Širok spekter
- bo
- z
- v
- brez
- potek dela
- delovnih tokov
- pisanje
- Vi
- Mlajši
- Vaša rutina za
- zefirnet