Amazon interaktiv videotjeneste (Amazon IVS) er en administrert live streaming-løsning som er designet for å gi et raskt og enkelt oppsett for å la deg bygge interaktive videoopplevelser og håndtere interaktivt videoinnhold fra inntak til levering.
Med den økte bruken av live-streaming blir behovet for effektiv innholdsmoderering enda mer avgjørende. Brukergenerert innhold (UGC) byr på komplekse sikkerhetsutfordringer. Mange selskaper er avhengige av menneskelige moderatorer for å overvåke videostrømmer, noe som er tidkrevende, feilutsatt og ikke skaleres med forretningsveksthastighet. En automatisert modereringsløsning som støtter et menneske i sløyfen (HITL) er stadig mer nødvendig.
Moderering av innhold for Amazon-gjenkjenning, en evne til Amazon-anerkjennelse, automatiserer og effektiviserer arbeidsflyter for bilde- og videomoderering uten å kreve erfaring med maskinlæring (ML). I dette innlegget forklarer vi den vanlige praksisen med visuell moderering av direktesendinger med en løsning som bruker Amazon Rekognition Image API til å moderere direktesendinger. Du kan distribuere denne løsningen til AWS-kontoen din ved å bruke AWS skyutviklingssett (AWS CDK) pakke tilgjengelig i vår GitHub repo.
Moderer visuelt innhold direktestrømming
Den vanligste tilnærmingen for visuell moderering av UGC live stream involverer sampling av bilder fra strømmen og bruk av bildemoderering for å motta resultater i nesten sanntid. Direktestrømplattformer kan bruke fleksible regler for å moderere visuelt innhold. For eksempel kan plattformer med yngre målgrupper ha strenge regler for voksent innhold og visse produkter, mens andre kan fokusere på hatsymboler. Disse plattformene etablerer forskjellige regler for å matche retningslinjene deres effektivt. Ved å kombinere menneskelig og automatisk gjennomgang, er en hybrid prosess en vanlig designtilnærming. Enkelte strømmer vil bli stoppet automatisk, men menneskelige moderatorer vil også vurdere om en strøm bryter plattformens retningslinjer og bør deaktiveres.
Følgende diagram illustrerer den konseptuelle arbeidsflyten til et modereringssystem i nesten sanntid, designet med løs kobling til live stream-systemet.
Arbeidsflyten inneholder følgende trinn:
- Livestream-tjenesten (eller klientappen) prøver bilderammer fra videostrømmer basert på et spesifikt intervall.
- En regelmotor evaluerer retningslinjene for moderering, bestemmer frekvensen av strømprøvetaking og gjeldende modereringskategorier, alt innenfor forhåndsdefinerte retningslinjer. Denne prosessen involverer bruk av både ML og ikke-ML algoritmer.
- Regelmotoren varsler menneskelige moderatorer når de oppdager brudd i videostrømmene.
- Menneskelige moderatorer vurderer resultatet og deaktiverer direktesendingen.
Moderering av UGC-livestrømmer er forskjellig fra klassisk videomoderering i media. Den imøtekommer ulike forskrifter. Hvor ofte bilder samples fra videorammer for moderering, bestemmes vanligvis av plattformens retningslinjer for tillit og sikkerhet og servicenivåavtalen (SLA). For eksempel, hvis en direktesendingsplattform har som mål å stoppe kanaler innen 3 minutter for brudd på retningslinjene, er en praktisk tilnærming å prøve hvert 1–2 minutt, slik at menneskelige moderatorer får tid til å bekrefte og iverksette tiltak. Noen plattformer krever fleksibel modereringsfrekvenskontroll. For eksempel kan svært anerkjente streamere trenge mindre moderering, mens nye krever nærmere oppmerksomhet. Dette muliggjør også kostnadsoptimalisering ved å redusere samplingsfrekvensen.
Kostnader er en viktig faktor i enhver modereringsløsning for direktesendinger. Ettersom UGC-livestrømplattformer raskt utvides, kan moderering av samtidige strømmer med høy frekvens skape kostnadsbekymringer. Løsningen som presenteres i dette innlegget er designet for å optimalisere kostnadene ved å la deg definere modereringsregler for å tilpasse prøvefrekvensen, ignorere lignende bilderammer og andre teknikker.
Opptak av Amazon IVS stream innhold til Amazon S3
Amazon IVS tilbyr native løsninger for ta opp strøminnhold til en Amazon enkel lagringstjeneste (Amazon S3) bøtte og generering av miniatyrbilder – bilderammer fra en videostrøm. Den genererer miniatyrbilder hvert 60. sekund som standard og gir brukerne muligheten til å tilpasse bildekvaliteten og frekvensen. Bruker AWS-administrasjonskonsoll, Kan du opprette en opptakskonfigurasjon og koble den til en Amazon IVS-kanal. Når en opptakskonfigurasjon er knyttet til en kanal, blir kanalens direktesendinger automatisk tatt opp til den angitte S3-bøtten.
Det er ingen Amazon IVS-kostnader for å bruke funksjonen for automatisk registrering til Amazon S3 eller for å skrive til Amazon S3. Det er kostnader for Amazon S3-lagring, Amazon S3 API-anrop som Amazon IVS foretar på vegne av kunden, og visning av den lagrede videoen til seerne. For detaljer om Amazon IVS-kostnader, se Kostnader (streaming med lav forsinkelse).
Amazon Rekognition Moderasjon APIer
I denne løsningen bruker vi Amazon Rekognition DetectModerationLabel API for å moderere Amazon IVS-miniatyrbilder i nesten sanntid. Amazon Rekognition Content Moderering gir forhåndstrente APIer for å analysere et bredt spekter av upassende eller støtende innhold, som vold, nakenhet, hatsymboler og mer. For en omfattende liste over Amazon Rekognition Content Moderering-taksonomier, se Moderere innhold.
Følgende kodebit viser hvordan du kaller Amazon Rekognition DetectModerationLabel API for å moderere bilder i en AWS Lambda funksjon ved å bruke Python Boto3-biblioteket:
Følgende er et eksempelsvar fra Amazon Rekognition Image Moderation API:
For ytterligere eksempler på Amazon Rekognition Image Moderation API, se vår Innholdsmoderering Bildelab.
Løsningsoversikt
Denne løsningen integreres med Amazon IVS ved å lese miniatyrbilder fra en S3-bøtte og sende bilder til Amazon Rekognition Image Moderation API. Det gir valg for å stoppe strømmen automatisk og gjennomgang av mennesker i sløyfen. Du kan konfigurere regler for at systemet automatisk skal stoppe strømmer basert på forhold. Den inkluderer også en lett menneskelig vurderingsportal, som gir moderatorer mulighet til å overvåke strømmer, administrere bruddvarsler og stoppe strømmer når det er nødvendig.
I denne delen introduserer vi kort systemarkitekturen. For mer detaljert informasjon, se GitHub repo.
Følgende skjermopptak viser moderatorgrensesnittet, og lar dem overvåke aktive strømmer med moderasjonsadvarsler og utføre handlinger som å stoppe strømmen eller avvise advarsler.
Brukere kan tilpasse modereringsregler, kontrollere prøvefrekvensen for videostrømmer per kanal, konfigurere Amazon Rekognition-moderasjonskategorier med konfidensgrenser og aktivere likhetssjekker, noe som sikrer ytelse og kostnadsoptimalisering ved å unngå behandling av overflødige bilder.
Følgende skjermopptak viser brukergrensesnittet for å administrere en global konfigurasjon.
Løsningen bruker en mikrotjenester-arkitektur, som består av to nøkkelkomponenter løst koblet med Amazon IVS.
regler motor
Regelmotoren utgjør ryggraden i modereringssystemet for direktesendinger. Det er en live-behandlingstjeneste som muliggjør nesten sanntidsmoderering. Den bruker Amazon Rekognition til å moderere bilder, validerer resultater mot tilpassbare regler, bruker bildehash-algoritmer for å gjenkjenne og ekskludere lignende bilder, og kan stoppe strømmer automatisk eller varsle det menneskelige gjennomgangsundersystemet ved regelbrudd. Tjenesten integreres med Amazon IVS gjennom Amazon S3-basert bildelesing og letter API-anrop via Amazon API-gateway.
Følgende arkitekturdiagram illustrerer arbeidsflyten for moderering i nesten sanntid.
Det er to metoder for å utløse arbeidsflyten for regelmotorbehandling:
- S3-filutløser – Når et nytt bilde legges til i S3-bøtten, starter arbeidsflyten. Dette er den anbefalte måten for Amazon IVS-integrasjon.
- REST API-kall – Du kan foreta et RESTful API-kall til API Gateway med bildebytene i forespørselsteksten. API-en lagrer bildet i en S3-bøtte, og utløser nær-sanntidsbehandling. Denne tilnærmingen passer for bilder tatt av klientsiden av livestream-appen og sendt over internett.
Arbeidsflyten for bildebehandling, administrert av AWS trinnfunksjoner, involverer flere trinn:
- Sjekk prøvefrekvensregelen. Behandlingen stopper hvis forrige prøvetidspunkt er for nylig.
- Hvis aktivert i konfigurasjonen, utfør en likhetssjekk ved hjelp av bildehash-algoritmer. Prosessen hopper over bildet hvis det ligner det forrige mottatt for samme kanal.
- Bruk Amazon Rekognition Image Moderation API for å vurdere bildet mot konfigurerte regler, bruke en konfidensgrense og ignorere unødvendige kategorier.
- Hvis modereringsresultatet bryter noen regler, send varsler til en Amazon enkel varslingstjeneste (Amazon SNS) emne, varsler nedstrømssystemer med moderasjonsadvarsler.
- Hvis modereringsregelen for automatisk stopp brytes, vil Amazon IVS-strømmen stoppes automatisk.
Designet administrerer regler gjennom en Step Functions-tilstandsmaskin, og gir et dra-og-slipp-grensesnitt for fleksibel arbeidsflytdefinisjon. Du kan utvide regelmotoren ved å inkludere flere arbeidsflyter for trinnfunksjoner.
Dashboard for overvåking og administrasjon
Overvåkings- og administrasjonsdashbordet er en nettapplikasjon med et brukergrensesnitt som lar menneskelige moderatorer overvåke Amazon IVS-livestrømmer. Den gir nesten sanntids modereringsvarsler, slik at moderatorer kan stoppe strømmer eller avvise advarsler. Nettportalen gir også administratorer mulighet til å administrere modereringsregler for regelmotoren. Den støtter to typer konfigurasjoner:
- Kanalregler – Du kan definere regler for spesifikke kanaler.
- Globale regler – Disse reglene gjelder for alle eller en undergruppe av Amazon IVS-kanaler som mangler spesifikke konfigurasjoner. Du kan definere et regulært uttrykk for å bruke den globale regelen på Amazon IVS-kanalnavn som samsvarer med et mønster. For eksempel: .* gjelder for alle kanaler. /^test-/ gjelder for kanaler med navn som begynner med test-.
Systemet er en serverløs nettapp, med en statisk React-grensesnitt som er vert på Amazon S3 med Amazon CloudFront for caching. Autentisering håndteres av Amazon Cognito. Data serveres gjennom API Gateway og Lambda, med statlig lagring i Amazon DynamoDB. Følgende diagram illustrerer denne arkitekturen.
Overvåkingsdashbordet er en lett demo-app som gir viktige funksjoner for moderatorer. For å forbedre funksjonaliteten kan du utvide implementeringen til å støtte flere moderatorer med et administrasjonssystem og redusere ventetiden ved å implementere en push-mekanisme ved hjelp av WebSockets.
Moderasjonsforsinkelse
Løsningen er designet for nesten sanntidsmoderering, med latens målt over to separate undersystemer:
- Regler motorens arbeidsflyt – Arbeidsflyten for regelmotoren, fra mottak av bilder til sending av varsler via Amazon SNS, er gjennomsnittlig innen 2 sekunder. Denne tjenesten håndterer bilder raskt gjennom en tilstandsmaskin for trinnfunksjoner. Amazon Rekognition Image Moderation API behandler under 500 millisekunder for gjennomsnittlige filstørrelser under 1 MB. (Disse funnene er basert på tester utført med prøveappen, som oppfyller krav til nesten sanntid.) I Amazon IVS har du muligheten til å velge forskjellige miniatyrbildeoppløsninger for å justere bildestørrelsen.
- Overvåking av nettportal – Overvåkingsnettportalen abonnerer på regelmotorens SNS-emne. Den registrerer advarsler i en DynamoDB-tabell, mens brukergrensesnittet for nettstedet henter de siste advarslene hvert 10. sekund. Denne designen viser en lett demonstrasjon av moderatorens syn. For å redusere ventetiden ytterligere, vurder å implementere en WebSocket for å umiddelbart sende advarsler til brukergrensesnittet ved ankomst via Amazon SNS.
Forleng løsningen
Dette innlegget fokuserer på moderering av visuelt innhold live stream. Løsningen er imidlertid bevisst fleksibel, i stand til å imøtekomme komplekse forretningsregler og kan utvides til å støtte andre medietyper, inkludert moderering av chat-meldinger og lyd i live-strømmer. Du kan forbedre regelmotoren ved å introdusere nye Step Functions tilstandsmaskinarbeidsflyter med oppstrøms sendingslogikk. Vi vil fordype oss dypere inn i livestream-tekst- og lydmoderering ved å bruke AWS AI-tjenester i kommende innlegg.
Oppsummering
I dette innlegget ga vi en oversikt over en eksempelløsning som viser hvordan du modererer Amazon IVS live stream videoer ved hjelp av Amazon Rekognition. Du kan oppleve eksempelappen ved å følge instruksjonene i GitHub repo og distribuere den til AWS-kontoen din ved å bruke den medfølgende AWS CDK-pakken.
Lær mer om innholdsmoderering på AWS. Ta det første skrittet mot strømlinjeforme innholdsmodereringsoperasjonene dine med AWS.
Om forfatterne
Lana Zhang er en senior løsningsarkitekt ved AWS WWSO AI Services-teamet, som spesialiserer seg på AI og ML for innholdsmoderering, datasyn, naturlig språkbehandling og generativ AI. Med sin ekspertise er hun dedikert til å promotere AWS AI/ML-løsninger og hjelpe kunder med å transformere sine forretningsløsninger på tvers av ulike bransjer, inkludert sosiale medier, spill, e-handel, media, reklame og markedsføring.
Tony Vu er Senior Partner Engineer hos Twitch. Han spesialiserer seg på å vurdere partnerteknologi for integrasjon med Amazon Interactive Video Service (IVS), med mål om å utvikle og levere omfattende fellesløsninger til våre IVS-kunder.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://aws.amazon.com/blogs/machine-learning/moderate-your-amazon-ivs-live-stream-using-amazon-rekognition/
- :er
- 1
- 10
- 100
- 118
- 12
- 500
- 60
- 7
- a
- Om oss
- imøtekommende
- Logg inn
- tvers
- Handling
- handlinger
- aktiv
- la til
- Ytterligere
- administratorer
- Voksen
- Annonsering
- mot
- Avtale
- AI
- AI-tjenester
- AI / ML
- Sikter
- mål
- Varsle
- Varsler
- algoritmer
- Alle
- tillate
- også
- Amazon
- Amazon-anerkjennelse
- Amazon Web Services
- an
- analysere
- og
- noen
- api
- APIer
- app
- aktuelt
- Søknad
- gjelder
- Påfør
- påføring
- tilnærming
- arkitektur
- ER
- ankomst
- AS
- vurdere
- vurdere
- bistå
- assosiert
- At
- oppmerksomhet
- publikum
- lyd
- Autentisering
- forfatter
- auto
- Automatisert
- automatiserer
- Automatisk
- automatisk
- tilgjengelig
- gjennomsnittlig
- unngå
- AWS
- Backbone
- basert
- BE
- blir
- vegne
- under
- kroppen
- både
- kort
- bygge
- virksomhet
- men
- by
- ring
- Samtaler
- CAN
- evne
- stand
- fanget
- kategorier
- henvender seg
- viss
- utfordringer
- Kanal
- kanaler
- avgifter
- sjekk
- Sjekker
- valg
- Classic
- kunde
- nærmere
- Cloud
- kode
- kombinere
- Felles
- Selskaper
- komplekse
- komponenter
- omfattende
- datamaskin
- Datamaskin syn
- konseptuelle
- bekymringer
- samtidig
- forhold
- gjennomført
- selvtillit
- Konfigurasjon
- konfigurert
- Vurder
- hensyn
- består
- inneholder
- innhold
- kontroll
- kontrollerende
- Kostnad
- Kostnader
- kombinert
- avgjørende
- kunde
- Kunder
- tilpasses
- tilpasse
- dashbord
- dato
- dedikert
- dypere
- Misligholde
- definere
- definisjon
- leverer
- levering
- dybden
- demo
- demonstrerer
- utplassere
- utplasserings
- utforming
- designet
- detaljert
- detaljer
- bestemmes
- bestemme
- utvikle
- Utvikling
- forskjellig
- Forkast
- skjermer
- distinkt
- diverse
- ikke
- e-handel
- Effektiv
- effektivt
- anvender
- myndiggjøring
- bemyndiger
- aktivert
- muliggjør
- muliggjør
- slutt
- Motor
- ingeniør
- forbedre
- sikrer
- avgjørende
- etablere
- Selv
- Hver
- eksempel
- eksempler
- Expand
- erfaring
- Erfaringer
- ekspertise
- Forklar
- uttrykk
- utvide
- forenkler
- Trekk
- Egenskaper
- Featuring
- hunn
- filet
- funn
- Først
- fitting
- fleksibel
- Fokus
- fokuserer
- etter
- Til
- skjemaer
- Frekvens
- ofte
- fra
- foran
- Front end
- funksjon
- funksjonalitet
- funksjoner
- videre
- gaming
- gateway
- genererer
- genererer
- generative
- Generativ AI
- gif
- Global
- Vekst
- retningslinjer
- Håndterer
- hash
- hashing
- hater
- Ha
- he
- her
- Høy
- svært
- vert
- Hvordan
- Hvordan
- Men
- HTML
- http
- HTTPS
- menneskelig
- Hybrid
- if
- ignorere
- illustrerer
- bilde
- bilder
- gjennomføring
- implementere
- viktig
- in
- inkludert
- inkluderer
- Inkludert
- innlemme
- økt
- stadig
- bransjer
- informasjon
- f.eks
- øyeblikkelig
- instruksjoner
- Integrerer
- integrering
- med hensikt
- interaktiv
- Internet
- inn
- introdusere
- innføre
- IT
- ledd
- jpg
- nøkkel
- maling
- Språk
- Ventetid
- siste
- læring
- mindre
- la
- Lar
- Bibliotek
- lett
- lettvekt
- LINK
- Liste
- leve
- Levende strømmer
- logikk
- maskin
- maskinlæring
- gjøre
- GJØR AT
- administrer
- fikk til
- ledelse
- forvalter
- administrerende
- mange
- Marketing
- Match
- matchende
- Kan..
- mekanisme
- Media
- møte
- meldinger
- metoder
- microservices
- kunne
- millisekunder
- minutter
- ML
- moderasjon
- Overvåke
- overvåking
- mer
- mest
- flere
- navn
- navn
- innfødt
- Naturlig
- Natural Language Processing
- nødvendig
- Trenger
- nødvendig
- Ny
- Nei.
- varsling
- varslinger
- objekt
- of
- støtende
- Tilbud
- on
- ONE
- seg
- Drift
- Optimalisere
- Alternativ
- or
- Annen
- andre
- vår
- enn
- samlet
- oversikt
- pakke
- partner
- Mønster
- for
- Utfør
- ytelse
- plattform
- Plattformer
- plato
- Platon Data Intelligence
- PlatonData
- Politikk
- politikk
- Portal
- Post
- innlegg
- Praktisk
- praksis
- presentert
- gaver
- forrige
- prosess
- Prosesser
- prosessering
- Produkter
- fremme
- gi
- forutsatt
- gir
- gi
- Skyv
- Python
- kvalitet
- Rask
- heve
- område
- raskt
- Reager
- Lesning
- motta
- mottatt
- mottak
- nylig
- gjenkjenne
- anbefales
- registrert
- innspilling
- poster
- redusere
- redusere
- referere
- regelmessig
- forskrifter
- avhengige
- hederlig
- anmode
- krever
- Krav
- svar
- resultere
- Resultater
- anmeldelse
- Regel
- regler
- Sikkerhet
- samme
- Skala
- Skjerm
- sekunder
- Seksjon
- send
- sending
- senior
- separat
- servert
- server~~POS=TRUNC
- tjeneste
- Tjenester
- servering
- oppsett
- flere
- hun
- bør
- side
- lignende
- Enkelt
- Størrelse
- størrelser
- tekstutdrag
- selskap
- sosiale medier
- løsning
- Solutions
- noen
- spesialisert
- spesialisert
- spesifikk
- spesifisert
- fart
- Start
- starter
- Tilstand
- statisk
- Trinn
- Steps
- Stopp
- stoppet
- stoppe
- lagring
- lagret
- butikker
- rett fram
- stream
- streaming
- bekker
- Streng
- slik
- støtte
- Støtte
- Støtter
- system
- Systemer
- bord
- Ta
- lag
- teknikker
- Teknologi
- tester
- tekst
- Det
- De
- deres
- Dem
- Der.
- Disse
- denne
- terskel
- Gjennom
- thumbnail
- tid
- tidkrevende
- til
- Tony
- også
- Tema
- mot
- transformere
- utløse
- utløsende
- Stol
- Nappe
- to
- typer
- typisk
- UGC
- ui
- etter
- unødvendig
- kommende
- upon
- bruk
- bruke
- Brukere
- bruker
- ved hjelp av
- utnytte
- verifisere
- av
- video
- videoer
- Se
- seere
- krenket
- BRUDD
- Brudd
- vold
- syn
- visuell
- Vei..
- we
- web
- Webapplikasjon
- webtjenester
- Nettsted
- nettstikkontakt
- når
- mens
- om
- hvilken
- mens
- bred
- Bred rekkevidde
- vil
- med
- innenfor
- uten
- arbeidsflyt
- arbeidsflyt
- skriving
- Du
- Younger
- Din
- zephyrnet