Amazon Interactive Video Service (Amazon IVS) er en administreret live streaming-løsning, der er designet til at give en hurtig og ligetil opsætning, så du kan bygge interaktive videooplevelser og håndtere interaktivt videoindhold fra indtagelse til levering.
Med den øgede brug af livestreaming bliver behovet for effektiv indholdsmoderering endnu mere afgørende. Brugergenereret indhold (UGC) giver komplekse udfordringer for sikkerheden. Mange virksomheder er afhængige af menneskelige moderatorer til at overvåge videostreams, hvilket er tidskrævende, fejlbehæftet og ikke skaleres med forretningsvæksthastighed. Der er i stigende grad behov for en automatiseret modereringsløsning, der understøtter et menneske i løkken (HITL).
Amazon-genkendelsesindholdsmoderering, en evne til Amazon-anerkendelse, automatiserer og strømliner arbejdsgange for billed- og videomoderering uden at kræve maskinlæringserfaring (ML). I dette indlæg forklarer vi den almindelige praksis med visuel moderering af livestream med en løsning, der bruger Amazon Rekognition Image API til at moderere livestreams. Du kan implementere denne løsning til din AWS-konto ved hjælp af AWS Cloud Development Kit (AWS CDK) pakke tilgængelig i vores GitHub repo.
Moderer visuelt indhold i livestreaming
Den mest almindelige tilgang til visuel moderering af UGC livestream involverer stikprøvebilleder fra streamen og brug af billedmoderering til at modtage resultater i næsten realtid. Livestream-platforme kan bruge fleksible regler til at moderere visuelt indhold. For eksempel kan platforme med et yngre publikum have strenge regler for voksenindhold og visse produkter, mens andre måske fokuserer på hadesymboler. Disse platforme etablerer forskellige regler for effektivt at matche deres politikker. Ved at kombinere menneskelig og automatisk gennemgang er en hybrid proces en almindelig designtilgang. Visse streams vil blive stoppet automatisk, men menneskelige moderatorer vil også vurdere, om en stream overtræder platformspolitikker og bør deaktiveres.
Følgende diagram illustrerer den konceptuelle arbejdsgang for et modereringssystem i næsten realtid, designet med løs kobling til livestream-systemet.
Arbejdsgangen indeholder følgende trin:
- Livestreamtjenesten (eller klientappen) prøver billedrammer fra videostreams baseret på et specifikt interval.
- En regelmaskine evaluerer modereringsretningslinjer, bestemmer hyppigheden af strømsampling og de relevante moderationskategorier, alt sammen inden for foruddefinerede politikker. Denne proces involverer brugen af både ML og ikke-ML algoritmer.
- Regelmotoren advarer menneskelige moderatorer, når de opdager overtrædelser i videostrømmene.
- Menneskelige moderatorer vurderer resultatet og deaktiverer livestreamen.
Moderering af UGC-livestreams er forskellig fra klassisk videomoderering i medier. Det henvender sig til forskellige regler. Hvor ofte billeder samples fra videoframes til moderering, bestemmes typisk af platformens Trust & Safety-politik og serviceniveauaftalen (SLA). For eksempel, hvis en livestream-platform har til formål at stoppe kanaler inden for 3 minutter for overtrædelser af politikker, er en praktisk tilgang at prøve hvert 1.-2. minut, hvilket giver menneskelige moderatorer tid til at bekræfte og handle. Nogle platforme kræver fleksibel moderationsfrekvenskontrol. For eksempel kan meget velrenommerede streamere have brug for mindre moderation, hvorimod nye kræver mere opmærksomhed. Dette muliggør også omkostningsoptimering ved at reducere samplingsfrekvensen.
Omkostninger er en vigtig overvejelse i enhver livestream-modereringsløsning. Da UGC-livestream-platforme hurtigt udvides, kan moderering af samtidige streams med høj frekvens give anledning til omkostningsbekymringer. Løsningen præsenteret i dette indlæg er designet til at optimere omkostningerne ved at give dig mulighed for at definere modereringsregler for at tilpasse prøvefrekvensen, ignorere lignende billedrammer og andre teknikker.
Optagelse af Amazon IVS stream indhold til Amazon S3
Amazon IVS tilbyder native løsninger til optagelse af streamindhold til en Amazon Simple Storage Service (Amazon S3) bucket og generering af thumbnails – billedrammer fra en videostream. Det genererer som standard miniaturer hvert 60. sekund og giver brugerne mulighed for at tilpasse billedkvaliteten og frekvensen. Bruger AWS Management Console, Kan du oprette en optagelseskonfiguration og link det til en Amazon IVS-kanal. Når en optagelseskonfiguration er knyttet til en kanal, optages kanalens livestreams automatisk til den angivne S3-bøtte.
Der er ingen Amazon IVS-afgifter for at bruge funktionen til automatisk optagelse til Amazon S3 eller for at skrive til Amazon S3. Der er gebyrer for Amazon S3-lagring, Amazon S3 API-kald, som Amazon IVS foretager på vegne af kunden, og visning af den lagrede video til seerne. For detaljer om Amazon IVS-omkostninger, se Omkostninger (streaming med lav forsinkelse).
Amazon Rekognition Moderation API'er
I denne løsning bruger vi Amazon Rekognition DetectModerationLabel API at moderere Amazon IVS-thumbnails i næsten realtid. Amazon Rekognition Content Moderation giver forudtrænede API'er til at analysere en bred vifte af upassende eller stødende indhold, såsom vold, nøgenhed, hadesymboler og mere. For en omfattende liste over Amazon Rekognition Content Moderation taksonomier, se Moderere indhold.
Følgende kodestykke viser, hvordan man kalder Amazon Rekognition DetectModerationLabel API for at moderere billeder inden for en AWS Lambda funktion ved hjælp af Python Boto3-biblioteket:
Følgende er et eksempelsvar fra Amazon Rekognition Image Moderation API:
For yderligere eksempler på Amazon Rekognition Image Moderation API, se vores Indholdsmoderering Billedlab.
Løsningsoversigt
Denne løsning integreres med Amazon IVS ved at læse thumbnail-billeder fra en S3-bøtte og sende billeder til Amazon Rekognition Image Moderation API. Det giver valgmuligheder for automatisk at stoppe streamen og gennemgang af mennesker i sløjfen. Du kan konfigurere regler for, at systemet automatisk stopper streams baseret på forhold. Det inkluderer også en let menneskelig anmeldelsesportal, der giver moderatorer mulighed for at overvåge streams, administrere overtrædelsesalarmer og stoppe streams, når det er nødvendigt.
I dette afsnit introducerer vi kort systemarkitekturen. For mere detaljeret information henvises til GitHub repo.
Følgende skærmoptagelse viser moderatorens brugergrænseflade, hvilket gør dem i stand til at overvåge aktive streams med modereringsadvarsler og foretage handlinger såsom at stoppe streamen eller afvise advarsler.
Brugere kan tilpasse modereringsregler, kontrollere videostreams samplefrekvens pr. kanal, konfigurere Amazon Rekognition-modereringskategorier med tillidsgrænser og aktivere lighedstjek, hvilket sikrer ydeevne og omkostningsoptimering ved at undgå behandling af overflødige billeder.
Følgende skærmoptagelse viser brugergrænsefladen til styring af en global konfiguration.
Løsningen bruger en mikroservicearkitektur, som består af to nøglekomponenter løst koblet med Amazon IVS.
regler motor
Regelmotoren udgør rygraden i livestream-modereringssystemet. Det er en live-behandlingstjeneste, der muliggør moderering næsten i realtid. Den bruger Amazon Rekognition til at moderere billeder, validerer resultater i forhold til regler, der kan tilpasses, anvender billedhashing-algoritmer til at genkende og udelukke lignende billeder og kan standse streams automatisk eller advare det menneskelige gennemgangsundersystem ved regelovertrædelser. Tjenesten integreres med Amazon IVS gennem Amazon S3-baseret billedlæsning og letter API-indkaldelse via Amazon API Gateway.
Følgende arkitekturdiagram illustrerer arbejdsgangen for moderering i næsten realtid.
Der er to metoder til at udløse arbejdsprocessen for regelmotorbehandling:
- S3 fil trigger – Når et nyt billede føjes til S3-bøtten, starter arbejdsgangen. Dette er den anbefalede måde for Amazon IVS-integration.
- REST API-kald – Du kan foretage et RESTful API-kald til API Gateway med billedbytene i anmodningsteksten. API'en gemmer billedet i en S3-bøtte, hvilket udløser behandling i næsten realtid. Denne tilgang passer til billeder taget af klientsiden af livestream-appen og transmitteret over internettet.
Billedbehandlingens arbejdsgang, styret af AWS-trinfunktioner, involverer flere trin:
- Tjek prøvefrekvensreglen. Behandlingen stopper, hvis den forrige prøvetid er for nylig.
- Hvis det er aktiveret i konfigurationen, skal du udføre en lighedskontrol ved hjælp af billedhash-algoritmer. Processen springer billedet over, hvis det ligner det forrige, der blev modtaget for den samme kanal.
- Brug Amazon Rekognition Image Moderation API til at vurdere billedet i forhold til konfigurerede regler, ved at anvende en konfidensgrænse og ignorere unødvendige kategorier.
- Hvis moderationsresultatet overtræder nogen regler, skal du sende meddelelser til en Amazon Simple Notification Service (Amazon SNS) emne, der advarer downstream-systemer med moderationsadvarsler.
- Hvis modereringsreglen for automatisk stop overtrædes, stoppes Amazon IVS-strømmen automatisk.
Designet administrerer regler gennem en Step Functions-tilstandsmaskine, der giver en træk-og-slip GUI til fleksibel arbejdsgangdefinition. Du kan udvide regelmotoren ved at inkorporere yderligere Step Functions-arbejdsgange.
Dashboard til overvågning og styring
Overvågnings- og administrationsdashboardet er en webapplikation med en brugergrænseflade, der lader menneskelige moderatorer overvåge Amazon IVS-livestreams. Det giver modereringsadvarsler næsten i realtid, hvilket giver moderatorer mulighed for at stoppe streams eller afvise advarsler. Webportalen giver også administratorer mulighed for at administrere modereringsregler for regelmotoren. Det understøtter to typer konfigurationer:
- Kanalregler – Du kan definere regler for specifikke kanaler.
- Globale regler – Disse regler gælder for alle eller en delmængde af Amazon IVS-kanaler, der mangler specifikke konfigurationer. Du kan definere et regulært udtryk for at anvende den globale regel på Amazon IVS-kanalnavne, der matcher et mønster. For eksempel: .* gælder for alle kanaler. /^test-/ gælder for kanaler med navne, der starter med test-.
Systemet er en serverløs web-app, der byder på en statisk React-frontend hostet på Amazon S3 med Amazon CloudFront til caching. Autentificering varetages af Amazon Cognito. Data serveres gennem API Gateway og Lambda, med tilstandslagring i Amazon DynamoDB. Følgende diagram illustrerer denne arkitektur.
Overvågningsdashboardet er en letvægts demo-app, der giver vigtige funktioner til moderatorer. For at forbedre funktionaliteten kan du udvide implementeringen til at understøtte flere moderatorer med et administrationssystem og reducere latens ved at implementere en push-mekanisme ved hjælp af WebSockets.
Moderation latens
Løsningen er designet til moderering næsten i realtid med latens målt på tværs af to separate undersystemer:
- Regler motorens arbejdsgang – Regelmotorens arbejdsgang, fra modtagelse af billeder til afsendelse af meddelelser via Amazon SNS, er i gennemsnit inden for 2 sekunder. Denne service håndterer straks billeder gennem en trinfunktions-tilstandsmaskine. Amazon Rekognition Image Moderation API behandler under 500 millisekunder for gennemsnitlige filstørrelser under 1 MB. (Disse resultater er baseret på test udført med prøve-appen, der opfylder krav til næsten realtid.) I Amazon IVS har du mulighed for at vælge forskellige thumbnail opløsninger for at justere billedstørrelsen.
- Overvågning af webportal – Overvågningswebportalen abonnerer på regelmotorens SNS-emne. Det registrerer advarsler i en DynamoDB-tabel, mens webstedets brugergrænseflade henter de seneste advarsler hvert 10. sekund. Dette design viser en let demonstration af moderatorens synspunkt. For yderligere at reducere forsinkelsen kan du overveje at implementere en WebSocket for øjeblikkeligt at skubbe advarsler til brugergrænsefladen ved deres ankomst via Amazon SNS.
Forlæng løsningen
Dette indlæg fokuserer på moderering af visuelt indhold i livestream. Løsningen er dog bevidst fleksibel, i stand til at rumme komplekse forretningsregler og kan udvides til at understøtte andre medietyper, herunder moderering af chatbeskeder og lyd i livestreams. Du kan forbedre regelmotoren ved at introducere nye Step Functions-tilstandsmaskine-arbejdsgange med opstrøms afsendelseslogik. Vi vil dykke dybere ned i livestream-tekst- og lydmoderering ved hjælp af AWS AI-tjenester i kommende indlæg.
Resumé
I dette indlæg gav vi en oversigt over en prøveløsning, der viser, hvordan man modererer Amazon IVS livestream-videoer ved hjælp af Amazon Rekognition. Du kan opleve eksempel-appen ved at følge instruktionerne i GitHub repo og implementere det til din AWS-konto ved hjælp af den medfølgende AWS CDK-pakke.
Lær mere om indholdsmoderering på AWS. Tag det første skridt mod strømlining af din indholdsmoderering med AWS.
Om forfatterne
Lana Zhang er Senior Solutions Architect hos AWS WWSO AI Services-teamet, med speciale i AI og ML til Content Moderation, Computer Vision, Natural Language Processing og Generative AI. Med sin ekspertise er hun dedikeret til at promovere AWS AI/ML-løsninger og hjælpe kunder med at transformere deres forretningsløsninger på tværs af forskellige brancher, herunder sociale medier, spil, e-handel, medier, reklame og marketing.
Tony Vu er Senior Partner Engineer hos Twitch. Han har specialiseret sig i at vurdere partnerteknologi til integration med Amazon Interactive Video Service (IVS), med det formål at udvikle og levere omfattende fælles løsninger til vores IVS-kunder.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
- Kilde: https://aws.amazon.com/blogs/machine-learning/moderate-your-amazon-ivs-live-stream-using-amazon-rekognition/
- :er
- 1
- 10
- 100
- 118
- 12
- 500
- 60
- 7
- a
- Om
- imødekommende
- Konto
- tværs
- Handling
- aktioner
- aktiv
- tilføjet
- Yderligere
- administratorer
- Voksen
- Reklame
- mod
- Aftale
- AI
- AI-tjenester
- AI / ML
- sigter
- målsætninger
- Alert
- Advarsler
- algoritmer
- Alle
- tillade
- også
- Amazon
- Amazon-anerkendelse
- Amazon Web Services
- an
- analysere
- ,
- enhver
- api
- API'er
- app
- anvendelig
- Anvendelse
- gælder
- Indløs
- Anvendelse
- tilgang
- arkitektur
- ER
- ankomst
- AS
- vurdere
- Vurdering
- bistår
- forbundet
- At
- opmærksomhed
- høringer
- lyd
- Godkendelse
- forfatter
- auto
- Automatiseret
- automater
- Automatisk Ur
- automatisk
- til rådighed
- gennemsnit
- undgå
- AWS
- Backbone
- baseret
- BE
- bliver
- vegne
- jf. nedenstående
- krop
- både
- kortvarigt
- bygge
- virksomhed
- men
- by
- ringe
- Opkald
- CAN
- kapacitet
- stand
- fanget
- kategorier
- gearet
- vis
- udfordringer
- Kanal
- kanaler
- afgifter
- kontrollere
- Kontrol
- valg
- Classic
- kunde
- tættere
- Cloud
- kode
- kombinerer
- Fælles
- Virksomheder
- komplekse
- komponenter
- omfattende
- computer
- Computer Vision
- konceptuelle
- Bekymringer
- konkurrent
- betingelser
- gennemført
- tillid
- Konfiguration
- konfigureret
- Overvej
- overvejelse
- består
- indeholder
- indhold
- kontrol
- styring
- Koste
- Omkostninger
- koblede
- afgørende
- kunde
- Kunder
- tilpasses
- tilpasse
- instrumentbræt
- data
- dedikeret
- dybere
- Standard
- definere
- definition
- levere
- levering
- dykke
- demo
- demonstrerer
- indsætte
- implementering
- Design
- konstrueret
- detaljeret
- detaljer
- bestemmes
- bestemmelse
- udvikle
- Udvikling
- forskellige
- Luk
- displays
- distinkt
- forskelligartede
- Er ikke
- e-handel
- Effektiv
- effektivt
- beskæftiger
- bemyndigelse
- bemyndiger
- aktiveret
- muliggør
- muliggør
- ende
- Engine (Motor)
- ingeniør
- forbedre
- sikrer
- væsentlig
- etablere
- Endog
- Hver
- eksempel
- eksempler
- Udvid
- erfaring
- Oplevelser
- ekspertise
- Forklar
- udtryk
- udvide
- letter
- Feature
- Funktionalitet
- Med
- kvinde
- File (Felt)
- fund
- Fornavn
- montering
- fleksibel
- Fokus
- fokuserer
- efter
- Til
- formularer
- Frekvens
- hyppigt
- fra
- forsiden
- forreste ende
- funktion
- funktionalitet
- funktioner
- yderligere
- spil
- gateway
- genererer
- generere
- generative
- Generativ AI
- gif
- Global
- Vækst
- retningslinjer
- Håndterer
- hash
- hashing
- hader
- Have
- he
- hende
- Høj
- stærkt
- hostede
- Hvordan
- How To
- Men
- HTML
- http
- HTTPS
- menneskelig
- Hybrid
- if
- ignorere
- illustrerer
- billede
- billeder
- implementering
- gennemføre
- vigtigt
- in
- medtaget
- omfatter
- Herunder
- inkorporering
- øget
- stigende
- industrier
- oplysninger
- instans
- øjeblikkeligt
- anvisninger
- Integrerer
- integration
- med vilje
- interaktiv
- Internet
- ind
- indføre
- indføre
- IT
- fælles
- jpg
- Nøgle
- Mangel
- Sprog
- Latency
- seneste
- læring
- mindre
- lad
- Lets
- Bibliotek
- lys
- letvægt
- LINK
- Liste
- leve
- Live Streams
- logik
- maskine
- machine learning
- lave
- maerker
- administrere
- lykkedes
- ledelse
- administrerer
- styring
- mange
- Marketing
- Match
- matchende
- Kan..
- mekanisme
- Medier
- møde
- beskeder
- metoder
- microservices
- måske
- millisekunder
- minutter
- ML
- mådehold
- Overvåg
- overvågning
- mere
- mest
- flere
- navn
- navne
- indfødte
- Natural
- Natural Language Processing
- nødvendig
- Behov
- behov
- Ny
- ingen
- underretning
- meddelelser
- objekt
- of
- offensiv
- Tilbud
- on
- ONE
- dem
- Produktion
- Optimer
- Option
- or
- Andet
- Andre
- vores
- i løbet af
- samlet
- oversigt
- pakke
- partner
- Mønster
- per
- Udfør
- ydeevne
- perron
- Platforme
- plato
- Platon Data Intelligence
- PlatoData
- politikker
- politik
- Portal
- Indlæg
- Indlæg
- Praktisk
- praksis
- forelagt
- gaver
- tidligere
- behandle
- Processer
- forarbejdning
- Produkter
- Fremme
- give
- forudsat
- giver
- leverer
- Skub ud
- Python
- kvalitet
- Hurtig
- rejse
- rækkevidde
- hurtigt
- Reagerer
- Læsning
- modtage
- modtaget
- modtagende
- nylige
- genkende
- anbefales
- registreres
- optagelse
- optegnelser
- reducere
- reducere
- henvise
- fast
- regler
- stole
- hæderlige
- anmode
- kræver
- Krav
- svar
- resultere
- Resultater
- gennemgå
- Herske
- regler
- Sikkerhed
- samme
- Scale
- Skærm
- sekunder
- Sektion
- send
- afsendelse
- senior
- adskille
- serveret
- Serverless
- tjeneste
- Tjenester
- servering
- setup
- flere
- hun
- bør
- side
- lignende
- Simpelt
- Størrelse
- størrelser
- uddrag
- Social
- sociale medier
- løsninger
- Løsninger
- nogle
- specialiseret
- speciale
- specifikke
- specificeret
- hastighed
- Starter
- starter
- Tilstand
- statisk
- Trin
- Steps
- Stands
- stoppet
- standsning
- opbevaring
- opbevaret
- forhandler
- ligetil
- strøm
- streaming
- vandløb
- Streng
- sådan
- support
- Støtte
- Understøtter
- systemet
- Systemer
- bord
- Tag
- hold
- teknikker
- Teknologier
- tests
- tekst
- at
- deres
- Them
- Der.
- Disse
- denne
- tærskel
- Gennem
- thumbnail
- tid
- tidskrævende
- til
- Tony
- også
- emne
- mod
- omdanne
- udløse
- udløsning
- Stol
- Twitch
- to
- typer
- typisk
- UGC
- ui
- under
- unødvendig
- kommende
- på
- Brug
- brug
- brugere
- bruger
- ved brug af
- Ved hjælp af
- verificere
- via
- video
- Videoer
- Specifikation
- seere
- krænket
- KRÆNKELSE
- Overtrædelser
- Vold
- vision
- visuel
- Vej..
- we
- web
- Webapplikation
- webservices
- Hjemmeside
- websockets
- hvornår
- ud fra følgende betragtninger
- hvorvidt
- som
- mens
- bred
- Bred rækkevidde
- vilje
- med
- inden for
- uden
- workflow
- arbejdsgange
- skrivning
- Du
- Yngre
- Din
- zephyrnet