Door gebruikers gegenereerde inhoud (UGC) groeit exponentieel, evenals de vereisten en kosten om inhoud en online communities veilig en compliant te houden. Moderne web- en mobiele platforms voeden bedrijven en stimuleren de betrokkenheid van gebruikers via sociale functies, van startups tot grote organisaties. Leden van de online community verwachten veilige en inclusieve ervaringen waarbij ze vrijelijk afbeeldingen, video's, tekst en audio kunnen consumeren en eraan kunnen bijdragen. Het steeds toenemende volume, de verscheidenheid en de complexiteit van UGC zorgen ervoor dat traditionele workflows voor menselijke moderatie lastig te schalen zijn om gebruikers te beschermen. Deze beperkingen dwingen klanten tot inefficiรซnte, dure en reactieve mitigatieprocessen die een onnodig risico voor gebruikers en het bedrijf met zich meebrengen. Het resultaat is een slechte, schadelijke en niet-inclusieve gemeenschapservaring die gebruikers buitensluit, wat een negatieve invloed heeft op de gemeenschaps- en bedrijfsdoelstellingen.
De oplossing bestaat uit schaalbare workflows voor contentmoderatie die afhankelijk zijn van technologieรซn voor kunstmatige intelligentie (AI), machine learning (ML), deep learning (DL) en natuurlijke taalverwerking (NLP). Deze constructies vertalen, transcriberen, herkennen, detecteren, maskeren, redigeren en brengen op strategische wijze menselijk talent in de moderatieworkflow, om de acties uit te voeren die nodig zijn om gebruikers veilig en betrokken te houden, terwijl de nauwkeurigheid en procesefficiรซntie worden verhoogd en de operationele kosten worden verlaagd.
In dit bericht wordt besproken hoe u workflows voor inhoudsmoderatie kunt bouwen met behulp van AWS AI-services. Voor meer informatie over zakelijke behoeften, impact en kostenbesparingen die geautomatiseerde contentmoderatie met zich meebrengt voor de sociale media, gaming, e-commerce en reclame-industrie, zie Gebruik AWS AI-services om contentmoderatie en compliance te automatiseren.
Overzicht oplossingen
U hebt geen expertise in ML nodig om deze workflows te implementeren en u kunt deze patronen afstemmen op uw specifieke bedrijfsbehoeften! AWS levert deze mogelijkheden via volledig beheerde services die operationele complexiteit en ongedifferentieerd zwaar werk wegnemen, en zonder een datawetenschapsteam.
In dit bericht laten we zien hoe u ruimtes waar klanten producten bespreken en beoordelen efficiรซnt kunt modereren met behulp van tekst, audio, afbeeldingen, video en zelfs PDF-bestanden. Het volgende diagram illustreert de oplossingsarchitectuur.
Voorwaarden
Standaard demonstreren deze patronen een serverloze methodologie, waarbij u alleen betaalt voor wat u gebruikt. U blijft betalen voor de computerresources, zoals AWS Fargate containers en opslag, zoals Amazon eenvoudige opslagservice (Amazon S3), totdat u deze bronnen verwijdert. De besproken AWS AI-diensten volgen eveneens een consumptieprijsmodel per operatie.
Niet-productieomgevingen kunnen elk van deze patronen testen binnen de Free Tier, ervan uitgaande dat uw account in aanmerking komt.
Matige platte tekst
Eerst moet u inhoudsmoderatie voor platte tekst implementeren. Deze procedure dient als basis voor meer geavanceerde mediatypen en omvat twee stappen op hoog niveau:
- Vertaal de tekst.
- Analyseer de tekst.
Wereldwijde klanten willen samenwerken met sociale platforms in hun moedertaal. Het voldoen aan deze verwachting kan de complexiteit vergroten, omdat ontwerpteams voor elke taal een workflow of stappen moeten samenstellen. In plaats daarvan kunt u gebruiken Amazon Vertalen om tekst naar meer dan 70 talen en varianten in meer dan 15 regio's te converteren. Met deze mogelijkheid kunt u analyseregels voor รฉรฉn taal schrijven en deze regels toepassen in de wereldwijde onlinegemeenschap.
Amazon Translate is een neurale machinevertaalservice die snelle, hoogwaardige, betaalbare en aanpasbare taalvertalingen levert. U kunt het in uw workflows integreren om de dominante taal te detecteren en vertaal de tekst. Het volgende diagram illustreert de workflow.
De API's werken als volgt:
- De DetecteerDominante Taal API bepaalt de dominante taal van de invoertekst. Zie voor een lijst met talen die Amazon Comprehend kan detecteren Dominante taal.
- De VertaalTekst API vertaalt invoertekst van de brontaal naar de doeltaal met optioneel godslastering maskeren. Zie voor een lijst met beschikbare talen en taalcodes Ondersteunde talen en taalcodes.
- De Start uitvoering en StartSyncExecution API's starten een AWS Stap Functies staat machine.
Vervolgens kunt u NLP gebruiken om verbanden in tekst bloot te leggen, zoals het ontdekken van sleutelzinnen, het analyseren van sentiment en het detecteren van persoonlijk identificeerbare informatie (PII). Amazon begrijpt het API's extraheren deze waardevolle inzichten en geven deze door aan aangepaste functiehandlers.
Die handlers naar binnen leiden AWS Lambda functies schaalt uw code elastisch zonder na te denken over servers of clusters. Als alternatief kunt u inzichten van Amazon Comprehend verwerken met architectuurpatronen voor microservices. Ongeacht de runtime richt uw code zich op het gebruik van de resultaten, niet op het parseren van tekst.
Het volgende diagram illustreert de werkstroom.
Lambda-functies werken samen met de volgende API's:
- De DetectEntiteiten API ontdekt en groepeert de namen van objecten uit de echte wereld, zoals mensen en plaatsen in de tekst. U kunt een aangepast vocabulaire gebruiken om ongepaste en bedrijfsspecifieke entiteitstypen te redigeren.
- De Detecteer Sentiment API identificeert het algemene sentiment van de tekst als positief, negatief of neutraal. U kunt aangepaste classificaties trainen om de branchespecifieke situaties van belang te herkennen en de conceptuele betekenis van de tekst te achterhalen.
- De DetectPIIEntiteiten API identificeert PII in uw tekst, zoals adres, bankrekeningnummer of telefoonnummer. De uitvoer bevat het type PII-entiteit en de bijbehorende locatie.
Matige audiobestanden
Om audiobestanden te modereren, moet u het bestand naar tekst transcriberen en vervolgens analyseren. Dit proces kent twee varianten, afhankelijk van of u afzonderlijke bestanden (synchroon) of live audiostreams (asynchroon) verwerkt. Synchrone workflows zijn ideaal voor batchverwerking, waarbij de beller รฉรฉn volledig antwoord ontvangt. Audiostreams vereisen daarentegen periodieke sampling met meerdere transcriptieresultaten.
Amazon Transcribe is een automatische spraakherkenningsservice die ML-modellen gebruikt om audio naar tekst te converteren. U kunt het integreren in synchrone workflows door een transcriptietaak starten en periodiek de status van de taak opvragen. Nadat de taak is voltooid, kunt u de uitvoer analyseren met behulp van de moderatieworkflow voor platte tekst uit de vorige stap.
Het volgende diagram illustreert de werkstroom.
De API's werken als volgt:
- De StartTranscriptieJob API start een asynchrone taak om spraak naar tekst te transcriberen.
- De TranscriptieJob ophalen API retourneert informatie over een transcriptietaak. Om de status van de taak te zien, controleert u de
TranscriptionJobStatus
veld. Als de statuseigenschap isCOMPLETED
, kunt u de resultaten vinden op de locatie die is opgegeven in deTranscriptFileUri
veld. Als u redactie van inhoud inschakelt, wordt het geredigeerde transcript weergegevenRedactedTranscriptFileUri
.
Live audiostreams hebben een ander patroon nodig dat een real-time leveringsmodel ondersteunt. Streaming kan vooraf opgenomen media omvatten, zoals films, muziek en podcasts, en realtime media, zoals live nieuwsuitzendingen. U kunt audiofragmenten onmiddellijk transcriberen met behulp van Amazon Transcribe-streaming via HTTP/2- en WebSockets-protocollen. Nadat u een deel naar de service heeft gepost, ontvangt u er een of meer resultaatobjecten voor transcriptie beschrijft de gedeeltelijke en volledige transcriptiesegmenten. Segmenten die moderatie vereisen, kunnen de workflow voor platte tekst uit de vorige sectie hergebruiken. Het volgende diagram illustreert dit proces.
De StartStreamingTranscriptie API start een bidirectionele HTTP/2-stream waarbij audio naar Amazon Transcribe wordt gestreamd, waardoor de transcriptieresultaten naar uw applicatie worden gestreamd.
Matige afbeeldingen en foto's
Het modereren van afbeeldingen vereist het detecteren van ongepaste, ongewenste of aanstootgevende inhoud die naaktheid, suggestiviteit, geweld en andere categorieรซn bevat in de inhoud van afbeeldingen en foto's.
Amazon Rekognition stelt u in staat uw workflows voor beeld- en videomoderatie te stroomlijnen of te automatiseren zonder dat u ML-expertise nodig heeft. Amazon Rekognition retourneert een hiรซrarchische taxonomie van moderatiegerelateerde labels. Met deze informatie kunt u eenvoudig gedetailleerde bedrijfsregels definiรซren op basis van uw standaarden en praktijken, gebruikersveiligheid en nalevingsrichtlijnen. ML-ervaring is niet vereist om deze mogelijkheden te gebruiken. Amazon Rekognition kan de tekst in een afbeelding detecteren en lezen en voor elk gevonden woord selectiekaders retourneren. Amazon Rekognition ondersteunt tekstdetectie geschreven in het Engels, Arabisch, Russisch, Duits, Frans, Italiaans, Portugees en Spaans!
U kunt de machinevoorspellingen gebruiken om specifieke moderatietaken volledig te automatiseren. Deze mogelijkheid stelt menselijke moderators in staat zich te concentreren op werk van een hogere orde. Bovendien kan Amazon Rekognition snel miljoenen afbeeldingen of duizenden video's beoordelen met behulp van ML en de subset van items markeren die verdere actie vereisen. Voorfiltering helpt bij het bieden van uitgebreide maar kosteneffectieve moderatiedekking, terwijl de hoeveelheid inhoud die menselijke teams modereren wordt verminderd.
Het volgende diagram illustreert de werkstroom.
De API's werken als volgt:
- De DetecterenModeratieLabels API detecteert onveilige inhoud in opgegeven JPEG- of PNG-geformatteerde afbeeldingen. Gebruik DetectModerationLabels om afbeeldingen te modereren, afhankelijk van uw vereisten. U wilt bijvoorbeeld afbeeldingen filteren die naaktheid bevatten, maar geen afbeeldingen die suggestieve inhoud bevatten.
- De Detecteer tekst API detecteert tekst in de invoerafbeelding en converteert deze naar machinaal leesbare tekst.
Matige rijke tekstdocumenten
Vervolgens kunt u gebruiken Amazon T-extract om handgeschreven tekst en gegevens uit gescande documenten te extraheren. Dit proces begint met het aanroepen van de StartDocumentAnalyse actie om Microsoft Word- en Adobe PDF-bestanden te parseren. U kunt de voortgang van de taak volgen met de GetDocumentAnalyse actie.
Het analyseresultaat specificeert elk ongedekt pagina-, alinea-, tabel- en sleutel-waardepaar in het document. Stel bijvoorbeeld dat een zorgverlener de namen van patiรซnten alleen in het claimbeschrijvingsveld moet maskeren. In dat geval kan het analyserapport kracht geven pijplijnen voor intelligente documentverwerking die het specifieke gegevensveld modereren en redigeren. Het volgende diagram illustreert de pijplijn.
De API's werken als volgt:
- De StartDocumentAnalyse API start de asynchrone analyse van een invoerdocument op relaties tussen gedetecteerde items, zoals sleutel-waardeparen, tabellen en selectie-elementen
- De GetDocumentAnalyse API haalt de resultaten op voor een asynchrone bewerking van Amazon Textract die tekst in een document analyseert
Matige video's
Een standaardbenadering voor het modereren van video-inhoud is via een frame sampling-procedure. Bij veel gebruiksscenario's hoeft niet elk frame te worden gecontroleerd en is het voldoende om er elke 15-30 seconden een te selecteren. Gesamplede videoframes kunnen de statusmachine hergebruiken om afbeeldingen uit de vorige sectie te modereren. Op dezelfde manier kan het bestaande proces voor het modereren van audio de hoorbare inhoud van het bestand ondersteunen. Het volgende diagram illustreert deze werkstroom.
De inroepen API voert een Lambda-functie uit en wacht synchroon op het antwoord.
Stel dat het mediabestand een hele film is met meerdere scรจnes. In dat geval kunt u gebruik maken van de Amazon Rekognition-segment-API, een samengestelde API voor het detecteren van technische aanwijzingen of schotdetectie. Vervolgens kunt u deze tijdsverschuivingen gebruiken om elk segment parallel te verwerken met het vorige videomoderatiepatroon, zoals weergegeven in het volgende diagram.
De API's werken als volgt:
- De StartSegmentatiedetectie API start asynchrone detectie van segmentdetectie in een opgeslagen video
- De GetSegmentatiedetectie API haalt de segmentdetectieresultaten op van een Amazon Rekognition Video-analyse die is gestart door de StartSegmentDetection API
Voor het extraheren van individuele frames uit de film is het niet nodig om het object meerdere keren uit Amazon S3 op te halen. Een naรฏeve oplossing is het inlezen van de video in het geheugen en het pagineren tot het einde. Dit patroon is ideaal voor korte clips en waarbij beoordelingen niet tijdgevoelig zijn.
Een andere strategie houdt in dat het bestand รฉรฉn keer wordt verplaatst naar Amazon elastisch bestandssysteem (Amazon EFS), een volledig beheerd, schaalbaar, gedeeld bestandssysteem voor andere AWS-services, zoals Lambda. Met Amazon EFS voor Lambda, kunt u gegevens efficiรซnt distribueren over functieaanroepen. Elke aanroep verwerkt op efficiรซnte wijze een klein deel, waardoor het potentieel voor massaal parallelle verwerking en snellere verwerkingstijden wordt ontsloten.
Opruimen
Nadat je met de methoden in dit bericht hebt geรซxperimenteerd, moet je alle inhoud in S3-buckets verwijderen om toekomstige kosten te voorkomen. Als u deze patronen hebt geรฏmplementeerd met ingerichte rekenresources zoals Amazon Elastic Compute-cloud (Amazon EC2) of Amazon Elastic Container-service (Amazon ECS), moet u deze gevallen stopzetten om verdere kosten te voorkomen.
Conclusie
Door gebruikers gegenereerde inhoud en de waarde ervan voor gaming, sociale media, e-commerce en financiรซle en gezondheidszorgorganisaties zullen blijven groeien. Toch moeten startups en grote organisaties efficiรซnte moderatieprocessen creรซren om gebruikers, informatie en het bedrijf te beschermen, terwijl de operationele kosten worden verlaagd. Deze oplossing laat zien hoe AI-, ML- en NLP-technologieรซn u efficiรซnt kunnen helpen inhoud op schaal te modereren. U kunt AWS AI-services aanpassen om aan uw specifieke moderatiebehoeften te voldoen! Deze volledig beheerde mogelijkheden nemen operationele complexiteit weg. Die flexibiliteit integreert op strategische wijze contextuele inzichten en menselijk talent in uw moderatieprocessen.
Voor meer informatie, bronnen en om vandaag nog gratis aan de slag te gaan, gaat u naar de Homepagina voor het modereren van AWS-inhoud.
Over de auteurs
Nate Bachmeier is een AWS Senior Solutions Architect die nomadisch New York verkent, รฉรฉn cloudintegratie tegelijk. Hij is gespecialiseerd in het migreren en moderniseren van applicaties. Daarnaast is Nate een voltijdstudent en heeft ze twee kinderen.
Ram Pathangi is een Solutions Architect bij Amazon Web Services in de San Francisco Bay Area. Hij heeft klanten in de landbouw, verzekeringen, het bankwezen, de detailhandel, de gezondheidszorg en de levenswetenschappen, de horeca en hi-tech verticale markten geholpen hun bedrijf succesvol te runnen op de AWS Cloud. Hij is gespecialiseerd in databases, analytics en machine learning.
Roep Bains is een Solutions Architect bij AWS die zich richt op AI/ML. Hij heeft een passie voor het helpen van klanten bij het innoveren en bereiken van hun zakelijke doelstellingen met behulp van kunstmatige intelligentie en machine learning. In zijn vrije tijd houdt Roop van lezen en wandelen.
- Coinsmart. Europa's beste Bitcoin- en crypto-uitwisseling.
- Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. GRATIS TOEGANG.
- CryptoHawk. Altcoin-radar. Gratis proefversie.
- Bron: https://aws.amazon.com/blogs/machine-learning/content-moderation-design-patterns-with-aws-managed-ai-services/
- "
- 100
- 70
- Over
- SAMENVATTING
- Account
- over
- Actie
- acties
- toevoeging
- Extra
- adres
- ADVERTISING
- landbouw
- AI
- AI-diensten
- Amazone
- Amazon Web Services
- bedragen
- analyse
- analytics
- api
- APIs
- Aanvraag
- toepassingen
- nadering
- architectuur
- GEBIED
- kunstmatig
- kunstmatige intelligentie
- Kunstmatige intelligentie (AI)
- Kunstmatige intelligentie en machine learning
- Activa
- audio
- automatiseren
- geautomatiseerde
- Automatisch
- Beschikbaar
- AWS
- Bank
- bankrekening
- Bankieren
- Baai
- bouw
- bedrijfsdeskundigen
- ondernemingen
- bezoeker
- mogelijkheden
- dragen
- gevallen
- uitdagend
- lasten
- clips
- Cloud
- code
- samenwerken
- hoe
- Gemeenschappen
- gemeenschap
- complexiteit
- nakoming
- compliant
- uitgebreid
- Berekenen
- aansluitingen
- consumeren
- consumptie
- Containers
- containers
- bevat
- content
- voortzetten
- bijdragen
- Overeenkomend
- kostenefficient
- Kosten
- en je merk te creรซren
- gewoonte
- Klanten
- aanpasbare
- gegevens
- data science
- databanken
- levert
- levering
- tonen
- Afhankelijk
- Design
- gedetecteerd
- Opsporing
- anders
- bespreken
- documenten
- Nee
- rit
- e-commerce
- ecommerce
- doeltreffendheid
- doeltreffend
- efficiรซnt
- in staat stellen
- engagement
- Engels
- entiteit
- voorbeeld
- bestaand
- verwachten
- ervaring
- Ervaringen
- experiment
- expertise
- exponentieel
- SNELLE
- sneller
- Voordelen
- financieel
- Flexibiliteit
- stroom
- Focus
- richt
- volgen
- volgend
- gevonden
- Foundation
- FRAME
- Francisco
- Gratis
- Frans
- Brandstof
- functie
- verder
- toekomst
- gaming
- Globaal
- Groep
- Groeien
- richtlijnen
- Gezondheid
- gezondheidszorg
- hulp
- het helpen van
- helpt
- hoogwaardige
- Hoe
- How To
- HTTPS
- menselijk
- beeld
- Impact
- uitvoeren
- geรฏmplementeerd
- omvatten
- meer
- individueel
- industrieรซn
- informatie
- invoer
- inzichten
- verzekering
- integreren
- integratie
- Intelligentie
- belang
- IT
- Jobomschrijving:
- sleutel
- kinderen
- labels
- taal
- Talen
- Groot
- LEARN
- leren
- Bio
- facelift
- Lijst
- plaats
- machine
- machine learning
- MERKEN
- beheerd
- maskeren
- betekenis
- Media
- vergadering
- Leden
- Geheugen
- Microsoft
- macht
- miljoenen
- ML
- Mobile
- model
- modellen
- monitor
- meer
- filmpje
- Films
- bewegend
- meervoudig
- Muziek
- namen
- Naturel
- negatief
- New York
- nieuws
- aantal
- online.
- besturen
- operatie
- organisaties
- Overige
- totaal
- hartstochtelijk
- Patronen
- Betaal
- Mensen
- zinnen
- platforms
- podcasts
- arm
- Portugees
- positief
- potentieel
- energie
- Voorspellingen
- vorig
- prijsstelling
- processen
- verwerking
- Producten
- eigendom
- beschermen
- protocollen
- zorgen voor
- snel
- lezing
- real-time
- ontvangen
- herkennen
- vermindering
- Relaties
- verslag
- vereisen
- nodig
- Voorwaarden
- Resources
- antwoord
- Resultaten
- <HR>Retail
- terugkeer
- Retourneren
- beoordelen
- Recensies
- Risico
- reglement
- lopen
- veilig
- Veiligheid
- heilige
- San Francisco
- schaalbare
- Scale
- Scenes
- Wetenschap
- WETENSCHAPPEN
- seconden
- segment
- segmenten
- sentiment
- Serverless
- service
- Diensten
- gedeeld
- Bermuda's
- getoond
- evenzo
- Eenvoudig
- Klein
- Social
- social media
- oplossing
- Oplossingen
- geraffineerd
- ruimten
- specialiseert
- standaard
- normen
- begin
- gestart
- starts
- Startups
- Land
- Status
- mediaopslag
- Strategie
- stream
- streaming
- Student
- Met goed gevolg
- ondersteuning
- steunen
- system
- Talent
- doelwit
- taken
- team
- Technisch
- Technologies
- proef
- De Bron
- het denken
- duizenden kosten
- Door
- niet de tijd of
- vandaag
- samen
- traditioneel
- Afschrift
- Vertaling
- types
- ontdekken
- .
- gebruikers
- waarde
- variรซteit
- verticals
- Video
- Video's
- volume
- web
- webservices
- Wat
- of
- en
- binnen
- zonder
- Mijn werk