Benutzergenerierte Inhalte (UGC) nehmen exponentiell zu, ebenso wie die Anforderungen und die Kosten, um Inhalte und Online-Communities sicher und konform zu halten. Moderne Web- und mobile Plattformen treiben Unternehmen an und fördern die Benutzerbindung durch soziale Funktionen, von Startups bis hin zu großen Organisationen. Online-Community-Mitglieder erwarten sichere und integrative Erfahrungen, bei denen sie Bilder, Videos, Text und Audio frei konsumieren und beisteuern können. Das ständig wachsende Volumen, die Vielfalt und die Komplexität von UGC erschweren die Skalierung traditioneller menschlicher Moderations-Workflows zum Schutz der Benutzer. Diese Einschränkungen zwingen Kunden zu ineffizienten, teuren und reaktiven Minderungsprozessen, die ein unnötiges Risiko für Benutzer und das Unternehmen darstellen. Das Ergebnis ist eine schlechte, schädliche und nicht integrative Community-Erfahrung, die die Benutzer abkoppelt und sich negativ auf die Community und die Geschäftsziele auswirkt.
Die Lösung sind skalierbare Workflows zur Moderation von Inhalten, die auf Technologien für künstliche Intelligenz (KI), maschinelles Lernen (ML), Deep Learning (DL) und Verarbeitung natürlicher Sprache (NLP) basieren. Diese Konstrukte übersetzen, transkribieren, erkennen, erkennen, maskieren, schwärzen und bringen menschliches Talent strategisch in den Moderationsworkflow ein, um die Aktionen auszuführen, die erforderlich sind, um die Sicherheit und das Engagement der Benutzer zu gewährleisten und gleichzeitig die Genauigkeit und Prozesseffizienz zu erhöhen und die Betriebskosten zu senken.
In diesem Beitrag wird beschrieben, wie Sie Inhaltsmoderations-Workflows mit AWS AI-Services erstellen. Um mehr über Geschäftsanforderungen, Auswirkungen und Kostensenkungen zu erfahren, die die automatisierte Moderation von Inhalten für die Branchen Social Media, Spiele, E-Commerce und Werbung bringt, siehe Nutzen Sie AWS AI-Services, um die Inhaltsmoderation und Compliance zu automatisieren.
Lösungsüberblick
Sie benötigen keine ML-Expertise, um diese Workflows zu implementieren, und können diese Muster an Ihre spezifischen Geschäftsanforderungen anpassen! AWS stellt diese Funktionen durch vollständig verwaltete Services bereit, die betriebliche Komplexität und undifferenziertes schweres Heben beseitigen, und zwar ohne ein Data-Science-Team.
In diesem Beitrag zeigen wir, wie Sie Bereiche, in denen Kunden Produkte diskutieren und bewerten, mithilfe von Text, Audio, Bildern, Videos und sogar PDF-Dateien effizient moderieren können. Das folgende Diagramm veranschaulicht die Lösungsarchitektur.
Voraussetzungen:
Standardmäßig demonstrieren diese Muster eine serverlose Methode, bei der Sie nur für das bezahlen, was Sie verwenden. Sie zahlen weiterhin für die Rechenressourcen, wie z AWS Fargate Behälter und Lagerung, wie z Amazon Simple Storage-Service (Amazon S3), bis Sie diese Ressourcen löschen. Die besprochenen AWS-KI-Dienste folgen auch einem Verbrauchspreismodell pro Vorgang.
Nicht-Produktionsumgebungen können jedes dieser Muster innerhalb des kostenlosen Kontingents testen, sofern die Berechtigung Ihres Kontos vorausgesetzt wird.
Moderater Klartext
Zunächst müssen Sie die Inhaltsmoderation für einfachen Text implementieren. Dieses Verfahren dient als Grundlage für anspruchsvollere Medientypen und umfasst zwei allgemeine Schritte:
- Übersetze den Text.
- Analysieren Sie den Text.
Globale Kunden möchten mit sozialen Plattformen in ihrer Muttersprache zusammenarbeiten. Das Erfüllen dieser Erwartung kann die Komplexität erhöhen, da Designteams einen Workflow oder Schritte für jede Sprache erstellen müssen. Stattdessen können Sie verwenden Amazon Übersetzen um Text in über 70 Sprachen und Varianten in über 15 Regionen zu konvertieren. Mit dieser Funktion können Sie Analyseregeln für eine einzelne Sprache schreiben und diese Regeln auf die globale Online-Community anwenden.
Amazon Translate ist ein neuronaler maschineller Übersetzungsdienst, der schnelle, qualitativ hochwertige, erschwingliche und anpassbare Sprachübersetzungen liefert. Sie können es in Ihre Arbeitsabläufe integrieren, um die vorherrschende Sprache zu erkennen und Übersetze den Text. Das folgende Diagramm veranschaulicht den Arbeitsablauf.
Die APIs funktionieren wie folgt:
- Das DetectDominantLanguage Die API bestimmt die dominante Sprache des Eingabetexts. Eine Liste der Sprachen, die Amazon Comprehend erkennen kann, finden Sie unter Dominierende Sprache.
- Das TranslateText API übersetzt Eingabetext von der Ausgangssprache in die Zielsprache mit optional obszöne Maskierung. Eine Liste der verfügbaren Sprachen und Sprachcodes finden Sie unter Unterstützte Sprachen und Sprachcodes.
- Das Ausführung starten und StartSyncExecution APIs starten eine AWS Step-Funktionen Zustandsmaschine.
Als Nächstes können Sie NLP verwenden, um Verbindungen in Texten aufzudecken, z. B. um Schlüsselsätze zu entdecken, Stimmungen zu analysieren und personenbezogene Daten (PII) zu erkennen. Amazon verstehen APIs extrahieren diese wertvollen Erkenntnisse und leiten sie an benutzerdefinierte Funktionshandler weiter.
Diese Handler drinnen ausführen AWS Lambda Funktionen skaliert Ihren Code elastisch, ohne an Server oder Cluster denken zu müssen. Alternativ können Sie Erkenntnisse aus Amazon Comprehend mit verarbeiten Microservices-Architekturmuster. Unabhängig von der Laufzeit konzentriert sich Ihr Code auf die Verwendung der Ergebnisse und nicht auf das Analysieren von Text.
Das folgende Diagramm veranschaulicht den Arbeitsablauf.
Lambda-Funktionen interagieren mit den folgenden APIs:
- Das Entitäten erkennen Die API erkennt und gruppiert die Namen von realen Objekten wie Personen und Orten im Text. Sie können ein benutzerdefiniertes Vokabular verwenden, um unangemessene und geschäftsspezifische Entitätstypen zu entfernen.
- Das Sentiment erkennen Die API identifiziert die Gesamtstimmung des Textes als positiv, negativ oder neutral. Sie können benutzerdefinierte Klassifikatoren trainieren, um die branchenspezifischen Situationen von Interesse zu erkennen und die konzeptionelle Bedeutung des Textes zu extrahieren.
- Das DetectPIIItities Die API identifiziert PII in Ihrem Text, wie z. B. Adresse, Bankkontonummer oder Telefonnummer. Die Ausgabe enthält den Typ der PII-Entität und den entsprechenden Speicherort.
Audiodateien moderieren
Um Audiodateien zu moderieren, müssen Sie die Datei in Text transkribieren und anschließend analysieren. Dieser Prozess hat zwei Varianten, je nachdem, ob Sie einzelne Dateien (synchron) oder Live-Audiostreams (asynchron) verarbeiten. Synchrone Workflows sind ideal für die Stapelverarbeitung, wobei der Anrufer eine vollständige Antwort erhält. Im Gegensatz dazu erfordern Audiostreams ein periodisches Sampling mit mehreren Transkriptionsergebnissen.
Amazon Transcribe ist ein automatischer Spracherkennungsdienst, der ML-Modelle verwendet, um Audio in Text umzuwandeln. Sie können es in synchrone Arbeitsabläufe integrieren, indem Sie Starten eines Transkriptionsauftrags und periodisch Abfragen des Auftragsstatus. Nachdem der Auftrag abgeschlossen ist, können Sie die Ausgabe mithilfe des Nur-Text-Moderationsworkflows aus dem vorherigen Schritt analysieren.
Das folgende Diagramm veranschaulicht den Arbeitsablauf.
Die APIs funktionieren wie folgt:
- Das StartTranskriptionJob Die API startet einen asynchronen Job, um Sprache in Text zu transkribieren.
- Das GetTranscriptionJob Die API gibt Informationen zu einem Transkriptionsauftrag zurück. Um den Status des Auftrags anzuzeigen, überprüfen Sie die
TranscriptionJobStatus
Feld. Wenn die Statuseigenschaft istCOMPLETED
, finden Sie die Ergebnisse an der in der angegebenen StelleTranscriptFileUri
Feld. Wenn Sie das Schwärzen von Inhalten aktivieren, erscheint das geschwärzte Transkript inRedactedTranscriptFileUri
.
Live-Audiostreams benötigen ein anderes Muster, das ein Echtzeit-Bereitstellungsmodell unterstützt. Streaming kann aufgezeichnete Medien wie Filme, Musik und Podcasts sowie Echtzeitmedien wie Live-Nachrichtensendungen umfassen. Sie können Audiostücke sofort mit transkribieren Amazon Transcribe-Streaming über HTTP/2- und WebSockets-Protokolle. Nachdem Sie einen Chunk an den Dienst gesendet haben, erhalten Sie einen oder mehrere Transkriptionsergebnisobjekte Beschreibung der partiellen und vollständigen Transkriptionssegmente. Segmente, die moderiert werden müssen, können den Klartext-Workflow aus dem vorherigen Abschnitt wiederverwenden. Das folgende Diagramm veranschaulicht diesen Vorgang.
Das StartStreamingTranskription Die API startet einen bidirektionalen HTTP/2-Stream, bei dem Audio an Amazon Transcribe gestreamt wird und die Transkriptionsergebnisse an Ihre Anwendung gestreamt werden.
Bilder und Fotos moderieren
Das Moderieren von Bildern erfordert das Erkennen unangemessener, unerwünschter oder anstößiger Inhalte, die Nacktheit, Anzüglichkeit, Gewalt und andere Kategorien von Bild- und Fotoinhalten enthalten.
Amazon-Anerkennung ermöglicht es Ihnen, Ihre Bild- und Videomoderations-Workflows zu rationalisieren oder zu automatisieren, ohne dass ML-Expertise erforderlich ist. Amazon Rekognition gibt eine hierarchische Taxonomie moderierungsbezogener Bezeichnungen zurück. Diese Informationen erleichtern die Definition detaillierter Geschäftsregeln gemäß Ihren Standards und Praktiken, Benutzersicherheit und Compliance-Richtlinien. ML-Erfahrung ist nicht erforderlich, um diese Funktionen zu nutzen. Amazon Rekognition kann den Text in einem Bild erkennen und lesen und Begrenzungsrahmen für jedes gefundene Wort zurückgeben. Amazon Rekognition unterstützt die Texterkennung in Englisch, Arabisch, Russisch, Deutsch, Französisch, Italienisch, Portugiesisch und Spanisch!
Sie können die maschinellen Vorhersagen verwenden, um bestimmte Moderationsaufgaben vollständig zu automatisieren. Diese Fähigkeit ermöglicht es menschlichen Moderatoren, sich auf übergeordnete Aufgaben zu konzentrieren. Darüber hinaus kann Amazon Rekognition mithilfe von ML schnell Millionen von Bildern oder Tausende von Videos überprüfen und die Teilmenge von Assets markieren, die weitere Maßnahmen erfordern. Die Vorfilterung trägt dazu bei, eine umfassende und dennoch kostengünstige Moderationsabdeckung bereitzustellen und gleichzeitig die Menge an Inhalten zu reduzieren, die von menschlichen Teams moderiert werden.
Das folgende Diagramm veranschaulicht den Arbeitsablauf.
Die APIs funktionieren wie folgt:
- Das DetectModerationLabels Die API erkennt unsichere Inhalte in bestimmten Bildern im JPEG- oder PNG-Format. Verwenden Sie DetectModerationLabels, um Bilder gemäß Ihren Anforderungen zu moderieren. Beispielsweise möchten Sie möglicherweise Bilder filtern, die Nacktheit enthalten, aber keine Bilder mit anzüglichen Inhalten.
- Das Text erkennen Die API erkennt Text im Eingabebild und wandelt ihn in maschinenlesbaren Text um.
Moderieren Sie Rich-Text-Dokumente
Als nächstes können Sie verwenden Amazontext um handschriftlichen Text und Daten aus gescannten Dokumenten zu extrahieren. Dieser Prozess beginnt mit dem Aufrufen der Dokumentenanalyse starten Aktion zum Analysieren von Microsoft Word- und Adobe PDF-Dateien. Sie können den Fortschritt des Jobs mit überwachen GetDocumentAnalysis Maßnahmen.
Das Analyseergebnis gibt jede aufgedeckte Seite, jeden Absatz, jede Tabelle und jedes Schlüssel-Wert-Paar im Dokument an. Angenommen, ein Gesundheitsdienstleister muss Patientennamen nur im Beschreibungsfeld des Anspruchs maskieren. In diesem Fall kann der Analysebericht eine Leistung erbringen intelligente Dokumentenverarbeitungspipelines die das spezifische Datenfeld moderieren und redigieren. Das folgende Diagramm veranschaulicht die Pipeline.
Die APIs funktionieren wie folgt:
- Das Dokumentenanalyse starten Die API startet die asynchrone Analyse eines Eingabedokuments auf Beziehungen zwischen erkannten Elementen wie Schlüssel-Wert-Paaren, Tabellen und Auswahlelementen
- Das GetDocumentAnalysis Die API ruft die Ergebnisse für eine asynchrone Amazon Textract-Operation ab, die Text in einem Dokument analysiert
Videos moderieren
Ein Standardansatz zur Moderation von Videoinhalten ist ein Frame-Sampling-Verfahren. In vielen Anwendungsfällen muss nicht jeder Frame überprüft werden, und es reicht aus, alle 15 bis 30 Sekunden einen Frame auszuwählen. Abgetastete Videoframes können die Zustandsmaschine wiederverwenden, um Bilder aus dem vorherigen Abschnitt zu moderieren. In ähnlicher Weise kann der vorhandene Prozess zum Moderieren von Audio den hörbaren Inhalt der Datei unterstützen. Das folgende Diagramm veranschaulicht diesen Workflow.
Das aufrufen Die API führt eine Lambda-Funktion aus und wartet synchron auf die Antwort.
Angenommen, die Mediendatei ist ein ganzer Film mit mehreren Szenen. In diesem Fall können Sie die verwenden Amazon Rekognition-Segment-API, eine zusammengesetzte API zum Erkennen technischer Hinweise oder Schusserkennung. Als Nächstes können Sie diese Zeitversätze verwenden, um jedes Segment mit dem vorherigen Videomoderationsmuster parallel zu verarbeiten, wie im folgenden Diagramm gezeigt.
Die APIs funktionieren wie folgt:
- Das Segmentierungserkennung starten Die API startet die asynchrone Erkennung der Segmenterkennung in einem gespeicherten Video
- Das GetSegmentationDetection Die API ruft die Segmenterkennungsergebnisse einer Amazon Rekognition Video-Analyse ab, die von der StartSegmentDetection-API gestartet wurde
Das Extrahieren einzelner Frames aus dem Film erfordert nicht das mehrmalige Abrufen des Objekts aus Amazon S3. Eine naive Lösung besteht darin, das Video in den Speicher einzulesen und bis zum Ende zu paginieren. Dieses Muster ist ideal für kurze Clips und wenn die Bewertungen nicht zeitkritisch sind.
Eine andere Strategie beinhaltet das einmalige Verschieben der Datei nach Amazon Elastic File System (Amazon EFS), ein vollständig verwaltetes, skalierbares, gemeinsam genutztes Dateisystem für andere AWS-Services wie Lambda. Mit Amazon EFS für Lambda, können Sie Daten effizient über Funktionsaufrufe verteilen. Jeder Aufruf verarbeitet effizient einen kleinen Teil, wodurch das Potenzial für eine massiv parallele Verarbeitung und schnellere Verarbeitungszeiten freigesetzt wird.
Aufräumen
Nachdem Sie mit den Methoden in diesem Beitrag experimentiert haben, sollten Sie alle Inhalte in S3-Buckets löschen, um zukünftige Kosten zu vermeiden. Wenn Sie diese Muster mit bereitgestellten Rechenressourcen wie z Amazon Elastic Compute-Cloud (Amazon EC2) oder Amazon Elastic Container-Service (Amazon ECS), sollten Sie diese Instanzen stoppen, um weitere Gebühren zu vermeiden.
Zusammenfassung
Benutzergenerierte Inhalte und ihr Wert für Spiele, soziale Medien, E-Commerce sowie Finanz- und Gesundheitsdienstleister werden weiter zunehmen. Dennoch müssen Startups und große Organisationen effiziente Moderationsprozesse erstellen, um Benutzer, Informationen und das Unternehmen zu schützen und gleichzeitig die Betriebskosten zu senken. Diese Lösung zeigt, wie KI-, ML- und NLP-Technologien Ihnen dabei helfen können, Inhalte in großem Umfang zu moderieren. Sie können AWS AI-Services anpassen, um Ihren spezifischen Moderationsanforderungen gerecht zu werden! Diese vollständig verwalteten Funktionen beseitigen betriebliche Komplexitäten. Diese Flexibilität integriert kontextbezogene Erkenntnisse und menschliches Talent strategisch in Ihre Moderationsprozesse.
Für weitere Informationen und Ressourcen und um noch heute kostenlos loszulegen, besuchen Sie die AWS-Homepage für Inhaltsmoderation.
Über die Autoren
Nate Bachmeier ist ein AWS Senior Solutions Architect, der New York nomadisch erkundet, eine Cloud-Integration nach der anderen. Er ist spezialisiert auf die Migration und Modernisierung von Anwendungen. Außerdem ist Nate Vollzeitstudent und hat zwei Kinder.
Ram Pathangi ist Lösungsarchitekt bei Amazon Web Services in der San Francisco Bay Area. Er hat Kunden in den Bereichen Landwirtschaft, Versicherungen, Banken, Einzelhandel, Gesundheitswesen und Biowissenschaften, Gastgewerbe und Hi-Tech-Branchen dabei geholfen, ihre Geschäfte erfolgreich in der AWS Cloud zu führen. Er ist spezialisiert auf Datenbanken, Analytik und maschinelles Lernen.
Roop-Bains ist ein Lösungsarchitekt bei AWS mit Schwerpunkt auf KI/ML. Er ist leidenschaftlich daran interessiert, Kunden dabei zu helfen, Innovationen zu entwickeln und ihre Geschäftsziele mithilfe von künstlicher Intelligenz und maschinellem Lernen zu erreichen. In seiner Freizeit liest und wandert Roop gerne.
- Coinsmart. Europas beste Bitcoin- und Krypto-Börse.
- Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. DEN FREIEN ZUGANG.
- CryptoHawk. Altcoin-Radar. Kostenlose Testphase.
- Quelle: https://aws.amazon.com/blogs/machine-learning/content-moderation-design-patterns-with-aws-managed-ai-services/
- "
- 100
- 70
- Über uns
- ABSTRACT
- Konto
- über
- Action
- Aktionen
- Zusatz
- Zusätzliche
- Adresse
- Marketings
- Landwirtschaft
- AI
- KI-Dienste
- Amazon
- Amazon Web Services
- Betrag
- Analyse
- Analytik
- Bienen
- APIs
- Anwendung
- Anwendungen
- Ansatz
- Architektur
- Bereich
- künstlich
- künstliche Intelligenz
- Künstliche Intelligenz (AI)
- Künstliche Intelligenz und maschinelles Lernen
- Details
- Audio-
- automatisieren
- Automatisiert
- automatische
- verfügbar
- AWS
- Bank
- Bankkonto
- Bankinggg
- Bucht
- bauen
- Geschäft
- Unternehmen
- Anrufer
- Fähigkeiten
- tragen
- Fälle
- herausfordernd
- Gebühren
- Clips
- Cloud
- Code
- zusammenarbeiten
- wie die
- Communities
- community
- Komplexität
- Compliance
- konform
- umfassend
- Berechnen
- Verbindungen
- verbrauchen
- Verbrauch
- Container
- Behälter
- enthält
- Inhalt
- fortsetzen
- beitragen
- Dazugehörigen
- kostengünstiger
- Kosten
- erstellen
- Original
- Kunden
- anpassbare
- technische Daten
- Datenwissenschaft
- Datenbanken
- liefert
- Lieferanten
- zeigen
- Abhängig
- Design
- erkannt
- Entdeckung
- anders
- diskutieren
- Unterlagen
- Tut nicht
- Antrieb
- e-commerce
- E-EINKAUF
- Effizienz
- effizient
- effizient
- ermöglichen
- Engagement
- Englisch
- Einheit
- Beispiel
- vorhandenen
- erwarten
- ERFAHRUNGEN
- Erfahrungen
- Experiment
- Expertise
- exponentiell
- FAST
- beschleunigt
- Eigenschaften
- Revolution
- Flexibilität
- Fluss
- Setzen Sie mit Achtsamkeit
- konzentriert
- folgen
- Folgende
- gefunden
- Foundation
- FRAME
- Francisco cisco~~POS=HEADCOMP
- Frei
- Französisch
- Treibstoff
- Funktion
- weiter
- Zukunft
- Gaming
- Global
- Gruppen
- Wachsen Sie über sich hinaus
- Richtlinien
- Gesundheit
- Gesundheitswesen
- Hilfe
- Unternehmen
- hilft
- hochwertige
- Ultraschall
- Hilfe
- HTTPS
- human
- Image
- Impact der HXNUMXO Observatorien
- implementieren
- umgesetzt
- das
- zunehmend
- Krankengymnastik
- Branchen
- Information
- Varianten des Eingangssignals:
- Einblicke
- Versicherung
- integrieren
- Integration
- Intelligenz
- Interesse
- IT
- Job
- Wesentliche
- Kinder
- Etiketten
- Sprache
- Sprachen
- grosse
- LERNEN
- lernen
- Biowissenschaften
- Facelift
- Liste
- Standorte
- Maschine
- Maschinelles Lernen
- MACHT
- verwaltet
- Maske"
- Bedeutung
- Medien
- Treffen
- Mitglieder
- Memory
- Microsoft
- könnte
- Millionen
- ML
- Mobil
- Modell
- für
- Überwachen
- mehr
- Film
- Filme
- ziehen um
- mehrere
- Musik
- Namen
- Natürliche
- Negativ
- New York
- News
- Anzahl
- Online
- betreiben
- Betrieb
- Organisationen
- Andere
- Gesamt-
- leidenschaftlich
- Schnittmuster
- AUFMERKSAMKEIT
- Personen
- Sätze
- Plattformen
- Podcasts
- Arm
- Portugiesisch
- positiv
- Potenzial
- Werkzeuge
- Prognosen
- früher
- gebühr
- Prozessdefinierung
- anpassen
- Verarbeitung
- Produkte
- Resorts
- Risiken zu minimieren
- Protokolle
- die
- schnell
- Lesebrillen
- Echtzeit
- erhalten
- erkennen
- Reduzierung
- Beziehungen
- berichten
- erfordern
- falls angefordert
- Voraussetzungen:
- Downloads
- Antwort
- Die Ergebnisse
- Einzelhandel
- Rückkehr
- Rückgabe
- Überprüfen
- Bewertungen
- Risiko
- Ohne eine erfahrene Medienplanung zur Festlegung von Regeln und Strategien beschleunigt der programmatische Medieneinkauf einfach die Rate der verschwenderischen Ausgaben.
- Führen Sie
- safe
- Sicherheit
- San
- San Francisco
- skalierbaren
- Skalieren
- Szenen
- Wissenschaft
- WISSENSCHAFTEN
- Sekunden
- Segment
- Segmente
- Gefühl
- Serverlos
- Leistungen
- von Locals geführtes
- Short
- gezeigt
- Ähnlich
- Einfacher
- klein
- Social Media
- Social Media
- Lösung
- Lösungen
- anspruchsvoll
- Räume
- spezialisiert
- Standard
- Normen
- Anfang
- begonnen
- beginnt
- Startups
- Bundesstaat
- Status
- Lagerung
- Strategie
- Strom
- Streaming
- Schüler und Studenten
- Erfolgreich
- Support
- Unterstützt
- System
- Athleten
- Target
- und Aufgaben
- Team
- Technische
- Technologies
- Test
- Die Quelle
- Denken
- Tausende
- Durch
- Zeit
- heute
- gemeinsam
- traditionell
- Abschrift
- Übersetzungen
- Typen
- aufdecken
- -
- Nutzer
- Wert
- Vielfalt
- Vertikalen
- Video
- Videos
- Volumen
- Netz
- Web-Services
- Was
- ob
- während
- .
- ohne
- Arbeiten