Überprüfen Sie Ihre Datenetiketten mit einem visuellen Tool ohne Code, um mit Amazon SageMaker Ground Truth Plus hochwertige Trainingsdatensätze zu erstellen

Neuauflage von Plato

Verfolger: 0

Gestartet auf der AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus hilft Ihnen beim Erstellen qualitativ hochwertiger Trainingsdatensätze, indem die undifferenzierte Schwerstarbeit beseitigt wird, die mit dem Erstellen von Datenkennzeichnungsanwendungen und der Verwaltung des Kennzeichnungspersonals verbunden ist. Alles, was Sie tun, ist Daten zusammen mit Kennzeichnungsanforderungen zu teilen, und Ground Truth Plus richtet und verwaltet Ihren Datenkennzeichnungs-Workflow basierend auf diesen Anforderungen. Von dort aus führt ein Fachpersonal, das für eine Vielzahl von Aufgaben des maschinellen Lernens (ML) geschult ist, die Datenkennzeichnung durch. Sie benötigen nicht einmal tiefes ML-Know-how oder Kenntnisse in Workflow-Design und Qualitätsmanagement, um Ground Truth Plus zu verwenden.

Das Erstellen eines qualitativ hochwertigen Trainingsdatensatzes für Ihren ML-Algorithmus ist ein iterativer Prozess. ML-Praktiker bauen häufig benutzerdefinierte Systeme zur Überprüfung von Datenlabels, da genau beschriftete Daten für die Qualität von ML-Modellen von entscheidender Bedeutung sind. Um sicherzustellen, dass Sie qualitativ hochwertige Trainingsdaten erhalten, bietet Ihnen Ground Truth Plus eine integrierte Benutzeroberfläche (Review UI), um die Qualität von Datenlabels zu überprüfen und Feedback zu Datenlabels zu geben, bis Sie zufrieden sind, dass die Labels die Daten genau wiedergeben Grundwahrheit oder was in der realen Welt direkt beobachtbar ist.

Dieser Beitrag führt Sie durch die Schritte zum Erstellen eines Projektteams und zum Verwenden mehrerer neuer integrierter Funktionen des Überprüfungs-UI-Tools, um Ihre Inspektion eines gekennzeichneten Datensatzes effizient abzuschließen. Die exemplarische Vorgehensweise geht davon aus, dass Sie ein aktives Ground Truth Plus-Kennzeichnungsprojekt haben. Weitere Informationen finden Sie unter Amazon SageMaker Ground Truth Plus – Erstellen Sie Trainingsdatensätze ohne Code oder interne Ressourcen.

Bauen Sie ein Projektteam auf

Ein Projektteam gewährt den Mitgliedern Ihrer Organisation Zugriff, um Datenbeschriftungen mit dem Überprüfungs-UI-Tool zu überprüfen. Führen Sie die folgenden Schritte aus, um ein Projektteam einzurichten:

Auf der Ground Truth Plus trösten, wählen Projektteam erstellen.
Auswählen Erstellen Sie eine neue Amazon Cognito-Benutzergruppe . Wenn Sie bereits eine bestehende haben Amazon Cognito Benutzergruppe, wählen Sie die Mitglieder importieren .
Aussichten für Name der Amazon Cognito-Benutzergruppe, Geben Sie einen Namen ein. Dieser Name kann nicht geändert werden.
Aussichten für E-mailadressen, geben Sie die E-Mail-Adressen von bis zu 50 Teammitgliedern durch Kommas getrennt ein.
Auswählen Projektteam erstellen.

Ihre Teammitglieder erhalten eine E-Mail, in der sie eingeladen werden, dem Ground Truth Plus-Projektteam beizutreten. Von dort aus können sie sich beim Ground Truth Plus-Projektportal anmelden, um die Datenetiketten zu überprüfen.

Überprüfen Sie die Qualität des gekennzeichneten Datensatzes

Lassen Sie uns nun in ein Beispiel für die Verfolgung von Videoobjekten eintauchen CBCL StreetScenes Datensatz.

Nachdem die Daten in Ihrem Stapel gekennzeichnet wurden, wird der Stapel als markiert Bereit zur Überprüfung.

Markieren Sie die Charge und wählen Sie Überprüfen Sie den Stapel. Sie werden zur Review-Benutzeroberfläche weitergeleitet. Sie haben die Flexibilität, für jede Charge, die Sie überprüfen, eine andere Stichprobenrate zu wählen. In unserem Beispielstapel haben wir beispielsweise insgesamt fünf Videos. Sie können angeben, ob Sie nur einen Teil dieser fünf Videos oder alle ansehen möchten.

Sehen wir uns nun die verschiedenen Funktionalitäten innerhalb der Überprüfungs-Benutzeroberfläche an, die Ihnen helfen, die Qualität des gekennzeichneten Datensatzes schneller zu überprüfen und Feedback zur Qualität zu geben:

Filtern Sie die Etiketten basierend auf der Etikettenkategorie – Innerhalb der Review-Benutzeroberfläche können Sie im rechten Bereich die Labels basierend auf ihrer Label-Kategorie filtern. Diese Funktion ist praktisch, wenn es mehrere Label-Kategorien gibt (z. B. Vehicles, Pedestrians und Poles) in einem dichten Datensatzobjekt und Sie möchten Labels für jeweils eine Labelkategorie anzeigen. Konzentrieren wir uns zum Beispiel auf die Car Label-Kategorie. Geben Sie die ein Car Etikettenkategorie im rechten Bereich, um nach allen Anmerkungen nur des Typs zu filtern Car. Die folgenden Screenshots zeigen die Review-UI-Ansicht vor und nach dem Anwenden des Filters.
Überlagern Sie zugeordnete annotierte Attributwerte – Jedem Etikett können zu kommentierende Attribute zugeordnet werden. Zum Beispiel für die Label-Kategorie Car , sagen Sie, Sie möchten die Arbeiter bitten, die auch zu kommentieren Color und Occlusion Attribute für jede Etiketteninstanz. Wenn Sie die Review-Benutzeroberfläche laden, sehen Sie die entsprechenden Attribute unter jeder Labelinstanz im rechten Bereich. Aber was ist, wenn Sie diese Attributanmerkungen stattdessen direkt auf dem Bild sehen möchten? Sie wählen das Etikett aus Car:1 , und um die Attributanmerkungen für zu überlagern Car:1 , drückst du Strg + A
Jetzt sehen Sie die Anmerkung Dark Blue für die Color Attribut und Anmerkung None für die Occlusion Attribut direkt auf dem Bild neben dem angezeigt Car:1 Begrenzungsrahmen. Jetzt können Sie das ganz einfach überprüfen Car:1 wurde markiert als Dark Blue, ohne Okklusion, nur durch das Betrachten des Bildes, anstatt es lokalisieren zu müssen Car:1 im rechten Bereich, um die Attributanmerkungen anzuzeigen.
Hinterlassen Sie Feedback auf Labelebene – Für jedes Label können Sie Feedback auf Labelebene in diesem Label hinterlassen Label-Feedback freies String-Attribut. In diesem Bild z. Car:1 sieht eher schwarz als dunkelblau aus. Sie können diese Diskrepanz als Rückmeldung für weiterleiten Car:1 Verwendung der Label-Feedback Feld, um den Kommentar zu diesem Label in diesem Frame zu verfolgen. Unser internes Qualitätskontrollteam wird dieses Feedback überprüfen und Änderungen am Annotationsprozess und den Label-Richtlinien vornehmen und die Annotatoren nach Bedarf schulen.
Hinterlassen Sie Feedback auf Frame-Ebene – In ähnlicher Weise können Sie für jeden Frame Feedback auf der Frame-Ebene unterhalb des Frames hinterlassen Frame-Feedback freies String-Attribut. In diesem Fall sind die Anmerkungen für Car und Pedestrian Klassen sehen in diesem Rahmen korrekt und gut implementiert aus. Sie können dieses positive Feedback mit weitergeben Rückmeldung geben Feld, und Ihr Kommentar wird mit diesem Rahmen verknüpft.
Kopieren Sie das Kommentar-Feedback in andere Frames – Sie können Feedback sowohl auf Label- als auch auf Frame-Ebene in andere Frames kopieren, wenn Sie mit der rechten Maustaste auf dieses Attribut klicken. Diese Funktion ist nützlich, wenn Sie dasselbe Feedback über Frames für dieses Label duplizieren oder dasselbe Feedback auf Frame-Ebene auf mehrere Frames anwenden möchten. Mit dieser Funktion können Sie die Prüfung von Datenetiketten schnell abschließen.
Genehmigen oder lehnen Sie jedes Datensatzobjekt ab – Für jedes Datensatzobjekt, das Sie überprüfen, haben Sie die Möglichkeit, eine der beiden auszuwählen genehmigen wenn Sie mit den Anmerkungen zufrieden sind oder wählen Ablehnen wenn Sie nicht zufrieden sind und möchten, dass diese Anmerkungen überarbeitet werden. Wenn Sie wählen Absenden, hast du die Möglichkeit, das soeben überprüfte Video zu genehmigen oder abzulehnen. In beiden Fällen können Sie zusätzliche Kommentare abgeben:
- Wenn Sie genehmigen, der Kommentar ist optional.
- Wenn Sie Ablehnen, Kommentare sind erforderlich, und wir empfehlen, detailliertes Feedback zu geben. Ihr Feedback wird von einem engagierten Ground Truth Plus-Qualitätskontrollteam überprüft, das Korrekturmaßnahmen ergreifen wird, um ähnliche Fehler in nachfolgenden Videos zu vermeiden.

Nachdem Sie das Video mit Ihrem Feedback eingereicht haben, werden Sie zurück zur Projektdetailseite im Projektportal geleitet, wo Sie die Anzahl der abgelehnten Objekte unter sehen können Abgelehnte Objekte Spalte und die Fehlerquote, die als Anzahl der akzeptierten Objekte aus den überprüften Objekten unter der berechnet wird Akzeptanzrate Spalte für jeden Stapel in Ihrem Projekt. Beispielsweise beträgt die Akzeptanzrate für Batch 1 im folgenden Screenshot 80 %, da vier der fünf überprüften Objekte akzeptiert wurden.

Zusammenfassung

Ein qualitativ hochwertiger Trainingsdatensatz ist entscheidend für das Erreichen Ihrer ML-Initiativen. Mit Ground Truth Plus verfügen Sie jetzt über ein verbessertes integriertes Überprüfungs-UI-Tool, das das undifferenzierte schwere Heben beseitigt, das mit dem Erstellen benutzerdefinierter Tools zur Überprüfung der Qualität des gekennzeichneten Datensatzes verbunden ist. Dieser Beitrag führte Sie durch die Einrichtung eines Projektteams und die Verwendung der neuen integrierten Funktionen des Review-UI-Tools. Besuche den Ground Truth Plus-Konsole um zu starten.

Wie immer freut sich AWS über Feedback. Bitte senden Sie Kommentare oder Fragen.

Über den Autor

Manisch Goel ist Produktmanager für Amazon SageMaker Ground Truth Plus. Er konzentriert sich auf die Entwicklung von Produkten, die es Kunden erleichtern, maschinelles Lernen einzuführen. In seiner Freizeit unternimmt er gerne Autofahrten und liest Bücher.

Revekka Kostoeva ist Software Developer Engineer bei Amazon AWS, wo sie an kundenorientierten und internen Lösungen arbeitet, um die Breite und Skalierbarkeit der Sagemaker Ground Truth-Dienste zu erweitern. Als Forscherin ist sie bestrebt, die Werkzeuge des Handels zu verbessern, um Innovationen voranzutreiben.