Erhalten Sie schneller produktionsreife Daten, indem Sie neue integrierte Schnittstellen mit Amazon SageMaker Ground Truth Plus verwenden

Gestartet auf der AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus hilft Ihnen beim Erstellen qualitativ hochwertiger Trainingsdatensätze, indem die undifferenzierte Schwerstarbeit beseitigt wird, die mit dem Erstellen von Datenkennzeichnungsanwendungen und der Verwaltung des Kennzeichnungspersonals verbunden ist. Alles, was Sie tun, ist Daten zusammen mit Kennzeichnungsanforderungen zu teilen, und Ground Truth Plus richtet und verwaltet Ihren Datenkennzeichnungs-Workflow basierend auf diesen Anforderungen. Von dort aus kennzeichnet ein Expertenteam, das in einer Vielzahl von Aufgaben des maschinellen Lernens (ML) geschult ist, Ihre Daten. Sie benötigen nicht einmal tiefes ML-Know-how oder Kenntnisse in Workflow-Design und Qualitätsmanagement, um Ground Truth Plus zu verwenden.

Wir freuen uns, heute die Einführung neuer integrierter Schnittstellen in Ground Truth Plus ankündigen zu können. Mit dieser neuen Funktion können jetzt mehrere Benutzer von Ground Truth Plus eine neue erstellen Projekt und Portion, teilen Sie Daten und empfangen Sie Daten mit demselben AWS-Konto über Self-Service-Schnittstellen. Auf diese Weise können Sie die Entwicklung qualitativ hochwertiger Trainingsdatensätze beschleunigen, indem Sie die Projekteinrichtungszeit verkürzen. Darüber hinaus können Sie den detaillierten Zugriff auf Ihre Daten steuern, indem Sie Ihren Bereich festlegen AWS Identity and Access Management and (IAM)-Rollenberechtigungen entsprechend Ihrer individuellen Ebene von Amazon Simple Storage-Service (Amazon S3)-Zugriff, und Sie haben jederzeit die Möglichkeit, den Zugriff auf bestimmte Buckets zu widerrufen.

Bisher mussten Sie sich an Ihren Ground Truth Plus Operations Program Manager (OPM) wenden, um neue Datenkennzeichnungen zu erstellen Projekte und Chargen. Dieser Prozess hatte einige Einschränkungen, da nur ein Benutzer ein neues Projekt und einen neuen Stapel anfordern konnte – wenn mehrere Benutzer innerhalb der Organisation dasselbe AWS-Konto verwendeten, konnte nur ein Benutzer ein neues Datenkennzeichnungsprojekt und einen neuen Stapel mit Ground Truth Plus anfordern Konsole. Darüber hinaus führte der Prozess aufgrund mehrerer manueller Berührungspunkte und der erforderlichen Fehlerbehebung bei Problemen zu künstlichen Verzögerungen beim Start des Etikettierungsprozesses. Unabhängig davon verwendeten alle Projekte dieselbe IAM-Rolle für den Zugriff auf Daten. Um Projekte und Batches auszuführen, die Zugriff auf verschiedene Datenquellen wie verschiedene Amazon S3-Buckets benötigten, mussten Sie sich daher auf Ihr Ground Truth Plus OPM verlassen, um Ihre kontospezifischen S3-Richtlinien bereitzustellen, die Sie manuell auf Ihre S3-Buckets anwenden mussten. Dieser gesamte Vorgang war manuell intensiv, was zu Betriebsgemeinkosten führte.

Dieser Beitrag führt Sie durch die Schritte zum Erstellen eines neuen Projekts und Batches, zum Freigeben von Daten und zum Empfangen von Daten mithilfe der neuen Self-Service-Schnittstellen, um den Etikettierungsprozess effizient zu starten. Dieser Beitrag setzt voraus, dass Sie mit Ground Truth Plus vertraut sind. Weitere Informationen finden Sie unter Amazon SageMaker Ground Truth Plus – Erstellen Sie Trainingsdatensätze ohne Code oder interne Ressourcen.

Lösungsüberblick

Wir zeigen Ihnen, wie Sie Folgendes tun:

• Aktualisieren Sie bestehende Projekte
• Fordern Sie ein neues Projekt an
• Bauen Sie ein Projektteam auf
• Erstellen Sie einen Stapel

Voraussetzungen:

Bevor Sie beginnen, stellen Sie sicher, dass die folgenden Voraussetzungen erfüllt sind:

• An AWS-Konto
• Ein IAM-Benutzer mit Zugriff zum Erstellen von IAM-Rollen
• Das Amazon S3-URI des Buckets, in dem Ihre Beschriftungsobjekte gespeichert sind

Aktualisieren Sie bestehende Projekte

Wenn Sie vor dem Start (9. Dezember 2022) der in diesem Beitrag beschriebenen neuen Funktionen ein Ground Truth Plus-Projekt haben, müssen Sie eine IAM-Rolle erstellen und freigeben, damit Sie diese Funktionen mit Ihrem bestehenden Ground Truth Plus-Projekt verwenden können . Wenn Sie ein neuer Benutzer von Ground Truth Plus sind, können Sie diesen Abschnitt überspringen.

Führen Sie die folgenden Schritte aus, um eine IAM-Rolle zu erstellen:

1. Wählen Sie in der IAM-Konsole Rolle erstellen.
2. Auswählen Benutzerdefinierte Vertrauensrichtlinie.
3. Geben Sie die folgende Vertrauensbeziehung für die Rolle an:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Auswählen Weiter.
5. Auswählen Richtlinie erstellen.
6. Geben Sie auf der Registerkarte JSON die folgende Richtlinie an. Aktualisieren Sie die Resource-Eigenschaft, indem Sie zwei Einträge für jeden Bucket angeben: einen mit nur dem Bucket-ARN und einen anderen mit dem Bucket-ARN gefolgt von /*. Zum Beispiel ersetzen mit arn:aws:s3:::my-bucket/myprefix/ und /* mit arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Auswählen Weiter: Tags und Weiter: Überprüfen.
8. Geben Sie den Namen der Richtlinie und optional eine Beschreibung ein.
9. Auswählen Richtlinie erstellen.
10. Schließen Sie diese Registerkarte und gehen Sie zurück zur vorherigen Registerkarte, um Ihre Rolle zu erstellen.

Auf der Registerkarte Berechtigungen hinzufügen sollten Sie die neue Richtlinie sehen, die Sie erstellt haben (aktualisieren Sie die Seite, wenn Sie sie nicht sehen).

11. Wählen Sie die neu erstellte Richtlinie aus und wählen Sie Weiter.
12. Geben Sie einen Namen ein (z. B. GTPlusExecutionRole) und optional eine Beschreibung der Rolle.
13. Auswählen Rolle erstellen.
14. Stellen Sie Ihrem Ground Truth Plus OPM den Rollen-ARN bereit, der dann Ihr bestehendes Projekt mit dieser neu erstellten Rolle aktualisiert.

Fordern Sie ein neues Projekt an

Führen Sie die folgenden Schritte aus, um ein neues Projekt anzufordern:

1. Auf dem Ground Truth Plus-Konsole, navigiere zum Projekte .

Hier werden alle Ihre Projekte aufgelistet.

2. Auswählen Projekt anfordern.

Das Projekt anfordern Seite ist Ihre Gelegenheit, Details anzugeben, die uns helfen, ein erstes Beratungsgespräch zu vereinbaren und Ihr Projekt einzurichten.

3. Neben allgemeinen Informationen wie Projektname und -beschreibung müssen Sie den Aufgabentyp des Projekts angeben und angeben, ob es personenbezogene Daten (PII) enthält.

Um Ihre Daten zu kennzeichnen, benötigt Ground Truth Plus temporären Zugriff auf Ihre Rohdaten in einem S3-Bucket. Wenn der Kennzeichnungsprozess abgeschlossen ist, liefert Ground Truth Plus die Kennzeichnungsausgabe zurück an Ihren S3-Bucket. Dies erfolgt über eine IAM-Rolle. Sie können entweder eine neue Rolle erstellen oder zur IAM-Konsole navigieren, um eine neue Rolle zu erstellen (Anweisungen finden Sie im vorherigen Abschnitt).

4. Wenn Sie eine Rolle erstellen möchten, wählen Sie Geben Sie eine benutzerdefinierte IAM-Rollen-ARN ein und geben Sie Ihren IAM-Rollen-ARN im Format ein arn:aws:iam:::role/.
5. Um das integrierte Tool zu verwenden, klicken Sie auf das Dropdown-Menü unter IAM-Rolle, wählen Erstellen Sie eine neue Rolle.
6. Geben Sie den Bucket-Speicherort Ihrer Beschriftungsdaten an. Wenn Sie den Speicherort Ihrer Beschriftungsdaten nicht kennen oder keine Beschriftungsdaten hochgeladen haben, wählen Sie aus Beliebiger S3-Eimer, wodurch Ground Truth Plus Zugriff auf alle Buckets Ihres Kontos erhält.
7. Auswählen Erstellen um die Rolle zu erstellen.

Ihre IAM-Rolle ermöglicht Ground Truth Plus, gekennzeichnet als sagemaker-ground-truth-plus.amazonaws.com in der Rolle Vertrauenspolitik, um die folgenden Aktionen für Ihre S3-Buckets auszuführen:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Auswählen Projekt anfordern um die Anfrage abzuschließen.

Ein Ground Truth Plus OPM wird einen ersten Beratungstermin mit Ihnen vereinbaren, um die Anforderungen und Preise Ihres Datenkennzeichnungsprojekts zu besprechen.

Bauen Sie ein Projektteam auf

Nachdem Sie ein Projekt angefordert haben, müssen Sie ein Projektteam erstellen, um sich bei Ihrem Projektportal anzumelden. Ein Projektteam bietet den Mitgliedern Ihrer Organisation oder Ihres Teams Zugriff, um Projekte zu verfolgen, Metriken anzuzeigen und Labels zu überprüfen. Sie können die Option verwenden Laden Sie neue Mitglieder per E-Mail ein or Mitglieder aus bestehenden importieren Amazon Cognito Nutzergruppen. In diesem Beitrag zeigen wir, wie Sie Mitglieder aus bestehenden importieren Amazon Cognito Benutzergruppen, um Benutzer zu Ihrem Projektteam hinzuzufügen.

1. Auf dem Ground Truth Plus-Konsole, navigiere zum Projektteam .
2. Auswählen Projektteam erstellen.
3. Auswählen Importieren Sie Mitglieder aus bestehenden Amazon Cognito-Benutzergruppen.
4. Wählen Sie einen Amazon Cognito-Benutzerpool aus.

Benutzerpools erfordern eine Domäne und eine vorhandene Benutzergruppe.

5. Wählen Sie einen App-Client aus.

Wir empfehlen die Verwendung eines von generierten Clients Amazon Sage Maker.

6. Wählen Sie eine Benutzergruppe aus Ihrem Pool aus, um Mitglieder zu importieren.
7. Auswählen Projektteam erstellen.
   

Sie können weitere Teammitglieder hinzufügen, nachdem Sie das Projektteam erstellt haben, indem Sie wählen Laden Sie neue Mitglieder ein auf die Mitglieder Seite der Ground Truth Plus-Konsole.

Erstellen Sie einen Stapel

Nachdem Sie die Projektanfrage erfolgreich eingereicht und ein Projektteam erstellt haben, gelangen Sie per Klick auf das Projektportal von Ground Truth Plus Projektportal öffnen auf der Ground Truth Plus-Konsole.

Sie können das Projektportal verwenden, um Stapel für ein Projekt zu erstellen, aber erst, nachdem sich der Status des Projekts auf geändert hat Request approved.

1. Zeigen Sie die Details und Stapel eines Projekts an, indem Sie den Projektnamen auswählen.
   Eine Seite mit dem Projektnamen wird geöffnet.
2. Im Chargen Wählen Sie im Abschnitt Stapel erstellen.
   
3. Geben Sie einen Stapelnamen und optional eine Beschreibung ein.
4. Geben Sie die S3-Speicherorte der Eingabe- und Ausgabedatensätze ein.

Um sicherzustellen, dass der Stapel erfolgreich erstellt wird, müssen Sie die folgenden Anforderungen erfüllen:

4. • Der S3-Bucket und das Präfix sollten vorhanden sein, und die Gesamtzahl der Dateien sollte größer als 0 sein
   • Die Gesamtzahl der Objekte sollte weniger als 10,000 betragen
   • Die Größe jedes Objekts sollte weniger als 2 GB betragen
   • Die Gesamtgröße aller Objekte zusammen beträgt weniger als 100 GB
   • Die zum Erstellen eines Projekts bereitgestellte IAM-Rolle hat die Berechtigung, auf den Eingabe-Bucket, den Ausgabe-Bucket und die S3-Dateien zuzugreifen, die zum Erstellen des Stapels verwendet werden
   • Die Dateien unter dem bereitgestellten S3-Speicherort für die Eingabedatensätze sollten nicht mit verschlüsselt werden AWS-Schlüsselverwaltungsservice (AWS KMS)
5. Auswählen Absenden.

Ihr Chargenstatus wird als angezeigt Request submitted. Nachdem Ground Truth Plus vorübergehend Zugriff auf Ihre Daten hat, richten AWS-Experten Workflows zur Datenkennzeichnung ein und führen sie in Ihrem Namen aus, wodurch der Stapelstatus auf geändert wird In-progress. Wenn die Etikettierung abgeschlossen ist, ändert sich der Chargenstatus von In-progress zu Ready for review. Wenn Sie Ihre Etiketten überprüfen möchten, bevor Sie die Etiketten erhalten, wählen Sie aus Überprüfen Sie den Stapel. Von dort aus haben Sie eine Auswahlmöglichkeit Charge akzeptieren um Ihre beschrifteten Daten zu erhalten.

Zusammenfassung

Dieser Beitrag hat Ihnen gezeigt, wie mehrere Benutzer von Ground Truth Plus jetzt ein neues Projekt und Batch erstellen, Daten teilen und Daten mit demselben AWS-Konto über neue Self-Service-Schnittstellen empfangen können. Diese neue Funktion ermöglicht es Ihnen, Ihre Etikettierungsprojekte schneller in Gang zu bringen und den Betriebsaufwand zu reduzieren. Wir haben auch gezeigt, wie Sie den detaillierten Zugriff auf Daten steuern können, indem Sie Ihre IAM-Rollenberechtigungen an Ihre individuelle Zugriffsebene anpassen.

Wir empfehlen Ihnen, diese neue Funktion auszuprobieren und sich mit dem zu verbinden Community für maschinelles Lernen und KI Wenn Sie Fragen oder Feedback haben!

Über die Autoren

Manisch Goel ist Produktmanager für Amazon SageMaker Ground Truth Plus. Er konzentriert sich auf die Entwicklung von Produkten, die es Kunden erleichtern, maschinelles Lernen einzuführen. In seiner Freizeit unternimmt er gerne Autofahrten und liest Bücher.

Karthik Ganduri ist Software Development Engineer bei Amazon AWS, wo er an der Entwicklung von ML-Tools für Kunden und interne Lösungen arbeitet. Außerhalb der Arbeit klickt er gerne auf Bilder.  

Zhuling Bai ist Softwareentwicklungsingenieur bei Amazon AWS. Sie arbeitet an der Entwicklung groß angelegter verteilter Systeme zur Lösung von Problemen des maschinellen Lernens.

Aatef Baransy ist Frontend-Ingenieur bei Amazon AWS. Er schreibt schnelle, zuverlässige und gründlich getestete Software, um die branchenweit modernsten KI-Anwendungen zu fördern und auszubauen.

Mohammed Adnan ist Senior Engineer für KI und ML bei AWS. Er war an vielen Einführungen von AWS-Services beteiligt, insbesondere von Amazon Lookout for Metrics und AWS Panorama. Derzeit konzentriert er sich auf die Human-in-the-Loop-Angebote von AWS (AWS SageMaker’s Ground Truth, Ground Truth Plus und Augmented AI). Er ist ein Verfechter von sauberem Code und ein Fachexperte für serverlose und ereignisgesteuerte Architektur. Sie können ihm auf LinkedIn folgen, mohammad-adnan-6a99a829.