Kom hurtigere til produktionskvalitetsdata ved at bruge nye indbyggede grænseflader med Amazon SageMaker Ground Truth Plus

Lanceret på AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus hjælper dig med at skabe træningsdatasæt af høj kvalitet ved at fjerne de udifferentierede tunge løft, der er forbundet med at bygge datamærkningsapplikationer og administrere etiketteringspersonalet. Alt du gør er at dele data sammen med mærkningskrav, og Ground Truth Plus opsætter og administrerer dit datamærkningsworkflow baseret på disse krav. Derfra mærker en ekspert arbejdsstyrke, der er trænet i en række maskinlæringsopgaver (ML) dine data. Du behøver ikke engang dyb ML-ekspertise eller viden om workflowdesign og kvalitetsstyring for at bruge Ground Truth Plus.

I dag er vi glade for at kunne annoncere lanceringen af ​​nye indbyggede grænseflader på Ground Truth Plus. Med denne nye funktion kan flere Ground Truth Plus-brugere nu oprette en ny projekt , parti, del data og modtag data ved hjælp af den samme AWS-konto gennem selvbetjeningsgrænseflader. Dette giver dig mulighed for at fremskynde udviklingen af ​​højkvalitets træningsdatasæt ved at reducere projektopsætningstiden. Derudover kan du kontrollere finkornet adgang til dine data ved at afgrænse din AWS identitets- og adgangsstyring (IAM) rolletilladelser til at matche dit individuelle niveau af Amazon Simple Storage Service (Amazon S3) adgang, og du har altid mulighed for at tilbagekalde adgangen til bestemte buckets.

Indtil nu har du været nødt til at kontakte din Ground Truth Plus driftsprogramleder (OPM) for at oprette ny datamærkning projekter , batches. Denne proces havde nogle begrænsninger, fordi den kun tillod én bruger at anmode om et nyt projekt og batch – hvis flere brugere i organisationen brugte den samme AWS-konto, så kunne kun én bruger anmode om et nyt datamærkningsprojekt og batch ved hjælp af Ground Truth Plus konsol. Derudover skabte processen kunstige forsinkelser i starten af ​​mærkningsprocessen på grund af flere manuelle berøringspunkter og påkrævet fejlfinding i tilfælde af problemer. Hver for sig brugte alle projekterne den samme IAM-rolle til at få adgang til data. For at køre projekter og batches, der havde brug for adgang til forskellige datakilder såsom forskellige Amazon S3-buckets, var du derfor nødt til at stole på din Ground Truth Plus OPM for at levere din kontospecifikke S3-politikker, som du manuelt skulle anvende på dine S3-buckets. Hele denne operation var manuelt intensiv, hvilket resulterede i driftsomkostninger.

Dette indlæg leder dig gennem trin til at oprette et nyt projekt og batch, dele data og modtage data ved hjælp af de nye selvbetjeningsgrænseflader for effektivt at kickstarte mærkningsprocessen. Dette indlæg forudsætter, at du er bekendt med Ground Truth Plus. For mere information, se Amazon SageMaker Ground Truth Plus – Opret træningsdatasæt uden kode eller interne ressourcer.

Løsningsoversigt

Vi demonstrerer, hvordan du gør følgende:

• Opdater eksisterende projekter
• Anmod om et nyt projekt
• Opret et projektteam
• Opret en batch

Forudsætninger

Før du går i gang, skal du sørge for at have følgende forudsætninger:

• An AWS-konto
• En IAM-bruger med adgang til at oprette IAM-roller
• Amazon S3 URI af den spand, hvor dine mærkningsgenstande opbevares

Opdater eksisterende projekter

Hvis du har et Ground Truth Plus-projekt før lanceringen (9. december 2022) af de nye funktioner beskrevet i dette indlæg, så skal du oprette og dele en IAM-rolle, så du kan bruge disse funktioner med dit eksisterende Ground Truth Plus-projekt . Hvis du er ny bruger af Ground Truth Plus, kan du springe dette afsnit over.

For at oprette en IAM-rolle skal du udføre følgende trin:

1. På IAM-konsollen skal du vælge Opret rolle.
2. Type Tilpasset tillidspolitik.
3. Angiv følgende tillidsforhold for rollen:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Vælg Næste.
5. Vælg Lav politik.
6. Angiv følgende politik på fanen JSON. Opdater egenskaben Ressource ved at angive to poster for hver bucket: en med kun bucket ARN og en anden med bucket ARN efterfulgt af /*. Udskift f.eks med arn:aws:s3:::my-bucket/myprefix/ , /* med arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Vælg Næste: Mærker , Næste: Anmeldelse.
8. Indtast navnet på politikken og en valgfri beskrivelse.
9. Vælg Lav politik.
10. Luk denne fane og gå tilbage til den forrige fane for at oprette din rolle.

På fanen Tilføj tilladelser bør du se den nye politik, du har oprettet (opdater siden, hvis du ikke kan se den).

11. Vælg den nyoprettede politik, og vælg Næste.
12. Indtast et navn (f.eks. GTPlusExecutionRole) og eventuelt en beskrivelse af rollen.
13. Vælg Opret rolle.
14. Giv rollen ARN til din Ground Truth Plus OPM, som derefter vil opdatere dit eksisterende projekt med denne nyoprettede rolle.

Anmod om et nyt projekt

For at anmode om et nyt projekt skal du udføre følgende trin:

1. På Ground Truth Plus konsol, navigere til Projekter sektion.

Det er her alle dine projekter er opført.

2. Vælg Anmod om projekt.

Anmod om projekt side er din mulighed for at give detaljer, der vil hjælpe os med at planlægge et indledende konsultationsopkald og opsætte dit projekt.

3. Ud over at angive generelle oplysninger som projektnavn og beskrivelse, skal du angive projektets opgavetype, og om det indeholder personligt identificerbare oplysninger (PII).

For at mærke dine data har Ground Truth Plus brug for midlertidig adgang til dine rådata i en S3-bøtte. Når mærkningsprocessen er færdig, leverer Ground Truth Plus mærkningsoutputtet tilbage til din S3-spand. Dette gøres gennem en IAM-rolle. Du kan enten oprette en ny rolle, eller du kan navigere til IAM-konsollen for at oprette en ny rolle (se det forrige afsnit for instruktioner).

4. Hvis du vælger at oprette en rolle, skal du vælge Indtast en tilpasset IAM-rolle ARN og indtast din IAM-rolle ARN, som er i formatet arn:aws:iam:::role/.
5. For at bruge det indbyggede værktøj skal du på rullemenuen under IAM rolle, vælg Lav en ny rolle.
6. Angiv bucket-placeringen for dine mærkningsdata. Hvis du ikke kender placeringen af ​​dine mærkningsdata, eller hvis du ikke har uploadet mærkningsdata, skal du vælge Enhver S3 spand, som vil give Ground Truth Plus adgang til alle din kontos buckets.
7. Vælg Opret at skabe rollen.

Din IAM-rolle vil tillade Ground Truth Plus, identificeret som sagemaker-ground-truth-plus.amazonaws.com i rollens tillidspolitik, for at køre følgende handlinger på dine S3 buckets:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Vælg Anmod om projekt for at fuldføre anmodningen.

En Ground Truth Plus OPM planlægger en indledende samtale med dig for at diskutere dine datamærkningsprojektkrav og prissætning.

Opret et projektteam

Når du har anmodet om et projekt, skal du oprette et projektteam for at logge ind på din projektportal. Et projektteam giver adgang til medlemmerne fra din organisation eller dit team for at spore projekter, se metrics og gennemgå etiketter. Du kan bruge muligheden Inviter nye medlemmer via e-mail or Importer medlemmer fra eksisterende Amazon Cognito brugergrupper. I dette indlæg viser vi, hvordan man importerer medlemmer fra eksisterende Amazon Cognito brugergrupper for at tilføje brugere til dit projektteam.

1. På Ground Truth Plus konsol, navigere til Projekt hold sektion.
2. Vælg Opret projektteam.
3. Vælg Importer medlemmer fra eksisterende Amazon Cognito-brugergrupper.
4. Vælg en Amazon Cognito-brugerpulje.

Brugerpuljer kræver et domæne og en eksisterende brugergruppe.

5. Vælg en app-klient.

Vi anbefaler at bruge en klient genereret af Amazon SageMaker.

6. Vælg en brugergruppe fra din pulje til at importere medlemmer.
7. Vælg Opret projektteam.
   

Du kan tilføje flere teammedlemmer efter oprettelse af projektteamet ved at vælge Inviter nye medlemmer på den Medlemmer side af Ground Truth Plus-konsollen.

Opret en batch

Når du har indsendt projektanmodningen og oprettet et projektteam, kan du få adgang til Ground Truth Plus-projektportalen ved at klikke på Åbn projektportal på Ground Truth Plus-konsollen.

Du kan bruge projektportalen til at oprette batches til et projekt, men først efter at projektets status er ændret til Request approved.

1. Se et projekts detaljer og batches ved at vælge projektnavnet.
   En side med titlen med projektets navn åbnes.
2. I Partier sektion, skal du vælge Opret batch.
   
3. Indtast et batchnavn og en valgfri beskrivelse.
4. Indtast S3-placeringerne for input- og outputdatasættene.

For at sikre, at partiet oprettes med succes, skal du opfylde følgende krav:

4. • S3-bøtten og præfikset skal eksistere, og det samlede antal filer skal være større end 0
   • Det samlede antal objekter skal være mindre end 10,000
   • Størrelsen af ​​hvert objekt skal være mindre end 2 GB
   • Den samlede størrelse af alle objekter kombineret er mindre end 100 GB
   • IAM-rollen, der er angivet for at oprette et projekt, har tilladelse til at få adgang til input-bucket-, output-bucket- og S3-filerne, der bruges til at oprette batchen
   • Filerne under den angivne S3-placering for inputdatasættene bør ikke krypteres af AWS Key Management Service (AWS KMS)
5. Vælg Indsend.

Din batchstatus vises som Request submitted. Efter at Ground Truth Plus har midlertidig adgang til dine data, vil AWS-eksperter opsætte datamærkningsarbejdsgange og betjene dem på dine vegne, hvilket vil ændre batchstatus til In-progress. Når mærkningen er færdig, ændres batchstatus fra In-progress til Ready for review. Hvis du vil gennemgå dine etiketter, før du modtager etiketterne, så vælg Gennemgå batch. Derfra har du en mulighed for at vælge Accepter batch for at modtage dine mærkede data.

Konklusion

Dette indlæg viste dig, hvordan flere Ground Truth Plus-brugere nu kan oprette et nyt projekt og batch, dele data og modtage data ved hjælp af den samme AWS-konto gennem nye selvbetjeningsgrænseflader. Denne nye funktion giver dig mulighed for at kickstarte dine mærkningsprojekter hurtigere og reducerer driftsomkostningerne. Vi demonstrerede også, hvordan du kan kontrollere finmasket adgang til data ved at afgrænse dine IAM-rolletilladelser, så de matcher dit individuelle adgangsniveau.

Vi opfordrer dig til at prøve denne nye funktionalitet og oprette forbindelse til Machine Learning & AI-fællesskab hvis du har spørgsmål eller feedback!

Om forfatterne

Manish Goel er produktchef for Amazon SageMaker Ground Truth Plus. Han er fokuseret på at bygge produkter, der gør det nemmere for kunderne at anvende maskinlæring. I sin fritid nyder han roadtrips og læser bøger.

Karthik Ganduri er softwareudviklingsingeniør hos Amazon AWS, hvor han arbejder med at bygge ML-værktøjer til kunder og interne løsninger. Uden for arbejdet nyder han at klikke på billeder.  

Zhuling Bai er softwareudviklingsingeniør hos Amazon AWS. Hun arbejder på at udvikle distribuerede systemer i stor skala til at løse maskinlæringsproblemer.

Aatef Baransy er frontend-ingeniør hos Amazon AWS. Han skriver hurtig, pålidelig og gennemtestet software til at pleje og udvikle branchens mest avancerede AI-applikationer.

Mohammad Adnan er senioringeniør for AI og ML hos AWS. Han var en del af mange AWS-tjenestelanceringer, især Amazon Lookout for Metrics og AWS Panorama. I øjeblikket fokuserer han på AWS human-in-the-loop-tilbud (AWS SageMakers Ground Truth, Ground Truth Plus og Augmented AI). Han er en fortaler for ren kode og en fagekspert i serverløs og begivenhedsdrevet arkitektur. Du kan følge ham på LinkedIn, mohammad-adnan-6a99a829.