Kom raskere til data i produksjonsgrad ved å bruke nye innebygde grensesnitt med Amazon SageMaker Ground Truth Plus

Lansert på AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus hjelper deg med å lage opplæringsdatasett av høy kvalitet ved å fjerne de udifferensierte tunge løftene knyttet til bygging av datamerkingsapplikasjoner og administrere etikettarbeidsstyrken. Alt du gjør er å dele data sammen med krav til merking, og Ground Truth Plus setter opp og administrerer arbeidsflyten for datamerking basert på disse kravene. Derfra merker en ekspert medarbeidere som er opplært i en rekke maskinlæringsoppgaver (ML) dataene dine. Du trenger ikke engang dyp ML-ekspertise eller kunnskap om arbeidsflytdesign og kvalitetsstyring for å bruke Ground Truth Plus.

I dag er vi glade for å kunngjøre lanseringen av nye innebygde grensesnitt på Ground Truth Plus. Med denne nye funksjonen kan flere Ground Truth Plus-brukere nå opprette en ny prosjekt og batch, del data og motta data med samme AWS-konto gjennom selvbetjente grensesnitt. Dette lar deg akselerere utviklingen av opplæringsdatasett av høy kvalitet ved å redusere prosjektoppsetttiden. I tillegg kan du kontrollere finmasket tilgang til dataene dine ved å avgrense din AWS identitets- og tilgangsadministrasjon (IAM) rolletillatelser som samsvarer med ditt individuelle nivå av Amazon enkel lagringstjeneste (Amazon S3) tilgang, og du har alltid muligheten til å tilbakekalle tilgangen til visse bøtter.

Inntil nå måtte du kontakte Ground Truth Plus driftsprogramleder (OPM) for å lage ny datamerking prosjekter og batcher. Denne prosessen hadde noen begrensninger fordi den tillot bare én bruker å be om et nytt prosjekt og batch – hvis flere brukere i organisasjonen brukte samme AWS-konto, kunne bare én bruker be om et nytt datamerkingsprosjekt og batch ved å bruke Ground Truth Plus konsoll. I tillegg skapte prosessen kunstige forsinkelser i å starte merkeprosessen på grunn av flere manuelle berøringspunkter og feilsøking som kreves i tilfelle problemer. Hver for seg brukte alle prosjektene den samme IAM-rollen for å få tilgang til data. Derfor, for å kjøre prosjekter og grupper som trengte tilgang til forskjellige datakilder, for eksempel forskjellige Amazon S3-bøtter, måtte du stole på Ground Truth Plus OPM for å gi din kontospesifikke S3-policy, som du måtte bruke manuelt på S3-bøttene dine. Hele denne operasjonen var manuelt intensiv, noe som resulterte i driftskostnader.

Dette innlegget leder deg gjennom trinnene for å lage et nytt prosjekt og batch, dele data og motta data ved å bruke de nye selvbetjente grensesnittene for å effektivt starte merkeprosessen. Dette innlegget forutsetter at du er kjent med Ground Truth Plus. For mer informasjon, se Amazon SageMaker Ground Truth Plus – Lag opplæringsdatasett uten kode eller interne ressurser.

Løsningsoversikt

Vi viser hvordan du gjør følgende:

• Oppdatere eksisterende prosjekter
• Be om et nytt prosjekt
• Sett opp et prosjektteam
• Lag en batch

Forutsetninger

Før du begynner, må du kontrollere at du har følgende forutsetninger:

• An AWS-konto
• En IAM-bruker med tilgang til å opprette IAM-roller
• De Amazon S3 URI av bøtta der merkeobjektene dine er lagret

Oppdatere eksisterende prosjekter

Hvis du har et Ground Truth Plus-prosjekt før lanseringen (9. desember 2022) av de nye funksjonene beskrevet i dette innlegget, må du opprette og dele en IAM-rolle slik at du kan bruke disse funksjonene med ditt eksisterende Ground Truth Plus-prosjekt . Hvis du er en ny bruker av Ground Truth Plus, kan du hoppe over denne delen.

For å opprette en IAM-rolle, fullfør følgende trinn:

1. Velg på IAM-konsollen Skape rolle.
2. Plukke ut Tilpasset tillitspolicy.
3. Spesifiser følgende tillitsforhold for rollen:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Velg neste.
5. Velg Opprett policy.
6. På JSON-fanen angir du følgende policy. Oppdater ressursegenskapen ved å spesifisere to oppføringer for hver bøtte: en med bare bøtte ARN, og en annen med bøtte ARN etterfulgt av /*. Bytt ut for eksempel med arn:aws:s3:::my-bucket/myprefix/ og /* med arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Velg Neste: Tagger og Neste: Gjennomgang.
8. Skriv inn navnet på policyen og en valgfri beskrivelse.
9. Velg Opprett policy.
10. Lukk denne fanen og gå tilbake til forrige fane for å opprette rollen din.

På fanen Legg til tillatelser bør du se den nye policyen du opprettet (oppdater siden hvis du ikke ser den).

11. Velg den nyopprettede policyen og velg neste.
12. Skriv inn et navn (f.eks. GTPlusExecutionRole) og eventuelt en beskrivelse av rollen.
13. Velg Skape rolle.
14. Gi rollen ARN til din Ground Truth Plus OPM, som deretter vil oppdatere ditt eksisterende prosjekt med denne nyopprettede rollen.

Be om et nytt prosjekt

For å be om et nytt prosjekt, fullfør følgende trinn:

1. På Ground Truth Plus-konsoll, naviger til Prosjekter seksjon.

Det er her alle prosjektene dine er oppført.

2. Velg Be om prosjekt.

De Be om prosjekt siden er din mulighet til å gi detaljer som vil hjelpe oss å planlegge en første konsultasjonssamtale og sette opp prosjektet ditt.

3. I tillegg til å spesifisere generell informasjon som prosjektnavn og beskrivelse, må du spesifisere prosjektets oppgavetype og om den inneholder personlig identifiserbar informasjon (PII).

For å merke dataene dine trenger Ground Truth Plus midlertidig tilgang til rådataene dine i en S3-bøtte. Når merkeprosessen er fullført, leverer Ground Truth Plus merkeutskriften tilbake til S3-bøtten din. Dette gjøres gjennom en IAM-rolle. Du kan enten opprette en ny rolle, eller du kan navigere til IAM-konsollen for å opprette en ny rolle (se forrige avsnitt for instruksjoner).

4. Hvis du velger å opprette en rolle, velg Skriv inn en egendefinert IAM-rolle ARN og skriv inn din IAM-rolle ARN, som er i formatet arn:aws:iam:::role/.
5. For å bruke det innebygde verktøyet, på rullegardinmenyen under IAM-rolle, velg Lag en ny rolle.
6. Angi bøtteplasseringen for merkedataene dine. Hvis du ikke vet hvor merkedataene dine befinner seg, eller hvis du ikke har lastet opp noen merkedata, velger du Enhver S3 bøtte, som vil gi Ground Truth Plus tilgang til alle kontoen din.
7. Velg Opprett å skape rollen.

Din IAM-rolle vil tillate Ground Truth Plus, identifisert som sagemaker-ground-truth-plus.amazonaws.com i rollens tillitspolitikk, for å kjøre følgende handlinger på S3-bøttene dine:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Velg Be om prosjekt for å fullføre forespørselen.

En Ground Truth Plus OPM vil planlegge en innledende konsultasjonssamtale med deg for å diskutere krav og priser for datamerkingsprosjektet.

Sett opp et prosjektteam

Etter at du har bedt om et prosjekt, må du opprette et prosjektteam for å logge på prosjektportalen din. Et prosjektteam gir tilgang til medlemmene fra organisasjonen eller teamet for å spore prosjekter, se beregninger og gjennomgå etiketter. Du kan bruke alternativet Inviter nye medlemmer på e-post or Importer medlemmer fra eksisterende Amazon Cognito brukergrupper. I dette innlegget viser vi hvordan du importerer medlemmer fra eksisterende Amazon Cognito brukergrupper for å legge til brukere i prosjektteamet ditt.

1. På Ground Truth Plus-konsoll, naviger til Prosjektgruppe seksjon.
2. Velg Lag prosjektteam.
3. Velg Importer medlemmer fra eksisterende Amazon Cognito-brukergrupper.
4. Velg en Amazon Cognito-brukerpool.

Brukerpooler krever et domene og en eksisterende brukergruppe.

5. Velg en appklient.

Vi anbefaler å bruke en klient generert av Amazon SageMaker.

6. Velg en brukergruppe fra utvalget for å importere medlemmer.
7. Velg Lag prosjektteam.
   

Du kan legge til flere teammedlemmer etter å ha opprettet prosjektteamet ved å velge Inviter nye medlemmer på medlemmer siden til Ground Truth Plus-konsollen.

Lag en batch

Etter at du har sendt inn prosjektforespørselen og opprettet et prosjektteam, kan du få tilgang til Ground Truth Plus-prosjektportalen ved å klikke Åpne prosjektportal på Ground Truth Plus-konsollen.

Du kan bruke prosjektportalen til å lage batcher for et prosjekt, men først etter at prosjektets status er endret til Request approved.

1. Se et prosjekts detaljer og grupper ved å velge prosjektnavnet.
   En side med tittelen med prosjektnavnet åpnes.
2. på Batcher delen velger Opprett batch.
   
3. Skriv inn et batchnavn og valgfri beskrivelse.
4. Angi S3-plasseringene til input- og output-datasettene.

For å sikre at batchen blir opprettet på en vellykket måte, må du oppfylle følgende krav:

4. • S3-bøtten og prefikset skal eksistere, og det totale antallet filer skal være større enn 0
   • Det totale antallet objekter bør være mindre enn 10,000 XNUMX
   • Størrelsen på hvert objekt bør være mindre enn 2 GB
   • Den totale størrelsen på alle objekter kombinert er mindre enn 100 GB
   • IAM-rollen som er gitt for å opprette et prosjekt har tillatelse til å få tilgang til input-bøtte, utdatabøtte og S3-filer som brukes til å lage batchen
   • Filene under den angitte S3-plasseringen for inngangsdatasettene skal ikke krypteres av AWS nøkkelstyringstjeneste (AWS KMS)
5. Velg Send.

Batchstatusen din vises som Request submitted. Etter at Ground Truth Plus har midlertidig tilgang til dataene dine, vil AWS-eksperter sette opp datamerkingsarbeidsflyter og betjene dem på dine vegne, noe som vil endre batchstatusen til In-progress. Når merkingen er fullført, endres batchstatus fra In-progress til Ready for review. Hvis du vil se gjennom etikettene dine før du mottar etikettene, velger du Gjennomgå batch. Derfra har du et alternativ å velge Godta batch for å motta dine merkede data.

konklusjonen

Dette innlegget viste deg hvordan flere Ground Truth Plus-brukere nå kan opprette et nytt prosjekt og batch, dele data og motta data ved å bruke den samme AWS-kontoen gjennom nye selvbetjente grensesnitt. Denne nye funksjonen lar deg kickstarte merkeprosjektene dine raskere og reduserer driftskostnader. Vi demonstrerte også hvordan du kan kontrollere finmasket tilgang til data ved å avgrense IAM-rolletillatelsene dine for å matche ditt individuelle tilgangsnivå.

Vi oppfordrer deg til å prøve ut denne nye funksjonaliteten, og koble deg til Maskinlæring og AI-fellesskap hvis du har spørsmål eller tilbakemeldinger!

Om forfatterne

Manish Goel er produktsjef for Amazon SageMaker Ground Truth Plus. Han er fokusert på å bygge produkter som gjør det lettere for kundene å ta i bruk maskinlæring. På fritiden liker han bilturer og leser bøker.

Karthik Ganduri er Software Development Engineer hos Amazon AWS, hvor han jobber med å bygge ML-verktøy for kunder og interne løsninger. Utenom jobben liker han å klikke på bilder.  

Zhuling Bai er programvareutviklingsingeniør hos Amazon AWS. Hun jobber med å utvikle distribuerte systemer i stor skala for å løse maskinlæringsproblemer.

Aatef Baransy er en frontend-ingeniør hos Amazon AWS. Han skriver rask, pålitelig og grundig testet programvare for å pleie og utvikle bransjens mest banebrytende AI-applikasjoner.

Mohammad Adnan er senioringeniør for AI og ML ved AWS. Han var en del av mange AWS-tjenestelanseringer, spesielt Amazon Lookout for Metrics og AWS Panorama. For øyeblikket fokuserer han på AWS menneske-i-løkken-tilbud (AWS SageMaker's Ground truth, Ground truth plus og Augmented AI). Han er en talsmann for ren kode og en fagekspert på serverløs og hendelsesdrevet arkitektur. Du kan følge ham på LinkedIn, mohammad-adnan-6a99a829.