Få tillgång till produktionskvalitet snabbare genom att använda nya inbyggda gränssnitt med Amazon SageMaker Ground Truth Plus

Lanserades på AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus hjälper dig att skapa högkvalitativa utbildningsdatauppsättningar genom att ta bort de odifferentierade tunga lyften som är förknippade med att bygga datamärkningsapplikationer och hantera märkningspersonalen. Allt du gör är att dela data tillsammans med märkningskrav, och Ground Truth Plus ställer in och hanterar ditt arbetsflöde för datamärkning baserat på dessa krav. Därifrån märker en expertarbetare som är utbildad i en mängd olika maskininlärningsuppgifter (ML) dina data. Du behöver inte ens djup ML-expertis eller kunskap om arbetsflödesdesign och kvalitetshantering för att använda Ground Truth Plus.

Idag är vi glada över att kunna tillkännage lanseringen av nya inbyggda gränssnitt på Ground Truth Plus. Med denna nya funktion kan flera Ground Truth Plus-användare nu skapa en ny projektet och sats, dela data och ta emot data med samma AWS-konto via självbetjäningsgränssnitt. Detta gör det möjligt för dig att påskynda utvecklingen av högkvalitativa utbildningsdatauppsättningar genom att minska projektuppsättningstiden. Dessutom kan du kontrollera finkornig åtkomst till dina data genom att avgränsa din AWS identitets- och åtkomsthantering (IAM) rollbehörigheter för att matcha din individuella nivå Amazon enkel lagringstjänst (Amazon S3) åtkomst, och du har alltid möjlighet att återkalla åtkomst till vissa hinkar.

Fram tills nu var du tvungen att kontakta din Ground Truth Plus operations program manager (OPM) för att skapa ny datamärkning projekt och satser. Den här processen hade vissa begränsningar eftersom den endast tillät en användare att begära ett nytt projekt och batch – om flera användare inom organisationen använde samma AWS-konto, kunde bara en användare begära ett nytt datamärkningsprojekt och batch med Ground Truth Plus trösta. Dessutom skapade processen artificiella förseningar i att starta märkningsprocessen på grund av flera manuella beröringspunkter och felsökning som krävs vid problem. Separat använde alla projekt samma IAM-roll för att komma åt data. Därför, för att köra projekt och partier som behövde tillgång till olika datakällor såsom olika Amazon S3-buckets, var du tvungen att lita på din Ground Truth Plus OPM för att tillhandahålla din kontospecifika S3-policy, som du var tvungen att manuellt tillämpa på dina S3-buckets. Hela denna operation var manuellt intensiv vilket resulterade i driftskostnader.

Det här inlägget leder dig genom stegen för att skapa ett nytt projekt och batch, dela data och ta emot data med de nya självbetjäningsgränssnitten för att effektivt kickstarta märkningsprocessen. Det här inlägget förutsätter att du är bekant med Ground Truth Plus. För mer information, se Amazon SageMaker Ground Truth Plus – Skapa utbildningsdataset utan kod eller interna resurser.

Lösningsöversikt

Vi visar hur man gör följande:

• Uppdatera befintliga projekt
• Begär ett nytt projekt
• Skapa ett projektteam
• Skapa en batch

Förutsättningar

Se till att du har följande förutsättningar innan du sätter igång:

• An AWS-konto
• En IAM-användare med åtkomst att skapa IAM-roller
• Smakämnen Amazon S3 URI av hinken där dina etikettföremål förvaras

Uppdatera befintliga projekt

Om du har ett Ground Truth Plus-projekt innan lanseringen (9 december 2022) av de nya funktionerna som beskrivs i det här inlägget, måste du skapa och dela en IAM-roll så att du kan använda dessa funktioner med ditt befintliga Ground Truth Plus-projekt . Om du är en ny användare av Ground Truth Plus kan du hoppa över det här avsnittet.

För att skapa en IAM-roll, slutför följande steg:

1. Välj på IAM-konsolen Skapa roll.
2. Välja Anpassad förtroendepolicy.
3. Ange följande förtroendeförhållande för rollen:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Välja Nästa.
5. Välja Skapa policy.
6. Ange följande policy på fliken JSON. Uppdatera resursegenskapen genom att ange två poster för varje hink: en med bara hinken ARN och en annan med hinken ARN följt av /*. Byt till exempel med arn:aws:s3:::my-bucket/myprefix/ och /* med arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Välja Nästa: Taggar och Nästa: Granska.
8. Ange namnet på policyn och en valfri beskrivning.
9. Välja Skapa policy.
10. Stäng den här fliken och gå tillbaka till föregående flik för att skapa din roll.

På fliken Lägg till behörigheter bör du se den nya policyn du skapade (uppdatera sidan om du inte ser den).

11. Välj den nyskapade policyn och välj Nästa.
12. Ange ett namn (t.ex. GTPlusExecutionRole) och eventuellt en beskrivning av rollen.
13. Välja Skapa roll.
14. Ge rollen ARN till din Ground Truth Plus OPM, som sedan kommer att uppdatera ditt befintliga projekt med denna nyskapade roll.

Begär ett nytt projekt

För att begära ett nytt projekt, slutför följande steg:

1. På Ground Truth Plus-konsol, navigera till Projekt sektion.

Det är här alla dina projekt listas.

2. Välja Begär projekt.

Smakämnen Begär projekt sida är din möjlighet att ge information som hjälper oss att planera ett första konsultationssamtal och ställa in ditt projekt.

3. Förutom att ange allmän information som projektnamn och beskrivning, måste du ange projektets uppgiftstyp och om den innehåller personligt identifierbar information (PII).

För att märka din data behöver Ground Truth Plus tillfällig åtkomst till dina rådata i en S3-hink. När märkningsprocessen är klar, levererar Ground Truth Plus etikettutmatningen tillbaka till din S3-skopa. Detta görs genom en IAM-roll. Du kan antingen skapa en ny roll, eller så kan du navigera till IAM-konsolen för att skapa en ny roll (se föregående avsnitt för instruktioner).

4. Om du väljer att skapa en roll, välj Ange en anpassad IAM-roll ARN och ange din IAM-roll ARN, som är i formatet arn:aws:iam:::role/.
5. För att använda det inbyggda verktyget, på rullgardinsmenyn under IAM-rollväljer Skapa en ny roll.
6. Ange lagringsplatsen för dina märkningsdata. Om du inte vet var dina märkningsdata finns eller om du inte har laddat upp någon märkningsdata väljer du Varje S3-hink, vilket ger Ground Truth Plus tillgång till alla ditt kontos hinkar.
7. Välja Skapa att skapa rollen.

Din IAM-roll kommer att tillåta Ground Truth Plus, identifierad som sagemaker-ground-truth-plus.amazonaws.com i rollens förtroendepolicy, för att köra följande åtgärder på dina S3-hinkar:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Välja Begär projekt för att slutföra begäran.

En Ground Truth Plus OPM kommer att schemalägga ett första konsultationssamtal med dig för att diskutera dina datamärkningsprojektkrav och prissättning.

Skapa ett projektteam

När du har begärt ett projekt måste du skapa ett projektteam för att logga in på din projektportal. Ett projektteam ger tillgång till medlemmarna från din organisation eller ditt team för att spåra projekt, se mätvärden och granska etiketter. Du kan använda alternativet Bjud in nya medlemmar via e-post or Importera medlemmar från befintliga Amazon Cognito användargrupper. I det här inlägget visar vi hur man importerar medlemmar från befintliga Amazon Cognito användargrupper för att lägga till användare till ditt projektteam.

1. På Ground Truth Plus-konsol, navigera till Projekt lag sektion.
2. Välja Skapa projektteam.
3. Välja Importera medlemmar från befintliga Amazon Cognito-användargrupper.
4. Välj en Amazon Cognito-användarpool.

Användarpooler kräver en domän och en befintlig användargrupp.

5. Välj en appklient.

Vi rekommenderar att du använder en klient som genereras av Amazon SageMaker.

6. Välj en användargrupp från din pool för att importera medlemmar.
7. Välja Skapa projektteam.
   

Du kan lägga till fler gruppmedlemmar efter att du har skapat projektgruppen genom att välja Bjud in nya medlemmar på Medlemmar sida på Ground Truth Plus-konsolen.

Skapa en batch

När du har skickat in projektförfrågan och skapat ett projektteam kan du komma åt Ground Truth Plus-projektportalen genom att klicka på Öppna projektportalen på Ground Truth Plus-konsolen.

Du kan använda projektportalen för att skapa partier för ett projekt, men först efter att projektets status har ändrats till Request approved.

1. Visa ett projekts detaljer och batcher genom att välja projektnamnet.
   En sida med titeln projektnamnet öppnas.
2. I Partier avsnitt väljer Skapa batch.
   
3. Ange ett batchnamn och valfri beskrivning.
4. Ange S3-platserna för in- och utdatauppsättningarna.

För att säkerställa att batchen skapas framgångsrikt måste du uppfylla följande krav:

4. • S3-hinken och prefixet bör finnas, och det totala antalet filer bör vara större än 0
   • Det totala antalet objekt bör vara mindre än 10,000 XNUMX
   • Storleken på varje objekt bör vara mindre än 2 GB
   • Den totala storleken på alla objekt tillsammans är mindre än 100 GB
   • IAM-rollen som tillhandahålls för att skapa ett projekt har behörighet att få åtkomst till indatahinken, utgångsbucket och S3-filerna som används för att skapa batchen
   • Filerna under den angivna S3-platsen för indatauppsättningarna bör inte krypteras av AWS nyckelhanteringstjänst (AWS KMS)
5. Välja Skicka.

Din batchstatus kommer att visas som Request submitted. Efter att Ground Truth Plus har tillfällig åtkomst till dina data, kommer AWS-experter att ställa in datamärkningsarbetsflöden och hantera dem på dina vägnar, vilket kommer att ändra batchstatusen till In-progress. När märkningen är klar ändras batchstatus från In-progress till Ready for review. Om du vill granska dina etiketter innan du får etiketterna väljer du Granska batch. Därifrån har du ett alternativ att välja Acceptera batch för att ta emot dina märkta data.

Slutsats

Det här inlägget visade dig hur flera Ground Truth Plus-användare nu kan skapa ett nytt projekt och batch, dela data och ta emot data med samma AWS-konto genom nya självbetjäningsgränssnitt. Denna nya funktion gör att du kan kickstarta dina märkningsprojekt snabbare och minskar driftskostnader. Vi visade också hur du kan kontrollera finkornig åtkomst till data genom att avgränsa dina IAM-rollbehörigheter så att de matchar din individuella åtkomstnivå.

Vi uppmuntrar dig att prova denna nya funktionalitet och ansluta till Machine Learning & AI community om du har några frågor eller feedback!

Om författarna

Manish Goel är produktchef för Amazon SageMaker Ground Truth Plus. Han är fokuserad på att bygga produkter som gör det lättare för kunder att ta till sig maskininlärning. På fritiden tycker han om roadtrips och att läsa böcker.

Karthik Ganduri är mjukvaruutvecklingsingenjör på Amazon AWS, där han arbetar med att bygga ML-verktyg för kunder och interna lösningar. Utanför jobbet tycker han om att klicka på bilder.  

Zhuling Bai är en mjukvaruutvecklingsingenjör på Amazon AWS. Hon arbetar med att utveckla storskaliga distribuerade system för att lösa problem med maskininlärning.

Aatef Baransy är frontend-ingenjör på Amazon AWS. Han skriver snabb, pålitlig och noggrant testad programvara för att vårda och utveckla branschens mest banbrytande AI-applikationer.

Mohammad Adnan är senioringenjör för AI och ML på AWS. Han var en del av många AWS-tjänstlanseringar, särskilt Amazon Lookout for Metrics och AWS Panorama. För närvarande fokuserar han på AWS human-in-the-loop-erbjudanden (AWS SageMakers Ground truth, Ground truth plus och Augmented AI). Han är en förespråkare för ren kod och en ämnesexpert på serverlös och händelsedriven arkitektur. Du kan följa honom på LinkedIn, mohammad-adnan-6a99a829.