Krijg sneller toegang tot gegevens op productieniveau door nieuwe ingebouwde interfaces te gebruiken met Amazon SageMaker Ground Truth Plus

Gelanceerd op AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus helpt u bij het creëren van hoogwaardige trainingsdatasets door het ongedifferentieerde zware werk weg te nemen dat gepaard gaat met het bouwen van toepassingen voor het labelen van gegevens en het beheren van het labelpersoneel. Het enige dat u hoeft te doen, is gegevens delen samen met etiketteringsvereisten, en Ground Truth Plus stelt uw workflow voor gegevensetikettering in en beheert deze op basis van deze vereisten. Van daaruit labelt een deskundig personeelsbestand dat is getraind in verschillende machine learning-taken (ML) uw gegevens. U hebt zelfs geen diepgaande ML-expertise of kennis van workflowontwerp en kwaliteitsbeheer nodig om Ground Truth Plus te gebruiken.

Vandaag kondigen we met trots de lancering aan van nieuwe ingebouwde interfaces op Ground Truth Plus. Met deze nieuwe mogelijkheid kunnen meerdere Ground Truth Plus-gebruikers nu een nieuwe maken project en partij, deel gegevens en ontvang gegevens met hetzelfde AWS-account via zelfbedieningsinterfaces. Dit stelt u in staat om de ontwikkeling van hoogwaardige trainingsdatasets te versnellen door de insteltijd van projecten te verkorten. Bovendien kunt u fijnmazige toegang tot uw gegevens beheren door uw AWS Identiteits- en toegangsbeheer (IAM) rolmachtigingen die overeenkomen met uw individuele niveau van Amazon eenvoudige opslagservice (Amazon S3) toegang, en je hebt altijd de mogelijkheid om de toegang tot bepaalde buckets in te trekken.

Tot nu toe moest u contact opnemen met uw Ground Truth Plus Operations Program Manager (OPM) om nieuwe gegevenslabels te maken projecten en batches. Dit proces had enkele beperkingen omdat slechts één gebruiker een nieuw project en een nieuwe batch kon aanvragen. Als meerdere gebruikers binnen de organisatie hetzelfde AWS-account gebruikten, kon slechts één gebruiker een nieuw datalabelproject en een nieuwe batch aanvragen met behulp van de Ground Truth Plus troosten. Bovendien veroorzaakte het proces kunstmatige vertragingen bij het starten van het labelproces vanwege meerdere handmatige contactpunten en het oplossen van problemen die nodig waren in geval van problemen. Afzonderlijk gebruikten alle projecten dezelfde IAM-rol voor toegang tot gegevens. Om projecten en batches uit te voeren die toegang nodig hadden tot verschillende gegevensbronnen, zoals verschillende Amazon S3-buckets, moest u daarom vertrouwen op uw Ground Truth Plus OPM om uw accountspecifieke S3-beleidsregels te bieden, die u handmatig moest toepassen op uw S3-buckets. Deze hele operatie was manueel intensief, wat resulteerde in operationele overheadkosten.

Dit bericht leidt u door de stappen om een ​​nieuw project en een nieuwe batch te maken, gegevens te delen en gegevens te ontvangen met behulp van de nieuwe zelfbedieningsinterfaces om het labelproces efficiënt op gang te brengen. Dit bericht gaat ervan uit dat u bekend bent met Ground Truth Plus. Voor meer informatie, zie Amazon SageMaker Ground Truth Plus - Creëer trainingsdatasets zonder code of interne bronnen.

Overzicht oplossingen

We laten zien hoe u het volgende kunt doen:

• Update bestaande projecten
• Vraag een nieuw project aan
• Zet een projectteam op
• Een batch maken

Voorwaarden

Voordat u aan de slag gaat, moet u ervoor zorgen dat u aan de volgende vereisten voldoet:

• An AWS-account
• Een IAM-gebruiker met toegang om IAM-rollen aan te maken
• De Amazon S3-URI van de emmer waarin uw labelobjecten zijn opgeslagen

Update bestaande projecten

Als je een Ground Truth Plus-project hebt vóór de lancering (9 december 2022) van de nieuwe functies die in dit bericht worden beschreven, moet je een IAM-rol maken en delen zodat je deze functies kunt gebruiken met je bestaande Ground Truth Plus-project . Als u een nieuwe gebruiker van Ground Truth Plus bent, kunt u dit gedeelte overslaan.

Voer de volgende stappen uit om een ​​IAM-rol aan te maken:

1. Kies op de IAM-console Rol creëren.
2. kies Aangepast vertrouwensbeleid.
3. Geef de volgende vertrouwensrelatie op voor de rol:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Kies Volgende.
5. Kies Maak beleid.
6. Geef op het tabblad JSON het volgende beleid op. Werk de eigenschap Resource bij door voor elke bucket twee vermeldingen op te geven: een met alleen de bucket ARN en een andere met de bucket ARN gevolgd door /*. Bijvoorbeeld vervangen Met arn:aws:s3:::my-bucket/myprefix/ en /* Met arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Kies Volgende: Tags en Volgende: Review.
8. Voer de naam van het beleid en een optionele beschrijving in.
9. Kies Maak beleid.
10. Sluit dit tabblad en ga terug naar het vorige tabblad om uw rol aan te maken.

Op het tabblad Toestemmingen toevoegen zou je het nieuwe beleid moeten zien dat je hebt gemaakt (vernieuw de pagina als je het niet ziet).

11. Selecteer het nieuw gemaakte beleid en kies Volgende.
12. Voer een naam in (bijvoorbeeld GTPlusExecutionRole) en eventueel een omschrijving van de rol.
13. Kies Rol creëren.
14. Geef de rol ARN aan uw Ground Truth Plus OPM, die vervolgens uw bestaande project zal updaten met deze nieuw gecreëerde rol.

Vraag een nieuw project aan

Om een ​​nieuw project aan te vragen, doorloopt u de volgende stappen:

1. Op de Ground Truth Plus-console, navigeer naar de Projecten pagina.

Hier staan ​​al je projecten vermeld.

2. Kies Vraag project aan.

De Vraag project aan pagina is uw kans om details te verstrekken die ons helpen bij het plannen van een eerste consultatiegesprek en het opzetten van uw project.

3. Naast het specificeren van algemene informatie zoals de projectnaam en beschrijving, moet u het taaktype van het project specificeren en of het persoonlijk identificeerbare informatie (PII) bevat.

Om uw gegevens te labelen, heeft Ground Truth Plus tijdelijk toegang nodig tot uw onbewerkte gegevens in een S3-bucket. Wanneer het labelproces is voltooid, levert Ground Truth Plus de labeluitvoer terug naar uw S3-emmer. Dit gebeurt door middel van een IAM-rol. U kunt een nieuwe rol aanmaken of u kunt naar de IAM-console navigeren om een ​​nieuwe rol aan te maken (raadpleeg het vorige gedeelte voor instructies).

4. Als je ervoor kiest om een ​​rol aan te maken, kies dan Voer een aangepaste IAM-rol ARN in en voer uw IAM-rol ARN in, die de indeling heeft van arn:aws:iam:::role/.
5. Om de ingebouwde tool te gebruiken, in het vervolgkeuzemenu onder IAM-rol, kiezen Maak een nieuwe rol.
6. Geef de bucketlocatie van uw labelgegevens op. Als u de locatie van uw labelgegevens niet weet of als u geen labelgegevens hebt geüpload, selecteert u Elke S3-bucket, waarmee Ground Truth Plus toegang krijgt tot alle buckets van uw account.
7. Kies creëren om de rol te creëren.

Uw IAM-rol staat Ground Truth Plus toe, geïdentificeerd als sagemaker-ground-truth-plus.amazonaws.com in de rollen vertrouwen beleid, om de volgende acties op uw S3-buckets uit te voeren:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Kies Vraag project aan om het verzoek te voltooien.

Een Ground Truth Plus OPM zal een eerste consultatiegesprek met u plannen om uw vereisten voor het labelen van gegevens en prijzen te bespreken.

Zet een projectteam op

Nadat je een project hebt aangevraagd, moet je een projectteam aanmaken om in te loggen op je projectportaal. Een projectteam biedt toegang aan de leden van uw organisatie of team om projecten bij te houden, statistieken te bekijken en labels te beoordelen. U kunt de optie gebruiken Nodig nieuwe leden per e-mail uit or Importeer leden uit bestaande Amazon Cognito gebruikersgroepen. In dit bericht laten we zien hoe u leden uit bestaande kunt importeren Amazon Cognito gebruikersgroepen om gebruikers toe te voegen aan uw projectteam.

1. Op de Ground Truth Plus-console, navigeer naar de Project team pagina.
2. Kies Projectteam samenstellen.
3. Kies Importeer leden uit bestaande Amazon Cognito-gebruikersgroepen.
4. Kies een Amazon Cognito-gebruikerspool.

Gebruikerspools vereisen een domein en een bestaande gebruikersgroep.

5. Kies een app-client.

We raden aan een client te gebruiken die is gegenereerd door Amazon Sage Maker.

6. Kies een gebruikersgroep uit uw pool om leden te importeren.
7. Kies Projectteam samenstellen.
   

U kunt meer teamleden toevoegen nadat u het projectteam hebt gemaakt door te kiezen Nodig nieuwe leden uit op de Leden pagina van de Ground Truth Plus-console.

Een batch maken

Nadat u de projectaanvraag met succes heeft ingediend en een projectteam heeft aangemaakt, krijgt u toegang tot het Ground Truth Plus-projectportaal door te klikken Projectportaal openen op de Ground Truth Plus-console.

U kunt het projectportaal gebruiken om batches voor een project aan te maken, maar pas nadat de status van het project is gewijzigd in Request approved.

1. Bekijk de details en batches van een project door de projectnaam te kiezen.
   Er wordt een pagina met de naam van het project geopend.
2. In het batches sectie, kies Batch maken.
   
3. Voer een batchnaam en optionele omschrijving in.
4. Voer de S3-locaties van de invoer- en uitvoerdatasets in.

Om ervoor te zorgen dat de batch succesvol wordt aangemaakt, moet u aan de volgende vereisten voldoen:

4. • De S3-bucket en het voorvoegsel moeten bestaan ​​en het totale aantal bestanden moet groter zijn dan 0
   • Het totale aantal objecten moet minder dan 10,000 zijn
   • De grootte van elk object moet kleiner zijn dan 2 GB
   • De totale grootte van alle objecten samen is minder dan 100 GB
   • De IAM-rol die wordt geleverd om een ​​project te maken, heeft toestemming voor toegang tot de invoerbucket, uitvoerbucket en S3-bestanden die worden gebruikt om de batch te maken
   • De bestanden op de opgegeven S3-locatie voor de invoerdatasets mogen niet worden versleuteld door AWS Sleutelbeheerservice (AWS KMS)
5. Kies Verzenden.

Uw batchstatus wordt weergegeven als Request submitted. Nadat Ground Truth Plus tijdelijk toegang heeft tot uw gegevens, zullen AWS-experts workflows voor het labelen van gegevens opzetten en deze namens u uitvoeren, waardoor de batchstatus wordt gewijzigd in In-progress. Wanneer het labelen is voltooid, verandert de batchstatus van In-progress naar Ready for review. Als je je labels wilt bekijken voordat je de labels ontvangt, kies dan Batch bekijken. Van daaruit heb je een optie om te kiezen Accepteer partij om uw gelabelde gegevens te ontvangen.

Conclusie

Dit bericht liet je zien hoe meerdere Ground Truth Plus-gebruikers nu een nieuw project en batch kunnen maken, gegevens kunnen delen en gegevens kunnen ontvangen met hetzelfde AWS-account via nieuwe zelfbedieningsinterfaces. Met deze nieuwe mogelijkheid kunt u uw labelprojecten sneller opstarten en de operationele overhead verminderen. We hebben ook gedemonstreerd hoe u fijnmazige toegang tot gegevens kunt regelen door uw IAM-rolmachtigingen af ​​te stemmen op uw individuele toegangsniveau.

We moedigen u aan om deze nieuwe functionaliteit uit te proberen en verbinding te maken met de Machine Learning & AI-gemeenschap als u vragen of feedback heeft!

Over de auteurs

Manish Doel is de productmanager voor Amazon SageMaker Ground Truth Plus. Hij richt zich op het bouwen van producten die het voor klanten gemakkelijker maken om machine learning toe te passen. In zijn vrije tijd houdt hij van roadtrips en boeken lezen.

Karthik Ganduri is Software Development Engineer bij Amazon AWS, waar hij werkt aan het bouwen van ML-tools voor klanten en interne oplossingen. Buiten zijn werk klikt hij graag op foto's.  

Zhuling Bai is Software Development Engineer bij Amazon AWS. Ze werkt aan de ontwikkeling van grootschalige gedistribueerde systemen om machine learning-problemen op te lossen.

Aatef Baransy is een frontend-engineer bij Amazon AWS. Hij schrijft snelle, betrouwbare en grondig geteste software om de meest geavanceerde AI-toepassingen in de branche te koesteren en te laten groeien.

Mohammed Adnan is Senior Engineer voor AI en ML bij AWS. Hij maakte deel uit van veel lanceringen van AWS-services, met name Amazon Lookout for Metrics en AWS Panorama. Momenteel richt hij zich op AWS human-in-the-loop-aanbiedingen (AWS SageMaker's Ground Truth, Ground Truth Plus en Augmented AI). Hij is een pleitbezorger van schone code en een materiedeskundige op het gebied van serverloze en gebeurtenisgestuurde architectuur. Je kunt hem volgen op LinkedIn, mohammad-adnan-6a99a829.