Accesați mai rapid datele de nivel de producție utilizând noi interfețe încorporate cu Amazon SageMaker Ground Truth Plus

Lansat la AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus vă ajută să creați seturi de date de instruire de înaltă calitate prin eliminarea sarcinilor grele nediferențiate asociate cu construirea de aplicații de etichetare a datelor și gestionarea forței de muncă de etichetare. Tot ce faceți este să partajați datele împreună cu cerințele de etichetare, iar Ground Truth Plus configurează și gestionează fluxul de lucru de etichetare a datelor pe baza acestor cerințe. De acolo, o forță de muncă expertă care este instruită pentru o varietate de sarcini de învățare automată (ML) vă etichetează datele. Nici măcar nu aveți nevoie de experiență profundă ML sau cunoștințe despre proiectarea fluxului de lucru și managementul calității pentru a utiliza Ground Truth Plus.

Astăzi, suntem încântați să anunțăm lansarea de noi interfețe încorporate pe Ground Truth Plus. Cu această nouă capacitate, mai mulți utilizatori Ground Truth Plus pot acum să creeze un nou proiect și lot, partajați date și primiți date folosind același cont AWS prin interfețe cu autoservire. Acest lucru vă permite să accelerați dezvoltarea de seturi de date de instruire de înaltă calitate prin reducerea timpului de configurare a proiectului. În plus, puteți controla accesul precis la datele dvs. prin definirea domeniului dvs Gestionarea identității și accesului AWS (IAM) permisiuni pentru rol pentru a se potrivi cu nivelul dvs. individual de Serviciul Amazon de stocare simplă (Amazon S3) și aveți întotdeauna opțiunea de a revoca accesul la anumite găleți.

Până acum, trebuia să contactați managerul programului de operațiuni Ground Truth Plus (OPM) pentru a crea o nouă etichetare a datelor. Proiecte și loturi. Acest proces a avut unele restricții, deoarece permitea unui singur utilizator să solicite un nou proiect și un lot – dacă mai mulți utilizatori din cadrul organizației foloseau același cont AWS, atunci doar un utilizator putea solicita un nou proiect de etichetare a datelor și un lot folosind Ground Truth Plus consolă. În plus, procesul a creat întârzieri artificiale în demararea procesului de etichetare datorită mai multor puncte de contact manuale și depanare necesară în caz de probleme. Separat, toate proiectele au folosit același rol IAM pentru accesarea datelor. Prin urmare, pentru a rula proiecte și loturi care necesitau acces la diferite surse de date, cum ar fi diferite compartimente Amazon S3, a trebuit să vă bazați pe OPM Ground Truth Plus pentru a furniza politici S3 specifice contului dvs., pe care a trebuit să le aplicați manual compartimentelor dvs. S3. Întreaga operațiune a fost manuală intensivă, rezultând costuri generale operaționale.

Această postare vă prezintă pașii pentru a crea un nou proiect și un lot, a partaja date și a primi date folosind noile interfețe cu autoservire pentru a porni eficient procesul de etichetare. Această postare presupune că sunteți familiarizat cu Ground Truth Plus. Pentru mai multe informații, vezi Amazon SageMaker Ground Truth Plus – Creați seturi de date de antrenament fără cod sau resurse interne.

Prezentare generală a soluțiilor

Demonstrăm cum să faceți următoarele:

• Actualizați proiectele existente
• Solicitați un nou proiect
• Formați o echipă de proiect
• Creați un lot

Cerințe preliminare

Înainte de a începe, asigurați-vă că aveți următoarele cerințe preliminare:

• An Cont AWS
• Un utilizator IAM cu acces pentru a crea roluri IAM
• URI Amazon S3 a găleții în care sunt depozitate obiectele dvs. de etichetare

Actualizați proiectele existente

Dacă aveți un proiect Ground Truth Plus înainte de lansarea (9 decembrie 2022) a noilor funcții descrise în această postare, atunci trebuie să creați și să partajați un rol IAM, astfel încât să puteți utiliza aceste funcții cu proiectul dvs. existent Ground Truth Plus . Dacă sunteți un utilizator nou al Ground Truth Plus, puteți sări peste această secțiune.

Pentru a crea un rol IAM, parcurgeți următorii pași:

1. Pe consola IAM, alegeți Creare rol.
2. Selectați Politică de încredere personalizată.
3. Specificați următoarea relație de încredere pentru rol:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Alege Pagina Următoare →.
5. Alege Creare politică.
6. În fila JSON, specificați următoarea politică. Actualizați proprietatea Resurse specificând două intrări pentru fiecare compartiment: una cu doar ARN-ul compartimentului și alta cu ARN-ul compartimentului urmat de /*. De exemplu, înlocuiți cu arn:aws:s3:::my-bucket/myprefix/ și /* cu arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Alege Următorul: Etichete și Următorul: Recapitulare.
8. Introduceți numele politicii și o descriere opțională.
9. Alege Creare politică.
10. Închideți această filă și reveniți la fila anterioară pentru a vă crea rolul.

În fila Adăugați permisiuni, ar trebui să vedeți noua politică pe care ați creat-o (reîmprospătați pagina dacă nu o vedeți).

11. Selectați politica nou creată și alegeți Pagina Următoare →.
12. Introduceți un nume (de exemplu, GTPlusExecutionRole) și opțional o descriere a rolului.
13. Alege Creare rol.
14. Furnizați rolul ARN-ului dvs. Ground Truth Plus OPM, care apoi vă va actualiza proiectul existent cu acest rol nou creat.

Solicitați un nou proiect

Pentru a solicita un nou proiect, parcurgeți următorii pași:

1. Pe Consola Ground Truth Plus, navigați la Proiecte secţiune.

Aici sunt listate toate proiectele tale.

2. Alege Cere proiect.

Cere proiect pagina este oportunitatea dvs. de a oferi detalii care ne vor ajuta să programăm un apel inițial de consultanță și să vă stabilim proiectul.

3. Pe lângă specificarea informațiilor generale, cum ar fi numele și descrierea proiectului, trebuie să specificați tipul de activitate a proiectului și dacă acesta conține informații de identificare personală (PII).

Pentru a vă eticheta datele, Ground Truth Plus are nevoie de acces temporar la datele dvs. brute într-un compartiment S3. Când procesul de etichetare este încheiat, Ground Truth Plus livrează rezultatul de etichetare înapoi în găleată S3. Acest lucru se realizează printr-un rol IAM. Puteți fie să creați un rol nou, fie să navigați la consola IAM pentru a crea un rol nou (consultați secțiunea anterioară pentru instrucțiuni).

4. Dacă alegeți să creați un rol, alegeți Introduceți un rol IAM personalizat ARN și introduceți ARN-ul rolului dvs. IAM, care este în formatul de arn:aws:iam:::role/.
5. Pentru a utiliza instrumentul încorporat, în meniul derulant de sub Rolul IAM, alege Creați un nou rol.
6. Specificați locația compartimentului pentru datele dvs. de etichetare. Dacă nu cunoașteți locația datelor dvs. de etichetare sau dacă nu aveți date de etichetare încărcate, selectați Orice cupă S3, care va oferi Ground Truth Plus acces la toate compartimentele contului dvs.
7. Alege Crea pentru a crea rolul.

Rolul dvs. IAM va permite Ground Truth Plus, identificat ca sagemaker-ground-truth-plus.amazonaws.com în rolurile politica de incredere, pentru a executa următoarele acțiuni pe compartimentele dvs. S3:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Alege Cere proiect pentru a finaliza cererea.

Un Ground Truth Plus OPM va programa un apel inițial de consultare cu dvs. pentru a discuta despre cerințele și prețurile proiectului dvs. de etichetare a datelor.

Formați o echipă de proiect

După ce solicitați un proiect, trebuie să creați o echipă de proiect pentru a vă conecta la portalul de proiect. O echipă de proiect oferă acces membrilor organizației sau echipei dvs. pentru a urmări proiectele, a vedea valorile și a revizui etichetele. Puteți folosi opțiunea Invitați noi membri prin e-mail or Importați membri din cei existente Amazon Cognito grupuri de utilizatori. În această postare, arătăm cum să importați membrii existente Amazon Cognito grupuri de utilizatori pentru a adăuga utilizatori în echipa de proiect.

1. Pe Consola Ground Truth Plus, navigați la Echipă de proiect secţiune.
2. Alege Creați echipa de proiect.
3. Alege Importați membri din grupurile de utilizatori Amazon Cognito existente.
4. Alegeți un grup de utilizatori Amazon Cognito.

Grupurile de utilizatori necesită un domeniu și un grup de utilizatori existent.

5. Alegeți un client de aplicație.

Vă recomandăm să utilizați un client generat de Amazon SageMaker.

6. Alegeți un grup de utilizatori din grupul dvs. pentru a importa membri.
7. Alege Creați echipa de proiect.
   

Puteți adăuga mai mulți membri ai echipei după ce ați creat echipa de proiect prin alegere Invitați noi membri pe Membri actuali pagina consolei Ground Truth Plus.

Creați un lot

După ce ați trimis cu succes cererea de proiect și ați creat o echipă de proiect, puteți accesa portalul de proiect Ground Truth Plus făcând clic Deschideți portalul de proiecte pe consola Ground Truth Plus.

Puteți utiliza portalul de proiect pentru a crea loturi pentru un proiect, dar numai după ce starea proiectului s-a schimbat în Request approved.

1. Vizualizați detaliile și loturile unui proiect alegând numele proiectului.
   Se deschide o pagină intitulată cu numele proiectului.
2. În Loturi secțiune, pentru a alege Creați lot.
   
3. Introduceți un nume de lot și o descriere opțională.
4. Introduceți locațiile S3 ale seturilor de date de intrare și de ieșire.

Pentru a vă asigura că lotul este creat cu succes, trebuie să îndepliniți următoarele cerințe:

4. • Buchetul și prefixul S3 ar trebui să existe, iar numărul total de fișiere ar trebui să fie mai mare de 0
   • Numărul total de obiecte ar trebui să fie mai mic de 10,000
   • Dimensiunea fiecărui obiect ar trebui să fie mai mică de 2 GB
   • Dimensiunea totală a tuturor obiectelor combinate este mai mică de 100 GB
   • Rolul IAM furnizat pentru a crea un proiect are permisiunea de a accesa compartimentul de intrare, compartimentul de ieșire și fișierele S3 care sunt utilizate pentru a crea lotul
   • Fișierele din locația S3 furnizată pentru seturile de date de intrare nu ar trebui să fie criptate de AWS Service Management Service (AWS KMS)
5. Alege Trimite mesaj.

Starea lotului se va afișa ca Request submitted. După ce Ground Truth Plus are acces temporar la datele dvs., experții AWS vor configura fluxurile de lucru de etichetare a datelor și le vor opera în numele dvs., ceea ce va schimba starea lotului în In-progress. Când etichetarea este completă, starea lotului se schimbă de la In-progress la Ready for review. Dacă doriți să vă examinați etichetele înainte de a le primi, alegeți Examinați lotul. De acolo, aveți o opțiune de a alege Acceptați lotul pentru a primi datele dvs. etichetate.

Concluzie

Această postare v-a arătat cum mai mulți utilizatori Ground Truth Plus pot acum să creeze un nou proiect și să grupeze, să partajeze date și să primească date folosind același cont AWS prin noi interfețe autoservire. Această nouă capacitate vă permite să vă porniți proiectele de etichetare mai rapid și să reduceți cheltuielile operaționale. Am demonstrat, de asemenea, cum puteți controla accesul precis la date, stabilind permisiunile rolului dvs. IAM pentru a se potrivi cu nivelul dvs. individual de acces.

Vă încurajăm să încercați această nouă funcționalitate și să vă conectați cu Învățare automată și comunitate AI dacă aveți întrebări sau feedback!

Despre autori

Manish Goel este manager de produs pentru Amazon SageMaker Ground Truth Plus. El se concentrează pe construirea de produse care facilitează adoptarea învățării automate de către clienți. În timpul liber, îi plac călătoriile și lectura cărților.

Karthik Ganduri este inginer de dezvoltare software la Amazon AWS, unde lucrează la construirea de instrumente ML pentru clienți și soluții interne. În afara serviciului, îi place să facă clic pe poze.  

Zhuling Bai este inginer de dezvoltare software la Amazon AWS. Ea lucrează la dezvoltarea de sisteme distribuite la scară largă pentru a rezolva problemele de învățare automată.

Aatef Baransy este inginer Frontend la Amazon AWS. El scrie software rapid, fiabil și testat temeinic pentru a dezvolta și dezvolta aplicațiile AI cele mai de ultimă oră din industrie.

Mohammad Adnan este inginer senior pentru AI și ML la AWS. A făcut parte din lansarea multor servicii AWS, în special Amazon Lookout for Metrics și AWS Panorama. În prezent, el se concentrează pe ofertele AWS human-in-the-loop (AWS SageMaker's Ground truth, Ground truth plus și Augmented AI). El este un susținător al codului curat și un expert în materie de arhitectură fără server și bazată pe evenimente. Îl poți urmări pe LinkedIn, mohammad-adnan-6a99a829.