Inspect Your Data Labels With A Visual, No Code Tool To Create High-quality Training Datasets With Amazon SageMaker Ground Truth Plus

Republicat de Platon

Urmaritori: 0

Lansat la AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus vă ajută să creați seturi de date de instruire de înaltă calitate prin eliminarea sarcinilor grele nediferențiate asociate cu construirea de aplicații de etichetare a datelor și gestionarea forței de muncă de etichetare. Tot ce faceți este să partajați datele împreună cu cerințele de etichetare, iar Ground Truth Plus configurează și gestionează fluxul de lucru de etichetare a datelor pe baza acestor cerințe. De acolo, o forță de muncă expertă care este instruită pentru o varietate de sarcini de învățare automată (ML) realizează etichetarea datelor. Nici măcar nu aveți nevoie de experiență profundă ML sau cunoștințe despre proiectarea fluxului de lucru și managementul calității pentru a utiliza Ground Truth Plus.

Crearea unui set de date de antrenament de înaltă calitate pentru algoritmul tău ML este un proces iterativ. Practicienii ML construiesc adesea sisteme personalizate pentru a inspecta etichetele datelor, deoarece datele etichetate cu precizie sunt esențiale pentru calitatea modelului ML. Pentru a vă asigura că obțineți date de antrenament de înaltă calitate, Ground Truth Plus vă oferă o interfață de utilizator încorporată (Review UI) pentru a inspecta calitatea etichetelor de date și pentru a oferi feedback cu privire la etichetele de date până când sunteți mulțumit că etichetele reprezintă cu exactitate adevărul de bază sau ceea ce este direct observabil în lumea reală.

Această postare vă prezintă pașii pentru a crea o echipă de proiect și pentru a utiliza mai multe funcții încorporate noi ale instrumentului Review UI pentru a finaliza eficient inspecția unui set de date etichetat. Trecerea presupune că aveți un proiect activ de etichetare Ground Truth Plus. Pentru mai multe informații, vezi Amazon SageMaker Ground Truth Plus – Creați seturi de date de antrenament fără cod sau resurse interne.

Formați o echipă de proiect

O echipă de proiect oferă acces membrilor organizației dvs. pentru a inspecta etichetele de date folosind instrumentul Review UI. Pentru a configura o echipă de proiect, parcurgeți următorii pași:

Pe teren Adevărul Plus consolă, alege Creați echipa de proiect.
Selectați Creați un nou grup de utilizatori Amazon Cognito . Dacă aveți deja unul existent Amazon Cognito grup de utilizatori, selectați Importă membri opțiune.
Pentru Numele grupului de utilizatori Amazon Cognito, introduceți un nume. Acest nume nu poate fi schimbat.
Pentru Adrese de email, introduceți adresele de e-mail a până la 50 de membri ai echipei, separate prin virgule.
Alege Creați echipa de proiect.

Membrii echipei tale vor primi un e-mail prin care îi invită să se alăture echipei de proiect Ground Truth Plus. De acolo, se pot conecta la portalul proiectului Ground Truth Plus pentru a revizui etichetele datelor.

Inspectați calitatea setului de date etichetat

Acum să ne aruncăm într-un exemplu de urmărire a obiectelor video folosind CBCL StreetScenes set de date.

După ce datele din lotul dvs. au fost etichetate, lotul este marcat ca Gata de revizuire.

Selectați lotul și alegeți Examinați lotul. Sunteți redirecționat către interfața de utilizare de revizuire. Aveți flexibilitatea de a alege o rată de eșantionare diferită pentru fiecare lot pe care îl examinați. De exemplu, în lotul nostru exemplu, avem un total de cinci videoclipuri. Puteți specifica dacă doriți să examinați doar un subset dintre aceste cinci videoclipuri sau pe toate.

Acum să ne uităm la diferitele funcționalități din interfața de utilizare de revizuire care vă vor ajuta să inspectați calitatea setului de date etichetat într-un ritm mai rapid și să oferiți feedback cu privire la calitate:

Filtrați etichetele în funcție de categoria de etichetă – În interfața de utilizare de revizuire, în panoul din dreapta, puteți filtra etichetele în funcție de categoria lor de etichetă. Această caracteristică este utilă atunci când există mai multe categorii de etichete (de exemplu, Vehicles, Pedestrians, și Poles) într-un obiect de set de date dens și doriți să vizualizați etichetele pentru o categorie de etichete la un moment dat. De exemplu, să ne concentrăm pe Car categorie de etichetă. Introduceți Car categorie de etichete în panoul din dreapta pentru a filtra toate adnotările de tip Car. Următoarele capturi de ecran arată vizualizarea Review UI înainte și după aplicarea filtrului.
Suprapuneți valorile atributelor adnotate asociate – Fiecărei etichete i se pot atribui atribute care să fie adnotate. De exemplu, pentru categoria de etichete Car , spuneți că doriți să le cereți lucrătorilor să adnoteze și Color și Occlusion atribute pentru fiecare instanță de etichetă. Când încărcați interfața de utilizare Review, veți vedea atributele corespunzătoare sub fiecare instanță de etichetă în panoul din dreapta. Dar dacă doriți să vedeți aceste adnotări de atribute direct pe imagine? Selectați eticheta Car:1 , și pentru a suprapune adnotările de atribut pentru Car:1 , apăsați Ctrl + A.
Acum veți vedea adnotarea Dark Blue pentru Color atribut și adnotare None pentru Occlusion atribut afișat direct pe imaginea de lângă Car:1 casetă de încadrare. Acum puteți verifica cu ușurință acest lucru Car:1 a fost marcat ca Dark Blue, fără ocluzie doar din privirea imaginii în loc să fie nevoită să o localizeze Car:1 în panoul din dreapta pentru a vedea adnotările atributelor.
Lăsați feedback la nivel de etichetă – Pentru fiecare etichetă, puteți lăsa feedback la nivelul etichetei în eticheta respectivă Etichetați feedback atribut șir liber. De exemplu, în această imagine, Car:1 arată mai mult negru decât albastru închis. Puteți transmite această discrepanță ca feedback pentru Car:1 folosind Etichetați feedback câmp pentru a urmări comentariul la acea etichetă de pe acel cadru. Echipa noastră de control intern al calității va analiza acest feedback și va introduce modificări în procesul de adnotare și politicile de etichetare și va instrui adnotatorii după cum este necesar.
Lăsați feedback la nivelul cadrului – În mod similar, pentru fiecare cadru, puteți lăsa feedback la nivelul cadru sub acel cadru Feedback-ul cadru atribut șir liber. În acest caz, adnotările pentru Car și Pedestrian clasele arată corect și bine implementate în acest cadru. Puteți transmite acest feedback pozitiv folosind Oferi feedback câmp, iar comentariul dvs. este legat de acest cadru.
Copiați feedback-ul de adnotare în alte cadre – Puteți copia feedback-ul la nivel de etichetă și la nivel de cadru în alte cadre dacă faceți clic dreapta pe acel atribut. Această caracteristică este utilă atunci când doriți să duplicați același feedback între cadre pentru acea etichetă sau să aplicați același feedback la nivel de cadru la mai multe cadre. Această caracteristică vă permite să finalizați rapid inspecția etichetelor de date.
Aprobați sau respingeți fiecare obiect de set de date – Pentru fiecare obiect de set de date pe care îl examinați, aveți opțiunea de a alege Aproba dacă sunteți mulțumit de adnotări sau alegeți Respinge dacă nu sunteți mulțumit și doriți ca adnotările respective să fie reluate. Când alegi Trimite mesaj, vi se oferă opțiunea de a aproba sau de a respinge videoclipul pe care tocmai l-ați examinat. În ambele cazuri, puteți furniza comentarii suplimentare:
- Dacă alegeți Aproba, comentariul este optional.
- Dacă alegeți Respinge, este necesar un comentariu și vă sugerăm să furnizați feedback detaliat. Feedbackul dvs. va fi examinat de o echipă dedicată de control al calității Ground Truth Plus, care va lua măsuri corective pentru a evita greșeli similare în videoclipurile ulterioare.

După ce trimiteți videoclipul cu feedback-ul dvs., sunteți redirecționat înapoi la pagina cu detaliile proiectului din portalul proiectului, unde puteți vedea numărul de obiecte respinse sub secțiunea Obiecte respinse coloană și rata de eroare, care este calculată ca numărul de obiecte acceptate din obiectele examinate sub Rata de acceptare coloană pentru fiecare lot din proiectul dvs. De exemplu, pentru lotul 1 din următoarea captură de ecran, rata de acceptare este de 80%, deoarece patru obiecte au fost acceptate din cele cinci obiecte examinate.

Concluzie

Un set de date de instruire de înaltă calitate este esențial pentru realizarea inițiativelor dvs. de ML. Cu Ground Truth Plus, aveți acum un instrument de interfață de utilizare de revizuire încorporat îmbunătățit care elimină sarcinile grele nediferențiate asociate cu construirea de instrumente personalizate pentru a revizui calitatea setului de date etichetat. Această postare v-a explicat cum să configurați o echipă de proiect și să utilizați noile funcții încorporate ale instrumentului Review UI. Viziteaza Consola Ground Truth Plus pentru a începe.

Ca întotdeauna, AWS salută feedback-ul. Vă rugăm să trimiteți orice comentarii sau întrebări.

Despre autor

Manish Goel este manager de produs pentru Amazon SageMaker Ground Truth Plus. El se concentrează pe construirea de produse care facilitează adoptarea învățării automate de către clienți. În timpul liber, îi plac călătoriile și lectura cărților.

Revekka Kostoeva este inginer dezvoltator software la Amazon AWS, unde lucrează la soluții interne și orientate către clienți pentru a extinde amploarea și scalabilitatea serviciilor Sagemaker Ground Truth. În calitate de cercetător, ea este determinată să îmbunătățească instrumentele comerțului pentru a promova inovația.