Preglejte svoje podatkovne oznake z vizualnim orodjem brez kode za ustvarjanje visokokakovostnih naborov podatkov o usposabljanju z Amazon SageMaker Ground Truth Plus

Predstavljeno na AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus vam pomaga ustvariti visokokakovostne nabore podatkov za usposabljanje z odstranitvijo nediferenciranega težkega dela, povezanega z gradnjo aplikacij za označevanje podatkov in upravljanjem delovne sile za označevanje. Vse, kar počnete, je, da delite podatke skupaj z zahtevami za označevanje, Ground Truth Plus pa nastavi in ​​upravlja potek dela za označevanje podatkov na podlagi teh zahtev. Od tam strokovna delovna sila, ki je usposobljena za različne naloge strojnega učenja (ML), izvaja označevanje podatkov. Za uporabo Ground Truth Plus ne potrebujete niti globokega strokovnega znanja o ML ali znanja o načrtovanju delovnega toka in upravljanju kakovosti.

Gradnja visokokakovostnega nabora podatkov za usposabljanje za vaš algoritem ML je ponavljajoč se proces. Strokovnjaki ML pogosto gradijo sisteme po meri za pregledovanje oznak podatkov, ker so natančno označeni podatki ključnega pomena za kakovost modela ML. Da bi zagotovili, da dobite visokokakovostne podatke o usposabljanju, vam Ground Truth Plus nudi vgrajen uporabniški vmesnik (UI za pregled) za pregledovanje kakovosti oznak podatkov in zagotavljanje povratnih informacij o oznakah podatkov, dokler niste zadovoljni, da oznake natančno predstavljajo temeljna resnica ali tisto, kar je neposredno opazno v resničnem svetu.

Ta objava vas vodi skozi korake za ustvarjanje projektne skupine in uporabo več novih vgrajenih funkcij orodja Review UI za učinkovito dokončanje pregleda označenega niza podatkov. Predstavitev predpostavlja, da imate aktiven projekt označevanja Ground Truth Plus. Za več informacij glejte Amazon SageMaker Ground Truth Plus – ustvarite nabore podatkov za usposabljanje brez kode ali notranjih virov.

Ustvarite projektno skupino

Projektna skupina omogoča članom iz vaše organizacije dostop do pregledovanja podatkovnih nalepk z orodjem Review UI. Če želite vzpostaviti projektno skupino, izvedite naslednje korake:

1. Na terenu Resnica Plus konzola, izberite Ustvarite projektno skupino.
2. Izberite Ustvarite novo uporabniško skupino Amazon Cognito . Če že imate obstoječo Amazon Cognito skupino uporabnikov, izberite Uvoz članov možnost.
3. za Ime uporabniške skupine Amazon Cognito, vnesite ime. Tega imena ni mogoče spremeniti.
4. za E-poštni naslovi, vnesite e-poštne naslove do 50 članov ekipe, ločene z vejicami.
5. Izberite Ustvarite projektno skupino.

Člani vaše ekipe bodo prejeli e-poštno sporočilo s povabilom, da se pridružijo projektni skupini Ground Truth Plus. Od tam se lahko prijavijo na portal projekta Ground Truth Plus in pregledajo oznake podatkov.

Preverite kakovost označenega niza podatkov

Zdaj pa se poglobimo v primer sledenja video objektom z uporabo CBCL StreetScenes nabor podatkov.

Ko so podatki v vašem paketu označeni, je paket označen kot Pripravljeno za pregled.

Izberite serijo in izberite Pregled serije. Preusmerjeni ste na uporabniški vmesnik za pregled. Za vsako serijo, ki jo pregledate, lahko izberete drugačno stopnjo vzorčenja. Na primer, v našem vzorčnem paketu imamo skupaj pet videoposnetkov. Določite lahko, ali želite pregledati samo podnabor teh petih videoposnetkov ali vse.

Zdaj pa si poglejmo različne funkcije znotraj uporabniškega vmesnika za pregled, ki vam bodo pomagale pri hitrejšem pregledovanju kakovosti označenega nabora podatkov in zagotavljanju povratnih informacij o kakovosti:

• Filtrirajte oznake glede na kategorijo oznake – Znotraj uporabniškega vmesnika Pregled lahko v desnem podoknu filtrirate oznake glede na njihovo kategorijo oznak. Ta funkcija je uporabna, če obstaja več kategorij oznak (npr. Vehicles, Pedestriansin Poles) v objektu zgoščenega nabora podatkov in si želite ogledati oznake za eno kategorijo oznak hkrati. Na primer, osredotočimo se na Car kategorija oznake. Vnesite Car kategorijo oznak v desnem podoknu, da filtrirate vse opombe samo vrste Car. Naslednji posnetki zaslona prikazujejo pogled uporabniškega vmesnika Pregled pred in po uporabi filtra.
  
• Prekrij povezane vrednosti označenih atributov – Vsaki nalepki je mogoče dodeliti atribute, ki jih je treba označiti. Na primer za kategorijo oznake Car , recite, da želite od delavcev zahtevati, da tudi komentirajo Color  in Occlusion atributi za vsak primerek oznake. Ko naložite uporabniški vmesnik za pregled, boste pod vsakim primerkom oznake v desnem podoknu videli ustrezne atribute. Kaj pa, če želite videti te opombe atributov neposredno na sliki? Izberete oznako Car:1 in za prekrivanje opomb atributov za Car:1 , pritisnete Ctrl + A.
  Zdaj boste videli opombo Dark Blue za Color atribut in opomba None za Occlusion atribut neposredno prikazan na sliki poleg Car:1 omejevalni okvir. Zdaj lahko to enostavno preverite Car:1 je bil označen kot Dark Blue, brez okluzije samo zaradi gledanja slike, namesto da bi morali locirati Car:1 v desnem podoknu, da vidite opombe atributov.
  
• Pustite povratne informacije na ravni oznake – Za vsako oznako lahko pustite povratne informacije na ravni oznake v tej oznaki Povratne informacije o oznaki prosti atribut niza. Na tej sliki je na primer Car:1 izgleda bolj črno kot temno modro. To neskladje lahko posredujete kot povratno informacijo za Car:1 uporabi Povratne informacije o oznaki polje za sledenje komentarju k tej oznaki na tem okvirju. Naša skupina za interni nadzor kakovosti bo pregledala te povratne informacije in uvedla spremembe v postopku označevanja in pravilnikih o označevanju ter po potrebi usposobila označevalce.
  
• Pustite povratne informacije na ravni okvirja – Podobno lahko za vsak okvir pustite povratne informacije na ravni okvirja pod tem okvirjem Povratne informacije o okvirju prosti atribut niza. V tem primeru so opombe za Car in Pedestrian razredi so v tem okviru videti pravilni in dobro implementirani. To pozitivno povratno informacijo lahko posredujete z uporabo Pošljite povratne informacije polje, vaš komentar pa je povezan s tem okvirjem.
  
• Kopirajte povratne informacije o opombah v druge okvirje – Povratne informacije na ravni oznake in na ravni okvirja lahko kopirate v druge okvirje, če z desno miškino tipko kliknete ta atribut. Ta funkcija je uporabna, ko želite podvojiti isto povratno informacijo med okvirji za to oznako ali uporabiti isto povratno informacijo na ravni okvirja za več okvirjev. Ta funkcija vam omogoča hitro dokončanje pregleda podatkovnih nalepk.
  
• Odobrite ali zavrnite vsak objekt nabora podatkov – Za vsak predmet nabora podatkov, ki ga pregledate, imate možnost izbire Odobriti če ste zadovoljni z opombami ali izberite Zavrni če niste zadovoljni in želite, da se te opombe predelajo. Ko izberete Prijave se, imate možnost, da odobrite ali zavrnete videoposnetek, ki ste ga pravkar pregledali. V obeh primerih lahko podate dodaten komentar:
  • Če izberete Odobriti, komentar ni obvezen.
    
  • Če izberete Zavrni, je potreben komentar in predlagamo, da posredujete podrobne povratne informacije. Vaše povratne informacije bo pregledala posebna skupina za nadzor kakovosti Ground Truth Plus, ki bo sprejela popravne ukrepe, da bi se izognila podobnim napakam v naslednjih videoposnetkih.
    

Ko pošljete videoposnetek s svojimi povratnimi informacijami, ste preusmerjeni nazaj na stran s podrobnostmi o projektu na portalu projekta, kjer si lahko ogledate število zavrnjenih objektov pod Zavrnjeni predmeti in stopnjo napake, ki se izračuna kot število sprejetih objektov od pregledanih objektov pod Stopnja sprejemljivosti za vsako serijo v vašem projektu. Na primer, za paket 1 na naslednjem posnetku zaslona je stopnja sprejemljivosti 80 %, ker so bili od petih pregledanih predmetov sprejeti štirje predmeti.

zaključek

Visokokakovosten nabor podatkov o usposabljanju je ključnega pomena za doseganje vaših pobud ML. Z Ground Truth Plus imate zdaj izboljšano vgrajeno orodje za pregled uporabniškega vmesnika, ki odstrani nediferencirano dvigovanje težkih stvari, povezano z izdelavo orodij po meri za pregled kakovosti označenega nabora podatkov. Ta objava vas je popeljala skozi nastavitev projektne skupine in uporabo novih vgrajenih funkcij orodja Review UI. Obiščite Konzola Ground Truth Plus da bi začeli.

Kot vedno, AWS pozdravlja povratne informacije. Prosimo, pošljite kakršne koli pripombe ali vprašanja.

O Author

Manish Goel je produktni vodja za Amazon SageMaker Ground Truth Plus. Osredotočen je na izdelavo izdelkov, ki strankam olajšajo sprejemanje strojnega učenja. V prostem času uživa v izletih in branju knjig.

Revekka Kostoeva je inženirka za razvijalce programske opreme pri Amazon AWS, kjer dela na soočanju s strankami in notranjih rešitvah za razširitev širine in razširljivosti storitev Sagemaker Ground Truth. Kot raziskovalka si prizadeva izboljšati orodja trgovine, da bi spodbudila inovacije naprej.

• Coinsmart. Najboljša evropska borza bitcoinov in kriptovalut.
• Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. PROST DOSTOP.
• CryptoHawk. Altcoin radar. Brezplačen preizkus.
• Vir: https://aws.amazon.com/blogs/machine-learning/inspect-your-data-labels-with-a-visual-no-code-tool-to-create-high-quality-training-datasets- with-amazon-sagemaker-ground-truth-plus/