Inspiser dataetikettene dine med et visuelt verktøy uten kode for å lage opplæringsdatasett av høy kvalitet med Amazon SageMaker Ground Truth Plus

Publisert av Platon

Følgere: 0

Lansert på AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus hjelper deg med å lage opplæringsdatasett av høy kvalitet ved å fjerne de udifferensierte tunge løftene knyttet til bygging av datamerkingsapplikasjoner og administrere etikettarbeidsstyrken. Alt du gjør er å dele data sammen med krav til merking, og Ground Truth Plus setter opp og administrerer arbeidsflyten for datamerking basert på disse kravene. Derfra utfører en ekspert medarbeidere som er opplært i en rekke maskinlæringsoppgaver (ML) datamerking. Du trenger ikke engang dyp ML-ekspertise eller kunnskap om arbeidsflytdesign og kvalitetsstyring for å bruke Ground Truth Plus.

Å bygge et treningsdatasett av høy kvalitet for ML-algoritmen din er en iterativ prosess. ML-utøvere bygger ofte tilpassede systemer for å inspisere dataetiketter fordi nøyaktig merket data er avgjørende for ML-modellkvalitet. For å sikre at du får treningsdata av høy kvalitet, gir Ground Truth Plus deg et innebygd brukergrensesnitt (Review UI) for å inspisere kvaliteten på dataetiketter og gi tilbakemelding på dataetiketter til du er fornøyd med at etikettene nøyaktig representerer grunnsannhet, eller det som er direkte observerbart i den virkelige verden.

Dette innlegget leder deg gjennom trinnene for å opprette et prosjektteam og bruke flere nye innebygde funksjoner i Review UI-verktøyet for å effektivt fullføre inspeksjonen av et merket datasett. Gjennomgangen forutsetter at du har et aktivt Ground Truth Plus-merkeprosjekt. For mer informasjon, se Amazon SageMaker Ground Truth Plus – Lag opplæringsdatasett uten kode eller interne ressurser.

Sett opp et prosjektteam

Et prosjektteam gir tilgang til medlemmene fra organisasjonen din for å inspisere dataetiketter ved å bruke verktøyet for gjennomgang av brukergrensesnittet. For å sette opp et prosjektteam, fullfør følgende trinn:

On the Ground Truth Plus trøste, velg Lag prosjektteam.
Plukke ut Opprett en ny Amazon Cognito-brukergruppe . Hvis du allerede har en eksisterende Amazon Cognito brukergruppe, velg Importer medlemmer alternativet.
Til Amazon Cognito brukergruppenavn, skriv inn et navn. Dette navnet kan ikke endres.
Til E-post adresse, skriv inn e-postadressene til opptil 50 teammedlemmer, atskilt med komma.
Velg Lag prosjektteam.

Teammedlemmene dine vil motta en e-post som inviterer dem til å bli med i Ground Truth Plus-prosjektteamet. Derfra kan de logge på Ground Truth Plus-prosjektportalen for å se gjennom dataetikettene.

Inspiser merket datasettkvalitet

La oss nå dykke inn i et videoobjektsporingseksempel ved å bruke CBCL StreetScenes datasett.

Etter at dataene i batchen din er merket, er batchen merket som Klar for vurdering.

Velg batchen og velg Gjennomgå batch. Du blir omdirigert til gjennomgangsgrensesnittet. Du har fleksibiliteten til å velge en annen samplingsfrekvens for hver batch du vurderer. For eksempel, i vårt eksempelparti, har vi totalt fem videoer. Du kan spesifisere om du bare vil se gjennom en undergruppe av disse fem videoene eller alle.

La oss nå se på de forskjellige funksjonene i Review UI som vil hjelpe deg med å inspisere kvaliteten på det merkede datasettet i et raskere tempo, og gi tilbakemelding om kvaliteten:

Filtrer etikettene basert på etikettkategori – I gjennomgangsgrensesnittet, i den høyre ruten, kan du filtrere etikettene basert på deres etikettkategori. Denne funksjonen er nyttig når det er flere etikettkategorier (f.eks. Vehicles, Pedestriansog Poles) i et tett datasettobjekt, og du vil vise etiketter for én etikettkategori om gangen. La oss for eksempel fokusere på Car etikettkategori. Skriv inn Car etikettkategori i høyre rute for å filtrere etter alle merknader av bare type Car. Følgende skjermbilder viser visningen for gjennomgang av brukergrensesnittet før og etter bruk av filteret.
Overlegg tilknyttede kommenterte attributtverdier – Hver etikett kan tildeles attributter som skal kommenteres. For eksempel for etikettkategorien Car , si at du vil be arbeiderne om også å kommentere Color og Occlusion attributter for hver etikettforekomst. Når du laster gjennom brukergrensesnittet, vil du se de tilsvarende attributtene under hver etikettforekomst i høyre rute. Men hva om du vil se disse attributtkommentarene direkte på bildet i stedet? Du velger etiketten Car:1 , og for å overlegge attributtkommentarene for Car:1 , trykker du Ctrl + A.
Nå vil du se merknaden Dark Blue for Color attributt og merknad None for Occlusion attributtet vises direkte på bildet ved siden av Car:1 avgrensningsboks. Nå kan du enkelt bekrefte det Car:1 ble merket som Dark Blue, uten okklusjon bare fra å se på bildet i stedet for å måtte finne Car:1 i høyre rute for å se attributtkommentarene.
Gi tilbakemelding på etikettnivå – For hver etikett kan du gi tilbakemelding på etikettnivå i den etiketten Merk tilbakemelding gratis strengattributt. For eksempel, i dette bildet, Car:1 ser mer svart ut enn mørkeblå. Du kan videresende dette avviket som tilbakemelding for Car:1 bruker Merk tilbakemelding for å spore kommentaren til den etiketten på den rammen. Vårt interne kvalitetskontrollteam vil gjennomgå denne tilbakemeldingen og introdusere endringer i merknadsprosessen og etikettpolicyer, og trene kommentatorene etter behov.
Gi tilbakemelding på rammenivå – På samme måte kan du for hver ramme gi tilbakemelding på rammenivå under den rammen Ramme tilbakemelding gratis strengattributt. I dette tilfellet, merknadene for Car og Pedestrian klasser ser riktige ut og godt implementert i denne rammen. Du kan formidle denne positive tilbakemeldingen ved å bruke Gi tilbakemelding feltet, og kommentaren din er knyttet til denne rammen.
Kopier kommentartilbakemeldingen til andre rammer – Du kan kopiere både etikettnivå og rammenivå tilbakemelding til andre rammer hvis du høyreklikker på det attributtet. Denne funksjonen er nyttig når du vil duplisere den samme tilbakemeldingen på tvers av rammer for den etiketten, eller bruke samme tilbakemelding på rammenivå på flere rammer. Denne funksjonen lar deg raskt fullføre inspeksjonen av dataetiketter.
Godkjenn eller avvis hvert datasettobjekt – For hvert datasettobjekt du gjennomgår, har du muligheten til å velge enten Godkjenne hvis du er fornøyd med kommentarene eller velger Avvis hvis du ikke er fornøyd og vil ha disse kommentarene omarbeidet. Når du velger Send, får du muligheten til å godkjenne eller avvise videoen du nettopp har anmeldt. I begge tilfeller kan du gi ytterligere kommentarer:
- Hvis du velger Godkjenne, kommentaren er valgfri.
- Hvis du velger Avvis, kommentarer er påkrevd, og vi foreslår å gi detaljerte tilbakemeldinger. Tilbakemeldingen din vil bli vurdert av et dedikert Ground Truth Plus kvalitetskontrollteam, som vil ta korrigerende tiltak for å unngå lignende feil i påfølgende videoer.

Etter at du har sendt inn videoen med tilbakemeldingen din, blir du omdirigert tilbake til prosjektdetaljsiden i prosjektportalen, hvor du kan se antall avviste objekter under Avviste objekter kolonne og feilprosenten, som beregnes som antall aksepterte objekter ut av gjennomgåtte objekter under Godkjennelseshastighet kolonne for hver batch i prosjektet ditt. For eksempel, for batch 1 i følgende skjermbilde, er akseptgraden 80 % fordi fire objekter ble akseptert av de fem vurderte objektene.

konklusjonen

Et opplæringsdatasett av høy kvalitet er avgjørende for å oppnå dine ML-initiativer. Med Ground Truth Plus har du nå et forbedret innebygd Review UI-verktøy som fjerner de udifferensierte tunge løftene knyttet til å bygge tilpassede verktøy for å vurdere kvaliteten på det merkede datasettet. Dette innlegget ledet deg gjennom hvordan du setter opp et prosjektteam og bruker de nye innebygde funksjonene i Review UI-verktøyet. Besøk Ground Truth Plus-konsoll å komme i gang.

Som alltid tar AWS gjerne tilbakemeldinger. Send inn eventuelle kommentarer eller spørsmål.

om forfatteren

Manish Goel er produktsjef for Amazon SageMaker Ground Truth Plus. Han er fokusert på å bygge produkter som gjør det lettere for kundene å ta i bruk maskinlæring. På fritiden liker han bilturer og leser bøker.

Revekka Kotoeva er en programvareutvikler hos Amazon AWS hvor hun jobber med kundevendte og interne løsninger for å utvide bredden og skalerbarheten til Sagemaker Ground Truth-tjenester. Som forsker er hun drevet til å forbedre bransjens verktøy for å drive innovasjon fremover.