Undersøg dine dataetiketter med et visuelt værktøj uden kode til at skabe træningsdatasæt af høj kvalitet med Amazon SageMaker Ground Truth Plus

Genudgivet af Platon

Abonnenter: 0

Lanceret på AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus hjælper dig med at skabe træningsdatasæt af høj kvalitet ved at fjerne de udifferentierede tunge løft, der er forbundet med at bygge datamærkningsapplikationer og administrere etiketteringspersonalet. Alt du gør er at dele data sammen med mærkningskrav, og Ground Truth Plus opsætter og administrerer dit datamærkningsworkflow baseret på disse krav. Derfra udfører en ekspert arbejdsstyrke, der er uddannet i en række maskinlæringsopgaver (ML), datamærkning. Du behøver ikke engang dyb ML-ekspertise eller viden om workflowdesign og kvalitetsstyring for at bruge Ground Truth Plus.

Opbygning af et træningsdatasæt af høj kvalitet til din ML-algoritme er en iterativ proces. ML-praktikere bygger ofte tilpassede systemer til at inspicere dataetiketter, fordi nøjagtigt mærkede data er afgørende for ML-modellens kvalitet. For at sikre, at du får træningsdata af høj kvalitet, giver Ground Truth Plus dig en indbygget brugergrænseflade (Review UI) til at inspicere kvaliteten af dataetiketter og give feedback på dataetiketter, indtil du er tilfreds med, at etiketterne nøjagtigt repræsenterer grundsandhed, eller hvad der er direkte observerbart i den virkelige verden.

Dette indlæg leder dig gennem trinene til at oprette et projektteam og bruge flere nye indbyggede funktioner i Review UI-værktøjet til effektivt at fuldføre din inspektion af et mærket datasæt. Gennemgangen forudsætter, at du har et aktivt Ground Truth Plus-mærkningsprojekt. For mere information, se Amazon SageMaker Ground Truth Plus – Opret træningsdatasæt uden kode eller interne ressourcer.

Opret et projektteam

Et projektteam giver medlemmerne fra din organisation adgang til at inspicere dataetiketter ved hjælp af Review UI-værktøjet. For at oprette et projektteam skal du udføre følgende trin:

On the Ground Truth Plus konsol, vælg Opret projektteam.
Type Opret en ny Amazon Cognito-brugergruppe . Hvis du allerede har en eksisterende Amazon Cognito brugergruppe, skal du vælge Importer medlemmer valgmulighed.
Til Amazon Cognito brugergruppenavn, indtast et navn. Dette navn kan ikke ændres.
Til Email adresse, indtast e-mailadresserne på op til 50 teammedlemmer, adskilt af kommaer.
Vælg Opret projektteam.

Dine teammedlemmer vil modtage en e-mail, der inviterer dem til at deltage i Ground Truth Plus-projektteamet. Derfra kan de logge ind på Ground Truth Plus-projektportalen for at gennemgå dataetiketterne.

Undersøg mærket datasætkvalitet

Lad os nu dykke ned i et eksempel på videoobjektsporing ved hjælp af CBCL StreetScenes datasæt.

Efter at dataene i din batch er blevet mærket, er batchen markeret som Klar til anmeldelse.

Vælg batchen og vælg Gennemgå batch. Du bliver omdirigeret til Gennemgang UI. Du har fleksibiliteten til at vælge en anden samplinghastighed for hver batch, du anmelder. For eksempel har vi i vores eksempelbatch i alt fem videoer. Du kan angive, om du kun vil gennemgå en delmængde af disse fem videoer eller dem alle.

Lad os nu se på de forskellige funktionaliteter i Review UI, som vil hjælpe dig med at inspicere kvaliteten af det mærkede datasæt i et hurtigere tempo og give feedback om kvaliteten:

Filtrer etiketterne baseret på etiketkategori – Inden for Review UI, i højre rude, kan du filtrere etiketterne baseret på deres etiketkategori. Denne funktion er praktisk, når der er flere etiketkategorier (f.eks. Vehicles, Pedestriansog Poles) i et tæt datasætobjekt, og du vil se etiketter for én etiketkategori ad gangen. Lad os for eksempel fokusere på Car etiketkategori. Gå ind i Car etiketkategori i højre rude for at filtrere for alle annoteringer af kun type Car. Følgende skærmbilleder viser visningen Review UI før og efter anvendelse af filteret.
Overlejring af tilknyttede annoterede attributværdier – Hver etiket kan tildeles attributter, der skal kommenteres. For eksempel for etiketkategorien Car , sig, at du vil bede arbejderne om også at kommentere Color , Occlusion attributter for hver etiketforekomst. Når du indlæser Review UI, vil du se de tilsvarende attributter under hver etiketforekomst i højre rude. Men hvad nu hvis du i stedet vil se disse attributannoteringer direkte på billedet? Du vælger etiketten Car:1 , og til at overlejre attributannoteringerne for Car:1 , trykker du på Ctrl + A.
Nu vil du se anmærkningen Dark Blue for Color egenskab og anmærkning None for Occlusion attribut vist direkte på billedet ved siden af Car:1 afgrænsningskasse. Nu kan du nemt bekræfte det Car:1 blev markeret som Dark Blue, uden okklusion blot fra at se på billedet i stedet for at skulle lokalisere Car:1 i højre rude for at se attributannoteringerne.
Giv feedback på etiketniveau – For hver etiket kan du give feedback på etiketniveau i den pågældende etikets Label feedback gratis streng attribut. På dette billede f.eks. Car:1 ser mere sort ud end mørkeblå. Du kan videregive denne uoverensstemmelse som feedback for Car:1 ved hjælp af Label feedback felt for at spore kommentaren til den pågældende etiket på den ramme. Vores interne kvalitetskontrolteam vil gennemgå denne feedback og indføre ændringer i annoteringsprocessen og etiketpolitikkerne og træne annotatorerne efter behov.
Giv feedback på rammeniveau – På samme måde kan du for hver ramme give feedback på rammeniveauet under den pågældende ramme Frame feedback gratis streng attribut. I dette tilfælde er anmærkningerne til Car , Pedestrian klasser ser korrekte ud og godt implementeret i denne ramme. Du kan videregive denne positive feedback ved hjælp af Give feedback felt, og din kommentar er knyttet til denne ramme.
Kopier annoteringsfeedbacken til andre rammer – Du kan kopiere feedback på både etiketniveau og rammeniveau til andre rammer, hvis du højreklikker på den attribut. Denne funktion er nyttig, når du vil duplikere den samme feedback på tværs af rammer for den pågældende etiket, eller anvende den samme feedback på rammeniveau til flere rammer. Denne funktion giver dig mulighed for hurtigt at gennemføre inspektionen af dataetiketter.
Godkend eller afvis hvert datasætobjekt – For hvert datasætobjekt, du gennemgår, har du mulighed for enten at vælge Godkend hvis du er tilfreds med annoteringerne eller vælger Afvise hvis du ikke er tilfreds og vil have disse annoteringer omarbejdet. Når du vælger Indsend, bliver du præsenteret for muligheden for at godkende eller afvise den video, du lige har anmeldt. I begge tilfælde kan du give yderligere kommentarer:
- Hvis du vælger Godkend, kommentaren er valgfri.
- Hvis du vælger Afvise, kommentarer er påkrævet, og vi foreslår at give detaljeret feedback. Din feedback vil blive gennemgået af et dedikeret Ground Truth Plus kvalitetskontrolteam, som vil tage korrigerende handlinger for at undgå lignende fejl i efterfølgende videoer.

Når du har indsendt videoen med din feedback, bliver du omdirigeret tilbage til projektdetaljesiden i projektportalen, hvor du kan se antallet af afviste objekter under Afviste genstande kolonne og fejlprocenten, der beregnes som antallet af accepterede objekter ud af gennemgåede objekter under Acceptansats kolonne for hver batch i dit projekt. For eksempel, for batch 1 i det følgende skærmbillede, er acceptgraden 80 %, fordi fire objekter blev accepteret ud af de fem gennemgåede objekter.

Konklusion

Et træningsdatasæt af høj kvalitet er afgørende for at opnå dine ML-initiativer. Med Ground Truth Plus har du nu et forbedret indbygget Review UI-værktøj, der fjerner de udifferentierede tunge løft, der er forbundet med at bygge brugerdefinerede værktøjer for at gennemgå kvaliteten af det mærkede datasæt. Dette indlæg ledte dig igennem, hvordan du opretter et projektteam og bruger de nye indbyggede funktioner i Review UI-værktøjet. Besøg Ground Truth Plus konsol at komme i gang.

Som altid modtager AWS gerne feedback. Indsend venligst eventuelle kommentarer eller spørgsmål.

Om forfatteren

Manish Goel er produktchef for Amazon SageMaker Ground Truth Plus. Han er fokuseret på at bygge produkter, der gør det nemmere for kunderne at anvende maskinlæring. I sin fritid nyder han roadtrips og læser bøger.

Revekka Kostoeva er softwareudvikleringeniør hos Amazon AWS, hvor hun arbejder med kundevendte og interne løsninger for at udvide bredden og skalerbarheden af Sagemaker Ground Truth-tjenester. Som forsker er hun drevet af at forbedre branchens værktøjer til at drive innovation fremad.