Inspektera dina dataetiketter med ett visuellt verktyg utan kod för att skapa högkvalitativa träningsdatauppsättningar med Amazon SageMaker Ground Truth Plus

Lanserades på AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus hjälper dig att skapa högkvalitativa utbildningsdatauppsättningar genom att ta bort de odifferentierade tunga lyften som är förknippade med att bygga datamärkningsapplikationer och hantera märkningspersonalen. Allt du gör är att dela data tillsammans med märkningskrav, och Ground Truth Plus ställer in och hanterar ditt arbetsflöde för datamärkning baserat på dessa krav. Därifrån utför en sakkunnig arbetsstyrka som är utbildad i en mängd olika maskininlärningsuppgifter (ML) datamärkning. Du behöver inte ens djup ML-expertis eller kunskap om arbetsflödesdesign och kvalitetshantering för att använda Ground Truth Plus.

Att bygga en utbildningsdatauppsättning av hög kvalitet för din ML-algoritm är en iterativ process. ML-utövare bygger ofta anpassade system för att inspektera dataetiketter eftersom korrekt märkta data är avgörande för ML-modellens kvalitet. För att säkerställa att du får utbildningsdata av hög kvalitet ger Ground Truth Plus dig ett inbyggt användargränssnitt (Review UI) för att inspektera kvaliteten på dataetiketter och ge feedback om dataetiketter tills du är nöjd med att etiketterna representerar korrekt grundsanning, eller vad som är direkt observerbart i den verkliga världen.

Det här inlägget leder dig genom stegen för att skapa ett projektteam och använda flera nya inbyggda funktioner i granskningsgränssnittsverktyget för att effektivt slutföra din inspektion av en märkt datauppsättning. Genomgången förutsätter att du har ett aktivt Ground Truth Plus-märkningsprojekt. För mer information, se Amazon SageMaker Ground Truth Plus – Skapa utbildningsdataset utan kod eller interna resurser.

Skapa ett projektteam

Ett projektteam ger tillgång till medlemmarna från din organisation för att inspektera dataetiketter med hjälp av granskningsgränssnittsverktyget. För att skapa ett projektteam, slutför följande steg:

1. On the Ground Truth Plus tröstaväljer Skapa projektteam.
2. Välja Skapa en ny Amazon Cognito-användargrupp . Om du redan har en befintlig Amazon Cognito användargrupp, välj Importera medlemmar alternativ.
3. För Amazon Cognito användargruppsnamn, ange ett namn. Det här namnet kan inte ändras.
4. För Mejladresser, ange e-postadresserna till upp till 50 teammedlemmar, separerade med kommatecken.
5. Välja Skapa projektteam.

Dina teammedlemmar kommer att få ett e-postmeddelande som bjuder in dem att gå med i Ground Truth Plus-projektteamet. Därifrån kan de logga in på Ground Truth Plus-projektportalen för att granska dataetiketterna.

Inspektera märkt datauppsättningskvalitet

Låt oss nu dyka in i ett videoobjektspårningsexempel med hjälp av CBCL StreetScenes datasätt.

Efter att data i din batch har märkts markeras batchen som Klar för granskning.

Välj batch och välj Granska batch. Du omdirigeras till granskningsgränssnittet. Du har flexibiliteten att välja olika samplingsfrekvens för varje batch du granskar. Till exempel, i vår exempelbatch, har vi totalt fem videor. Du kan ange om du bara vill granska en delmängd av dessa fem videor eller alla.

Låt oss nu titta på de olika funktionerna i granskningsgränssnittet som hjälper dig att inspektera kvaliteten på den märkta datamängden i en snabbare takt och ge feedback om kvaliteten:

• Filtrera etiketterna baserat på etikettkategori – Inom granskningsgränssnittet, i den högra rutan, kan du filtrera etiketterna baserat på deras etikettkategori. Den här funktionen är praktisk när det finns flera etikettkategorier (t.ex. Vehicles, Pedestriansoch Poles) i ett tätt datauppsättningsobjekt och du vill visa etiketter för en etikettkategori åt gången. Låt oss till exempel fokusera på Car etikettkategori. Gå in i Car etikettkategori i den högra rutan för att filtrera efter alla anteckningar av endast typ Car. Följande skärmdumpar visar granskningsgränssnittsvyn före och efter applicering av filtret.
  
• Överlägg associerade annoterade attributvärden – Varje etikett kan tilldelas attribut som ska kommenteras. Till exempel för etikettkategorin Car , säg att du vill be arbetarna att också kommentera Color  och Occlusion attribut för varje etikettinstans. När du laddar granskningsgränssnittet kommer du att se motsvarande attribut under varje etikettinstans i den högra rutan. Men vad händer om du istället vill se dessa attributanteckningar direkt på bilden? Du väljer etiketten Car:1 , och för att lägga över attributannoteringarna för Car:1 , trycker du på Ctrl + A.
  Nu kommer du att se anteckningen Dark Blue för Color attribut och anteckning None för Occlusion attribut som visas direkt på bilden bredvid Car:1 begränsningslåda. Nu kan du enkelt verifiera det Car:1 markerades som Dark Blue, utan ocklusion bara från att titta på bilden istället för att behöva lokalisera Car:1 i den högra rutan för att se attributannoteringarna.
  
• Lämna feedback på etikettnivå – För varje etikett kan du lämna feedback på etikettnivå i den etiketten Etikettfeedback gratis strängattribut. Till exempel, i den här bilden, Car:1 ser mer svart ut än mörkblå. Du kan vidarebefordra denna avvikelse som feedback för Car:1 med Etikettfeedback för att spåra kommentaren till den etiketten på den ramen. Vårt interna kvalitetskontrollteam kommer att granska denna feedback och införa ändringar i anteckningsprocessen och etikettpolicyerna, och utbilda annotatorerna vid behov.
  
• Lämna feedback på ramnivå – På samma sätt kan du för varje bildruta lämna feedback på ramnivå under den ramen Ramfeedback gratis strängattribut. I det här fallet, anteckningarna för Car och Pedestrian klasser ser korrekta ut och väl implementerade i denna ram. Du kan vidarebefordra denna positiva feedback med hjälp av Ge feedback och din kommentar är länkad till denna ram.
  
• Kopiera kommentarernas feedback till andra ramar – Du kan kopiera feedback på både etikettnivå och ramnivå till andra ramar om du högerklickar på det attributet. Den här funktionen är användbar när du vill duplicera samma feedback över ramar för den etiketten, eller tillämpa samma feedback på ramnivå på flera bildrutor. Med den här funktionen kan du snabbt slutföra inspektionen av dataetiketter.
  
• Godkänn eller avvisa varje datauppsättningsobjekt – För varje datauppsättningsobjekt du granskar har du möjlighet att antingen välja Godkänn om du är nöjd med kommentarerna eller väljer Avvisa om du inte är nöjd och vill omarbeta dessa kommentarer. När du väljer Skicka, får du möjlighet att godkänna eller avvisa videon du just har recenserat. I båda fallen kan du ge ytterligare kommentarer:
  • Om du väljer Godkänn, kommentaren är valfri.
    
  • Om du väljer Avvisa, kommentarer krävs och vi föreslår att du ger detaljerad feedback. Din feedback kommer att granskas av ett dedikerat Ground Truth Plus kvalitetskontrollteam, som kommer att vidta korrigerande åtgärder för att undvika liknande misstag i efterföljande videor.
    

När du har skickat in videon med din feedback omdirigeras du tillbaka till projektdetaljsidan i projektportalen, där du kan se antalet avvisade objekt under Avvisade objekt kolumnen och felfrekvensen, som beräknas som antalet accepterade objekt av granskade objekt under Acceptansgrad kolumn för varje batch i ditt projekt. Till exempel, för batch 1 i följande skärmdump är acceptansgraden 80 % eftersom fyra objekt godkändes av de fem granskade objekten.

Slutsats

En utbildningsdatauppsättning av hög kvalitet är avgörande för att uppnå dina ML-initiativ. Med Ground Truth Plus har du nu ett förbättrat inbyggt granskningsgränssnittsverktyg som tar bort de odifferentierade tunga lyften i samband med att bygga anpassade verktyg för att granska kvaliteten på den märkta datamängden. Det här inlägget gick igenom hur du skapar ett projektteam och använder de nya inbyggda funktionerna i granskningsgränssnittsverktyget. Besök Ground Truth Plus-konsol att komma igång.

Som alltid välkomnar AWS feedback. Skicka eventuella kommentarer eller frågor.

Om författaren

Manish Goel är produktchef för Amazon SageMaker Ground Truth Plus. Han är fokuserad på att bygga produkter som gör det lättare för kunder att ta till sig maskininlärning. På fritiden tycker han om roadtrips och att läsa böcker.

Revekka Kostoeva är en mjukvaruutvecklare på Amazon AWS där hon arbetar med kundinriktade och interna lösningar för att utöka bredden och skalbarheten hos Sagemaker Ground Truth-tjänster. Som forskare drivs hon av att förbättra branschens verktyg för att driva innovation framåt.

• Myntsmart. Europas bästa bitcoin- och kryptobörs.
• Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. FRI TILLGÅNG.
• CryptoHawk. Altcoin radar. Gratis provperiod.
• Källa: https://aws.amazon.com/blogs/machine-learning/inspect-your-data-labels-with-a-visual-no-code-tool-to-create-high-quality-training-datasets- med-amazon-sagemaker-ground-truth-plus/