Inspecteer uw datalabels met een visuele tool zonder code om hoogwaardige trainingsdatasets te maken met Amazon SageMaker Ground Truth Plus

Gelanceerd op AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus helpt u bij het creëren van hoogwaardige trainingsdatasets door het ongedifferentieerde zware werk weg te nemen dat gepaard gaat met het bouwen van toepassingen voor het labelen van gegevens en het beheren van het labelpersoneel. Het enige dat u hoeft te doen, is gegevens delen samen met etiketteringsvereisten, en Ground Truth Plus stelt uw workflow voor gegevensetikettering in en beheert deze op basis van deze vereisten. Van daaruit voert een deskundig personeelsbestand dat is getraind in verschillende machine learning-taken (ML) gegevenslabels uit. U hebt zelfs geen diepgaande ML-expertise of kennis van workflowontwerp en kwaliteitsbeheer nodig om Ground Truth Plus te gebruiken.

Het bouwen van een hoogwaardige trainingsdataset voor uw ML-algoritme is een iteratief proces. ML-beoefenaars bouwen vaak aangepaste systemen om gegevenslabels te inspecteren, omdat nauwkeurig gelabelde gegevens van cruciaal belang zijn voor de kwaliteit van ML-modellen. Om ervoor te zorgen dat u trainingsgegevens van hoge kwaliteit krijgt, biedt Ground Truth Plus u een ingebouwde gebruikersinterface (Review UI) om de kwaliteit van gegevenslabels te inspecteren en feedback te geven over gegevenslabels totdat u tevreden bent dat de labels de grondwaarheid, of wat direct waarneembaar is in de echte wereld.

Dit bericht leidt u door de stappen om een ​​projectteam te maken en verschillende nieuwe ingebouwde functies van de Review UI-tool te gebruiken om uw inspectie van een gelabelde dataset efficiënt te voltooien. De walkthrough gaat ervan uit dat u een actief Ground Truth Plus-labelproject hebt. Voor meer informatie, zie Amazon SageMaker Ground Truth Plus - Creëer trainingsdatasets zonder code of interne bronnen.

Zet een projectteam op

Een projectteam geeft toegang aan de leden van uw organisatie om gegevenslabels te inspecteren met behulp van de Review UI-tool. Voer de volgende stappen uit om een ​​projectteam samen te stellen:

1. Op de grond Waarheid Plus console, kiezen Projectteam samenstellen.
2. kies Maak een nieuwe Amazon Cognito-gebruikersgroep aan . Als je al een bestaande hebt Amazon Cognito gebruikersgroep, selecteer de Leden importeren optie.
3. Voor Naam van Amazon Cognito-gebruikersgroep, voer een naam in. Deze naam kan niet worden gewijzigd.
4. Voor E-mailadressen, voer de e-mailadressen van maximaal 50 teamleden in, gescheiden door komma's.
5. Kies Projectteam samenstellen.

Uw teamleden ontvangen een e-mail waarin ze worden uitgenodigd om deel uit te maken van het Ground Truth Plus-projectteam. Van daaruit kunnen ze inloggen op het Ground Truth Plus-projectportaal om de gegevenslabels te bekijken.

Inspecteer de kwaliteit van de gelabelde dataset

Laten we nu eens kijken naar een voorbeeld van het volgen van video-objecten met behulp van CBCL Straatscènes gegevensset.

Nadat de gegevens in uw batch zijn gelabeld, wordt de batch gemarkeerd als Klaar voor beoordeling.

Selecteer de batch en kies Batch bekijken. U wordt omgeleid naar de Review UI. U heeft de flexibiliteit om een ​​ander bemonsteringspercentage te kiezen voor elke batch die u beoordeelt. In onze voorbeeldbatch hebben we bijvoorbeeld in totaal vijf video's. Je kunt aangeven of je slechts een subset van deze vijf video's of alle video's wilt bekijken.

Laten we nu eens kijken naar de verschillende functionaliteiten binnen de Review UI die u zullen helpen bij het sneller inspecteren van de kwaliteit van de gelabelde dataset en het geven van feedback over de kwaliteit:

• Filter de labels op labelcategorie – Binnen de Review UI, in het rechterdeelvenster, kunt u de labels filteren op basis van hun labelcategorie. Deze functie is handig wanneer er meerdere labelcategorieën zijn (bijvoorbeeld Vehicles, Pedestrians en Poles) in een compact gegevenssetobject en u wilt labels voor één labelcategorie tegelijk bekijken. Laten we ons bijvoorbeeld concentreren op de Car label categorie. Voer de Car labelcategorie in het rechterdeelvenster om te filteren op alle annotaties van alleen het type Car. De volgende schermafbeeldingen tonen de Review UI-weergave voor en na het toepassen van het filter.
  
• Overlay geassocieerde geannoteerde attribuutwaarden – Aan elk label kunnen attributen worden toegewezen die moeten worden geannoteerd. Bijvoorbeeld voor de labelcategorie Car , stel dat u de werknemers wilt vragen om ook aantekeningen te maken bij de Color  en Occlusion kenmerken voor elke labelinstantie. Wanneer u de Review UI laadt, ziet u de overeenkomstige attributen onder elke labelinstantie in het rechterdeelvenster. Maar wat als u deze attribuutannotaties in plaats daarvan rechtstreeks op de afbeelding wilt zien? U selecteert het etiket Car:1 , en om de attribuutannotaties voor te bedekken Car:1 , jij drukt Ctrl + A.
  Nu zie je de annotatie Dark Blue voor de Color attribuut en annotatie None voor de Occlusion attribuut direct weergegeven op de afbeelding naast de Car:1 begrenzingskader. Nu kunt u dat eenvoudig verifiëren Car:1 was gemarkeerd als Dark Blue, zonder occlusie alleen door naar de afbeelding te kijken in plaats van te moeten lokaliseren Car:1 in het rechterdeelvenster om de attribuutannotaties te zien.
  
• Geef feedback op labelniveau – Voor elk label kun je op labelniveau feedback achterlaten in dat label Labelfeedback gratis string attribuut. In deze afbeelding bijvoorbeeld, Car:1 lijkt meer zwart dan donkerblauw. U kunt deze discrepantie doorgeven als feedback voor Car:1 met de Labelfeedback veld om de opmerking bij dat label op dat frame bij te houden. Ons interne kwaliteitscontroleteam zal deze feedback beoordelen en wijzigingen aanbrengen in het annotatieproces en labelbeleid, en de annotators indien nodig trainen.
  
• Geef feedback op frameniveau – Evenzo kunt u voor elk frame feedback achterlaten op frameniveau onder dat frame Frame-feedback gratis string attribuut. In dit geval de annotaties voor Car en Pedestrian klassen zien er correct uit en zijn goed geïmplementeerd in dit frame. U kunt deze positieve feedback doorgeven met behulp van de Geef feedback veld, en uw opmerking is gekoppeld aan dit frame.
  
• Kopieer de annotatiefeedback naar andere frames – U kunt feedback op labelniveau en op frameniveau kopiëren naar andere frames als u met de rechtermuisknop op dat attribuut klikt. Deze functie is handig wanneer u dezelfde feedback wilt dupliceren over frames voor dat label, of dezelfde feedback op frameniveau wilt toepassen op meerdere frames. Met deze functie kunt u de inspectie van gegevenslabels snel voltooien.
  
• Elk gegevenssetobject goedkeuren of afwijzen – Voor elk datasetobject dat u beoordeelt, heeft u de mogelijkheid om te kiezen Goedkeuren als je tevreden bent met de annotaties of kies Verwerpen als u niet tevreden bent en wilt dat die annotaties opnieuw worden bewerkt. Wanneer u kiest Verzenden, krijg je de optie om de video die je zojuist hebt beoordeeld goed te keuren of af te wijzen. In beide gevallen kunt u aanvullend commentaar geven:
  • Als u kiest Goedkeuren, het commentaar is optioneel.
    
  • Als u kiest Verwerpen, commentaar is vereist en we raden aan om gedetailleerde feedback te geven. Uw feedback wordt beoordeeld door een toegewijd Ground Truth Plus-kwaliteitscontroleteam, dat corrigerende maatregelen zal nemen om soortgelijke fouten in volgende video's te voorkomen.
    

Nadat u de video met uw feedback heeft ingediend, wordt u teruggeleid naar de projectdetailpagina in de projectportal, waar u het aantal afgewezen objecten kunt bekijken onder de Afgewezen objecten kolom en het foutenpercentage, dat wordt berekend als het aantal geaccepteerde objecten van beoordeelde objecten onder de Acceptatiegraad kolom voor elke batch in uw project. Voor batch 1 in de volgende schermafbeelding is het acceptatiepercentage bijvoorbeeld 80% omdat vier objecten zijn geaccepteerd van de vijf beoordeelde objecten.

Conclusie

Een hoogwaardige trainingsdataset is van cruciaal belang voor het realiseren van uw ML-initiatieven. Met Ground Truth Plus beschikt u nu over een verbeterde ingebouwde Review UI-tool die het ongedifferentieerde zware werk verwijdert dat gepaard gaat met het bouwen van aangepaste tools om de kwaliteit van de gelabelde dataset te beoordelen. Dit bericht heeft je laten zien hoe je een projectteam opzet en de nieuwe ingebouwde functies van de Review UI-tool gebruikt. Bezoek de Ground Truth Plus-console om aan de slag te gaan.

Zoals altijd verwelkomt AWS feedback. Dien uw opmerkingen of vragen in.

Over de auteur

Manish Doel is de productmanager voor Amazon SageMaker Ground Truth Plus. Hij richt zich op het bouwen van producten die het voor klanten gemakkelijker maken om machine learning toe te passen. In zijn vrije tijd houdt hij van roadtrips en boeken lezen.

Revekka Kostoeva is Software Developer Engineer bij Amazon AWS, waar ze werkt aan klantgerichte en interne oplossingen om de breedte en schaalbaarheid van Sagemaker Ground Truth-services uit te breiden. Als onderzoeker is ze gedreven om de tools van het vak te verbeteren om innovatie vooruit te helpen.

• Coinsmart. Europa's beste Bitcoin- en crypto-uitwisseling.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. GRATIS TOEGANG.
• CryptoHawk. Altcoin-radar. Gratis proefversie.
• Bron: https://aws.amazon.com/blogs/machine-learning/inspect-your-data-labels-with-a-visual-no-code-tool-to-create-high-quality-training-datasets- met-amazon-sagemaker-ground-truth-plus/