Ispeziona le tue etichette dati con uno strumento visivo e senza codice per creare set di dati di addestramento di alta qualità con Amazon SageMaker Ground Truth Plus

Ripubblicato da Platone

Seguaci: 0

Lanciato ad AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus ti aiuta a creare set di dati di addestramento di alta qualità rimuovendo il lavoro pesante indifferenziato associato alla creazione di applicazioni di etichettatura dei dati e alla gestione della forza lavoro di etichettatura. Tutto ciò che fai è condividere i dati insieme ai requisiti di etichettatura e Ground Truth Plus imposta e gestisce il tuo flusso di lavoro di etichettatura dei dati in base a questi requisiti. Da lì, una forza lavoro esperta che viene addestrata su una varietà di attività di machine learning (ML) esegue l'etichettatura dei dati. Non hai nemmeno bisogno di una profonda esperienza di ML o conoscenza della progettazione del flusso di lavoro e della gestione della qualità per utilizzare Ground Truth Plus.

La creazione di un set di dati di addestramento di alta qualità per il tuo algoritmo ML è un processo iterativo. I professionisti del machine learning spesso creano sistemi personalizzati per ispezionare le etichette dei dati perché i dati etichettati in modo accurato sono fondamentali per la qualità del modello di machine learning. Per assicurarti di ottenere dati di addestramento di alta qualità, Ground Truth Plus ti fornisce un'interfaccia utente integrata (Review UI) per ispezionare la qualità delle etichette dei dati e fornire un feedback sulle etichette dei dati fino a quando non sei soddisfatto che le etichette rappresentino accuratamente il verità fondamentale, o ciò che è direttamente osservabile nel mondo reale.

Questo post ti guida attraverso i passaggi per creare un team di progetto e utilizzare diverse nuove funzionalità integrate dello strumento di revisione dell'interfaccia utente per completare in modo efficiente l'ispezione di un set di dati etichettato. La procedura dettagliata presuppone che tu abbia un progetto di etichettatura Ground Truth Plus attivo. Per ulteriori informazioni, vedere Amazon SageMaker Ground Truth Plus: crea set di dati di addestramento senza codice o risorse interne.

Crea un team di progetto

Un team di progetto fornisce l'accesso ai membri dell'organizzazione per ispezionare le etichette dei dati utilizzando lo strumento di revisione dell'interfaccia utente. Per creare un team di progetto, completare i seguenti passaggi:

Sulla terra Verità più consollescegli Crea squadra di progetto.
Seleziona Crea un nuovo gruppo di utenti Amazon Cognito . Se hai già un file esistente Amazzonia Cognito gruppo utenti, selezionare il Importa membri opzione.
Nel Nome del gruppo di utenti di Amazon Cognito, inserisci un nome. Questo nome non può essere modificato.
Nel Indirizzi e-mail, inserisci gli indirizzi email di un massimo di 50 membri del team, separati da virgole.
Scegli Crea squadra di progetto.

I membri del tuo team riceveranno un'e-mail che li invita a unirsi al team del progetto Ground Truth Plus. Da lì, possono accedere al portale del progetto Ground Truth Plus per rivedere le etichette dei dati.

Ispezionare la qualità del set di dati etichettati

Ora tuffiamoci in un esempio di tracciamento di oggetti video utilizzando CBCL StreetScene set di dati.

Dopo che i dati nel batch sono stati etichettati, il batch viene contrassegnato come Pronto per la revisione.

Seleziona il lotto e scegli Rivedi il lotto. Verrai reindirizzato all'interfaccia utente di revisione. Hai la flessibilità di scegliere una frequenza di campionamento diversa per ogni lotto che esamini. Ad esempio, nel nostro batch di esempio, abbiamo un totale di cinque video. Puoi specificare se desideri rivedere solo un sottoinsieme di questi cinque video o tutti.

Ora diamo un'occhiata alle diverse funzionalità all'interno dell'interfaccia utente di revisione che ti aiuteranno a ispezionare la qualità del set di dati etichettato a un ritmo più rapido e a fornire un feedback sulla qualità:

Filtra le etichette in base alla categoria di etichette – All'interno dell'interfaccia utente di revisione, nel riquadro di destra, è possibile filtrare le etichette in base alla loro categoria di etichette. Questa funzione è utile quando sono presenti più categorie di etichette (ad esempio, Vehicles, Pedestrianse Poles) in un oggetto set di dati denso e si desidera visualizzare le etichette per una categoria di etichette alla volta. Ad esempio, concentriamoci sul Car categoria etichetta. Inserisci il Car etichetta nel riquadro destro per filtrare tutte le annotazioni di solo tipo Car. Gli screenshot seguenti mostrano la visualizzazione dell'interfaccia utente di revisione prima e dopo l'applicazione del filtro.
Sovrapponi i valori degli attributi annotati associati – Ad ogni etichetta possono essere assegnati attributi da annotare. Ad esempio, per la categoria etichetta Car , diciamo che vuoi chiedere ai lavoratori di annotare anche il file Color ed Occlusion attributi per ogni istanza di etichetta. Quando carichi l'interfaccia utente di revisione, vedrai gli attributi corrispondenti sotto ogni istanza di etichetta nel riquadro di destra. Ma cosa succede se invece vuoi vedere queste annotazioni degli attributi direttamente sull'immagine? Seleziona l'etichetta Car:1 e per sovrapporre le annotazioni degli attributi per Car:1 , premi Ctrl + A.
Ora vedrai l'annotazione Dark Blue per l' Color attributo e annotazione None per l' Occlusion attributo visualizzato direttamente sull'immagine accanto a Car:1 rettangolo di selezione. Ora puoi facilmente verificarlo Car:1 è stato contrassegnato come Dark Blue, senza occlusione solo guardando l'immagine invece di doverla localizzare Car:1 nel riquadro di destra per visualizzare le annotazioni degli attributi.
Lascia un feedback a livello di etichetta – Per ogni etichetta, puoi lasciare un feedback a livello di etichetta in quell'etichetta Feedback sull'etichetta attributo stringa libera. Ad esempio, in questa immagine, Car:1 sembra più nero che blu scuro. Puoi inoltrare questa discrepanza come feedback per Car:1 usando il Feedback sull'etichetta campo per tracciare il commento a quell'etichetta su quel fotogramma. Il nostro team di controllo qualità interno esaminerà questo feedback e introdurrà modifiche al processo di annotazione e alle politiche di etichettatura e formerà gli annotatori come richiesto.
Lascia un feedback a livello di frame – Allo stesso modo, per ogni fotogramma, puoi lasciare un feedback a livello di fotogramma sotto quel fotogramma Feedback sul telaio attributo stringa libera. In questo caso, le annotazioni per Car ed Pedestrian le classi sembrano corrette e ben implementate in questo frame. Puoi inoltrare questo feedback positivo utilizzando il Fornire un feedback campo e il tuo commento è collegato a questo frame.
Copia il feedback dell'annotazione in altri frame – È possibile copiare sia il feedback a livello di etichetta che quello a livello di frame in altri frame facendo clic con il pulsante destro del mouse su quell'attributo. Questa funzione è utile quando si desidera duplicare lo stesso feedback tra fotogrammi per quell'etichetta o applicare lo stesso feedback a livello di fotogramma a più fotogrammi. Questa funzione consente di completare rapidamente l'ispezione delle etichette dei dati.
Approvare o rifiutare ogni oggetto del set di dati – Per ogni oggetto del set di dati che rivedi, hai la possibilità di scegliere approvare se sei soddisfatto delle annotazioni o scegli Rifiuto se non sei soddisfatto e vuoi che quelle annotazioni vengano rielaborate. Quando scegli Invio, ti viene presentata la possibilità di approvare o rifiutare il video che hai appena esaminato. In entrambi i casi, puoi fornire ulteriori commenti:
- Se si sceglie approvare, il commento è facoltativo.
- Se si sceglie Rifiuto, il commento è obbligatorio e suggeriamo di fornire un feedback dettagliato. Il tuo feedback verrà esaminato da un team dedicato al controllo qualità di Ground Truth Plus, che intraprenderà azioni correttive per evitare errori simili nei video successivi.

Dopo aver inviato il video con il tuo feedback, verrai reindirizzato alla pagina dei dettagli del progetto nel portale del progetto, dove puoi visualizzare il numero di oggetti rifiutati sotto il Oggetti rifiutati colonna e il tasso di errore, che viene calcolato come il numero di oggetti accettati rispetto agli oggetti esaminati sotto la colonna Tasso di accettazione colonna per ogni batch nel progetto. Ad esempio, per il batch 1 nello screenshot seguente, il tasso di accettazione è dell'80% perché sono stati accettati quattro oggetti dei cinque oggetti esaminati.

Conclusione

Un set di dati di addestramento di alta qualità è fondamentale per realizzare le tue iniziative di machine learning. Con Ground Truth Plus, ora disponi di uno strumento dell'interfaccia utente di revisione integrato migliorato che rimuove il lavoro pesante indifferenziato associato alla creazione di strumenti personalizzati per rivedere la qualità del set di dati etichettato. Questo post ti ha illustrato come creare un team di progetto e utilizzare le nuove funzionalità integrate dello strumento Review UI. Visitare il Console Ground Truth Plus per iniziare.

Come sempre, AWS è lieto di ricevere feedback. Si prega di inviare commenti o domande.

L'autore

Manish Goel è il Product Manager di Amazon SageMaker Ground Truth Plus. Si concentra sulla creazione di prodotti che rendano più facile per i clienti adottare l'apprendimento automatico. Nel tempo libero ama viaggiare e leggere libri.

Revekka Kostoeva è un ingegnere sviluppatore di software presso Amazon AWS, dove lavora su soluzioni interne e rivolte ai clienti per espandere l'ampiezza e la scalabilità dei servizi Sagemaker Ground Truth. Come ricercatrice, è spinta a migliorare gli strumenti del mestiere per portare avanti l'innovazione.