Suggerimenti per migliorare il tuo modello di etichette personalizzate Amazon Rekognition

In questo post, discutiamo delle migliori pratiche per migliorare le prestazioni dei tuoi modelli di visione artificiale utilizzando Etichette personalizzate Amazon Rekognition. Rekognition Custom Labels è un servizio completamente gestito per creare modelli di visione artificiale personalizzati per casi d'uso di classificazione delle immagini e rilevamento di oggetti. Rekognition Custom Labels si basa sui modelli pre-addestrati in Rekognition di Amazon, che sono già addestrati su decine di milioni di immagini in molte categorie. Invece di migliaia di immagini, puoi iniziare con un piccolo insieme di immagini di addestramento (poche centinaia o meno) specifiche per il tuo caso d'uso. Rekognition Custom Labels astrae la complessità implicata nella creazione di un modello personalizzato. Esamina automaticamente i dati di addestramento, seleziona gli algoritmi ML corretti, seleziona il tipo di istanza, addestra più modelli candidati con varie impostazioni di iperparametri e genera il modello meglio addestrato. Rekognition Custom Labels fornisce anche un'interfaccia di facile utilizzo da Console di gestione AWS per la gestione dell'intero flusso di lavoro ML, inclusa l'etichettatura delle immagini, l'addestramento del modello, la distribuzione del modello e la visualizzazione dei risultati del test.

Ci sono momenti in cui la precisione di un modello non è la migliore e non hai molte opzioni per regolare i parametri di configurazione del modello. Dietro le quinte ci sono molteplici fattori che giocano un ruolo chiave per costruire un modello ad alte prestazioni, come i seguenti:

• Angolo dell'immagine
• Risoluzione dell'immagine
• Proporzioni dell'immagine
• Esposizione alla luce
• Nitidezza e vividezza dello sfondo
• Contrasto di colori
• Dimensioni dei dati di esempio

Di seguito sono riportati i passaggi generali da seguire per addestrare un modello di etichette personalizzate Rekognition di livello produttivo:

1. Rivedi la tassonomia – Questo definisce l'elenco di attributi/elementi che si desidera identificare in un'immagine.
2. Raccogli i dati rilevanti – Questo è il passaggio più importante, in cui è necessario raccogliere immagini rilevanti che dovrebbero assomigliare a quelle che vedresti in un ambiente di produzione. Ciò potrebbe comportare immagini di oggetti con sfondi, illuminazione o angolazioni della telecamera diversi. Quindi crei un set di dati di addestramento e test suddividendo le immagini raccolte. Devi includere solo immagini del mondo reale come parte del set di dati di test e non dovresti includere immagini generate sinteticamente. Le annotazioni dei dati raccolti sono fondamentali per le prestazioni del modello. Assicurati che i riquadri di delimitazione siano stretti attorno agli oggetti e che le etichette siano accurate. Discutiamo alcuni suggerimenti che puoi prendere in considerazione quando crei un set di dati appropriato più avanti in questo post.
3. Esamina le metriche di formazione – Utilizzare i set di dati precedenti per addestrare un modello e rivedere le metriche di allenamento per il punteggio F1, la precisione e il richiamo. Discuteremo in dettaglio su come analizzare le metriche di formazione più avanti in questo post.
4. Valuta il modello addestrato – Utilizzare una serie di immagini invisibili (non utilizzate per l'addestramento del modello) con etichette note per valutare le previsioni. Questo passaggio deve essere sempre eseguito per assicurarsi che il modello funzioni come previsto in un ambiente di produzione.
5. Riqualificazione (opzionale) – In generale, la formazione di qualsiasi modello di machine learning è un processo iterativo per ottenere i risultati desiderati, un modello di visione artificiale non è diverso. Esaminare i risultati nel passaggio 4 per vedere se è necessario aggiungere più immagini ai dati di allenamento e ripetere i passaggi 3 – 5 precedenti.

In questo post, ci concentriamo sulle best practice relative alla raccolta di dati rilevanti (passaggio 2) e alla valutazione delle metriche addestrate (passaggio 3) per migliorare le prestazioni del modello.

Raccogli i dati rilevanti

Questa è la fase più critica dell'addestramento di un modello di etichette personalizzate Rekognition di livello produttivo. Nello specifico, ci sono due dataset: training e testing. I dati di addestramento vengono utilizzati per addestrare il modello ed è necessario dedicare lo sforzo alla creazione di un set di addestramento appropriato. I modelli Rekognition Custom Labels sono ottimizzati per punteggio F1 sul set di dati di test per selezionare il modello più accurato per il tuo progetto. Pertanto, è essenziale curare un set di dati di test che assomigli al mondo reale.

Numero di immagini

Consigliamo di avere un minimo di 15-20 immagini per etichetta. Avere più immagini con più variazioni che riflettano il tuo caso d'uso migliorerà le prestazioni del modello.

Set di dati bilanciato

Idealmente, ogni etichetta nel set di dati dovrebbe avere un numero simile di campioni. Non dovrebbe esserci un'enorme disparità nel numero di immagini per etichetta. Ad esempio, un set di dati in cui il numero più alto di immagini per un'etichetta è 1,000 rispetto a 50 immagini per un'altra etichetta assomiglia a un set di dati sbilanciato. Si consiglia di evitare scenari con rapporto sbilenco di 1:50 tra l'etichetta con il minor numero di immagini e l'etichetta con il maggior numero di immagini.

Vari tipi di immagini

Includi nel set di dati di addestramento e test immagini simili a quelle che utilizzerai nel mondo reale. Ad esempio, se desideri classificare le immagini dei soggiorni rispetto alle camere da letto, dovresti includere immagini vuote e arredate di entrambe le stanze.

Quella che segue è un'immagine di esempio di un soggiorno arredato.

Al contrario, quello che segue è un esempio di soggiorno non arredato.

Quella che segue è un'immagine di esempio di una camera da letto arredata.

Quella che segue è un'immagine di esempio di una camera da letto non ammobiliata.

Sfondi diversi

Includi immagini con sfondi diversi. Le immagini con un contesto naturale possono fornire risultati migliori rispetto allo sfondo semplice.

Quella che segue è un'immagine di esempio del cortile anteriore di una casa.

Quella che segue è un'immagine di esempio del cortile anteriore di una casa diversa con uno sfondo diverso.

Condizioni di illuminazione variabili

Includere immagini con illuminazione variabile in modo da coprire le diverse condizioni di illuminazione che si verificano durante l'inferenza (ad esempio, con e senza flash). Puoi anche includere immagini con saturazione, tonalità e luminosità variabili.

Quella che segue è un'immagine di esempio di un fiore in condizioni di luce normale.

Al contrario, l'immagine seguente è dello stesso fiore in piena luce.

Angoli variabili

Includere immagini prese da varie angolazioni dell'oggetto. Questo aiuta il modello ad apprendere le diverse caratteristiche degli oggetti.

Le seguenti immagini sono della stessa camera da letto da diverse angolazioni.

Potrebbero esserci occasioni in cui non è possibile acquisire immagini di vario tipo. In questi scenari, le immagini sintetiche possono essere generate come parte del set di dati di addestramento. Per ulteriori informazioni sulle comuni tecniche di aumento delle immagini, fare riferimento a Aumento dei dati.

Aggiungi etichette negative

Per la classificazione delle immagini, l'aggiunta di etichette negative può aiutare ad aumentare la precisione del modello. Ad esempio, puoi aggiungere un'etichetta negativa, che non corrisponde a nessuna delle etichette richieste. L'immagine seguente rappresenta le diverse etichette utilizzate per identificare i fiori completamente cresciuti.

Aggiunta dell'etichetta negativa not_fully_grown aiuta il modello ad apprendere caratteristiche che non fanno parte del fully_grown .

Gestione della confusione delle etichette

Analizzare i risultati sul set di dati di test per riconoscere eventuali modelli mancanti nel set di dati di addestramento o test. A volte è facile individuare tali modelli esaminando visivamente le immagini. Nell'immagine seguente, il modello sta lottando per risolvere tra un'etichetta del cortile e un patio.

In questo scenario, l'aggiunta di più immagini a queste etichette nel set di dati e anche la ridefinizione delle etichette in modo che ciascuna etichetta sia distinta può aiutare ad aumentare l'accuratezza del modello.

Aumento dei dati

All'interno di Rekognition Custom Labels, eseguiamo vari aumenti dei dati per l'addestramento del modello, inclusi il ritaglio casuale dell'immagine, il jittering del colore, i rumori gaussiani casuali e altro ancora. In base ai tuoi casi d'uso specifici, potrebbe anche essere utile aggiungere aumenti di dati più espliciti ai tuoi dati di addestramento. Ad esempio, se sei interessato a rilevare gli animali sia nelle immagini a colori che in bianco e nero, potresti potenzialmente ottenere una maggiore precisione aggiungendo versioni in bianco e nero ea colori delle stesse immagini ai dati di addestramento.

Non consigliamo aumenti sui dati di test a meno che gli aumenti non riflettano i casi d'uso di produzione.

Esamina le metriche di formazione

Il punteggio F1, la precisione, il richiamo e la soglia presunta sono i metrica che vengono generati come output dell'addestramento di un modello utilizzando Rekognition Custom Labels. I modelli sono ottimizzati per il miglior punteggio F1 in base al set di dati di test fornito. La soglia presunta viene generata anche in base al set di dati di test. Puoi regolare la soglia in base alle tue esigenze aziendali in termini di precisione o richiamo.

Poiché le soglie presunte sono impostate sul set di dati di test, un set di test appropriato dovrebbe riflettere il caso d'uso della produzione nel mondo reale. Se il set di dati di test non è rappresentativo del caso d'uso, potresti visualizzare punteggi F1 artificialmente elevati e prestazioni del modello scadenti nelle immagini del mondo reale.

Queste metriche sono utili quando si esegue una valutazione iniziale del modello. Per un sistema di livello produttivo, consigliamo di valutare il modello rispetto a un set di dati esterno (500–1,000 immagini non viste) rappresentativo del mondo reale. Questo aiuta a valutare le prestazioni del modello in un sistema di produzione e anche a identificare eventuali modelli mancanti e correggerli riqualificando il modello. Se vedi una discrepanza tra i punteggi F1 e la valutazione esterna, ti suggeriamo di esaminare se i dati del test riflettono il caso d'uso del mondo reale.

Conclusione

In questo post, ti abbiamo illustrato le migliori pratiche per migliorare i modelli Rekognition Custom Labels. Ti invitiamo a saperne di più Riconoscimento etichette personalizzate e provalo per i tuoi set di dati aziendali.

---

Circa gli autori

Amit Gupta è Senior AI Services Solutions Architect presso AWS. È appassionato di offrire ai clienti soluzioni di machine learning ben progettate su larga scala.

Yogesh Chaturvedi è un Solutions Architect presso AWS con un focus sulla visione artificiale. Lavora con i clienti per affrontare le loro sfide aziendali utilizzando le tecnologie cloud. Al di fuori del lavoro, gli piace fare escursioni, viaggiare e guardare lo sport.

Hao Yang è un Senior Applied Scientist presso il team Amazon Rekognition Custom Labels. I suoi principali interessi di ricerca sono il rilevamento di oggetti e l'apprendimento con annotazioni limitate. Al di fuori dei lavori, Hao ama guardare film, fotografie e attività all'aperto.

Pashmen Mistry è Senior Product Manager per Amazon Recognition Custom Labels. Al di fuori del lavoro, Pashmeen ama fare escursioni avventurose, fotografare e passare il tempo con la sua famiglia.