Usa la visione artificiale per misurare la resa agricola con le etichette personalizzate di Amazon Recognition

Nel settore agricolo, il problema dell'identificazione e del conteggio della quantità di frutta sugli alberi gioca un ruolo importante nella stima delle colture. Il concetto di affittare e affittare un albero sta diventando popolare, in cui un proprietario di un albero affitta l'albero ogni anno prima del raccolto in base alla resa dei frutti stimata. La pratica comune di contare manualmente la frutta è un processo che richiede tempo e lavoro. È uno dei compiti più difficili ma più importanti per ottenere risultati migliori nel tuo sistema di gestione delle colture. Questa stima della quantità di frutta e fiori aiuta gli agricoltori a prendere decisioni migliori, non solo sui prezzi di locazione, ma anche sulle pratiche di coltivazione e sulla prevenzione delle malattie delle piante.

È qui che una soluzione di machine learning (ML) automatizzata per la visione artificiale (CV) può aiutare gli agricoltori. Etichette personalizzate Amazon Rekognition è un servizio di visione artificiale completamente gestito che consente agli sviluppatori di creare modelli personalizzati per classificare e identificare oggetti in immagini specifiche e uniche per la tua azienda.

Rekognition Custom Labels non richiede alcuna esperienza precedente nella visione artificiale. Puoi iniziare semplicemente caricando decine di immagini anziché migliaia. Se le immagini sono già etichettate, puoi iniziare ad addestrare un modello in pochi clic. In caso contrario, puoi etichettarli direttamente all'interno della console Rekognition Custom Labels o utilizzare Amazon SageMaker verità fondamentale per etichettarli. Rekognition Custom Labels utilizza il transfer learning per ispezionare automaticamente i dati di training, selezionare il framework e l'algoritmo del modello giusti, ottimizzare gli iperparametri e addestrare il modello. Quando sei soddisfatto della precisione del modello, puoi iniziare a ospitare il modello addestrato con un solo clic.

In questo post, mostriamo come creare una soluzione end-to-end utilizzando le etichette personalizzate Rekognition per rilevare e contare i frutti per misurare la resa agricola.

Panoramica della soluzione

Creiamo un modello personalizzato per rilevare la frutta utilizzando i seguenti passaggi:

1. Etichetta un set di dati con immagini contenenti frutta utilizzando Amazon SageMaker verità fondamentale.
2. Crea un progetto in Rekognition Custom Labels.
3. Importa il tuo set di dati etichettato.
4. Allena il modello.
5. Testare il nuovo modello personalizzato utilizzando l'endpoint API generato automaticamente.

Rekognition Custom Labels ti consente di gestire il processo di addestramento del modello ML sulla console Amazon Rekognition, semplificando lo sviluppo del modello end-to-end e il processo di inferenza.

Prerequisiti

Per creare un modello di misurazione della resa agricola, devi prima preparare un set di dati con cui addestrare il modello. Per questo post, il nostro set di dati è composto da immagini di frutta. Le immagini seguenti mostrano alcuni esempi.

Abbiamo preso le nostre immagini dal nostro giardino. È possibile scaricare i file immagine da Repository GitHub.

Per questo post, utilizziamo solo una manciata di immagini per mostrare il caso d'uso della resa della frutta. Puoi sperimentare ulteriormente con più immagini.

Per preparare il set di dati, completa i seguenti passaggi:

1. Creare un Servizio di archiviazione semplice Amazon (Amazon S3) secchio.
2. Crea due cartelle all'interno di questo bucket, chiamato raw_data ed test_data, per memorizzare le immagini per l'etichettatura e il test del modello.
3. Scegli Caricare per caricare le immagini nelle rispettive cartelle dal repository GitHub.
   

Le immagini caricate non sono etichettate. Etichetti le immagini nel passaggio successivo.

Etichetta il tuo set di dati usando Ground Truth

Per addestrare il modello ML, hai bisogno di immagini etichettate. Ground Truth fornisce un processo semplice per etichettare le immagini. Il compito di etichettatura è svolto da una forza lavoro umana; in questo post crei una forza lavoro privata. Puoi usare Amazon Mechanical Turk per l'etichettatura su larga scala.

Creare una forza lavoro per l'etichettatura

Per prima cosa creiamo la nostra forza lavoro per l'etichettatura. Completa i seguenti passaggi:

1. Sulla console SageMaker, sotto Realtà di base nel pannello di navigazione, scegli Etichettatura delle forze di lavoro.
2. Sulla Privata scheda, scegliere Crea team privato.
   
3. Nel Nome della squadra, inserisci un nome per la tua forza lavoro (per questo post, labeling-team).
4. Scegli Crea team privato.
   
5. Scegli Invita nuovi lavoratori.
   
   
6. Nel Aggiungi lavoratori tramite indirizzo email sezione, inserisci gli indirizzi email dei tuoi lavoratori. Per questo post, inserisci il tuo indirizzo email.
7. Scegli Invita nuovi lavoratori.
   

Hai creato una forza lavoro di etichettatura, che utilizzerai nel passaggio successivo durante la creazione di un lavoro di etichettatura.

Crea un lavoro di etichettatura Ground Truth

Per ottimizzare il tuo lavoro di etichettatura, completa i seguenti passaggi:

1. Sulla console SageMaker, sotto Realtà di basescegli Lavori di etichettatura.
2. Scegli Crea lavoro di etichettatura.
   
3. Nel Nome del lavoro, accedere fruits-detection.
4. Seleziona Voglio specificare un nome di attributo di etichetta diverso dal nome del lavoro di etichettatura.
5. Nel Nome attributo etichettaaccedere Labels.
6. Nel Impostazione dei dati di input, selezionare Configurazione automatica dei dati.
7. Nel Posizione S3 per i set di dati di input, inserisci la posizione S3 delle immagini, utilizzando il bucket che hai creato in precedenza (s3://{your-bucket-name}/raw-data/images/).
8. Nel Posizione S3 per i set di dati di output, selezionare Specifica una nuova posizione e inserisci la posizione di output per i dati annotati (s3://{your-bucket-name}/annotated-data/).
9. Nel Tipo di datiscegli Immagine.
10. Scegli Configurazione completa dei dati.
    Questo crea il file manifest dell'immagine e aggiorna il percorso della posizione di input S3. Attendere il messaggio "Inserimento connessione dati riuscita".
    
11. Espandere Configurazione aggiuntiva.
12. Confermare che Set di dati completo è selezionato.
    Viene utilizzato per specificare se si desidera fornire tutte le immagini al lavoro di etichettatura o un sottoinsieme di immagini basato su filtri o campionamento casuale.
    
13. Nel Categoria di attivitàscegli Immagine perché questo è un compito per l'annotazione dell'immagine.
14. Poiché questo è un caso d'uso per il rilevamento di oggetti, per Selezione attività, selezionare Rettangolo di selezione.
15. Lascia le altre opzioni come predefinite e scegli Avanti.
    
16. Scegli Avanti.
    
    Ora specifichi i tuoi lavoratori e configuri lo strumento di etichettatura.
17. Nel Tipi di lavoratori, selezionare Privata.Per questo post, utilizzi una forza lavoro interna per annotare le immagini. Hai anche la possibilità di selezionare una forza lavoro con contratto pubblico (Amazon meccanico turco) o una forza lavoro partner (Fornitore gestito) a seconda del caso d'uso.
18. Per i team privati¸ scegli il team che hai creato in precedenza.
19. Lascia le altre opzioni come predefinite e scorri verso il basso fino a Strumento di etichettatura del riquadro di delimitazione.È essenziale fornire istruzioni chiare qui nello strumento di etichettatura per il team di etichettatura privata. Queste istruzioni fungono da guida per gli annotatori durante l'etichettatura. Le buone istruzioni sono concise, quindi ti consigliamo di limitare le istruzioni verbali o testuali a due frasi e di concentrarti sulle istruzioni visive. Nel caso della classificazione dell'immagine, si consiglia di fornire un'immagine etichettata in ciascuna delle classi come parte delle istruzioni.
20. Aggiungi due etichette: fruit ed no_fruit.
21. Immettere le istruzioni dettagliate nel Campo di descrizione da fornire istruzioni ai lavoratori. Per esempio: You need to label fruits in the provided image. Please ensure that you select label 'fruit' and draw the box around the fruit just to fit the fruit for better quality of label data. You also need to label other areas which look similar to fruit but are not fruit with label 'no_fruit'.Opzionalmente puoi anche fornire esempi di immagini di etichettatura buone e cattive. Devi assicurarti che queste immagini siano pubblicamente accessibili.
22. Scegli Creare per creare il lavoro di etichettatura.
    

Dopo che il lavoro è stato creato correttamente, il passaggio successivo consiste nell'etichettare le immagini di input.

Inizia il lavoro di etichettatura

Dopo aver creato correttamente il lavoro, lo stato del lavoro è InProgress. Ciò significa che il lavoro viene creato e la forza lavoro privata viene informata via e-mail in merito all'attività assegnata loro. Poiché ti sei assegnato l'attività, dovresti ricevere un'e-mail con le istruzioni per accedere al progetto Ground Truth Labelling.

1. Apri l'e-mail e scegli il link fornito.
2. Immettere il nome utente e la password forniti nell'e-mail.
   Potrebbe essere necessario modificare la password temporanea fornita nell'e-mail con una nuova password dopo l'accesso.
3. Dopo aver effettuato l'accesso, seleziona il tuo lavoro e scegli Iniziare a lavorare.
   
   È possibile utilizzare gli strumenti forniti per ingrandire, rimpicciolire, spostare e disegnare riquadri di delimitazione nelle immagini.
4. Scegli la tua etichetta (fruit or no_fruit) e quindi disegna un riquadro di delimitazione nell'immagine per annotarlo.
5. Quando hai finito, scegli Invio.

Ora hai etichettato correttamente le immagini che verranno utilizzate dal modello ML per l'addestramento.

Crea il tuo progetto Amazon Recognition

Per creare il tuo progetto di misurazione della resa agricola, completa i seguenti passaggi:

1. Sulla console Amazon Rekognition, scegli Etichette personalizzate.
2. Scegli Inizia Ora.
3. Nel Nome del progetto, accedere fruits_yield.
4. Scegli Crea progetto.
   

Puoi anche creare un progetto su Progetti pagina. Puoi accedere al Progetti pagina tramite il riquadro di navigazione. Il passaggio successivo consiste nel fornire immagini come input.

Importa il tuo set di dati

Per creare il tuo modello di misurazione della resa agricola, devi prima importare un set di dati con cui addestrare il modello. Per questo post, il nostro set di dati è già etichettato utilizzando Ground Truth.

1. Nel Importa immagini, selezionare Importa immagini etichettate da SageMaker Ground Truth.
   
2. Nel Posizione del file manifesto, inserisci la posizione del bucket S3 del file manifest (s3://{your-bucket-name}/fruits_image/annotated_data/fruits-labels/manifests/output/output.manifest).
3. Scegli Crea set di dati.
   

Puoi vedere il tuo set di dati etichettato.

Ora hai il tuo set di dati di input per il modello ML per iniziare l'addestramento su di essi.

Allena il tuo modello

Dopo aver etichettato le tue immagini, sei pronto per addestrare il tuo modello.

1. Scegli Modello di treno.
2. Nel Scegli il progetto, scegli il tuo progetto fruits_yield.
3. Scegli Modello di treno.
   

Attendi il completamento della formazione. Ora puoi iniziare a testare le prestazioni per questo modello addestrato.

Metti alla prova il tuo modello

Il tuo modello di misurazione della resa agricola è ora pronto per l'uso e dovrebbe essere in Running stato. Per testare il modello, completare i seguenti passaggi:

Passaggio 1: avviare il modello

Nella pagina dei dettagli del tuo modello, nel Usa il modello scheda, scegliere Inizio.

Rekognition Custom Labels fornisce anche le chiamate API per l'avvio, l'utilizzo e l'arresto del modello.

Passaggio 2: testare il modello

Quando il modello è nel Running stato, è possibile utilizzare lo script di test di esempio analyzeImage.py per contare la quantità di frutta in un'immagine.

1. Scarica questo script da di Repository GitHub.
2. Modifica questo file per sostituire il parametro bucket con il nome del tuo secchio e model con il tuo modello ARN Amazon Rekognition.

Usiamo i parametri photo ed min_confidence come input per questo script Python.

Puoi eseguire questo script localmente usando il file Interfaccia della riga di comando di AWS (AWS CLI) o utilizzando AWS CloudShell. Nel nostro esempio, abbiamo eseguito lo script tramite la console CloudShell. Tieni presente che CloudShell lo è libero da usare.

Assicurati di installare le dipendenze richieste usando il comando pip3 install boto3 PILLOW se non è già installato.

3. Carica il file analyzeImage.py a CloudShell utilizzando il Azioni menu.
   

La schermata seguente mostra l'output, che ha rilevato due frutti nell'immagine di input. Abbiamo fornito 15.jpeg come argomento della foto e 85 come argomento min_confidence valore.

L'esempio seguente mostra l'immagine 15.jpeg con due riquadri di delimitazione.

Puoi eseguire lo stesso script con altre immagini e sperimentare modificando ulteriormente il punteggio di affidabilità.

Passaggio 3: arresta il modello

Quando hai finito, ricorda di interrompere il modello per evitare di incorrere in spese inutili. Nella pagina dei dettagli del modello, nella scheda Usa modello, scegli Interrompi.

ripulire

Per evitare addebiti non necessari, eliminare le risorse utilizzate in questa procedura dettagliata quando non sono in uso. Dobbiamo eliminare il progetto Amazon Rekognition e il bucket S3.

Elimina il progetto Amazon Recognition

Per eliminare il progetto Amazon Rekognition, completa i seguenti passaggi:

1. Sulla console Amazon Rekognition, scegli Usa etichette personalizzate.
2. Scegli Inizia.
3. Nel pannello di navigazione, scegli Progetti.
4. Sulla Progetti pagina, seleziona il progetto che desideri eliminare.
   1. Scegli Elimina.
      I Elimina progetto appare la finestra di dialogo.
5. Se il progetto non ha modelli associati:
   1. entrare delete per eliminare il progetto.
   2. Scegli Elimina per eliminare il progetto.
6. Se al progetto sono associati modelli o set di dati:
   1. entrare delete per confermare che si desidera eliminare il modello e i set di dati.
   2. Scegli uno Elimina i modelli associati, Elimina i set di dati associati, o Elimina set di dati e modelli associati, a seconda che il modello disponga di set di dati, modelli o entrambi.

   Il completamento dell'eliminazione del modello potrebbe richiedere del tempo. Tieni presente che la console Amazon Rekognition non può eliminare modelli in fase di addestramento o in esecuzione. Riprova dopo aver interrotto tutti i modelli in esecuzione elencati e attendi fino al completamento dei modelli elencati come allenamento. Se si chiude la finestra di dialogo durante l'eliminazione del modello, i modelli vengono comunque eliminati. Successivamente, puoi eliminare il progetto ripetendo questa procedura.

7. entrare delete per confermare che desideri eliminare il progetto.
8. Scegli Elimina per eliminare il progetto.

Elimina il tuo bucket S3

Devi prima svuotare il secchio e poi eliminarlo.

1. Sulla Amazon S3 console, scegli Secchi.
2. Seleziona il secchio che vuoi svuotare, quindi scegli Vuoto.
3. Conferma di voler svuotare il bucket inserendo il nome del bucket nel campo di testo, quindi scegli Vuoto.
4. Scegli Elimina.
5. Conferma di voler eliminare il bucket inserendo il nome del bucket nel campo di testo, quindi scegli Elimina secchio.

Conclusione

In questo post, ti abbiamo mostrato come creare un modello di rilevamento oggetti con Rekognition Custom Labels. Questa funzionalità semplifica il training di un modello personalizzato in grado di rilevare una classe di oggetti senza dover specificare altri oggetti o perdere la precisione nei risultati.

Per ulteriori informazioni sull'utilizzo di etichette personalizzate, vedere Che cosa sono le etichette personalizzate di Amazon Rekognition?

---

Circa gli autori

Dhiraj Thakur è un Solutions Architect con Amazon Web Services. Collabora con clienti e partner AWS per fornire indicazioni sull'adozione, la migrazione e la strategia del cloud aziendale. È appassionato di tecnologia e ama costruire e sperimentare nello spazio di analisi e AI/ML.

Stesso Goel è un Sr. Solutions Architect nei Paesi Bassi, che guida il successo dei clienti costruendo prototipi su iniziative all'avanguardia. Prima di entrare in AWS, Sameer ha conseguito un master a Boston, con una specializzazione in data science. Gli piace costruire e sperimentare progetti AI/ML su Raspberry Pi. Puoi trovarlo addosso LinkedIn.