Crea una piattaforma di dati agronomici con le funzionalità geospaziali di Amazon SageMaker

Il mondo è a rischio crescente di carenza alimentare globale come conseguenza del conflitto geopolitico, delle interruzioni della catena di approvvigionamento e del cambiamento climatico. Allo stesso tempo, c'è un aumento della domanda complessiva dovuto alla crescita della popolazione e al cambiamento delle diete che si concentrano su alimenti ricchi di nutrienti e proteine. Per soddisfare l'eccesso di domanda, gli agricoltori devono massimizzare la resa delle colture e gestire efficacemente le operazioni su larga scala, utilizzando la tecnologia dell'agricoltura di precisione per rimanere all'avanguardia.

Storicamente, gli agricoltori hanno fatto affidamento su conoscenze ereditate, tentativi ed errori e consigli agronomici non prescrittivi per prendere decisioni. Le decisioni chiave includono quali colture piantare, quanto fertilizzante applicare, come controllare i parassiti e quando raccogliere. Tuttavia, con una crescente domanda di cibo e la necessità di massimizzare la resa del raccolto, gli agricoltori hanno bisogno di maggiori informazioni oltre alle conoscenze ereditate. Tecnologie innovative come il telerilevamento, l'IoT e la robotica hanno il potenziale per aiutare gli agricoltori a superare i processi decisionali tradizionali. Le decisioni basate sui dati, alimentate da approfondimenti quasi in tempo reale, possono consentire agli agricoltori di colmare il divario dovuto all'aumento della domanda alimentare.

Sebbene gli agricoltori tradizionalmente raccolgano manualmente i dati dalle loro operazioni registrando attrezzature e dati sulla resa o prendendo appunti sulle osservazioni sul campo, i costruttori di piattaforme di dati agronomici su AWS aiutano gli agricoltori a lavorare con i loro consulenti agronomici di fiducia a utilizzare tali dati su larga scala. Piccoli campi e operazioni consentono più facilmente a un agricoltore di vedere l'intero campo per cercare problemi che interessano il raccolto. Tuttavia, l'esplorazione frequente di ogni campo per campi e aziende agricole di grandi dimensioni non è fattibile e una mitigazione del rischio di successo richiede una piattaforma di dati agronomici integrata che possa fornire approfondimenti su larga scala. Queste piattaforme aiutano gli agricoltori a dare un senso ai propri dati integrando le informazioni provenienti da più fonti per l'utilizzo nelle applicazioni di visualizzazione e analisi. I dati geospaziali, comprese le immagini satellitari, i dati del suolo, le condizioni meteorologiche e i dati topografici, sono stratificati insieme ai dati raccolti dalle attrezzature agricole durante la semina, l'applicazione dei nutrienti e le operazioni di raccolta. Sbloccando approfondimenti attraverso l'analisi avanzata dei dati geospaziali, le visualizzazioni avanzate dei dati e l'automazione dei flussi di lavoro tramite la tecnologia AWS, gli agricoltori possono identificare aree specifiche dei loro campi e colture che stanno riscontrando un problema e agire per proteggere le loro colture e operazioni. Queste informazioni tempestive aiutano gli agricoltori a lavorare meglio con i loro agronomi di fiducia per produrre di più, ridurre il loro impatto ambientale, migliorare la loro redditività e mantenere la loro terra produttiva per le generazioni a venire.

In questo post, esaminiamo come utilizzare le previsioni generate da Funzionalità geospaziali di Amazon SageMaker in un'interfaccia utente di una piattaforma di dati agronomici. Inoltre, discutiamo di come i team di sviluppo software stiano aggiungendo approfondimenti avanzati basati sull'apprendimento automatico (ML), inclusi algoritmi di telerilevamento, mascheramento delle nuvole (rilevamento automatico delle nuvole all'interno delle immagini satellitari) e pipeline di elaborazione automatizzata delle immagini, alle loro piattaforme di dati agronomici. Insieme, queste aggiunte aiutano agronomi, sviluppatori di software, ingegneri ML, data scientist e team di telerilevamento a fornire agli agricoltori sistemi di supporto decisionale scalabili e preziosi. Questo post fornisce anche un esempio di notebook end-to-end e Repository GitHub che dimostra le capacità geospaziali di SageMaker, inclusa la segmentazione dei campi agricoli basata su ML e modelli geospaziali pre-addestrati per l'agricoltura.

Aggiunta di approfondimenti e previsioni geospaziali nelle piattaforme di dati agronomici

Modelli matematici e agronomici consolidati combinati con immagini satellitari consentono la visualizzazione della salute e dello stato di una coltura tramite immagine satellitare, pixel per pixel, nel tempo. Tuttavia, questi modelli consolidati richiedono l'accesso a immagini satellitari che non siano ostruite da nuvole o altre interferenze atmosferiche che riducono la qualità dell'immagine. Senza identificare e rimuovere le nuvole da ogni immagine elaborata, le previsioni e gli approfondimenti presenteranno imprecisioni significative e le piattaforme di dati agronomici perderanno la fiducia dell'agricoltore. Poiché i fornitori di piattaforme di dati agronomici servono comunemente clienti che comprendono migliaia di campi agricoli in diverse aree geografiche, le piattaforme di dati agronomici richiedono la visione artificiale e un sistema automatizzato per analizzare, identificare e filtrare nuvole o altri problemi atmosferici all'interno di ciascuna immagine satellitare prima di un'ulteriore elaborazione o fornitura di analisi ai clienti.

Lo sviluppo, il test e il miglioramento dei modelli di visione artificiale ML che rilevano le nuvole e i problemi atmosferici nelle immagini satellitari presenta sfide per i costruttori di piattaforme di dati agronomici. In primo luogo, la creazione di pipeline di dati per l'acquisizione di immagini satellitari richiede tempo, risorse per lo sviluppo del software e infrastruttura IT. Ogni fornitore di immagini satellitari può differire notevolmente l'uno dall'altro. I satelliti raccolgono spesso immagini a diverse risoluzioni spaziali; le risoluzioni possono variare da molti metri per pixel a immagini ad altissima risoluzione misurate in centimetri per pixel. Inoltre, ciascun satellite può raccogliere immagini con diverse bande multispettrali. Alcune bande sono state accuratamente testate e mostrano una forte correlazione con lo sviluppo delle piante e gli indicatori di salute, mentre altre bande possono essere irrilevanti per l'agricoltura. Le costellazioni satellitari rivisitano lo stesso punto sulla terra a velocità diverse. Piccole costellazioni possono rivisitare un campo ogni settimana o più, e costellazioni più grandi possono rivisitare la stessa area più volte al giorno. Queste differenze nelle immagini e nelle frequenze satellitari portano anche a differenze nelle capacità e nelle caratteristiche dell'API. Combinate, queste differenze significano che le piattaforme di dati agronomici potrebbero dover mantenere più pipeline di dati con metodologie di acquisizione complesse.

In secondo luogo, dopo che le immagini sono state acquisite e rese disponibili a team di telerilevamento, data scientist e agronomi, questi team devono impegnarsi in un lungo processo di accesso, elaborazione ed etichettatura di ogni regione all'interno di ciascuna immagine come torbida. Con migliaia di campi sparsi in diverse aree geografiche e più immagini satellitari per campo, il processo di etichettatura può richiedere molto tempo e deve essere continuamente addestrato per tenere conto dell'espansione aziendale, dei nuovi campi dei clienti o di nuove fonti di immagini.

Accesso integrato alle immagini e ai dati satellitari di Sentinel per il machine learning

Utilizzando le funzionalità geospaziali di SageMaker per lo sviluppo di modelli ML di telerilevamento e utilizzando immagini satellitari dal Scambio di dati AWS pubblico comodamente disponibile Servizio di archiviazione semplice Amazon (Amazon S3), i costruttori di piattaforme di dati agronomici su AWS possono raggiungere i loro obiettivi più velocemente e più facilmente. Il tuo bucket S3 dispone sempre delle immagini satellitari più aggiornate di Sentinel-1 e Sentinel-2 perché Open Data Exchange e il Iniziativa sui dati di sostenibilità di Amazon fornirti un accesso automatico integrato alle immagini satellitari.

Il diagramma seguente illustra questa architettura.

Le funzionalità geospaziali di SageMaker includono modelli di rete neurale profonda pre-addestrati come la classificazione dell'uso del suolo e il mascheramento del cloud, con un catalogo integrato di fonti di dati geospaziali tra cui immagini satellitari, mappe e dati sulla posizione di AWS e di terze parti. Con un catalogo di dati geospaziali integrato, i clienti geospaziali di SageMaker hanno un accesso più facile alle immagini satellitari e ad altri set di dati geospaziali che eliminano l'onere di sviluppare complesse pipeline di acquisizione di dati. Questo catalogo di dati integrato può accelerare la creazione di modelli e l'elaborazione e l'arricchimento di set di dati geospaziali su larga scala con operazioni appositamente create come statistiche temporali, ricampionamento, mosaicatura e geocodifica inversa. La capacità di importare facilmente immagini da Amazon S3 e utilizzare modelli ML geospaziali pre-addestrati di SageMaker che identificano automaticamente le nuvole e assegnano un punteggio a ogni immagine satellitare Sentinel-2 elimina la necessità di coinvolgere i team di telerilevamento, agronomia e scienza dei dati per acquisire, elaborare e etichetta manualmente migliaia di immagini satellitari con regioni nuvolose.

Le funzionalità geospaziali di SageMaker supportano la possibilità di definire un'area di interesse (AOI) e un tempo di interesse (TOI), cercare all'interno dell'archivio bucket S3 di Open Data Exchange le immagini con un'intersezione geospaziale che soddisfi la richiesta e restituire immagini a colori reali, Normalized Difference Vegetation Index (NDVI), rilevamento e punteggi delle nuvole e copertura del suolo. NDVI è un indice comune utilizzato con le immagini satellitari per comprendere la salute delle colture visualizzando le misurazioni della quantità di clorofilla e dell'attività fotosintetica tramite un'immagine appena elaborata e codificata a colori.

Gli utenti delle funzionalità geospaziali di SageMaker possono utilizzare l'indice NDVI predefinito o svilupparne uno proprio. Le funzionalità geospaziali di SageMaker rendono più facile per i data scientist e gli ingegneri ML creare, addestrare e distribuire modelli ML più velocemente e su larga scala utilizzando dati geospaziali e con meno sforzo rispetto a prima.

Gli agricoltori e gli agronomi hanno bisogno di un rapido accesso alle informazioni sul campo ea casa

Fornire tempestivamente immagini elaborate e approfondimenti agli agricoltori e alle parti interessate è importante per le aziende agricole e il processo decisionale sul campo. L'identificazione di aree di scarsa salute delle colture in ogni campo durante periodi di tempo critici consente all'agricoltore di mitigare i rischi applicando fertilizzanti, erbicidi e pesticidi dove necessario e persino di identificare aree di potenziali richieste di risarcimento assicurativo del raccolto. È comune che le piattaforme di dati agronomici comprendano una suite di applicazioni, comprese applicazioni Web e applicazioni mobili. Queste applicazioni forniscono interfacce utente intuitive che aiutano gli agricoltori e le loro parti interessate di fiducia a rivedere in modo sicuro ciascuno dei loro campi e immagini mentre sono a casa, in ufficio o sul campo stesso. Queste applicazioni web e mobili, tuttavia, devono consumare e visualizzare rapidamente immagini elaborate e approfondimenti agronomici tramite API.

Gateway API Amazon semplifica agli sviluppatori la creazione, la pubblicazione, la manutenzione, il monitoraggio e la protezione delle API RESTful e WebSocket su larga scala. Insieme a API Gateway, l'accesso e l'autorizzazione API sono integrati con Gestione dell'accesso all'identità AWS (IAM) e offre supporto nativo OIDC e OAuth2, nonché Amazzonia Cognito. Amazzonia Cognito è un servizio CIAM (Customer Identity and Access Management) conveniente che supporta un archivio di identità sicuro con opzioni di federazione scalabili a milioni di utenti.

Le immagini satellitari grezze e non elaborate possono essere molto grandi, in alcuni casi centinaia di megabyte o addirittura gigabyte per immagine. Poiché molte aree agricole del mondo hanno una connettività cellulare scarsa o assente, è importante elaborare e fornire immagini e approfondimenti in formati più piccoli e in modi che limitino la larghezza di banda richiesta. Pertanto, utilizzando AWS Lambda per distribuire un tile server, è possibile restituire GeoTIFF, JPEG o altri formati di immagini di dimensioni inferiori in base alla visualizzazione della mappa corrente visualizzata a un utente, al contrario di dimensioni e tipi di file molto più grandi che riducono le prestazioni. Combinando un tile server distribuito tramite funzioni Lambda con API Gateway per gestire le richieste di applicazioni Web e mobili, gli agricoltori e i loro stakeholder di fiducia possono consumare immagini e dati geospaziali da uno o centinaia di campi contemporaneamente, con latenza ridotta, e ottenere un utente ottimale Esperienza.

È possibile accedere alle funzionalità geospaziali di SageMaker tramite un'interfaccia utente intuitiva che consente di ottenere un facile accesso a un ricco catalogo di dati geospaziali, trasformare e arricchire i dati, addestrare o utilizzare modelli appositamente creati, distribuire modelli per le previsioni e visualizzare ed esplorare i dati su mappe integrate e immagini satellitari. Per ulteriori informazioni sull'esperienza utente geospaziale di SageMaker, fare riferimento a In che modo Xarvio ha accelerato le pipeline di dati spaziali per l'agricoltura digitale con le funzionalità geospaziali di Amazon SageMaker.

Le piattaforme di dati agronomici forniscono diversi livelli di dati e approfondimenti su larga scala

La seguente interfaccia utente di esempio dimostra come un creatore di piattaforme di dati agronomici può integrare le informazioni fornite dalle funzionalità geospaziali di SageMaker.

Questa interfaccia utente di esempio illustra sovrapposizioni di dati geospaziali comuni utilizzati dagli agricoltori e dalle parti interessate dell'agricoltura. Qui, il consumatore ha selezionato tre sovrapposizioni di dati separate. In primo luogo, l'immagine satellitare a colori naturali di Sentinel-2 sottostante scattata a ottobre 2020 e resa disponibile tramite il catalogo di dati geospaziali SageMaker integrato. Questa immagine è stata filtrata utilizzando il modello preaddestrato geospaziale SageMaker che identifica la copertura nuvolosa. La seconda sovrapposizione di dati è un insieme di limiti di campo, rappresentati con un contorno bianco. Un confine di campo è comunemente un poligono di coordinate di latitudine e longitudine che riflette la topografia naturale di un campo agricolo o un confine operativo che differenzia i piani di coltivazione. La terza sovrapposizione di dati è costituita da dati di immagini elaborati sotto forma di Normalized Difference Vegetation Index (NDVI). Inoltre, le immagini NDVI sono sovrapposte al rispettivo confine di campo e sul lato sinistro della pagina è raffigurata una tabella di classificazione dei colori NDVI.

L'immagine seguente mostra i risultati utilizzando un modello preaddestrato di SageMaker che identifica la copertura nuvolosa.

In questa immagine, il modello identifica le nuvole all'interno dell'immagine satellitare e applica una maschera gialla su ogni nuvola all'interno dell'immagine. Rimuovendo i pixel mascherati (nuvole) dall'ulteriore elaborazione delle immagini, l'analisi e i prodotti a valle hanno migliorato la precisione e forniscono valore agli agricoltori e ai loro consulenti di fiducia.

Nelle aree con scarsa copertura cellulare, la riduzione della latenza migliora l'esperienza dell'utente

Per soddisfare l'esigenza di bassa latenza durante la valutazione dei dati geospaziali e delle immagini di rilevamento remoto, è possibile utilizzare Amazon Elastic Cache per memorizzare nella cache le immagini elaborate recuperate dalle richieste di tile effettuate tramite Lambda. Memorizzando le immagini richieste in una memoria cache, la latenza viene ulteriormente ridotta e non è necessario rielaborare le richieste di immagini. Ciò può migliorare le prestazioni dell'applicazione e ridurre la pressione sui database. Perché Amazon Elastic Cache supporta molte opzioni di configurazione per strategie di memorizzazione nella cache, replica tra regioni e scalabilità automatica, i fornitori di piattaforme di dati agronomici possono scalare rapidamente in base alle esigenze dell'applicazione e continuare a ottenere l'efficienza dei costi pagando solo ciò che è necessario.

Conclusione

Questo post si è concentrato sull'elaborazione dei dati geospaziali, sull'implementazione di insight di telerilevamento abilitati per ML e sui modi per semplificare e semplificare lo sviluppo e il miglioramento delle piattaforme di dati agronomici su AWS. Ha illustrato diversi metodi e servizi che i costruttori di piattaforme di dati agronomici sui servizi AWS possono utilizzare per raggiungere i propri obiettivi, tra cui SageMaker, Lambda, Amazon S3, Open Data Exchange ed ElastiCache.

Per seguire un notebook di esempio end-to-end che dimostra le capacità geospaziali di SageMaker, accedi al notebook di esempio disponibile nel seguente Repository GitHub. Puoi rivedere come identificare i campi agricoli attraverso i modelli di segmentazione ML o esplorare i modelli geospaziali SageMaker preesistenti e la funzionalità Bring Your Own Model (BYOM) su attività geospaziali come l'uso del suolo e la classificazione della copertura del suolo. Il notebook di esempio end-to-end è discusso in dettaglio nel post di accompagnamento In che modo Xarvio ha accelerato le pipeline di dati spaziali per l'agricoltura digitale con Amazon SageMaker Geospatial.

Contattaci per saperne di più su come l'industria agricola sta risolvendo importanti problemi relativi all'approvvigionamento alimentare globale, alla tracciabilità e alle iniziative di sostenibilità utilizzando il cloud AWS.

---

Circa gli autori

sarà Conrad? è il responsabile delle soluzioni per il settore agricolo presso AWS. È appassionato di aiutare i clienti a utilizzare la tecnologia per migliorare i mezzi di sussistenza degli agricoltori, l'impatto ambientale dell'agricoltura e l'esperienza del consumatore per le persone che mangiano cibo. Nel tempo libero aggiusta cose, gioca a golf e prende ordini dai suoi quattro figli.

Bishish Adhikari è un Machine Learning Prototyping Architect presso il team di AWS Prototyping. Lavora con i clienti AWS per creare soluzioni su vari casi d'uso di AI e Machine Learning per accelerare il loro viaggio verso la produzione. Nel tempo libero ama fare escursioni, viaggiare e trascorrere del tempo con la famiglia e gli amici.

Priyanka Mahankali è un Guidance Solutions Architect presso AWS da oltre 5 anni nella creazione di soluzioni intersettoriali, inclusa la tecnologia per i clienti dell'agricoltura globale. È appassionata di portare in primo piano casi d'uso all'avanguardia e aiutare i clienti a creare soluzioni strategiche su AWS.

Ron Osborne è AWS Global Technology Lead for Agriculture – WWSO e Senior Solution Architect. Ron si concentra sull'aiutare i clienti e i partner del settore agroalimentare di AWS a sviluppare e distribuire soluzioni sicure, scalabili, resilienti, elastiche e convenienti. Ron è un appassionato di cosmologia, un innovatore affermato all'interno di ag-tech, ed è appassionato di posizionare clienti e partner per la trasformazione aziendale e il successo sostenibile.