Erstellen Sie eine agronomische Datenplattform mit den raumbezogenen Funktionen von Amazon SageMaker

Als Folge geopolitischer Konflikte, Unterbrechungen der Lieferkette und des Klimawandels ist die Welt einem zunehmenden Risiko einer globalen Nahrungsmittelknappheit ausgesetzt. Gleichzeitig steigt die Gesamtnachfrage aufgrund des Bevölkerungswachstums und der Ernährungsumstellung, die sich auf nährstoff- und proteinreiche Lebensmittel konzentriert. Um den Nachfrageüberhang zu decken, müssen Landwirte den Ernteertrag maximieren und den Betrieb in großem Umfang effektiv verwalten, indem sie Technologien der Präzisionslandwirtschaft einsetzen, um an der Spitze zu bleiben.

In der Vergangenheit haben sich Landwirte auf ererbtes Wissen, Trial-and-Error und nicht vorgeschriebene agronomische Ratschläge verlassen, um Entscheidungen zu treffen. Zu den wichtigsten Entscheidungen gehören, welche Feldfrüchte angebaut werden, wie viel Dünger ausgebracht werden soll, wie Schädlinge bekämpft werden und wann geerntet werden soll. Angesichts der steigenden Nachfrage nach Nahrungsmitteln und der Notwendigkeit, den Ernteertrag zu maximieren, benötigen Landwirte jedoch zusätzlich zu ihrem ererbten Wissen mehr Informationen. Innovative Technologien wie Fernerkundung, IoT und Robotik haben das Potenzial, Landwirten dabei zu helfen, veraltete Entscheidungen zu überwinden. Datengesteuerte Entscheidungen, die durch Erkenntnisse nahezu in Echtzeit unterstützt werden, können es Landwirten ermöglichen, die Lücke bei der gestiegenen Lebensmittelnachfrage zu schließen.

Obwohl Landwirte traditionell Daten aus ihren Betrieben manuell gesammelt haben, indem sie Geräte und Ertragsdaten aufzeichneten oder Feldbeobachtungen notierten, helfen Entwickler von agronomischen Datenplattformen auf AWS Landwirten dabei, mit ihren vertrauenswürdigen agronomischen Beratern zusammenzuarbeiten, um diese Daten in großem Umfang zu nutzen. Kleine Felder und Betriebe ermöglichen es einem Landwirt leichter, das gesamte Feld zu sehen, um nach Problemen zu suchen, die die Ernte beeinträchtigen. Bei großen Feldern und landwirtschaftlichen Betrieben ist es jedoch nicht möglich, jedes Feld regelmäßig zu erkunden, und eine erfolgreiche Risikominderung erfordert eine integrierte agronomische Datenplattform, die Erkenntnisse in großem Maßstab liefern kann. Diese Plattformen helfen Landwirten, ihre Daten zu verstehen, indem sie Informationen aus mehreren Quellen zur Verwendung in Visualisierungs- und Analyseanwendungen integrieren. Geodaten, einschließlich Satellitenbilder, Bodendaten, Wetter- und Topografiedaten, werden zusammen mit Daten geschichtet, die von landwirtschaftlichen Geräten während des Pflanzens, der Nährstoffanwendung und der Ernte gesammelt wurden. Durch die Erschließung von Erkenntnissen durch verbesserte Geodatenanalyse, fortschrittliche Datenvisualisierungen und Automatisierung von Arbeitsabläufen über die AWS-Technologie können Landwirte bestimmte Bereiche ihrer Felder und Kulturen identifizieren, in denen ein Problem auftritt, und Maßnahmen zum Schutz ihrer Kulturen und Betriebe ergreifen. Diese zeitnahen Erkenntnisse helfen den Landwirten, besser mit ihren vertrauenswürdigen Agronomen zusammenzuarbeiten, um mehr zu produzieren, ihren ökologischen Fußabdruck zu verringern, ihre Rentabilität zu verbessern und ihr Land für kommende Generationen produktiv zu halten.

In diesem Beitrag sehen wir uns an, wie Sie die generierten Vorhersagen verwenden können Geodatenfunktionen von Amazon SageMaker in eine Benutzeroberfläche einer agronomischen Datenplattform. Darüber hinaus diskutieren wir, wie Softwareentwicklungsteams fortschrittliche, auf maschinellem Lernen (ML) basierende Erkenntnisse, einschließlich Fernerkundungsalgorithmen, Wolkenmaskierung (automatische Erkennung von Wolken in Satellitenbildern) und automatisierte Bildverarbeitungspipelines, zu ihren agronomischen Datenplattformen hinzufügen. Zusammen helfen diese Ergänzungen Agronomen, Softwareentwicklern, ML-Ingenieuren, Datenwissenschaftlern und Fernerkundungsteams, Landwirten skalierbare, wertvolle Entscheidungsunterstützungssysteme bereitzustellen. Dieser Beitrag enthält auch ein Beispiel für ein End-to-End-Notebook und GitHub-Repository das die Geodatenfunktionen von SageMaker demonstriert, einschließlich ML-basierter Feldsegmentierung und vortrainierter Geodatenmodelle für die Landwirtschaft.

Hinzufügen von raumbezogenen Erkenntnissen und Vorhersagen zu agronomischen Datenplattformen

Etablierte mathematische und agronomische Modelle in Kombination mit Satellitenbildern ermöglichen die Visualisierung der Gesundheit und des Zustands einer Kultur per Satellitenbild, Pixel für Pixel, im Laufe der Zeit. Diese etablierten Modelle erfordern jedoch Zugang zu Satellitenbildern, die nicht durch Wolken oder andere atmosphärische Störungen behindert werden, die die Bildqualität beeinträchtigen. Ohne die Identifizierung und Entfernung von Wolken aus jedem verarbeiteten Bild werden Vorhersagen und Erkenntnisse erhebliche Ungenauigkeiten aufweisen und agronomische Datenplattformen das Vertrauen des Landwirts verlieren. Da Anbieter von agronomischen Datenplattformen üblicherweise Kunden bedienen, die Tausende von landwirtschaftlichen Feldern in verschiedenen Regionen umfassen, benötigen agronomische Datenplattformen Computer Vision und ein automatisiertes System, um Wolken oder andere atmosphärische Probleme in jedem Satellitenbild zu analysieren, zu identifizieren und herauszufiltern, bevor sie weiterverarbeitet oder Analysen bereitgestellt werden zu Kunden.

Das Entwickeln, Testen und Verbessern von ML-Computer-Vision-Modellen, die Wolken und atmosphärische Probleme in Satellitenbildern erkennen, stellt Entwickler von agronomischen Datenplattformen vor Herausforderungen. Erstens erfordert der Aufbau von Datenpipelines zur Aufnahme von Satellitenbildern Zeit, Softwareentwicklungsressourcen und IT-Infrastruktur. Jeder Anbieter von Satellitenbildern kann sich stark voneinander unterscheiden. Satelliten sammeln häufig Bilder mit unterschiedlichen räumlichen Auflösungen; Auflösungen können von vielen Metern pro Pixel bis hin zu Bildern mit sehr hoher Auflösung reichen, die in Zentimetern pro Pixel gemessen werden. Zusätzlich kann jeder Satellit Bilder mit unterschiedlichen Multispektralbändern sammeln. Einige Bänder wurden gründlich getestet und zeigen eine starke Korrelation mit Pflanzenentwicklung und Gesundheitsindikatoren, während andere Bänder für die Landwirtschaft irrelevant sein können. Satellitenkonstellationen besuchen denselben Fleck auf der Erde mit unterschiedlichen Geschwindigkeiten. Kleine Konstellationen können ein Feld jede Woche oder öfter besuchen, und größere Konstellationen können dasselbe Gebiet mehrmals täglich besuchen. Diese Unterschiede bei Satellitenbildern und -frequenzen führen auch zu Unterschieden bei den API-Fähigkeiten und -Funktionen. Zusammengenommen bedeuten diese Unterschiede, dass agronomische Datenplattformen möglicherweise mehrere Datenpipelines mit komplexen Erfassungsmethoden unterhalten müssen.

Zweitens müssen diese Teams, nachdem die Bilddaten aufgenommen und Fernerkundungsteams, Datenwissenschaftlern und Agronomen zur Verfügung gestellt wurden, einen zeitaufwändigen Prozess des Zugriffs, der Verarbeitung und der Kennzeichnung jeder Region in jedem Bild als bewölkt durchführen. Bei Tausenden von Feldern, die über verschiedene Regionen verteilt sind, und mehreren Satellitenbildern pro Feld kann der Kennzeichnungsprozess viel Zeit in Anspruch nehmen und muss kontinuierlich geschult werden, um Geschäftserweiterungen, neue Kundenfelder oder neue Bildquellen zu berücksichtigen.

Integrierter Zugriff auf Sentinel-Satellitenbilder und -Daten für ML

Durch die Verwendung von SageMaker-Geodatenfunktionen für die Entwicklung von ML-Modellen für die Fernerkundung und durch die Nutzung von Satellitenbildern aus der AWS-Datenaustausch bequem zugänglich öffentlich Amazon Simple Storage-Service (Amazon S3) Bucket können Entwickler von agronomischen Datenplattformen auf AWS ihre Ziele schneller und einfacher erreichen. Ihr S3-Bucket verfügt immer über die aktuellsten Satellitenbilder von Sentinel-1 und Sentinel-2, da Open Data Exchange und die Amazon-Initiative für Nachhaltigkeitsdaten bieten Ihnen einen automatisierten integrierten Zugriff auf Satellitenbilder.

Das folgende Diagramm veranschaulicht diese Architektur.

Zu den raumbezogenen Funktionen von SageMaker gehören integrierte vortrainierte tiefe neuronale Netzwerkmodelle wie Landnutzungsklassifizierung und Wolkenmaskierung mit einem integrierten Katalog von raumbezogenen Datenquellen, einschließlich Satellitenbildern, Karten und Standortdaten von AWS und Drittanbietern. Mit einem integrierten Geodatenkatalog haben Geodatenkunden von SageMaker einen einfacheren Zugriff auf Satellitenbilder und andere Geodatensätze, die die Last der Entwicklung komplexer Datenaufnahme-Pipelines beseitigen. Dieser integrierte Datenkatalog kann Ihre eigene Modellerstellung und die Verarbeitung und Anreicherung großer Geodatensätze mit speziell entwickelten Operationen wie Zeitstatistiken, Resampling, Mosaikierung und Reverse Geocoding beschleunigen. Die Möglichkeit, Bilddaten von Amazon S3 einfach aufzunehmen und vortrainierte Geodaten-ML-Modelle von SageMaker zu verwenden, die automatisch Wolken identifizieren und jedes Sentinel-2-Satellitenbild bewerten, beseitigt die Notwendigkeit, Fernerkundungs-, Agronomie- und Data-Science-Teams mit der Aufnahme, Verarbeitung und Verarbeitung zu beauftragen Beschriften Sie Tausende von Satellitenbildern manuell mit bewölkten Regionen.

Die raumbezogenen Funktionen von SageMaker unterstützen die Fähigkeit, einen Interessenbereich (AOI) und eine Zeit von Interesse (TOI) zu definieren, im Bucket-Archiv von Open Data Exchange S3 nach Bildern mit einer raumbezogenen Überschneidung zu suchen, die der Anforderung entspricht, und Echtfarbenbilder zurückzugeben. Normalisierter Vegetationsdifferenzindex (NDVI), Wolkenerkennung und -werte sowie Landbedeckung. NDVI ist ein gemeinsamer Index, der mit Satellitenbildern verwendet wird, um die Gesundheit von Nutzpflanzen zu verstehen, indem Messungen der Menge an Chlorophyll und photosynthetischer Aktivität über ein neu verarbeitetes und farbkodiertes Bild visualisiert werden.

Benutzer der Geodatenfunktionen von SageMaker können den vorgefertigten NDVI-Index verwenden oder einen eigenen entwickeln. Die raumbezogenen Funktionen von SageMaker erleichtern es Datenwissenschaftlern und ML-Ingenieuren, ML-Modelle mithilfe von raumbezogenen Daten schneller und in größerem Umfang und mit weniger Aufwand als zuvor zu erstellen, zu trainieren und bereitzustellen.

Landwirte und Agronomen brauchen schnellen Zugriff auf Erkenntnisse auf dem Feld und zu Hause

Die umgehende Bereitstellung verarbeiteter Bilder und Erkenntnisse für Landwirte und Interessengruppen ist für Agrarunternehmen und die Entscheidungsfindung auf dem Feld wichtig. Die Identifizierung von Bereichen mit schlechter Pflanzengesundheit auf jedem Feld während kritischer Zeitfenster ermöglicht es dem Landwirt, Risiken zu mindern, indem er bei Bedarf Düngemittel, Herbizide und Pestizide ausbringt, und sogar Bereiche mit potenziellen Ernteversicherungsansprüchen zu identifizieren. Es ist üblich, dass agronomische Datenplattformen eine Reihe von Anwendungen umfassen, darunter Webanwendungen und mobile Anwendungen. Diese Anwendungen bieten intuitive Benutzeroberflächen, die Landwirten und ihren vertrauenswürdigen Interessengruppen helfen, jedes ihrer Felder und Bilder sicher zu überprüfen, während sie zu Hause, im Büro oder auf dem Feld selbst stehen. Diese Web- und Mobilanwendungen müssen jedoch verarbeitete Bilder und agronomische Erkenntnisse über APIs verarbeiten und schnell anzeigen.

Amazon API-Gateway erleichtert Entwicklern das Erstellen, Veröffentlichen, Warten, Überwachen und Sichern von RESTful- und WebSocket-APIs in großem Maßstab. Mit API-Gateway, API-Zugriff und -Autorisierung sind integriert AWS Identity Access Management (IAM) und bietet native OIDC- und OAuth2-Unterstützung sowie Amazon Cognito. Amazon Cognito ist ein kostengünstiger Dienst für das Identitäts- und Zugriffsmanagement (CIAM) für Kunden, der einen sicheren Identitätsspeicher mit Föderationsoptionen unterstützt, der auf Millionen von Benutzern skaliert werden kann.

Rohe, unverarbeitete Satellitenbilder können sehr groß sein, in einigen Fällen Hunderte von Megabyte oder sogar Gigabyte pro Bild. Da viele landwirtschaftliche Gebiete der Welt über eine schlechte oder keine Mobilfunkverbindung verfügen, ist es wichtig, Bilder und Erkenntnisse in kleineren Formaten und auf eine Weise zu verarbeiten und bereitzustellen, die die erforderliche Bandbreite begrenzt. Daher durch die Verwendung AWS Lambda Um einen Kachelserver bereitzustellen, können kleinere GeoTIFFs, JPEGs oder andere Bilddatenformate basierend auf der aktuellen Kartenansicht zurückgegeben werden, die einem Benutzer angezeigt wird, im Gegensatz zu viel größeren Dateigrößen und -typen, die die Leistung beeinträchtigen. Durch die Kombination eines über Lambda-Funktionen bereitgestellten Kachelservers mit API Gateway zur Verwaltung von Anfragen für Web- und mobile Anwendungen können Landwirte und ihre vertrauenswürdigen Stakeholder Bilder und Geodaten von einem oder Hunderten von Feldern gleichzeitig mit reduzierter Latenz nutzen und einen optimalen Benutzer erreichen Erfahrung.

Auf die raumbezogenen Funktionen von SageMaker kann über eine intuitive Benutzeroberfläche zugegriffen werden, die es Ihnen ermöglicht, einfachen Zugriff auf einen umfangreichen Katalog von raumbezogenen Daten zu erhalten, Daten zu transformieren und anzureichern, speziell entwickelte Modelle zu trainieren oder zu verwenden, Modelle für Vorhersagen einzusetzen und Daten zu visualisieren und zu untersuchen integrierte Karten und Satellitenbilder. Weitere Informationen zur Benutzererfahrung von SageMaker mit Geodaten finden Sie unter Wie Xarvio Pipelines von räumlichen Daten für die digitale Landwirtschaft mit raumbezogenen Funktionen von Amazon SageMaker beschleunigte.

Agronomische Datenplattformen bieten mehrere Ebenen von Daten und Erkenntnissen in großem Maßstab

Die folgende beispielhafte Benutzeroberfläche zeigt, wie ein Ersteller von agronomischen Datenplattformen Erkenntnisse integrieren kann, die von SageMaker-Geodatenfunktionen geliefert werden.

Diese beispielhafte Benutzeroberfläche zeigt allgemeine Geodaten-Overlays, die von Landwirten und landwirtschaftlichen Interessenvertretern verwendet werden. Hier hat der Verbraucher drei separate Datenüberlagerungen ausgewählt. Erstens das zugrunde liegende Sentinel-2-Satellitenbild in natürlichen Farben, das vom Oktober 2020 aufgenommen und über den integrierten Geodatenkatalog von SageMaker verfügbar gemacht wurde. Dieses Bild wurde mit dem vortrainierten Geodatenmodell von SageMaker gefiltert, das die Wolkendecke identifiziert. Die zweite Datenüberlagerung ist eine Reihe von Feldgrenzen, die mit einem weißen Umriss dargestellt sind. Eine Feldgrenze ist üblicherweise ein Polygon aus Breiten- und Längengradkoordinaten, das die natürliche Topographie eines landwirtschaftlichen Feldes widerspiegelt, oder eine Betriebsgrenze, die zwischen Anbauplänen unterscheidet. Die dritte Datenüberlagerung besteht aus verarbeiteten Bilddaten in Form des Normalized Difference Vegetation Index (NDVI). Darüber hinaus werden die NDVI-Bilder über die jeweilige Feldgrenze gelegt, und eine NDVI-Farbklassifizierungstabelle wird auf der linken Seite der Seite dargestellt.

Das folgende Bild zeigt die Ergebnisse unter Verwendung eines vortrainierten SageMaker-Modells, das die Wolkendecke identifiziert.

In diesem Bild identifiziert das Modell Wolken im Satellitenbild und wendet eine gelbe Maske über jeder Wolke im Bild an. Durch das Entfernen maskierter Pixel (Wolken) aus der weiteren Bildverarbeitung haben nachgelagerte Analysen und Produkte die Genauigkeit verbessert und bieten Landwirten und ihren vertrauenswürdigen Beratern einen Mehrwert.

In Gebieten mit schlechter Mobilfunkabdeckung verbessert die Reduzierung der Latenz das Benutzererlebnis

Um die Notwendigkeit einer geringen Latenz bei der Auswertung von Geodaten und Fernerkundungsbildern zu erfüllen, können Sie verwenden Amazon ElastiCache um verarbeitete Bilder zwischenzuspeichern, die aus über Lambda gestellten Kachelanforderungen abgerufen wurden. Durch das Speichern der angeforderten Bilder in einem Cache-Speicher wird die Latenz weiter reduziert und es besteht keine Notwendigkeit, Bildanforderungen erneut zu verarbeiten. Dies kann die Anwendungsleistung verbessern und den Druck auf Datenbanken verringern. Da Amazon ElastiCache viele Konfigurationsoptionen für Caching-Strategien, regionsübergreifende Replikation und automatische Skalierung unterstützt, können Anbieter von agronomischen Datenplattformen je nach Anwendungsanforderungen schnell skalieren und weiterhin Kosteneffizienz erzielen, indem sie nur für das bezahlen, was benötigt wird.

Zusammenfassung

Dieser Beitrag konzentrierte sich auf die Verarbeitung von Geodaten, die Implementierung von ML-fähigen Fernerkundungserkenntnissen und Möglichkeiten zur Rationalisierung und Vereinfachung der Entwicklung und Verbesserung von agronomischen Datenplattformen auf AWS. Es veranschaulichte mehrere Methoden und Dienste, die Ersteller von agronomischen Datenplattformen auf AWS-Diensten verwenden können, um ihre Ziele zu erreichen, darunter SageMaker, Lambda, Amazon S3, Open Data Exchange und ElastiCache.

Um einem End-to-End-Beispiel-Notebook zu folgen, das die räumlichen Funktionen von SageMaker demonstriert, greifen Sie auf das nachfolgend verfügbare Beispiel-Notebook zu GitHub-Repository. Sie können nachlesen, wie landwirtschaftliche Felder durch ML-Segmentierungsmodelle identifiziert werden, oder die bereits vorhandenen SageMaker-Geodatenmodelle und die Bring-Your-Own-Model-Funktionalität (BYOM) für raumbezogene Aufgaben wie Landnutzungs- und Landbedeckungsklassifizierung erkunden. Das End-to-End-Beispielnotebook wird im Begleitbeitrag ausführlich besprochen Wie Xarvio mit Amazon SageMaker Geospatial Pipelines von räumlichen Daten für die digitale Landwirtschaft beschleunigte.

Bitte kontaktieren Sie uns, um mehr darüber zu erfahren, wie die Agrarindustrie wichtige Probleme im Zusammenhang mit der globalen Lebensmittelversorgung, Rückverfolgbarkeit und Nachhaltigkeitsinitiativen mithilfe der AWS Cloud löst.

---

Über die Autoren

Will Konrad ist Head of Solutions for the Agriculture Industry bei AWS. Er ist leidenschaftlich daran interessiert, Kunden dabei zu helfen, Technologien einzusetzen, um die Lebensgrundlagen von Landwirten, die Umweltauswirkungen der Landwirtschaft und das Verbrauchererlebnis für Menschen, die Lebensmittel essen, zu verbessern. In seiner Freizeit repariert er Dinge, spielt Golf und nimmt Bestellungen von seinen vier Kindern entgegen.

Bishesh Adhikari ist Machine Learning Prototyping Architect im AWS Prototyping-Team. Er arbeitet mit AWS-Kunden zusammen, um Lösungen für verschiedene Anwendungsfälle von KI und maschinellem Lernen zu entwickeln, um deren Weg zur Produktion zu beschleunigen. In seiner Freizeit wandert und reist er gerne und verbringt Zeit mit Familie und Freunden.

Priyanka Mahankali ist Guidance Solutions Architect bei AWS und entwickelt seit mehr als 5 Jahren branchenübergreifende Lösungen, einschließlich Technologie für globale Landwirtschaftskunden. Sie ist leidenschaftlich daran interessiert, innovative Anwendungsfälle in den Vordergrund zu rücken und Kunden dabei zu helfen, strategische Lösungen auf AWS zu entwickeln.

Ron Osborne ist AWS Global Technology Lead for Agriculture – WWSO und Senior Solution Architect. Ron konzentriert sich darauf, AWS-Agribusiness-Kunden und -Partnern dabei zu helfen, sichere, skalierbare, belastbare, elastische und kostengünstige Lösungen zu entwickeln und bereitzustellen. Ron ist ein Kosmologie-Enthusiast, ein etablierter Innovator in der Agrartechnologie und engagiert sich leidenschaftlich dafür, Kunden und Partner für die Unternehmenstransformation und nachhaltigen Erfolg zu positionieren.