Створіть платформу агрономічних даних за допомогою геопросторових можливостей Amazon SageMaker

Світ зростає під загрозою глобального дефіциту продовольства внаслідок геополітичного конфлікту, збоїв у ланцюзі поставок і зміни клімату. Одночасно зростає загальний попит через зростання чисельності населення та зміну дієт, які зосереджуються на їжі, багатій на поживні речовини та білки. Щоб задовольнити надлишковий попит, фермери повинні максимізувати врожайність і ефективно керувати масштабними операціями, використовуючи технології точного землеробства, щоб залишатися попереду.

Історично склалося так, що фермери покладалися на успадковані знання, метод проб і помилок, а також нерекомендовані агрономічні поради для прийняття рішень. Ключові рішення включають в себе, які культури садити, скільки вносити добрив, як контролювати шкідників і коли збирати врожай. Однак із зростаючим попитом на продукти харчування та потребою максимізувати врожайність фермерам потрібно більше інформації на додаток до успадкованих знань. Інноваційні технології, такі як дистанційне зондування, Інтернет речей і робототехніка, мають потенціал, щоб допомогти фермерам відійти від традиційного прийняття рішень. Рішення, які базуються на даних і підживлюються інформацією майже в реальному часі, можуть дозволити фермерам усунути розрив у зв’язку зі збільшенням попиту на продукти харчування.

Хоча фермери традиційно збирали дані вручну зі своїх операцій, записуючи обладнання та дані про врожайність або роблячи нотатки польових спостережень, розробники платформ агрономічних даних на AWS допомагають фермерам працювати зі своїми довіреними агрономічними консультантами, використовувати ці дані в масштабі. Невеликі поля та операції легше дозволяють фермеру бачити все поле, щоб знайти проблеми, що впливають на врожай. Однак регулярна перевірка кожного поля для великих полів і ферм неможлива, а для успішного зменшення ризиків потрібна інтегрована платформа агрономічних даних, яка може давати розуміння в масштабі. Ці платформи допомагають фермерам зрозуміти їхні дані, інтегруючи інформацію з багатьох джерел для використання в програмах візуалізації та аналітики. Геопросторові дані, включаючи супутникові зображення, дані про ґрунт, погоду та топографічні дані, поєднуються разом із даними, зібраними сільськогосподарським обладнанням під час посіву, внесення поживних речовин і збору врожаю. Отримавши доступ до інформації за допомогою розширеної аналітики геопросторових даних, розширеної візуалізації даних і автоматизації робочих процесів за допомогою технології AWS, фермери можуть визначити конкретні ділянки своїх полів і посівів, які мають проблеми, і вжити заходів для захисту своїх посівів і операцій. Ці своєчасні відомості допомагають фермерам краще співпрацювати з агрономами, яким вони довіряють, щоб виробляти більше, зменшити вплив на навколишнє середовище, підвищити прибутковість і зберегти продуктивність землі для майбутніх поколінь.

У цій публікації ми розглянемо, як можна використовувати прогнози, створені з Геопросторові можливості Amazon SageMaker в інтерфейс користувача платформи агрономічних даних. Крім того, ми обговорюємо, як групи розробників програмного забезпечення додають у свої платформи агрономічних даних передову інформацію на основі машинного навчання (ML), включаючи алгоритми дистанційного зондування, маскування хмар (автоматичне виявлення хмар на супутникових зображеннях) і конвеєри автоматизованої обробки зображень. Разом ці доповнення допомагають агрономам, розробникам програмного забезпечення, інженерам ML, дослідникам даних і командам дистанційного зондування надавати масштабовані, цінні системи підтримки прийняття рішень для фермерів. Ця публікація також містить приклад наскрізного блокнота та GitHub сховище який демонструє геопросторові можливості SageMaker, включаючи сегментацію поля ферми на основі ML і попередньо підготовлені геопросторові моделі для сільського господарства.

Додавання геопросторової інформації та прогнозів у платформи агрономічних даних

Встановлені математичні та агрономічні моделі в поєднанні з супутниковими зображеннями дозволяють візуалізувати здоров’я та стан культури за супутниковим зображенням, піксель за пікселем, з плином часу. Однак для цих встановлених моделей потрібен доступ до супутникових зображень, які не закривають хмари чи інші атмосферні перешкоди, що знижують якість зображення. Без ідентифікації та видалення хмар із кожного обробленого зображення передбачення та аналітика матимуть значні неточності, а платформи агрономічних даних втратять довіру фермера. Оскільки постачальники платформ агрономічних даних зазвичай обслуговують клієнтів, які містять тисячі сільськогосподарських полів у різних географічних регіонах, платформи агрономічних даних вимагають комп’ютерного зору та автоматизованої системи для аналізу, ідентифікації та фільтрації хмар або інших атмосферних проблем на кожному супутниковому зображенні перед подальшою обробкою чи наданням аналітики. клієнтам.

Розробка, тестування та вдосконалення моделей комп’ютерного бачення ML, які виявляють хмари та атмосферні проблеми на супутникових зображеннях, є проблемою для розробників платформ агрономічних даних. По-перше, побудова каналів даних для прийому супутникових зображень потребує часу, ресурсів для розробки програмного забезпечення та ІТ-інфраструктури. Кожен постачальник супутникових зображень може сильно відрізнятися один від одного. Супутники часто збирають зображення з різною просторовою роздільною здатністю; роздільна здатність може коливатися від багатьох метрів на піксель до зображень із дуже високою роздільною здатністю, яка вимірюється в сантиметрах на піксель. Крім того, кожен супутник може збирати зображення з різними мультиспектральними діапазонами. Деякі смуги пройшли ретельну перевірку та показують сильну кореляцію з показниками розвитку та здоров’я рослин, а інші смуги можуть бути неактуальними для сільського господарства. Сузір'я супутників повертаються до однієї точки на землі з різною швидкістю. Маленькі сузір'я можуть відвідувати поле щотижня або більше, а більші сузір'я можуть повертатися до тієї самої області кілька разів на день. Ці відмінності в супутникових зображеннях і частотах також призводять до відмінностей у можливостях і функціях API. У сукупності ці відмінності означають, що платформам агрономічних даних може знадобитися підтримувати кілька конвеєрів даних із складними методологіями прийому даних.

По-друге, після того, як зображення завантажено та надано командам дистанційного зондування, дослідникам даних і агрономам, ці команди повинні зайнятися трудомістким процесом доступу, обробки та позначення кожної області на кожному зображенні як хмарної. З тисячами полів, розташованих у різних географічних регіонах, і кількома супутниковими зображеннями на поле, процес маркування може зайняти значну кількість часу та потребує постійного навчання з урахуванням розширення бізнесу, нових полів клієнтів або нових джерел зображень.

Інтегрований доступ до супутникових зображень і даних Sentinel для ML

Використовуючи геопросторові можливості SageMaker для розробки моделі ML дистанційного зондування та використовуючи супутникові зображення з Обмін даними AWS зручно доступний громадськості Служба простого зберігання Amazon (Amazon S3), розробники платформ агрономічних даних на AWS можуть досягати своїх цілей швидше та легше. У вашому сегменті S3 завжди є найновіші супутникові зображення Sentinel-1 і Sentinel-2, оскільки Open Data Exchange і Amazon Sustainability Data Initiative надати вам автоматизований вбудований доступ до супутникових зображень.

Наступна схема ілюструє цю архітектуру.

Геопросторові можливості SageMaker включають вбудовані попередньо підготовлені моделі глибокої нейронної мережі, такі як класифікація землекористування та хмарне маскування, з інтегрованим каталогом джерел геопросторових даних, включаючи супутникові зображення, карти та дані про місцезнаходження від AWS і третіх сторін. Завдяки інтегрованому каталогу геопросторових даних клієнти геопросторових даних SageMaker мають легший доступ до супутникових зображень та інших наборів геопросторових даних, що знімає тягар розробки складних конвеєрів прийому даних. Цей інтегрований каталог даних може прискорити побудову вашої власної моделі, а також обробку та збагачення великомасштабних наборів геопросторових даних за допомогою спеціально створених операцій, таких як статистика часу, повторна вибірка, мозаїка та зворотне геокодування. Можливість легко завантажувати зображення з Amazon S3 і використовувати попередньо навчені геопросторові моделі ML SageMaker, які автоматично ідентифікують хмари та оцінюють кожне супутникове зображення Sentinel-2, усуває потребу залучати команди дистанційного зондування, агрономії та науки про дані для отримання, обробки та вручну позначте хмарними регіонами тисячі супутникових зображень.

Геопросторові можливості SageMaker підтримують можливість визначати цікаву область (AOI) і цікавий час (TOI), шукати в архіві сегментів Open Data Exchange S3 зображення з геопросторовим перетином, які відповідають запиту, і повертати зображення в істинних кольорах, Нормалізований індекс різниці рослинності (NDVI), виявлення хмар і оцінки, а також земельний покрив. NDVI — це загальний індекс, який використовується із супутниковими зображеннями для розуміння здоров’я сільськогосподарських культур шляхом візуалізації вимірювань кількості хлорофілу та фотосинтетичної активності за допомогою нещодавно обробленого та кольорового зображення.

Користувачі геопросторових можливостей SageMaker можуть використовувати попередньо створений індекс NDVI або розробити власний. Геопросторові можливості SageMaker спрощують науковцям із обробки даних та інженерам МЛ швидше створювати, навчати та розгортати моделі МЛ швидше та в масштабі, використовуючи геопросторові дані та з меншими зусиллями, ніж раніше.

Фермерам і агрономам потрібен швидкий доступ до інформації в полі та вдома

Швидка доставка оброблених зображень і інформації фермерам і зацікавленим сторонам є важливою для агробізнесу та прийняття рішень на місцях. Визначення областей поганого здоров’я посівів на кожному полі протягом критичних проміжків часу дозволяє фермеру зменшити ризики шляхом застосування добрив, гербіцидів і пестицидів, де це необхідно, і навіть визначити зони потенційних претензій щодо страхування посівів. Зазвичай платформи агрономічних даних включають набір програм, включаючи веб-програми та мобільні програми. Ці програми забезпечують інтуїтивно зрозумілий інтерфейс користувача, який допомагає фермерам та їхнім довіреним зацікавленим сторонам безпечно переглядати кожне зі своїх полів і зображень, перебуваючи вдома, в офісі або стоячи на самому полі. Однак ці веб- і мобільні додатки потребують використання та швидкого відображення оброблених зображень і агрономічної інформації через API.

API -шлюз Amazon дозволяє розробникам легко створювати, публікувати, підтримувати, контролювати та захищати RESTful і WebSocket API у масштабі. с Шлюз API, інтегровано API доступу та авторизації Управління доступом до AWS Identity (IAM) і пропонує власну підтримку OIDC і OAuth2, а також Амазонка Когніто. Амазонка Когніто — це економічно ефективна служба керування ідентифікацією клієнтів і доступом (CIAM), яка підтримує безпечне сховище ідентифікаційних даних із параметрами об’єднання, які можна масштабувати до мільйонів користувачів.

Необроблені супутникові зображення можуть бути дуже великими, у деяких випадках сотні мегабайтів або навіть гігабайт на зображення. Оскільки в багатьох сільськогосподарських районах світу стільниковий зв’язок поганий або відсутній, важливо обробляти та обслуговувати зображення та статистичні дані в менших форматах і таким чином, щоб обмежити необхідну пропускну здатність. Тому, використовуючи AWS Lambda для розгортання сервера мозаїк можна повернути файли GeoTIFF, JPEG або інші формати зображень меншого розміру на основі поточного перегляду карти, який відображається користувачеві, на відміну від набагато більших розмірів і типів файлів, які знижують продуктивність. Об’єднавши тайл-сервер, розгорнутий через функції Lambda, із API-шлюзом для керування запитами до веб- і мобільних додатків, фермери та їхні довірені зацікавлені сторони можуть споживати зображення та геопросторові дані з одного або сотень полів одночасно зі скороченою затримкою та досягти оптимального користувача. досвід.

Доступ до геопросторових можливостей SageMaker можна отримати через інтуїтивно зрозумілий інтерфейс користувача, який дає змогу отримати легкий доступ до багатого каталогу геопросторових даних, трансформувати та збагачувати дані, навчати або використовувати цільові моделі, розгортати моделі для прогнозів, а також візуалізувати та досліджувати дані на комплексні карти та супутникові знімки. Щоб дізнатися більше про геопросторовий досвід користувача SageMaker, див Як Xarvio прискорив передачу просторових даних для цифрового землеробства за допомогою геопросторових можливостей Amazon SageMaker.

Платформи агрономічних даних надають кілька рівнів даних і розуміння в масштабі

Наведений нижче приклад інтерфейсу користувача демонструє, як розробник платформ агрономічних даних може інтегрувати аналітичну інформацію, надану геопросторовими можливостями SageMaker.

У цьому прикладі інтерфейсу користувача зображено загальні накладення геопросторових даних, якими користуються фермери та зацікавлені сторони в сільському господарстві. Тут споживач вибрав три окремих накладання даних. По-перше, базове кольорове супутникове зображення Sentinel-2, зроблене в жовтні 2020 року та доступне через інтегрований каталог геопросторових даних SageMaker. Це зображення було відфільтровано за допомогою попередньо навченої геопросторової моделі SageMaker, яка визначає хмарний покрив. Друге накладання даних — це набір меж поля, зображених білим контуром. Межа поля – це зазвичай багатокутник координат широти та довготи, який відображає природний рельєф поля ферми, або робоча межа, що розрізняє плани посівів. Третє накладення даних — це оброблені дані зображень у формі нормалізованого індексу різниці рослинності (NDVI). Крім того, зображення NDVI накладаються на межі відповідного поля, а таблиця класифікації кольорів NDVI зображена в лівій частині сторінки.

На наступному зображенні показано результати з використанням попередньо навченої моделі SageMaker, яка визначає хмарний покрив.

На цьому зображенні модель визначає хмари на супутниковому зображенні та застосовує жовту маску до кожної хмари на зображенні. Завдяки видаленню замаскованих пікселів (хмар) із подальшої обробки зображень подальша аналітика та продукти покращили точність і стали цінними для фермерів та їхніх довірених радників.

У місцях із слабким стільниковим покриттям зменшення затримки покращує роботу користувача

Щоб вирішити потребу в низькій затримці під час оцінки геопросторових даних і зображень дистанційного зондування, ви можете використовувати Amazon ElastiCache для кешування оброблених зображень, отриманих із запитів плиток, зроблених через Lambda. Зберігаючи запитані зображення в кеш-пам’яті, затримка ще більше зменшується, і немає необхідності повторно обробляти запити зображень. Це може підвищити продуктивність програми та зменшити тиск на бази даних. Оскільки Amazon ElastiCache підтримує багато параметрів конфігурації для стратегій кешування, міжрегіональної реплікації та автоматичного масштабування, постачальники платформи агрономічних даних можуть швидко розширювати масштаб відповідно до потреб додатків і продовжувати досягати економічної ефективності, сплачуючи лише за те, що необхідно.

Висновок

Ця публікація була зосереджена на обробці геопросторових даних, упровадженні даних дистанційного зондування з підтримкою машинного навчання та способах оптимізації та спрощення розробки та вдосконалення платформ агрономічних даних на AWS. Він проілюстрував кілька методів і сервісів, які розробники платформ агрономічних даних на сервісах AWS можуть використовувати для досягнення своїх цілей, зокрема SageMaker, Lambda, Amazon S3, Open Data Exchange і ElastiCache.

Щоб переглянути наскрізний приклад блокнота, який демонструє геопросторові можливості SageMaker, перейдіть до прикладу блокнота, доступного в наступному GitHub сховище. Ви можете переглянути, як ідентифікувати сільськогосподарські поля за допомогою моделей сегментації ML, або дослідити вже існуючі геопросторові моделі SageMaker і застосувати власну модель (BYOM) для таких геопросторових завдань, як землекористування та класифікація земельного покриву. Приклад наскрізного блокнота детально обговорюється в супровідній публікації Як Xarvio прискорив передачу просторових даних для цифрового землеробства за допомогою Amazon SageMaker Geospatial.

Будь ласка, зв’яжіться з нами, щоб дізнатися більше про те, як сільськогосподарська галузь вирішує важливі проблеми, пов’язані з глобальним постачанням продуктів харчування, ініціативами щодо відстеження та сталого розвитку за допомогою AWS Cloud.

---

Про авторів

Уілл Конрад є керівником рішень для сільськогосподарської галузі в AWS. Він захоплений тим, щоб допомогти клієнтам використовувати технології для покращення засобів до існування фермерів, впливу сільського господарства на навколишнє середовище та споживчого досвіду для людей, які споживають їжу. У вільний час він лагодить речі, грає в гольф і приймає замовлення від своїх чотирьох дітей.

Бішеш Адхікарі є архітектором прототипування машинного навчання в групі прототипування AWS. Він працює з клієнтами AWS над створенням рішень на основі різних варіантів використання штучного інтелекту та машинного навчання, щоб пришвидшити їх шлях до виробництва. У вільний час полюбляє піші прогулянки, подорожі та проводить час із сім’єю та друзями.

Пріянка Маханкалі є архітектором керівних рішень в AWS більше 5 років, розробляючи міжгалузеві рішення, включаючи технології, для глобальних клієнтів у сільському господарстві. Вона захоплена виведенням передових випадків використання на перший план і допомагає клієнтам створювати стратегічні рішення на AWS.

Рон Осборн є керівником глобальних технологій AWS для сільського господарства – WWSO та старшим архітектором рішень. Рон зосереджений на тому, щоб допомогти клієнтам і партнерам AWS в агробізнесі розробити та розгорнути безпечні, масштабовані, стійкі, еластичні та економічно ефективні рішення. Рон — ентузіаст космології, відомий інноватор у сфері ag-tech, він захоплений позиціонуванням клієнтів і партнерів для трансформації бізнесу та сталого успіху.