Crie uma plataforma de dados agronômicos com os recursos geoespaciais do Amazon SageMaker

O mundo corre um risco crescente de escassez global de alimentos como consequência de conflitos geopolíticos, interrupções na cadeia de suprimentos e mudanças climáticas. Simultaneamente, há um aumento na demanda geral devido ao crescimento populacional e à mudança de dietas que se concentram em alimentos ricos em nutrientes e proteínas. Para atender ao excesso de demanda, os agricultores precisam maximizar o rendimento da colheita e gerenciar com eficácia as operações em escala, usando a tecnologia de agricultura de precisão para se manter à frente.

Historicamente, os agricultores contam com conhecimento herdado, tentativa e erro e conselhos agronômicos não prescritivos para tomar decisões. As principais decisões incluem quais culturas plantar, quanto fertilizante aplicar, como controlar pragas e quando colher. No entanto, com uma demanda crescente por alimentos e a necessidade de maximizar o rendimento da colheita, os agricultores precisam de mais informações além do conhecimento herdado. Tecnologias inovadoras, como sensoriamento remoto, IoT e robótica, têm o potencial de ajudar os agricultores a superar a tomada de decisões herdada. Decisões baseadas em dados alimentadas por insights quase em tempo real podem permitir que os agricultores preencham a lacuna no aumento da demanda por alimentos.

Embora os agricultores tenham tradicionalmente coletado dados manualmente de suas operações, registrando equipamentos e dados de rendimento ou fazendo anotações de observações de campo, os criadores de plataformas de dados agronômicos na AWS ajudam os agricultores a trabalhar com seus consultores agronômicos confiáveis ​​para usar esses dados em escala. Campos pequenos e operações permitem mais facilmente que um agricultor veja todo o campo para procurar problemas que afetam a colheita. No entanto, o reconhecimento frequente de cada campo para grandes campos e fazendas não é viável, e a mitigação de riscos bem-sucedida requer uma plataforma integrada de dados agronômicos que pode trazer insights em escala. Essas plataformas ajudam os agricultores a entender seus dados, integrando informações de várias fontes para uso em aplicativos de visualização e análise. Dados geoespaciais, incluindo imagens de satélite, dados de solo, clima e dados de topografia, são agrupados em camadas com dados coletados por equipamentos agrícolas durante o plantio, aplicação de nutrientes e operações de colheita. Ao liberar insights por meio de análises de dados geoespaciais aprimoradas, visualizações avançadas de dados e automação de fluxos de trabalho por meio da tecnologia AWS, os agricultores podem identificar áreas específicas de seus campos e colheitas que estão enfrentando problemas e tomar medidas para proteger suas plantações e operações. Essas percepções oportunas ajudam os agricultores a trabalhar melhor com seus agrônomos de confiança para produzir mais, reduzir sua pegada ambiental, melhorar sua lucratividade e manter sua terra produtiva para as próximas gerações.

Nesta postagem, veremos como você pode usar as previsões geradas por Recursos geoespaciais do Amazon SageMaker em uma interface de usuário de uma plataforma de dados agronômicos. Além disso, discutimos como as equipes de desenvolvimento de software estão adicionando insights avançados orientados por aprendizado de máquina (ML), incluindo algoritmos de sensoriamento remoto, mascaramento de nuvens (detecção automática de nuvens em imagens de satélite) e pipelines automatizados de processamento de imagens em suas plataformas de dados agronômicos. Juntos, esses acréscimos ajudam agrônomos, desenvolvedores de software, engenheiros de ML, cientistas de dados e equipes de sensoriamento remoto a fornecer sistemas de suporte de tomada de decisão escaláveis ​​e valiosos para os agricultores. Esta postagem também fornece um exemplo de notebook de ponta a ponta e Repositório GitHub que demonstra os recursos geoespaciais do SageMaker, incluindo segmentação de campos agrícolas baseada em ML e modelos geoespaciais pré-treinados para agricultura.

Adicionando insights geoespaciais e previsões em plataformas de dados agronômicos

Modelos matemáticos e agronômicos estabelecidos combinados com imagens de satélite permitem a visualização da saúde e do status de uma cultura por imagem de satélite, pixel por pixel, ao longo do tempo. No entanto, esses modelos estabelecidos requerem acesso a imagens de satélite que não sejam obstruídas por nuvens ou outras interferências atmosféricas que reduzam a qualidade da imagem. Sem identificar e remover as nuvens de cada imagem processada, as previsões e percepções terão imprecisões significativas e as plataformas de dados agronômicos perderão a confiança do agricultor. Como os provedores de plataformas de dados agronômicos geralmente atendem a clientes que abrangem milhares de campos agrícolas em várias regiões geográficas, as plataformas de dados agronômicos exigem visão computacional e um sistema automatizado para analisar, identificar e filtrar nuvens ou outros problemas atmosféricos em cada imagem de satélite antes de processar ou fornecer análises adicionais para clientes.

Desenvolver, testar e melhorar modelos de visão computacional ML que detectam nuvens e problemas atmosféricos em imagens de satélite apresenta desafios para os criadores de plataformas de dados agronômicos. Primeiro, construir pipelines de dados para ingerir imagens de satélite requer tempo, recursos de desenvolvimento de software e infraestrutura de TI. Cada provedor de imagens de satélite pode ser muito diferente um do outro. Os satélites freqüentemente coletam imagens em diferentes resoluções espaciais; as resoluções podem variar de muitos metros por pixel até imagens de alta resolução medidas em centímetros por pixel. Além disso, cada satélite pode coletar imagens com diferentes bandas multiespectrais. Algumas bandas foram exaustivamente testadas e mostram forte correlação com o desenvolvimento da planta e indicadores de saúde, e outras bandas podem ser irrelevantes para a agricultura. As constelações de satélites revisitam o mesmo ponto da Terra em taxas diferentes. Constelações pequenas podem revisitar um campo a cada semana ou mais, e constelações maiores podem revisitar a mesma área várias vezes por dia. Essas diferenças nas imagens e frequências de satélite também levam a diferenças nos recursos e recursos da API. Combinadas, essas diferenças significam que as plataformas de dados agronômicos podem precisar manter vários pipelines de dados com metodologias de ingestão complexas.

Em segundo lugar, depois que as imagens são ingeridas e disponibilizadas para equipes de sensoriamento remoto, cientistas de dados e agrônomos, essas equipes devem se envolver em um processo demorado de acessar, processar e rotular cada região dentro de cada imagem como nublada. Com milhares de campos espalhados por regiões geográficas variadas e várias imagens de satélite por campo, o processo de rotulagem pode levar um tempo significativo e deve ser continuamente treinado para levar em conta a expansão dos negócios, novos campos de clientes ou novas fontes de imagens.

Acesso integrado a imagens e dados de satélite Sentinel para ML

Usando os recursos geoespaciais do SageMaker para desenvolvimento de modelo de ML de sensoriamento remoto e consumindo imagens de satélite do Troca de dados da AWS público convenientemente disponível Serviço de armazenamento simples da Amazon (Amazon S3), os criadores de plataformas de dados agronômicos na AWS podem atingir seus objetivos com mais rapidez e facilidade. Seu bucket S3 sempre tem as imagens de satélite mais atualizadas do Sentinel-1 e do Sentinel-2 porque o Open Data Exchange e o Iniciativa de Dados de Sustentabilidade da Amazônia fornecer a você acesso integrado automatizado a imagens de satélite.

O diagrama a seguir ilustra essa arquitetura.

Os recursos geoespaciais do SageMaker incluem modelos de rede neural profunda pré-treinados integrados, como classificação de uso da terra e máscara de nuvem, com um catálogo integrado de fontes de dados geoespaciais, incluindo imagens de satélite, mapas e dados de localização da AWS e de terceiros. Com um catálogo de dados geoespaciais integrado, os clientes geoespaciais do SageMaker têm acesso mais fácil a imagens de satélite e outros conjuntos de dados geoespaciais que eliminam o fardo de desenvolver pipelines complexos de ingestão de dados. Este catálogo de dados integrado pode acelerar a construção de seu próprio modelo e o processamento e enriquecimento de conjuntos de dados geoespaciais de grande escala com operações específicas, como estatísticas de tempo, reamostragem, mosaico e geocodificação reversa. A capacidade de ingerir facilmente imagens do Amazon S3 e usar modelos de ML geoespaciais pré-treinados do SageMaker que identificam nuvens e pontuam automaticamente cada imagem de satélite Sentinel-2 elimina a necessidade de envolver equipes de sensoriamento remoto, agronomia e ciência de dados para ingerir, processar e rotule manualmente milhares de imagens de satélite com regiões nubladas.

Os recursos geoespaciais do SageMaker suportam a capacidade de definir uma área de interesse (AOI) e um tempo de interesse (TOI), pesquisar no arquivo de balde Open Data Exchange S3 por imagens com uma interseção geoespacial que atenda à solicitação e retornar imagens em cores verdadeiras, Índice de Vegetação por Diferença Normalizada (NDVI), detecção e pontuações de nuvens e cobertura da terra. O NDVI é um índice comum usado com imagens de satélite para entender a saúde das plantações, visualizando medições da quantidade de clorofila e da atividade fotossintética por meio de uma imagem recém-processada e codificada por cores.

Os usuários dos recursos geoespaciais do SageMaker podem usar o índice NDVI pré-criado ou desenvolver o seu próprio. Os recursos geoespaciais do SageMaker tornam mais fácil para cientistas de dados e engenheiros de ML criar, treinar e implantar modelos de ML mais rapidamente e em escala usando dados geoespaciais e com menos esforço do que antes.

Agricultores e agrônomos precisam de acesso rápido a insights no campo e em casa

A entrega imediata de imagens processadas e insights para agricultores e partes interessadas é importante para os agronegócios e para a tomada de decisões no campo. A identificação de áreas de má saúde da lavoura em cada campo durante janelas críticas de tempo permite que o agricultor mitigue os riscos aplicando fertilizantes, herbicidas e pesticidas onde necessário e até mesmo identificando áreas de possíveis reivindicações de seguro da lavoura. É comum que as plataformas de dados agronômicos incluam um conjunto de aplicativos, incluindo aplicativos da web e aplicativos móveis. Esses aplicativos fornecem interfaces de usuário intuitivas que ajudam os agricultores e suas partes interessadas de confiança a revisar com segurança cada um de seus campos e imagens em casa, no escritório ou no próprio campo. Esses aplicativos da Web e móveis, no entanto, precisam consumir e exibir rapidamente imagens processadas e informações agronômicas por meio de APIs.

Gateway de API da Amazon facilita para os desenvolvedores criar, publicar, manter, monitorar e proteger APIs RESTful e WebSocket em escala. Com Gateway de API, o acesso e a autorização da API são integrados com Gerenciamento de acesso de identidade da AWS (IAM) e oferece suporte nativo a OIDC e OAuth2, bem como Amazon Cognito. Amazon Cognito é um serviço econômico de gerenciamento de acesso e identidade do cliente (CIAM) que oferece suporte a um armazenamento de identidade seguro com opções de federação que podem ser dimensionadas para milhões de usuários.

As imagens de satélite brutas e não processadas podem ser muito grandes, em alguns casos centenas de megabytes ou mesmo gigabytes por imagem. Como muitas áreas agrícolas do mundo têm pouca ou nenhuma conectividade celular, é importante processar e fornecer imagens e insights em formatos menores e de maneiras que limitem a largura de banda necessária. Portanto, ao usar AWS Lambda para implantar um servidor lado a lado, GeoTIFFs, JPEGs ou outros formatos de imagem de tamanho menor podem ser retornados com base na exibição de mapa atual exibida para um usuário, em oposição a tamanhos e tipos de arquivo muito maiores que diminuem o desempenho. Ao combinar um servidor de blocos implantado por meio de funções do Lambda com o API Gateway para gerenciar solicitações de aplicativos móveis e da Web, os agricultores e suas partes interessadas confiáveis ​​podem consumir imagens e dados geoespaciais de um ou centenas de campos de uma só vez, com latência reduzida e obter um usuário ideal experiência.

Os recursos geoespaciais do SageMaker podem ser acessados ​​por meio de uma interface de usuário intuitiva que permite obter acesso fácil a um rico catálogo de dados geoespaciais, transformar e enriquecer dados, treinar ou usar modelos de construção específicos, implantar modelos para previsões e visualizar e explorar dados em mapas integrados e imagens de satélite. Para ler mais sobre a experiência do usuário geoespacial do SageMaker, consulte Como o Xarvio acelerou pipelines de dados espaciais para agricultura digital com recursos geoespaciais do Amazon SageMaker.

As plataformas de dados agronômicos fornecem várias camadas de dados e insights em escala

O exemplo de interface de usuário a seguir demonstra como um construtor de plataformas de dados agronômicos pode integrar insights fornecidos pelos recursos geoespaciais do SageMaker.

Esta interface de usuário de exemplo descreve sobreposições de dados geoespaciais comuns consumidas por agricultores e partes interessadas agrícolas. Aqui, o consumidor selecionou três sobreposições de dados separadas. Primeiro, a imagem subjacente do satélite Sentinel-2 em cores naturais, obtida em outubro de 2020 e disponibilizada por meio do catálogo de dados geoespaciais integrado do SageMaker. Esta imagem foi filtrada usando o modelo pré-treinado geoespacial SageMaker que identifica a cobertura de nuvens. A segunda sobreposição de dados é um conjunto de limites de campo, representado por um contorno branco. Um limite de campo é geralmente um polígono de coordenadas de latitude e longitude que reflete a topografia natural de um campo agrícola ou limite operacional que diferencia planos de cultivo. A terceira sobreposição de dados são dados de imagens processadas na forma de Índice de Vegetação por Diferença Normalizada (NDVI). Além disso, as imagens NDVI são sobrepostas no respectivo limite de campo e um gráfico de classificação de cores NDVI é representado no lado esquerdo da página.

A imagem a seguir mostra os resultados usando um modelo pré-treinado do SageMaker que identifica a cobertura de nuvens.

Nesta imagem, o modelo identifica nuvens dentro da imagem de satélite e aplica uma máscara amarela sobre cada nuvem dentro da imagem. Ao remover os pixels mascarados (nuvens) do processamento adicional de imagens, análises e produtos downstream melhoraram a precisão e agregam valor aos agricultores e seus consultores de confiança.

Em áreas de baixa cobertura celular, a redução da latência melhora a experiência do usuário

Para atender à necessidade de baixa latência ao avaliar dados geoespaciais e imagens de sensoriamento remoto, você pode usar Amazon ElastiCache para armazenar em cache imagens processadas recuperadas de solicitações de blocos feitas por meio do Lambda. Ao armazenar as imagens solicitadas em uma memória cache, a latência é ainda mais reduzida e não há necessidade de reprocessar as solicitações de imagens. Isso pode melhorar o desempenho do aplicativo e reduzir a pressão sobre os bancos de dados. Porque Amazon ElastiCache oferece suporte a muitas opções de configuração para estratégias de cache, replicação entre regiões e dimensionamento automático, os provedores de plataforma de dados agronômicos podem escalar rapidamente com base nas necessidades do aplicativo e continuar a obter eficiência de custo pagando apenas pelo que é necessário.

Conclusão

Esta postagem se concentrou no processamento de dados geoespaciais, na implementação de insights de sensoriamento remoto habilitados para ML e em formas de agilizar e simplificar o desenvolvimento e o aprimoramento de plataformas de dados agronômicos na AWS. Ele ilustrou vários métodos e serviços que os criadores de plataformas de dados agronômicos nos serviços da AWS podem usar para atingir seus objetivos, incluindo SageMaker, Lambda, Amazon S3, Open Data Exchange e ElastiCache.

Para seguir um notebook de exemplo de ponta a ponta que demonstra os recursos geoespaciais do SageMaker, acesse o notebook de exemplo disponível no seguinte Repositório GitHub. Você pode revisar como identificar campos agrícolas por meio de modelos de segmentação de ML ou explorar os modelos geoespaciais SageMaker preexistentes e a funcionalidade traga seu próprio modelo (BYOM) em tarefas geoespaciais, como classificação de uso e cobertura da terra. O notebook de exemplo de ponta a ponta é discutido em detalhes na postagem complementar Como o Xarvio acelerou pipelines de dados espaciais para agricultura digital com o Amazon SageMaker Geospatial.

Entre em contato conosco para saber mais sobre como o setor agrícola está resolvendo problemas importantes relacionados ao fornecimento global de alimentos, rastreabilidade e iniciativas de sustentabilidade usando a Nuvem AWS.

---

Sobre os autores

Will Conrado é o chefe de soluções para o setor agrícola da AWS. Ele é apaixonado por ajudar os clientes a usar a tecnologia para melhorar os meios de subsistência dos agricultores, o impacto ambiental da agricultura e a experiência do consumidor para as pessoas que comem alimentos. Em seu tempo livre, ele conserta coisas, joga golfe e recebe ordens de seus quatro filhos.

Bishesh Adhikari é arquiteto de prototipagem de aprendizado de máquina na equipe de prototipagem da AWS. Ele trabalha com clientes da AWS para criar soluções em vários casos de uso de IA e aprendizado de máquina para acelerar sua jornada para a produção. Em seu tempo livre, gosta de caminhar, viajar e passar o tempo com a família e amigos.

Priyanka Mahankali é Arquiteto de Soluções de Orientação na AWS por mais de 5 anos desenvolvendo soluções para vários setores, incluindo tecnologia para clientes agrícolas globais. Ela é apaixonada por trazer casos de uso de ponta para o primeiro plano e ajudar os clientes a criar soluções estratégicas na AWS.

Ron Osborne é líder global de tecnologia da AWS para agricultura – WWSO e arquiteto de soluções sênior. Ron está focado em ajudar os clientes e parceiros do agronegócio da AWS a desenvolver e implantar soluções seguras, escaláveis, resilientes, elásticas e econômicas. Ron é um entusiasta da cosmologia, um inovador estabelecido em tecnologia agrícola e apaixonado por posicionar clientes e parceiros para transformação de negócios e sucesso sustentável.