由于地缘政治冲突、供应链中断和气候变化,世界面临越来越大的全球粮食短缺风险。 同时,由于人口增长和饮食习惯的转变,人们对富含营养和蛋白质的食物的需求不断增加。 为了满足过剩需求,农民需要最大限度地提高作物产量并有效管理规模化经营,使用精准农业技术保持领先地位。
从历史上看,农民依靠继承的知识、反复试验和非规范的农艺建议来做出决定。 关键决定包括种植什么作物、施用多少肥料、如何控制害虫以及何时收割。 然而,随着对食物的需求不断增加以及收获产量最大化的需要,除了继承的知识外,农民还需要更多的信息。 遥感、物联网和机器人技术等创新技术有可能帮助农民摆脱传统决策。 由近乎实时的洞察力推动的数据驱动决策可以使农民缩小粮食需求增加的差距。
尽管农民传统上通过记录设备和产量数据或记录实地观察结果从他们的操作中手动收集数据,但 AWS 上的农艺数据平台的构建者帮助农民与他们信任的农艺顾问一起大规模使用这些数据。 小田地和经营更容易让农民看到整个田地寻找影响作物的问题。 然而,频繁地对大田地和农场的每个田地进行侦察是不可行的,成功的风险缓解需要一个集成的农艺数据平台来提供大规模的洞察力。 这些平台通过整合来自多个来源的信息以用于可视化和分析应用程序,帮助农民理解他们的数据。 地理空间数据,包括卫星图像、土壤数据、天气和地形数据,与农业设备在种植、施肥和收获作业期间收集的数据一起分层。 通过增强的地理空间数据分析、高级数据可视化和 AWS 技术的工作流程自动化来解锁洞察力,农民可以识别他们的田地和作物中出现问题的特定区域,并采取行动保护他们的作物和运营。 这些及时的见解有助于农民更好地与他们信任的农学家合作,以提高产量、减少环境足迹、提高盈利能力,并为子孙后代保持土地的生产力。
在这篇文章中,我们将了解如何使用从 Amazon SageMaker 地理空间功能 进入农艺数据平台的用户界面。 此外,我们还讨论了软件开发团队如何将先进的机器学习 (ML) 驱动的见解添加到他们的农艺数据平台,包括遥感算法、云掩蔽(自动检测卫星图像中的云)和自动图像处理管道。 这些新增功能共同帮助农艺师、软件开发人员、ML 工程师、数据科学家和遥感团队为农民提供可扩展的、有价值的决策支持系统。 这篇文章还提供了一个示例端到端笔记本和 GitHub存储库 展示了 SageMaker 的地理空间功能,包括基于 ML 的农田分割和预训练的农业地理空间模型。
将地理空间洞察力和预测添加到农艺数据平台中
已建立的数学和农艺模型与卫星图像相结合,可以通过卫星图像逐个像素地可视化作物的健康状况。 但是,这些已建立的模型需要访问不受云层或其他大气干扰影响的卫星图像,这些干扰会降低图像质量。 如果不从每张处理过的图像中识别和去除云层,预测和见解将出现严重的不准确,农艺数据平台将失去农民的信任。 由于农艺数据平台提供商通常服务于不同地域的数千个农田的客户,因此农艺数据平台需要计算机视觉和自动化系统来分析、识别和过滤每个卫星图像中的云或其他大气问题,然后再进一步处理或提供分析给客户。
开发、测试和改进用于检测卫星图像中的云和大气问题的 ML 计算机视觉模型对农艺数据平台的构建者提出了挑战。 首先,构建数据管道以摄取卫星图像需要时间、软件开发资源和 IT 基础设施。 每个卫星图像提供商之间可能存在很大差异。 卫星经常以不同的空间分辨率收集图像; 分辨率范围从每像素数米到以每像素厘米为单位的超高分辨率图像。 此外,每颗卫星可能会收集具有不同多光谱波段的图像。 一些波段已经过全面测试并显示出与植物发育和健康指标的强相关性,而其他波段可能与农业无关。 卫星星座以不同的速率重访地球上的同一地点。 小的星座可能每周或更长时间重访一个领域,而较大的星座可能每天多次重访同一区域。 卫星图像和频率的这些差异也会导致 API 功能和特性的差异。 结合起来,这些差异意味着农艺数据平台可能需要使用复杂的摄取方法来维护多个数据管道。
其次,在图像被摄取并提供给遥感团队、数据科学家和农学家之后,这些团队必须参与一个耗时的过程,即访问、处理每个图像中的每个区域并将其标记为多云。 由于数千个字段分布在不同的地理位置,每个字段有多个卫星图像,因此标记过程可能需要大量时间,并且必须不断进行培训以应对业务扩展、新客户领域或新图像来源。
集成访问 Sentinel 卫星图像和 ML 数据
通过使用 SageMaker 地理空间功能进行遥感 ML 模型开发,并使用来自 AWS数据交换 方便公众 亚马逊简单存储服务 (Amazon S3) 桶,AWS 上的农艺数据平台构建者可以更快、更轻松地实现他们的目标。 您的 S3 存储桶始终包含来自 Sentinel-1 和 Sentinel-2 的最新卫星图像,因为 Open Data 亚马逊可持续发展数据计划 为您提供对卫星图像的自动内置访问。
下图说明了此体系结构。
SageMaker 地理空间功能包括内置的预训练深度神经网络模型,例如土地使用分类和云掩蔽,以及地理空间数据源的集成目录,包括来自 AWS 和第三方的卫星图像、地图和位置数据。 借助集成的地理空间数据目录,SageMaker 地理空间客户可以更轻松地访问卫星图像和其他地理空间数据集,从而消除开发复杂数据摄取管道的负担。 这个集成的数据目录可以通过时间统计、重采样、镶嵌和反向地理编码等专门构建的操作来加速您自己的模型构建以及大规模地理空间数据集的处理和丰富。 能够轻松地从 Amazon S3 摄取图像并使用 SageMaker 地理空间预训练 ML 模型自动识别云并对每个 Sentinel-2 卫星图像进行评分,从而无需让遥感、农学和数据科学团队摄取、处理和分析用多云区域手动标记数以千计的卫星图像。
SageMaker 地理空间功能支持定义感兴趣区域 (AOI) 和感兴趣时间 (TOI)、在 Open Data Exchange S3 存储桶存档中搜索具有满足请求的地理空间相交的图像并返回真彩色图像的能力,归一化差异植被指数 (NDVI)、云检测和分数以及土地覆盖。 NDVI 是与卫星图像一起使用的常用指标,通过新处理和颜色编码的图像可视化测量叶绿素和光合活动的量,从而了解农作物的健康状况。
SageMaker 地理空间功能的用户可以使用预构建的 NDVI 索引或开发自己的索引。 SageMaker 地理空间功能使数据科学家和 ML 工程师能够更轻松地使用地理空间数据更快地大规模构建、训练和部署 ML 模型,而且工作量比以前更少。
农民和农艺师需要在田间和家中快速获得见解
及时向农民和利益相关者提供处理过的图像和见解对于农业综合企业和现场决策非常重要。 在关键时间窗口内识别每个田地作物健康状况不佳的区域,使农民能够通过在需要时施用化肥、除草剂和杀虫剂来减轻风险,甚至识别潜在的作物保险索赔区域。 农艺数据平台通常包含一套应用程序,包括网络应用程序和移动应用程序。 这些应用程序提供直观的用户界面,帮助农民和他们信任的利益相关者在家中、办公室或站在田间时安全地查看他们的每个田地和图像。 然而,这些网络和移动应用程序需要通过 API 使用并快速显示处理过的图像和农艺见解。
Amazon API网关 使开发人员可以轻松地大规模创建、发布、维护、监控和保护 RESTful 和 WebSocket API。 和 API网关, API 访问和授权与 AWS 身份访问管理 (IAM),并提供原生 OIDC 和 OAuth2 支持,以及 亚马逊Cognito. 亚马逊Cognito 是一种具有成本效益的客户身份和访问管理 (CIAM) 服务,支持安全身份存储,具有可扩展到数百万用户的联合选项。
未经处理的原始卫星图像可能非常大,在某些情况下,每张图像可达数百兆字节甚至千兆字节。 由于世界上许多农业地区的蜂窝连接性较差或没有,因此以较小的格式和限制所需带宽的方式处理和提供图像和见解非常重要。 因此,通过使用 AWS Lambda 为了部署切片服务器,可以根据显示给用户的当前地图视图返回较小尺寸的 GeoTIFF、JPEG 或其他图像格式,而不是会降低性能的大得多的文件尺寸和类型。 通过将通过 Lambda 函数部署的切片服务器与 API 网关相结合来管理对 Web 和移动应用程序的请求,农民及其信任的利益相关者可以一次使用来自一个或数百个字段的图像和地理空间数据,同时减少延迟,并实现最佳用户经验。
可以通过直观的用户界面访问 SageMaker 地理空间功能,使您能够轻松访问丰富的地理空间数据目录、转换和丰富数据、训练或使用专门构建的模型、部署模型进行预测,以及可视化和探索数据集成地图和卫星图像。 要阅读有关 SageMaker 地理空间用户体验的更多信息,请参阅 Xarvio 如何使用 Amazon SageMaker 地理空间功能加速数字农业的空间数据管道.
农艺数据平台可大规模提供多层数据和见解
以下示例用户界面演示了农艺数据平台的构建者如何集成 SageMaker 地理空间功能提供的见解。
此示例用户界面描述了农民和农业利益相关者使用的常见地理空间数据叠加层。 在这里,消费者选择了三个独立的数据叠加层。 首先,基础的 Sentinel-2 自然彩色卫星图像拍摄于 2020 年 XNUMX 月,并通过集成的 SageMaker 地理空间数据目录提供。 此图像是使用识别云层的 SageMaker 地理空间预训练模型过滤的。 第二个数据覆盖是一组田地边界,用白色轮廓描绘。 田地边界通常是反映农田自然地形的经纬度坐标的多边形,或区分作物计划的操作边界。 第三个数据叠加层是以归一化差异植被指数 (NDVI) 形式处理的图像数据。 此外,NDVI 图像覆盖在相应的田地边界上,页面左侧描绘了 NDVI 颜色分类图。
下图描述了使用识别云量的 SageMaker 预训练模型的结果。
在此图像中,该模型识别卫星图像中的云,并在图像中的每个云上应用黄色遮罩。 通过从进一步的图像处理中去除蒙版像素(云),下游分析和产品提高了准确性,并为农民及其信任的顾问提供了价值。
在蜂窝网络覆盖较差的地区,减少延迟可改善用户体验
为了满足评估地理空间数据和遥感图像时对低延迟的需求,您可以使用 亚马逊 ElastiCache 缓存从通过 Lambda 发出的磁贴请求中检索到的已处理图像。 通过将请求的图像存储到高速缓存中,延迟进一步减少,并且无需重新处理图像请求。 这可以提高应用程序性能并减轻数据库压力。 因为 亚马逊 ElastiCache 支持缓存策略、跨区域复制和自动缩放的许多配置选项,农艺数据平台提供商可以根据应用程序需求快速扩展,并通过只为需要的东西付费来继续实现成本效益。
结论
这篇文章的重点是地理空间数据处理、实施支持 ML 的遥感洞察力,以及简化和简化 AWS 上农艺数据平台的开发和增强的方法。 它说明了 AWS 服务上的农艺数据平台构建者可以用来实现其目标的几种方法和服务,包括 SageMaker、Lambda、Amazon S3、Open Data Exchange 和 ElastiCache。
要遵循演示 SageMaker 地理空间功能的端到端示例笔记本,请访问以下位置提供的示例笔记本 GitHub存储库. 您可以查看如何通过 ML 分割模型识别农田,或探索现有的 SageMaker 地理空间模型以及在土地利用和土地覆盖分类等地理空间任务中自带模型 (BYOM) 功能。 配套帖子中详细讨论了端到端示例笔记本 Xarvio 如何使用 Amazon SageMaker Geospatial 加速数字农业的空间数据管道.
请联系我们,详细了解农业行业如何使用 AWS 云解决与全球食品供应、可追溯性和可持续性计划相关的重要问题。
关于作者
威尔·康拉德 是 AWS 农业行业解决方案的负责人。 他热衷于帮助客户利用技术改善农民的生计、农业对环境的影响以及食品消费者的消费体验。 在业余时间,他修理东西、打高尔夫球,并接受四个孩子的命令。
比舍什·阿迪卡里 是 AWS 原型设计团队的机器学习原型设计架构师。 他与 AWS 客户合作,针对各种人工智能和机器学习用例构建解决方案,以加速他们的生产之旅。 在空闲时间,他喜欢徒步旅行、旅行以及与家人和朋友共度时光。
普里扬卡·马汉卡利 是 AWS 的指导解决方案架构师,在构建跨行业解决方案(包括为全球农业客户提供技术)方面拥有超过 5 年的经验。 她热衷于将尖端用例带到最前沿,并帮助客户在 AWS 上构建战略解决方案。
罗恩·奥斯本 是 AWS 全球农业技术主管 – WWSO 和高级解决方案架构师。 Ron 专注于帮助 AWS 农业综合企业客户和合作伙伴开发和部署安全、可扩展、有弹性、弹性且经济高效的解决方案。 Ron 是一位宇宙学爱好者,是农业科技领域的知名创新者,热衷于为客户和合作伙伴定位业务转型和可持续成功。