Zgradite platformo za agronomske podatke z geoprostorskimi zmogljivostmi Amazon SageMaker

Svet je izpostavljen vse večjemu tveganju svetovnega pomanjkanja hrane kot posledice geopolitičnih konfliktov, motenj v dobavni verigi in podnebnih sprememb. Hkrati se povečuje splošno povpraševanje zaradi rasti prebivalstva in spreminjanja prehrane, ki se osredotoča na hrano, bogato s hranili in beljakovinami. Da bi zadostili presežnemu povpraševanju, morajo kmetje čim bolj povečati pridelek in učinkovito upravljati operacije v velikem obsegu z uporabo tehnologije natančnega kmetovanja, da ostanejo v prednosti.

V zgodovini so se kmetje pri odločanju zanašali na podedovano znanje, poskuse in napake ter agronomske nasvete, ki niso bili predpisani. Ključne odločitve vključujejo, katere pridelke posaditi, koliko gnojil uporabiti, kako zatirati škodljivce in kdaj pobirati pridelek. Vendar z naraščajočim povpraševanjem po hrani in potrebo po maksimiranju pridelka kmetje poleg podedovanega znanja potrebujejo več informacij. Inovativne tehnologije, kot so daljinsko zaznavanje, IoT in robotika, imajo potencial, da kmetom pomagajo premagati podedovano odločanje. Odločitve na podlagi podatkov, ki jih spodbujajo vpogledi v skoraj realnem času, lahko kmetom omogočijo, da zapolnijo vrzel zaradi povečanega povpraševanja po hrani.

Čeprav so kmetje tradicionalno ročno zbirali podatke o svojih dejavnostih s snemanjem opreme in podatkov o pridelku ali beleženjem opazovanj na terenu, graditelji agronomskih podatkovnih platform na AWS pomagajo kmetom pri delu z njihovimi zaupanja vrednimi agronomskimi svetovalci pri uporabi teh podatkov v velikem obsegu. Majhna polja in operacije kmetu omogočajo lažji vpogled v celotno polje, da poišče težave, ki vplivajo na pridelek. Vendar pogosto pregledovanje vsakega polja za velika polja in kmetije ni izvedljivo, uspešno zmanjševanje tveganja pa zahteva integrirano agronomsko podatkovno platformo, ki lahko prinese vpoglede v velikem obsegu. Te platforme pomagajo kmetom razumeti njihove podatke z integracijo informacij iz več virov za uporabo v vizualizacijskih in analitičnih aplikacijah. Geoprostorski podatki, vključno s satelitskimi posnetki, podatki o tleh, vremenskimi in topografskimi podatki, so razvrščeni skupaj s podatki, ki jih zbira kmetijska oprema med sajenjem, nanašanjem hranil in žetvijo. Z odklepanjem vpogledov prek izboljšane analitike geoprostorskih podatkov, naprednih vizualizacij podatkov in avtomatizacije delovnih tokov prek tehnologije AWS lahko kmetje prepoznajo specifična področja svojih polj in pridelkov, ki se srečujejo s težavami, ter ukrepajo za zaščito svojih pridelkov in dejavnosti. Ti pravočasni vpogledi pomagajo kmetom bolje sodelovati s svojimi zaupanja vrednimi agronomi, da pridelajo več, zmanjšajo svoj okoljski odtis, izboljšajo svojo donosnost in ohranijo svojo zemljo produktivno za prihodnje generacije.

V tej objavi si ogledamo, kako lahko uporabite napovedi, ustvarjene iz Geoprostorske zmogljivosti Amazon SageMaker v uporabniški vmesnik agronomske podatkovne platforme. Poleg tega razpravljamo o tem, kako ekipe za razvoj programske opreme svojim platformam za agronomske podatke dodajajo napredne vpoglede, ki temeljijo na strojnem učenju (ML), vključno z algoritmi za daljinsko zaznavanje, maskiranjem oblakov (samodejno zaznavanje oblakov v satelitskih posnetkih) in cevovode za avtomatizirano obdelavo slik. Ti dodatki skupaj pomagajo agronomom, razvijalcem programske opreme, inženirjem ML, podatkovnim znanstvenikom in ekipam za daljinsko zaznavanje kmetom zagotoviti razširljive, dragocene sisteme za podporo odločanju. Ta objava ponuja tudi primer zvezka od konca do konca in GitHub repozitorij ki prikazuje geoprostorske zmožnosti SageMaker, vključno s segmentacijo kmetijskih polj na osnovi ML in predhodno usposobljenimi geoprostorskimi modeli za kmetijstvo.

Dodajanje geoprostorskih vpogledov in napovedi v platforme agronomskih podatkov

Uveljavljeni matematični in agronomski modeli v kombinaciji s satelitskimi posnetki omogočajo vizualizacijo zdravja in stanja pridelka s satelitsko sliko, slikovno piko za slikovno piko, skozi čas. Vendar pa ti uveljavljeni modeli zahtevajo dostop do satelitskih posnetkov, ki jih ne ovirajo oblaki ali druge atmosferske motnje, ki zmanjšujejo kakovost slike. Brez prepoznavanja in odstranjevanja oblakov iz vsake obdelane slike bodo napovedi in vpogledi precej netočni, platforme za agronomske podatke pa bodo izgubile zaupanje kmeta. Ker ponudniki platform za agronomske podatke običajno služijo strankam, ki obsegajo na tisoče kmetijskih polj na različnih geografskih območjih, platforme za agronomske podatke zahtevajo računalniški vid in avtomatiziran sistem za analizo, prepoznavanje in filtriranje oblakov ali drugih atmosferskih težav znotraj vsake satelitske slike pred nadaljnjo obdelavo ali zagotavljanjem analitike strankam.

Razvoj, preizkušanje in izboljšanje modelov računalniškega vida ML, ki zaznavajo oblake in atmosferske težave na satelitskih posnetkih, predstavlja izziv za graditelje agronomskih podatkovnih platform. Prvič, izgradnja podatkovnih cevovodov za zajemanje satelitskih posnetkov zahteva čas, sredstva za razvoj programske opreme in infrastrukturo IT. Vsak ponudnik satelitskih posnetkov se lahko med seboj močno razlikuje. Sateliti pogosto zbirajo slike v različnih prostorskih ločljivostih; ločljivosti se lahko gibljejo od več metrov na slikovno piko do slik zelo visoke ločljivosti, izmerjenih v centimetrih na slikovno piko. Poleg tega lahko vsak satelit zbira posnetke z različnimi večspektralnimi pasovi. Nekateri pasovi so bili temeljito preizkušeni in kažejo močno korelacijo z razvojem rastlin in zdravstvenimi kazalniki, drugi pasovi pa so lahko nepomembni za kmetijstvo. Satelitska ozvezdja ponovno obiščejo isto mesto na zemlji z različnimi hitrostmi. Majhna ozvezdja lahko ponovno obiščejo polje vsak teden ali več, večja ozvezdja pa lahko ponovno obiščejo isto območje večkrat na dan. Te razlike v satelitskih slikah in frekvencah vodijo tudi do razlik v zmogljivostih in funkcijah API-ja. Skupaj te razlike pomenijo, da bodo platforme za agronomske podatke morda morale vzdrževati več podatkovnih cevovodov s kompleksnimi metodologijami vnosa.

Drugič, potem ko so posnetki zaužiti in dani na voljo ekipam za daljinsko zaznavanje, podatkovnim znanstvenikom in agronomom, se morajo te ekipe vključiti v dolgotrajen proces dostopanja, obdelave in označevanja vsake regije znotraj vsake slike kot motne. Ker je na tisoče polj, razpršenih po različnih geografskih območjih, in več satelitskih posnetkov na polje lahko postopek označevanja traja precej časa in ga je treba nenehno usposabljati, da upošteva širjenje poslovanja, nova področja strank ali nove vire posnetkov.

Integriran dostop do satelitskih posnetkov Sentinel in podatkov za ML

Z uporabo geoprostorskih zmogljivosti SageMaker za razvoj modela ML z daljinskim zaznavanjem in uporabo satelitskih posnetkov iz Izmenjava podatkov AWS priročno dostopna javnosti Preprosta storitev shranjevanja Amazon (Amazon S3) lahko ustvarjalci agronomskih podatkovnih platform na AWS dosežejo svoje cilje hitreje in lažje. Vaše vedro S3 ima vedno najsodobnejše satelitske posnetke Sentinel-1 in Sentinel-2, ker odprta izmenjava podatkov in Amazonova pobuda za podatke o trajnostnem razvoju vam nudi avtomatiziran vgrajen dostop do satelitskih posnetkov.

Naslednji diagram prikazuje to arhitekturo.

Geoprostorske zmogljivosti SageMaker vključujejo vgrajene vnaprej usposobljene modele globokih nevronskih mrež, kot sta klasifikacija rabe zemljišč in maskiranje v oblaku, z integriranim katalogom virov geoprostorskih podatkov, vključno s satelitskimi posnetki, zemljevidi in podatki o lokaciji iz AWS in tretjih oseb. Z integriranim katalogom geoprostorskih podatkov imajo uporabniki geoprostorskih podatkov SageMaker lažji dostop do satelitskih posnetkov in drugih nizov geoprostorskih podatkov, ki odpravljajo breme razvoja kompleksnih cevovodov za vnos podatkov. Ta integrirani podatkovni katalog lahko pospeši gradnjo vašega lastnega modela ter obdelavo in obogatitev obsežnih naborov geoprostorskih podatkov z namensko izdelanimi operacijami, kot so časovna statistika, ponovno vzorčenje, mozaikiranje in obratno geokodiranje. Zmožnost enostavnega vnosa posnetkov iz Amazon S3 in uporabe predhodno usposobljenih geoprostorskih modelov ML SageMaker, ki samodejno identificirajo oblake in točkujejo vsako satelitsko sliko Sentinel-2, odpravlja potrebo po angažiranju skupin za daljinsko zaznavanje, agronomijo in znanost o podatkih za vnos, obdelavo in ročno označite na tisoče satelitskih slik z oblačnimi območji.

Geoprostorske zmogljivosti SageMaker podpirajo zmožnost definiranja območja zanimanja (AOI) in časa zanimanja (TOI), iskanja v arhivu vedra Open Data Exchange S3 za slike z geoprostorskim presekom, ki izpolnjujejo zahtevo, in vračanje slik v pravih barvah, Normalizirani vegetacijski indeks (NDVI), zaznavanje oblakov in rezultati ter pokrovnost tal. NDVI je običajen indeks, ki se uporablja s satelitskimi posnetki za razumevanje zdravja pridelkov z vizualizacijo meritev količine klorofila in fotosintetske aktivnosti prek na novo obdelane in barvno kodirane slike.

Uporabniki geoprostorskih zmožnosti SageMaker lahko uporabljajo vnaprej pripravljen indeks NDVI ali razvijejo svojega. Geoprostorske zmogljivosti SageMaker olajšajo podatkovnim znanstvenikom in inženirjem ML, da hitreje in v velikem obsegu izdelajo, učijo in uvedejo modele ML z uporabo geoprostorskih podatkov in z manj truda kot prej.

Kmetje in agronomi potrebujejo hiter dostop do vpogledov na terenu in doma

Hitra dostava obdelanih posnetkov in vpogledov kmetom in zainteresiranim stranem je pomembna za agropodjetja in sprejemanje odločitev na terenu. Prepoznavanje območij slabega zdravja pridelka na vsakem polju v kritičnih časovnih obdobjih omogoča kmetu, da zmanjša tveganja z uporabo gnojil, herbicidov in pesticidov, kjer je to potrebno, in celo identificira območja potencialnih zahtevkov za zavarovanje pridelka. Običajno je, da agronomske podatkovne platforme obsegajo nabor aplikacij, vključno s spletnimi aplikacijami in mobilnimi aplikacijami. Te aplikacije zagotavljajo intuitivne uporabniške vmesnike, ki kmetom in njihovim zaupanja vrednim deležnikom pomagajo varno pregledati vsako od svojih polj in slik, ko so doma, v pisarni ali na samem polju. Te spletne in mobilne aplikacije pa morajo porabiti in hitro prikazati obdelane posnetke in agronomske vpoglede prek API-jev.

Amazon API Gateway razvijalcem olajša ustvarjanje, objavljanje, vzdrževanje, spremljanje in zaščito API-jev RESTful in WebSocket v velikem obsegu. z Gateway API, API dostop in avtorizacija sta integrirana z Upravljanje dostopa do identitete AWS (IAM) in ponuja domačo podporo za OIDC in OAuth2 ter Amazon Cognito. Amazon Cognito je stroškovno učinkovita storitev za upravljanje identitete in dostopa strank (CIAM), ki podpira varno shrambo identitet z možnostmi združevanja, ki se lahko razširijo na milijone uporabnikov.

Surovi, neobdelani satelitski posnetki so lahko zelo veliki, v nekaterih primerih na stotine megabajtov ali celo gigabajtov na sliko. Ker ima veliko kmetijskih območij po svetu slabo ali nič celične povezave, je pomembno obdelati in streči posnetke in vpoglede v manjših formatih in na načine, ki omejujejo zahtevano pasovno širino. Zato z uporabo AWS Lambda za uvedbo strežnika ploščic se lahko vrnejo manjše velikosti GeoTIFF, JPEG ali drugi formati slik na podlagi trenutnega pogleda zemljevida, ki je prikazan uporabniku, v nasprotju z veliko večjimi velikostmi in vrstami datotek, ki zmanjšujejo zmogljivost. S kombinacijo strežnika ploščic, ki je nameščen prek funkcij Lambda, s prehodom API za upravljanje zahtev za spletne in mobilne aplikacije, lahko kmetje in njihovi zaupanja vredni deležniki porabijo posnetke in geoprostorske podatke iz enega ali več sto polj hkrati, z zmanjšano zakasnitvijo in dosežejo optimalnega uporabnika. izkušnje.

Do geoprostorskih zmogljivosti SageMaker je mogoče dostopati prek intuitivnega uporabniškega vmesnika, ki vam omogoča preprost dostop do bogatega kataloga geoprostorskih podatkov, preoblikovanje in obogatitev podatkov, usposabljanje ali uporabo namensko izdelanih modelov, uvajanje modelov za napovedi ter vizualizacijo in raziskovanje podatkov o integrirani zemljevidi in satelitske slike. Če želite prebrati več o geoprostorski uporabniški izkušnji SageMaker, glejte Kako je Xarvio pospešil prenos prostorskih podatkov za digitalno kmetovanje z geoprostorskimi zmogljivostmi Amazon SageMaker.

Agronomske podatkovne platforme zagotavljajo več plasti podatkov in vpogledov v velikem obsegu

Naslednji primer uporabniškega vmesnika prikazuje, kako lahko graditelj agronomskih podatkovnih platform integrira vpoglede, ki jih zagotavljajo geoprostorske zmogljivosti SageMaker.

Ta primer uporabniškega vmesnika prikazuje običajne prekrivne geoprostorske podatke, ki jih uporabljajo kmetje in kmetijski deležniki. Tukaj je potrošnik izbral tri ločene prekrivne podatke. Prvič, osnovna barvna satelitska slika Sentinel-2, posneta oktobra 2020, ki je na voljo prek integriranega kataloga geoprostorskih podatkov SageMaker. Ta slika je bila filtrirana z vnaprej pripravljenim geoprostorskim modelom SageMaker, ki identificira oblačnost. Drugo prekrivanje podatkov je nabor meja polja, prikazanih z belim obrisom. Meja polja je običajno mnogokotnik koordinat zemljepisne širine in dolžine, ki odraža naravno topografijo polja kmetije, ali operativna meja, ki razlikuje med načrti posevkov. Tretji prekrivni podatek so obdelani slikovni podatki v obliki normaliziranega vegetacijskega indeksa (NDVI). Poleg tega so slike NDVI prekrite z ustreznimi mejami polja, na levi strani strani pa je prikazana barvna klasifikacijska tabela NDVI.

Naslednja slika prikazuje rezultate z uporabo predhodno usposobljenega modela SageMaker, ki identificira oblačnost.

Na tej sliki model prepozna oblake na satelitski sliki in uporabi rumeno masko nad vsakim oblakom na sliki. Z odstranitvijo zamaskiranih slikovnih pik (oblakov) iz nadaljnje obdelave slik so analitika in izdelki na nižji stopnji izboljšali natančnost ter zagotovili vrednost kmetom in njihovim zaupanja vrednim svetovalcem.

Na območjih s slabo celično pokritostjo zmanjšanje zakasnitve izboljša uporabniško izkušnjo

Če želite odpraviti potrebo po nizki zakasnitvi pri ocenjevanju geoprostorskih podatkov in posnetkov daljinskega zaznavanja, lahko uporabite Amazon ElastiCache za predpomnilnik obdelanih slik, pridobljenih iz zahtev za ploščice prek Lambda. S shranjevanjem zahtevanih slik v predpomnilnik se zakasnitev dodatno zmanjša in ni potrebe po ponovni obdelavi zahtev za slike. To lahko izboljša delovanje aplikacij in zmanjša pritisk na baze podatkov. Ker Amazon ElastiCache podpira številne konfiguracijske možnosti za strategije predpomnjenja, replikacijo med regijami in samodejno skaliranje, ponudniki platforme za agronomske podatke pa se lahko hitro povečajo na podlagi potreb aplikacije in še naprej dosegajo stroškovno učinkovitost s plačilom samo za tisto, kar je potrebno.

zaključek

Ta objava je bila osredotočena na obdelavo geoprostorskih podatkov, izvajanje vpogledov v daljinsko zaznavanje, ki podpirajo ML, in načine za racionalizacijo in poenostavitev razvoja in izboljšave platform agronomskih podatkov na AWS. Ponazoril je več metod in storitev, ki jih graditelji agronomskih podatkovnih platform na storitvah AWS lahko uporabljajo za doseganje svojih ciljev, vključno s SageMaker, Lambda, Amazon S3, Open Data Exchange in ElastiCache.

Če želite slediti primeru zvezka od konca do konca, ki prikazuje geoprostorske zmogljivosti SageMaker, odprite primer zvezka, ki je na voljo v naslednjem GitHub repozitorij. Ogledate si lahko, kako identificirati kmetijska polja prek segmentacijskih modelov ML, ali pa raziščete že obstoječe geoprostorske modele SageMaker in uvedete funkcionalnost lastnega modela (BYOM) pri geoprostorskih nalogah, kot sta raba tal in klasifikacija pokrovnosti tal. Primer zvezka od konca do konca je podrobno obravnavan v spremljevalni objavi Kako je Xarvio pospešil cevovode prostorskih podatkov za digitalno kmetovanje z Amazon SageMaker Geospatial.

Obrnite se na nas, če želite izvedeti več o tem, kako kmetijska industrija rešuje pomembne probleme, povezane z globalno oskrbo s hrano, pobudami za sledljivost in trajnost z uporabo oblaka AWS.

---

O avtorjih

Will Conrad je vodja rešitev za kmetijsko industrijo pri AWS. Strastno želi pomagati strankam pri uporabi tehnologije za izboljšanje preživetja kmetov, vpliva kmetijstva na okolje in potrošniške izkušnje ljudi, ki jedo hrano. V prostem času popravlja stvari, igra golf in sprejema naročila svojih štirih otrok.

Bishesh Adhikari je arhitekt strojnega učenja prototipov v ekipi AWS Prototyping. Sodeluje s strankami AWS pri gradnji rešitev na različnih primerih uporabe umetne inteligence in strojnega učenja, da bi pospešil njihovo pot do proizvodnje. V prostem času rad planinari, potuje in se druži z družino in prijatelji.

Priyanka Mahankali je arhitekt Guidance Solutions pri AWS že več kot 5 let in gradi medpanožne rešitve, vključno s tehnologijo za globalne stranke v kmetijstvu. V ospredje postavlja vrhunske primere uporabe in pomaga strankam zgraditi strateške rešitve na AWS.

Ron Osborne je AWS Global Technology Lead for Agriculture – WWSO in Senior Solution Architect. Ron je osredotočen na pomoč strankam in partnerjem v agrobiznisu AWS pri razvoju in uvajanju varnih, razširljivih, prožnih, elastičnih in stroškovno učinkovitih rešitev. Ron je navdušenec nad kozmologijo, uveljavljen inovator v ag-techu in je navdušen nad pozicioniranjem strank in partnerjev za poslovno preobrazbo in trajnostni uspeh.