Geautomatiseerde, schaalbare en kosteneffectieve ML op AWS: detectie van invasieve Australische boomvarens in Hawaiiaanse bossen

Deze blogpost is mede geschreven door Theresa Cabrera Menard, een specialist in toegepaste wetenschappers/geografische informatiesystemen bij The Nature Conservancy (TNC) in Hawaï.

De afgelopen jaren hebben Amazon en AWS een reeks duurzaamheidsinitiatieven ontwikkeld met als algemeen doel het helpen behouden van de natuurlijke omgeving. Als onderdeel van deze inspanningen gaat AWS Professional Services partnerschappen aan met organisaties zoals The Nature Conservancy (TNC), waarbij financiële steun en adviesdiensten worden aangeboden voor inspanningen op het gebied van milieubehoud. De komst van big data-technologieën zorgt voor een snelle schaalvergroting van de ecologische dataverzameling, terwijl machine learning (ML)-technieken steeds vaker worden gebruikt bij ecologische data-analyse. AWS bevindt zich in een unieke positie om te helpen met gegevensopslag en -opname, maar ook met gegevensanalyse.

Hawaiiaanse bossen zijn essentieel als bron van schoon water en voor het behoud van traditionele culturele praktijken. Ze worden echter geconfronteerd met ernstige bedreigingen als gevolg van ontbossing, het uitsterven van soorten en de verdringing van inheemse soorten door invasieve planten. De staat Hawaï besteedt jaarlijks ongeveer een half miljard dollar aan de strijd tegen invasieve soorten. TNC helpt het probleem van invasieve planten aan te pakken door middel van initiatieven zoals de Hawaii Challenge, waarmee iedereen met een computer en internettoegang kan deelnemen aan het labelen van invasief onkruid in het landschap. AWS werkt samen met TNC om op deze inspanningen voort te bouwen en een schaalbare, cloudgebaseerde oplossing te ontwikkelen die de detectie en lokalisatie van invasieve varens automatiseert en versnelt.

Een van de meest agressieve soorten die de Hawaiiaanse bossen binnendringen is de Australische boomvaren, oorspronkelijk geïntroduceerd als sierplant, maar verspreidt zich nu snel over verschillende eilanden door talloze sporen te produceren die gemakkelijk door de wind kunnen worden getransporteerd. De Australische boomvaren groeit snel en concurreert met andere planten, waardoor het bladerdak wordt verstikt en verschillende inheemse soorten worden aangetast, wat resulteert in een verlies aan biologische diversiteit.

Momenteel wordt de detectie van de varens bereikt door beelden vast te leggen van vliegtuigen met vaste vleugels die het bladerdak in kaart brengen. De beelden worden handmatig geïnspecteerd door menselijke labelers. Dit proces vergt aanzienlijke inspanningen en tijd, waardoor de mitigatie-inspanningen van het grondpersoneel mogelijk weken of langer worden vertraagd. Een van de voordelen van het gebruik van een Computer Vision (CV)-algoritme is de potentiële tijdsbesparing, omdat de inferentietijd naar verwachting slechts enkele uren zal duren.

Machine learning-pijplijn

Het volgende diagram toont de algemene ML-workflow van dit project. Het eerste doel van het AWS-TNC-partnerschap was het automatiseren van de detectie van varens op basis van luchtbeelden. Een tweede doel was het evalueren van het potentieel van CV-algoritmen om varens op betrouwbare wijze te classificeren als inheems of invasief. De gevolgtrekking uit het CV-model kan vervolgens de basis vormen van een volledig geautomatiseerde AWS Cloud-native oplossing die het vermogen van TNC vergroot om invasieve varens efficiënt en tijdig te detecteren en middelen naar zwaar getroffen gebieden te leiden. Het volgende diagram illustreert deze architectuur.

In de volgende secties behandelen we de volgende onderwerpen:

• De gebruikte tools voor gegevensverwerking en analyse.
• De pijplijn van varendetectiemodellen, inclusief training en evaluatie.
• Hoe inheemse en invasieve varens worden geclassificeerd.
• De voordelen die TNC ondervond door deze implementatie.

Gegevensverwerking en -analyse

Luchtbeelden worden verkregen door TNC-contractanten door vliegtuigen met vaste vleugels boven getroffen gebieden op de Hawaiiaanse eilanden te vliegen. Zware en aanhoudende bewolking verhindert het gebruik van satellietbeelden. De gegevens die beschikbaar zijn voor TNC en AWS bestaan ​​uit onbewerkte afbeeldingen en metadata die de geografische lokalisatie van de afgeleide varens mogelijk maken.

Afbeeldingen en geografische coördinaten

Afbeeldingen ontvangen van luchtonderzoeken hebben een bereik van 100,000 x 100,000 pixels en worden opgeslagen in het JPEG2000 (JP2)-formaat, dat geolocatie en andere metadata bevat. Elke pixel kan worden gekoppeld aan specifieke geospatiale coördinaten van Universal Transverse Mercator (UTM). Het UTM-coördinatensysteem verdeelt de wereld in noord-zuidzones, elk 6 lengtegraden breed. De eerste UTM-coördinaat (noorden) verwijst naar de afstand tussen een geografische positie en de evenaar, gemeten met het noorden als positieve richting. De tweede gecoördineerde (oostelijke) meet de afstand, in meters, richting het oosten, beginnend vanaf een centrale meridiaan die uniek is toegewezen aan elke zone. Volgens afspraak heeft de centrale meridiaan in elke regio een waarde van 500,000, en een meter ten oosten van de centrale meridiaan van de regio heeft daarom de waarde 500,001. Om te converteren tussen pixelcoördinaten en UTM-coördinaten gebruiken we de affiene transformatie zoals uiteengezet in de volgende vergelijking, waarbij X', y ' zijn UTM-coördinaten en x, y zijn pixelcoördinaten. De parameters a, b, C, d, e en f van de affiene transformatie worden geleverd als onderdeel van de metagegevens van het JP2-bestand.

Met het oog op het labelen, trainen en afleiden van de onbewerkte JP2-bestanden zijn ze onderverdeeld in niet-overlappende JPG-bestanden van 512 x 512 pixels. De extractie van kleinere subafbeeldingen uit de originele JP2 vereist de creatie van een individuele affiene transformatie rechtstreeks vanuit elk individueel geëxtraheerd JPG-bestand. Deze operaties werden uitgevoerd met behulp van de rasterio en affine Python-pakketten met AWS-batch en vergemakkelijkte de rapportage van de positie van afgeleide varens in UTM-coördinaten.

Gegevensetikettering

Visuele identificatie van varens op luchtfoto's wordt door verschillende factoren bemoeilijkt. De meeste informatie wordt verzameld in het groene kanaal en er is een hoge dichtheid aan gebladerte, waarbij varens vaak gedeeltelijk worden afgesloten door zowel nabijgelegen varens als andere vegetatie. De informatie die van belang is voor TNC is de relatieve dichtheid van varens per hectare. Daarom is het belangrijk om elke individuele varen te tellen, zelfs als er sprake is van occlusie. Gezien deze doelen en beperkingen hebben we ervoor gekozen om een ​​CV-framework voor objectdetectie te gebruiken.

Om de gegevens te labelen, hebben we een Amazon opgezet SageMaker Grondwaarheid  etiketteringswerk. Elke begrenzende doos was bedoeld om in het midden van de varen te worden gecentreerd en om de meeste varentakken te bedekken, terwijl tegelijkertijd werd geprobeerd de opname van andere vegetatie te minimaliseren. De etikettering werd uitgevoerd door de auteurs na overleg met domeinexperts van TNC. De aanvankelijk gelabelde dataset bevatte 500 afbeeldingen, die elk doorgaans meerdere varens bevatten, zoals weergegeven in de volgende voorbeeldafbeeldingen. In deze aanvankelijk gelabelde set maakten we geen onderscheid tussen inheemse en invasieve varens.

Training en update van het Fern-objectdetectiemodel

In deze sectie bespreken we het trainen van het initiële varendetectiemodel, het labelen van gegevens in Ground Truth en de modelupdate door middel van hertraining. We bespreken ook het gebruik Amazon Augmented AI (Amazon A2I) voor de modelupdate en gebruik AWS Stap Functies voor de algehele inferentiepijplijn voor varendetectie.

Initiële training van varendetectiemodellen

Wij hebben gebruik gemaakt van de Amazon Sage Maker objectdetectie-algoritme omdat het de modernste prestaties levert en eenvoudig kan worden geïntegreerd met andere SageMaker-services zoals Ground Truth, eindpunten en Batch Transform-taken. We hebben gebruik gemaakt van het Single Shot MultiBox Detector (SSD)-framework en het basisnetwerk vgg-16. Dit netwerk is vooraf getraind op miljoenen afbeeldingen en duizenden klassen uit de ImageNet-dataset. We verdelen alle gegeven TNC JP2-afbeeldingen in tegels van 512 x 512 pixels als trainingsgegevensset. Er zijn ongeveer 5,000 kleine JPG-afbeeldingen en we hebben willekeurig 4,500 afbeeldingen geselecteerd als trainingsgegevensset en 500 afbeeldingen als validatiegegevensset. Na het afstemmen van de hyperparameters hebben we de volgende hyperparameters gekozen voor de modeltraining: class=1, overlap_threshold=0.3, learning_rate=0.001 en epochs=50. De gemiddelde gemiddelde precisie (mAP) van het initiële model, berekend op de validatieset, is 0.49. Na controle van de detectieresultaten en TNC-labels ontdekten we dat veel varens die door ons objectdetectiemodel als varens werden gedetecteerd, niet als varens werden geëtiketteerd door TNC-varenlabels, zoals weergegeven in de volgende afbeeldingen.

Daarom hebben we besloten Ground Truth te gebruiken om een ​​subset van de varendataset opnieuw te labelen in een poging de modelprestaties te verbeteren en vervolgens de ML-inferentieresultaten te vergelijken met dit initiële model om te controleren welke aanpak beter is.

Gegevenslabeling in Ground Truth

Om de varendataset te labelen, hebben we een Ground Truth-taak opgezet van 500 willekeurig geselecteerde afbeeldingen van 512 x 512 pixels. Elke begrenzende doos was bedoeld om in het midden van de varen te worden gecentreerd en om de meeste varentakken te bedekken, terwijl tegelijkertijd werd geprobeerd de opname van andere vegetatie te minimaliseren. De labeling werd uitgevoerd door AWS-datawetenschappers na overleg met TNC-domeinexperts. In deze gelabelde dataset hebben we geen onderscheid gemaakt tussen inheemse en invasieve varens.

Het varendetectiemodel opnieuw trainen

De eerste iteratie van de modeltraining maakte gebruik van een set van 500 gelabelde afbeeldingen, waarvan 400 in de trainingsset en 100 in de validatieset. Dit model behaalde een mAP-score (berekend op basis van de validatieset) van 0.46, wat niet erg hoog is. Vervolgens hebben we dit initiële model gebruikt om voorspellingen te doen op basis van een grotere set van 3,888 JPG-afbeeldingen, geëxtraheerd uit de beschikbare JP2-gegevens. Met deze grotere beeldset voor training behaalde het model een mAP-score van 0.87. Deze duidelijke verbetering (zoals weergegeven in de volgende voorbeeldafbeeldingen) illustreert de waarde van geautomatiseerde labeling en modeliteratie.

Op basis van deze bevindingen hebben we vastgesteld dat Ground Truth-labeling plus geautomatiseerde labeling en modeliteratie de voorspellingsprestaties aanzienlijk lijken te verbeteren. Om de prestaties van het resulterende model verder te kwantificeren, werd een set van 300 afbeeldingen willekeurig geselecteerd voor een extra validatieronde. We ontdekten dat bij gebruik van een drempelwaarde van 0.3 voor detectiebetrouwbaarheid, 84% van de afbeeldingen door de labeler werd geacht het juiste aantal voorspelde varens te hebben, waarbij 6.3% overtellingen en 9.7% ondertellingen waren. In de meeste gevallen was de over-/ondertelling slechts één of twee van de vijf of zes varens die op een afbeelding aanwezig waren afwijkend, en er wordt daarom niet verwacht dat dit een significante invloed zal hebben op de algehele schatting van de varendichtheid per hectare.

Amazon A2I voor update van varendetectiemodel

Een uitdaging voor dit project is dat de beelden die elk jaar binnenkomen, vanuit vliegtuigen zijn genomen, waardoor de hoogte, hoeken en lichtomstandigheden van de beelden kunnen verschillen. Het model dat op de vorige dataset is getraind, moet opnieuw worden getraind om goede prestaties te behouden, maar het labelen van varens voor een nieuwe dataset is arbeidsintensief. Daarom hebben we Amazon A2I gebruikt om menselijke beoordeling te integreren om de nauwkeurigheid van nieuwe gegevens te garanderen. We gebruikten 360-afbeeldingen als testdataset; Er zijn 35 afbeeldingen ter beoordeling teruggestuurd omdat deze afbeeldingen geen voorspellingen hadden met een betrouwbaarheidsscore hoger dan 0.3. We hebben deze 35 afbeeldingen opnieuw gelabeld en het model opnieuw getraind met behulp van incrementeel leren in Amazon A2I. Het opnieuw getrainde model vertoonde op veel aspecten een aanzienlijke verbetering ten opzichte van het vorige model, zoals detecties onder donkerdere lichtomstandigheden, zoals weergegeven in de volgende afbeeldingen. Deze verbeteringen zorgden ervoor dat het nieuwe model redelijk goed presteerde op een nieuwe dataset met zeer weinig menselijke beoordelingen en herlabelingswerk.

Pijplijn voor varendetectie-inferentie

Het algemene doel van het TNC-AWS-partnerschap is het creëren van een geautomatiseerde pijplijn die de JP2-bestanden als invoer neemt en als uitvoer UTM-coördinaten van de voorspelde varens produceert. Er zijn drie hoofdtaken:

• De eerste is de opname van het grote JP2-bestand en de verdeling ervan in kleinere 512 x 512 JPG-bestanden. Elk van deze heeft een bijbehorende affiene transformatie die UTM-coördinaten kan genereren uit de pixelcoördinaten.
• De tweede taak is de feitelijke gevolgtrekking en detectie van potentiële varens en hun locaties.
• De laatste taak verzamelt de gevolgtrekkingsresultaten in één CSV-bestand dat aan TNC wordt geleverd.

De orkestratie van de pijplijn werd geïmplementeerd met behulp van Step Functions. Net als bij de gevolgtrekking automatiseert deze keuze veel van de aspecten van het beschikbaar stellen en vrijgeven van computerbronnen wanneer dat nodig is. Bovendien kan de pijpleidingarchitectuur visueel worden geïnspecteerd, wat de verspreiding naar de klant verbetert. Ten slotte kunnen, als er in de toekomst mogelijk bijgewerkte modellen beschikbaar komen, deze worden ingewisseld met weinig of geen verstoring van de workflow. Het volgende diagram illustreert deze werkstroom.

Toen de inferentiepijplijn in batchmodus werd gebruikt op een bronafbeelding van 10,000 x 10,000 pixels en een m4.large-instantie aan de batchtransformatie van SageMaker werd toegewezen, liep de hele inferentieworkflow binnen 25 minuten. Hiervan werd 10 minuten in beslag genomen door de batchtransformatie en de rest door Step Functions-stappen en AWS Lambda-functies. TNC verwacht ongeveer twee keer per jaar maximaal 24 JP2-afbeeldingen tegelijk te kunnen maken. Door de grootte en het aantal instanties aan te passen dat door de batchtransformatie moet worden gebruikt, verwachten we dat de inferentiepijplijn binnen 24 uur volledig kan worden uitgevoerd.

Varenclassificatie

In deze sectie bespreken we hoe we het SageMaker Principal Component Analysis (PCA)-algoritme op de selectiekaders hebben toegepast en de classificatieresultaten hebben gevalideerd.

Toepassing van PCA op varengrenzen

Om te bepalen of het mogelijk is om onderscheid te maken tussen de Australische boomvaren en inheemse varens zonder de aanzienlijke inspanning van het labelen van een groot aantal afbeeldingen, hebben we een niet-gecontroleerde beeldanalyseprocedure geïmplementeerd. Voor elke voorspelde varen hebben we het gebied binnen het selectiekader geëxtraheerd en als een afzonderlijke afbeelding opgeslagen. Vervolgens werden deze afbeeldingen ingebed in een hoogdimensionale vectorruimte door gebruik te maken van de img2vec benadering. Deze procedure genereerde voor elk invoerbeeld een 2048 lange vector. Deze vectoren werden geanalyseerd door gebruik te maken van Principal Component Analysis zoals geïmplementeerd in het SageMaker PCA-algoritme. Voor verdere analyse hebben we de drie belangrijkste componenten behouden, die samen verantwoordelijk waren voor meer dan 85% van de variantie in de vectorgegevens.

Voor elk van de drie belangrijkste componenten hebben we de bijbehorende afbeeldingen met de hoogste en laagste scores voor het onderdeel geëxtraheerd. Deze beelden werden visueel geïnspecteerd door AWS-datawetenschappers en TNC-domeinexperts, met als doel vast te stellen of de hoogste en laagste scores verband houden met inheemse of invasieve varens. We hebben de classificatiekracht van elke hoofdcomponent verder gekwantificeerd door een kleine set van 100 varenafbeeldingen handmatig te labelen als invasief of inheems en gebruik te maken van de scikit-learn hulpprogramma om metrieken te verkrijgen, zoals het gebied onder de precisie-herinneringscurve voor elk van de drie PCA-componenten. Toen de PCA-scores werden gebruikt als invoer voor een binaire classificator (zie de volgende grafiek), ontdekten we dat PCA2 het meest onderscheidend was, gevolgd door PCA3, waarbij PCA1 slechts bescheiden prestaties vertoonde bij het maken van onderscheid tussen inheemse en invasieve varens.

Validatie van classificatieresultaten

Vervolgens hebben we afbeeldingen met de grootste en kleinste PCA2-waarden onderzocht met TNC-domeinexperts om te controleren of het algoritme inheemse en invasieve varens effectief kan onderscheiden. Na meer dan 100 voorbeeldafbeeldingen van varens te hebben bekeken, hebben TNC-experts vastgesteld dat de afbeeldingen met de kleinste PCA2-waarden zeer waarschijnlijk inheemse varens zijn, en dat de afbeeldingen met de grootste PCA2-waarden zeer waarschijnlijk invasieve varens zijn (zie de volgende voorbeeldafbeeldingen). Deze aanpak willen wij de komende tijd graag verder onderzoeken met TNC.

Conclusie

De belangrijkste voordelen voor TNC van het adopteren van de in dit artikel voorgestelde inferentiepijplijn zijn tweeledig. Ten eerste worden aanzienlijke kostenbesparingen bereikt door maandenlange inspanningen van menselijke etiketteerders te vervangen door een automatische pijplijn die minimale gevolgtrekkingskosten met zich meebrengt. Hoewel de exacte kosten afhankelijk kunnen zijn van meerdere factoren, schatten wij de kostenbesparingen op zijn minst in een orde van grootte. Het tweede voordeel is de verkorting van de tijd tussen het verzamelen van gegevens en het initiëren van mitigatie-inspanningen. Momenteel duurt het enkele weken om het handmatig labelen van een tiental grote JP2-bestanden te voltooien, terwijl de inferentiepijplijn naar verwachting een kwestie van uren zal duren, afhankelijk van het aantal en de grootte van de toegewezen inferentie-instanties. Een snellere doorlooptijd zou van invloed zijn op het vermogen van TNC om tijdig routes te plannen voor de bemanningen die verantwoordelijk zijn voor de behandeling van de invasieve varens, en mogelijk geschikte behandelingsvensters te vinden, rekening houdend met de seizoensinvloeden en weerpatronen op de eilanden.

Om aan de slag te gaan met Ground Truth, zie Bouw een zeer nauwkeurige trainingsdataset met Amazon SageMaker Ground Truth. Lees ook meer over Amazon ML door naar de Amazon Sage Maker productpagina en verken visuele workflows voor moderne toepassingen door naar de AWS Stap Functies productpagina.

---

Over de auteurs

Dan Iancu is een datawetenschapper bij AWS. Hij kwam drie jaar geleden bij AWS werken en heeft met een verscheidenheid aan klanten gewerkt, onder meer in de gezondheidszorg en biowetenschappen, de ruimtevaartindustrie en de publieke sector. Hij gelooft in het belang van het toevoegen van waarde aan de klant en het bijdragen aan milieubehoud door gebruik te maken van ML-tools.

Kara Yang is een datawetenschapper bij AWS Professional Services. Ze is gepassioneerd om klanten te helpen hun zakelijke doelen te bereiken met AWS-cloudservices. Ze heeft organisaties geholpen bij het bouwen van ML-oplossingen in meerdere sectoren, zoals productie, auto-industrie, ecologische duurzaamheid en ruimtevaart.

Arkajyoti Misra is datawetenschapper bij Amazon LastMile Transportation. Hij heeft een passie voor het toepassen van Computer Vision-technieken om problemen op te lossen die de aarde helpen. Hij werkt graag samen met non-profit organisaties en is er een van de oprichters van ekipi.org.

Annalyn Ng is een Senior Solutions Architect gevestigd in Singapore, waar ze cloudoplossingen ontwerpt en bouwt voor instanties in de publieke sector. Annalyn studeerde af aan de Universiteit van Cambridge en blogt over machine learning bij algobeans. com. Haar boek, Numsense! Datawetenschap voor de leek, is in meerdere talen vertaald en wordt op topuniversiteiten als referentietekst gebruikt.

Theresa Cabrera Menard is een toegepaste wetenschapper/specialist voor geografische informatiesystemen bij The Nature Conservancy (TNC) op Hawaï, waar ze een grote dataset met hoge-resolutiebeelden van de Hawaiiaanse eilanden beheert. Ze was eerder betrokken bij de Hawai`i Challenge, waarbij natuurbeschermers in een fauteuil werden gebruikt om beelden te labelen op onkruid in de bossen van Kaua`i.

Veronica Megler is een Principal Consultant, Big Data, Analytics & Data Science, voor AWS Professional Services. Ze heeft een doctoraat in computerwetenschappen, met een focus op het zoeken naar ruimte-temporele gegevens. Ze is gespecialiseerd in de adoptie van technologie en helpt klanten nieuwe technologieën te gebruiken om nieuwe problemen op te lossen en om oude problemen efficiënter en effectiever op te lossen.

• Coinsmart. Europa's beste Bitcoin- en crypto-uitwisseling.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. GRATIS TOEGANG.
• CryptoHawk. Altcoin-radar. Gratis proefversie.
• Bron: https://aws.amazon.com/blogs/machine-learning/automated-scalable-and-cost-effectief-ml-on-aws-detecting-invasive-australian-tree-ferns-in-hawaiian-forests/