Bruk datasyn til å måle jordbruksutbytte med tilpassede etiketter for Amazon Rekognition

I landbrukssektoren spiller problemet med å identifisere og telle mengden frukt på trær en viktig rolle i avlingsestimering. Konseptet med å leie og lease et tre er i ferd med å bli populært, der en treeier leier treet hvert år før høsting basert på estimert fruktutbytte. Den vanlige praksisen med å telle frukt manuelt er en tidkrevende og arbeidskrevende prosess. Det er en av de vanskeligste, men viktigste oppgavene for å oppnå bedre resultater i ditt avlingsstyringssystem. Denne vurderingen av mengden frukt og blomster hjelper bøndene til å ta bedre beslutninger – ikke bare når det gjelder leiepriser, men også når det gjelder dyrkingspraksis og forebygging av plantesykdommer.

Det er her en automatisert maskinlæring (ML) løsning for datasyn (CV) kan hjelpe bønder. Amazon Rekognition Egendefinerte etiketter er en fullstendig administrert datasynstjeneste som lar utviklere bygge tilpassede modeller for å klassifisere og identifisere objekter i bilder som er spesifikke og unike for virksomheten din.

Rekognition Custom Labels krever ikke at du har noen tidligere datasynsekspertise. Du kan komme i gang ved å bare laste opp titalls bilder i stedet for tusenvis. Hvis bildene allerede er merket, kan du begynne å trene en modell med bare noen få klikk. Hvis ikke, kan du merke dem direkte i Rekognition Custom Labels-konsollen, eller bruke Amazon SageMaker Ground Truth å merke dem. Rekognition Custom Labels bruker overføringslæring for automatisk å inspisere treningsdataene, velge riktig modellrammeverk og algoritme, optimalisere hyperparametrene og trene modellen. Når du er fornøyd med modellnøyaktigheten, kan du begynne å være vert for den trente modellen med bare ett klikk.

I dette innlegget viser vi hvordan du kan bygge en ende-til-ende-løsning ved å bruke Rekognition Custom Labels for å oppdage og telle frukt for å måle jordbruksutbytte.

Løsningsoversikt

Vi lager en tilpasset modell for å oppdage frukt ved å bruke følgende trinn:

1. Merk et datasett med bilder som inneholder frukt ved hjelp av Amazon SageMaker Ground Truth.
2. Opprett et prosjekt i Rekognition Custom Labels.
3. Importer det merkede datasettet.
4. Tren modellen.
5. Test den nye tilpassede modellen ved hjelp av det automatisk genererte API-endepunktet.

Rekognition Custom Labels lar deg administrere ML-modellopplæringsprosessen på Amazon Rekognition-konsollen, noe som forenkler ende-til-ende modellutvikling og slutningsprosessen.

Forutsetninger

For å lage en modell for måling av landbruksutbytte, må du først utarbeide et datasett for å trene modellen med. For dette innlegget er datasettet vårt sammensatt av bilder av frukt. Følgende bilder viser noen eksempler.

Vi hentet bildene våre fra vår egen hage. Du kan laste ned bildefilene fra GitHub repo.

For dette innlegget bruker vi bare en håndfull bilder for å vise frem fruktutbyttebruken. Du kan eksperimentere videre med flere bilder.

For å klargjøre datasettet, fullfør følgende trinn:

1. Lag en Amazon enkel lagringstjeneste (Amazon S3) bøtte.
2. Lag to mapper inne i denne bøtten, kalt raw_data og test_data, for å lagre bilder for merking og modelltesting.
3. Velg Last opp for å laste opp bildene til deres respektive mapper fra GitHub-repoen.
   

De opplastede bildene er ikke merket. Du merker bildene i det følgende trinnet.

Merk datasettet ditt med Ground Truth

For å trene ML-modellen trenger du merkede bilder. Ground Truth gir en enkel prosess for å merke bildene. Merkeoppgaven utføres av en menneskelig arbeidsstyrke; i dette innlegget oppretter du en privat arbeidsstyrke. Du kan bruke Amazon Mekanisk Turk for merking i stor skala.

Opprett en arbeidsstyrke for merking

La oss først lage vår merkevarestyrke. Fullfør følgende trinn:

1. På SageMaker-konsollen, under Bakkenes sannhet Velg navigasjonsruten Merking av arbeidskraft.
2. På Privat kategorien, velg Opprett privat team.
   
3. Til Lag navn, skriv inn et navn for arbeidsstyrken din (for dette innlegget, labeling-team).
4. Velg Opprett privat team.
   
5. Velg Inviter nye arbeidere.
   
   
6. på Legg til arbeidere via e-postadresse seksjon, skriv inn e-postadressene til arbeiderne dine. For dette innlegget, skriv inn din egen e-postadresse.
7. Velg Inviter nye arbeidere.
   

Du har opprettet en merkearbeidsstyrke, som du bruker i neste trinn mens du oppretter en merkejobb.

Lag en Ground Truth-merkejobb

Fullfør følgende trinn for å gjøre merkejobben din på topp:

1. På SageMaker-konsollen, under Bakkenes sannhet, velg Merking jobber.
2. Velg Lag merkejobb.
   
3. Til Jobb navn, Tast inn fruits-detection.
4. Plukke ut Jeg vil spesifisere et etikettattributtnavn som er forskjellig fra etikettjobbnavnet.
5. Til EtikettattributtnavnTast inn Labels.
6. Til Inndataoppsett, plukke ut Automatisert dataoppsett.
7. Til S3-plassering for input-datasett, skriv inn S3-plasseringen til bildene ved å bruke bøtten du opprettet tidligere (s3://{your-bucket-name}/raw-data/images/).
8. Til S3-plassering for utdatasett, plukke ut Angi en ny plassering og angi utdatastedet for kommenterte data (s3://{your-bucket-name}/annotated-data/).
9. Til Data-type, velg Bilde.
10. Velg Fullfør dataoppsett.
    Dette oppretter bildemanifestfilen og oppdaterer S3-inndataplasseringsbanen. Vent på meldingen "Input data connection successful."
    
11. Expand Ekstra konfigurasjon.
12. Bekreft det Fullt datasett er valgt.
    Dette brukes til å spesifisere om du vil gi alle bildene til merkejobben eller et undersett av bilder basert på filtre eller tilfeldig prøvetaking.
    
13. Til Oppgavekategori, velg Bilde fordi dette er en oppgave for bildekommentarer.
14. Fordi dette er et brukstilfelle for objektdeteksjon, for Oppgavevalg, plukke ut Avgrensende boks.
15. La de andre alternativene være standard og velg neste.
    
16. Velg neste.
    
    Nå spesifiserer du arbeiderne dine og konfigurerer merkeverktøyet.
17. Til Arbeidertyper, plukke ut Privat.For dette innlegget bruker du en intern arbeidsstyrke til å kommentere bildene. Du har også muligheten til å velge en offentlig kontraktsfestet arbeidsstyrke (Amazon Mechanical Turk) eller en partnerarbeidsstyrke (Leverandør administrert) avhengig av ditt bruksområde.
18. For private team¸ velg teamet du opprettet tidligere.
19. La de andre alternativene være standard og bla ned til Merkeverktøy for avgrensningsboks.Det er viktig å gi klare instruksjoner her i merkeverktøyet for det private merkingsteamet. Disse instruksjonene fungerer som en veiledning for kommentatorer under merking. Gode ​​instruksjoner er konsise, så vi anbefaler å begrense de verbale eller tekstlige instruksjonene til to setninger og fokusere på visuelle instruksjoner. Når det gjelder bildeklassifisering, anbefaler vi å gi ett merket bilde i hver av klassene som en del av instruksjonene.
20. Legg til to etiketter: fruit og no_fruit.
21. Skriv inn detaljerte instruksjoner i Beskrivelsesfeltet som skal oppgis instruksjoner til arbeiderne. For eksempel: You need to label fruits in the provided image. Please ensure that you select label 'fruit' and draw the box around the fruit just to fit the fruit for better quality of label data. You also need to label other areas which look similar to fruit but are not fruit with label 'no_fruit'.Du kan også valgfritt gi eksempler på gode og dårlige merkebilder. Du må sørge for at disse bildene er offentlig tilgjengelige.
22. Velg Opprett for å lage merkejobben.
    

Etter at jobben er opprettet, er neste trinn å merke inndatabildene.

Start merkejobben

Når du har opprettet jobben, er statusen til jobben InProgress. Dette betyr at jobben opprettes og den private arbeidsstyrken varsles via e-post om oppgaven som er tildelt dem. Fordi du har tildelt oppgaven til deg selv, bør du motta en e-post med instruksjoner for å logge på Ground Truth Labeling-prosjektet.

1. Åpne e-posten og velg lenken som er oppgitt.
2. Skriv inn brukernavnet og passordet i e-posten.
   Det kan hende du må endre det midlertidige passordet som ble oppgitt i e-posten til et nytt passord etter pålogging.
3. Etter at du har logget på, velg jobben din og velg Begynn å jobbe.
   
   Du kan bruke de medfølgende verktøyene til å zoome inn, zoome ut, flytte og tegne avgrensningsrammer i bildene.
4. Velg etiketten din (fruit or no_fruit) og tegn deretter en avgrensningsramme i bildet for å kommentere det.
5. Velg når du er ferdig Send.

Nå har du riktig merket bilder som skal brukes av ML-modellen til trening.

Lag ditt Amazon Rekognition-prosjekt

For å lage ditt landbruksavkastningsmålingsprosjekt, fullfør følgende trinn:

1. Velg på Amazon Rekognition-konsollen Egendefinerte etiketter.
2. Velg Kom i gang.
3. Til Prosjektnavn, Tast inn fruits_yield.
4. Velg Opprett prosjekt.
   

Du kan også lage et prosjekt på Prosjekter side. Du får tilgang til Prosjekter siden via navigasjonsruten. Neste trinn er å gi bilder som input.

Importer datasettet ditt

For å lage din modell for måling av landbruksutbytte, må du først importere et datasett for å trene modellen med. For dette innlegget er datasettet vårt allerede merket med Ground Truth.

1. Til Importer bilder, plukke ut Importer bilder merket av SageMaker Ground Truth.
   
2. Til Manifestfilplassering, skriv inn S3-bøtteplasseringen til manifestfilen din (s3://{your-bucket-name}/fruits_image/annotated_data/fruits-labels/manifests/output/output.manifest).
3. Velg Opprett datasett.
   

Du kan se det merkede datasettet ditt.

Nå har du input-datasettet ditt for ML-modellen for å begynne å trene på dem.

Tren modellen din

Etter at du har merket bildene dine, er du klar til å trene modellen.

1. Velg Togmodell.
2. Til Velg prosjekt, velg ditt prosjekt fruits_yield.
3. Velg Togmodell.
   

Vent til treningen er fullført. Nå kan du begynne å teste ytelsen for denne trente modellen.

Test modellen din

Din landbruksutbyttemålemodell er nå klar til bruk og bør være i Running stat. For å teste modellen, fullfør følgende trinn:

Trinn 1: Start modellen

På siden med modelldetaljer, på Bruk modell kategorien, velg Start.

Egendefinerte etiketter for anerkjennelse gir også API-kall for å starte, bruke og stoppe modellen din.

Trinn 2: Test modellen

Når modellen er i Running tilstand, kan du bruke prøveskriptet analyzeImage.py å telle mengden frukt i et bilde.

1. Last ned dette skriptet fra GitHub repo.
2. Rediger denne filen for å erstatte parameteren bucket med bøttenavnet ditt og model med din Amazon Rekognition-modell ARN.

Vi bruker parameterne photo og min_confidence som input for dette Python-skriptet.

Du kan kjøre dette skriptet lokalt ved å bruke AWS kommandolinjegrensesnitt (AWS CLI) eller ved hjelp av AWS CloudShell. I vårt eksempel kjørte vi skriptet via CloudShell-konsollen. Merk at CloudShell er gratis å bruke.

Sørg for å installere de nødvendige avhengighetene ved å bruke kommandoen pip3 install boto3 PILLOW hvis den ikke allerede er installert.

3. Last opp filen analyzeImage.py til CloudShell ved hjelp av handlinger menyen.
   

Følgende skjermbilde viser utgangen, som oppdaget to frukter i inngangsbildet. Vi leverte 15.jpeg som fotoargument og 85 som min_confidence verdi.

Følgende eksempel viser bilde 15.jpeg med to avgrensningsbokser.

Du kan kjøre det samme skriptet med andre bilder og eksperimentere ved å endre konfidenspoengsummen ytterligere.

Trinn 3: Stopp modellen

Når du er ferdig, husk å stoppe modellen for å unngå unødvendige kostnader. På siden med modelldetaljer, på Bruk modell-fanen, velger du Stopp.

Rydd opp

For å unngå unødvendige kostnader, slett ressursene som brukes i denne gjennomgangen når de ikke er i bruk. Vi må slette Amazon Rekognition-prosjektet og S3-bøtta.

Slett Amazon Rekognition-prosjektet

For å slette Amazon Rekognition-prosjektet, fullfør følgende trinn:

1. Velg på Amazon Rekognition-konsollen Bruk egendefinerte etiketter.
2. Velg KOM I GANG.
3. Velg i navigasjonsruten Prosjekter.
4. På Prosjekter siden, velg prosjektet du vil slette.
   1. Velg Delete.
      De Slett prosjekt dialogboksen vises.
5. Hvis prosjektet ikke har noen tilknyttede modeller:
   1. Enter slette for å slette prosjektet.
   2. Velg Delete for å slette prosjektet.
6. Hvis prosjektet har tilknyttede modeller eller datasett:
   1. Enter slette for å bekrefte at du vil slette modellen og datasettene.
   2. Velg enten Slett tilknyttede modeller, Slett tilknyttede datasetteller Slett tilknyttede datasett og modeller, avhengig av om modellen har datasett, modeller eller begge deler.

   Sletting av modell kan ta en stund å fullføre. Merk at Amazon Rekognition-konsollen ikke kan slette modeller som er under trening eller løping. Prøv igjen etter å ha stoppet løpemodeller som er oppført, og vent til modellene som er oppført som trening er fullført. Hvis du lukker dialogboksen under modellsletting, blir modellene fortsatt slettet. Senere kan du slette prosjektet ved å gjenta denne prosedyren.

7. Enter slette for å bekrefte at du vil slette prosjektet.
8. Velg Delete for å slette prosjektet.

Slett S3-bøtten din

Du må først tømme bøtta og deretter slette den.

1. På Amazon S3 konsoll, velg Bøtter.
2. Velg bøtten du vil tømme, og velg deretter Tom.
3. Bekreft at du vil tømme bøtten ved å skrive inn bøttenavnet i tekstfeltet, og velg deretter Tom.
4. Velg Delete.
5. Bekreft at du vil slette bøtte ved å skrive inn bøttenavnet i tekstfeltet, og velg deretter Slett bøtte.

konklusjonen

I dette innlegget viste vi deg hvordan du lager en objektdeteksjonsmodell med Rekognition Custom Labels. Denne funksjonen gjør det enkelt å trene en tilpasset modell som kan oppdage en objektklasse uten å måtte spesifisere andre objekter eller miste nøyaktighet i resultatene.

For mer informasjon om bruk av egendefinerte etiketter, se Hva er Amazon Rekognition Custom Labels?

---

Om forfatterne

Dhiraj Thakur er en løsningsarkitekt med Amazon Web Services. Han jobber med AWS-kunder og partnere for å gi veiledning om cloud-adopsjon, migrasjon og strategi for enterprise. Han er lidenskapelig opptatt av teknologi og liker å bygge og eksperimentere i analytics og AI / ML-rommet.

Sameer Goel er en Sr. Solutions Architect i Nederland, som driver kundesuksess ved å bygge prototyper på banebrytende initiativer. Før han begynte i AWS, ble Sameer uteksaminert med en mastergrad fra Boston, med en konsentrasjon innen datavitenskap. Han liker å bygge og eksperimentere med AI/ML-prosjekter på Raspberry Pi. Du kan finne ham på Linkedin.