Använd datorseende för att mäta jordbrukets avkastning med Amazon Rekognition Custom Labels

Inom jordbrukssektorn spelar problemet med att identifiera och räkna mängden frukt på träden en viktig roll vid skörduppskattning. Konceptet med att hyra och arrendera ett träd börjar bli populärt, där en trädägare arrenderar trädet varje år före skörden utifrån den uppskattade fruktskörden. Den vanliga metoden att manuellt räkna frukt är en tidskrävande och arbetskrävande process. Det är en av de svåraste men viktigaste uppgifterna för att få bättre resultat i ditt odlingssystem. Denna uppskattning av mängden frukt och blommor hjälper jordbrukare att fatta bättre beslut – inte bara när det gäller leasingpriser, utan också om odlingsmetoder och förebyggande av växtsjukdomar.

Det är här en automatiserad maskininlärningslösning (ML) för datorseende (CV) kan hjälpa jordbrukare. Amazon Rekognition anpassade etiketter är en fullständigt hanterad datorseendetjänst som tillåter utvecklare att bygga anpassade modeller för att klassificera och identifiera objekt i bilder som är specifika och unika för ditt företag.

Rekognition Custom Labels kräver inte att du har någon tidigare expertis för datorseende. Du kan komma igång genom att helt enkelt ladda upp tiotals bilder istället för tusentals. Om bilderna redan är märkta kan du börja träna en modell med bara några klick. Om inte kan du märka dem direkt i Rekognition Custom Labels-konsolen eller använda Amazon SageMaker Ground Sannhet att märka dem. Rekognition Custom Labels använder överföringsinlärning för att automatiskt inspektera träningsdata, välja rätt modellramverk och algoritm, optimera hyperparametrarna och träna modellen. När du är nöjd med modellens noggrannhet kan du börja vara värd för den utbildade modellen med bara ett klick.

I det här inlägget visar vi hur du kan bygga en helhetslösning med hjälp av Rekognition Custom Labels för att upptäcka och räkna frukt för att mäta jordbrukets avkastning.

Lösningsöversikt

Vi skapar en anpassad modell för att upptäcka frukt genom att använda följande steg:

1. Märk ett dataset med bilder som innehåller frukt med hjälp av Amazon SageMaker Ground Sannhet.
2. Skapa ett projekt i Rekognition Custom Labels.
3. Importera din märkta datauppsättning.
4. Träna modellen.
5. Testa den nya anpassade modellen med den automatiskt genererade API-slutpunkten.

Rekognition Custom Labels låter dig hantera ML-modellutbildningsprocessen på Amazon Rekognition-konsolen, vilket förenklar end-to-end-modellutvecklingen och slutledningsprocessen.

Förutsättningar

För att skapa en modell för jordbruksavkastningsmätning måste du först förbereda en datauppsättning att träna modellen med. För det här inlägget är vår datauppsättning sammansatt av bilder av frukt. Följande bilder visar några exempel.

Vi hämtade våra bilder från vår egen trädgård. Du kan ladda ner bildfilerna från GitHub repo.

För det här inlägget använder vi bara en handfull bilder för att visa upp användningsfallet för fruktutbytet. Du kan experimentera vidare med fler bilder.

Gör följande för att förbereda din dataset:

1. Skapa ett Amazon enkel lagringstjänst (Amazon S3) hink.
2. Skapa två mappar i den här hinken, kallad raw_data och test_data, för att lagra bilder för märkning och modelltestning.
3. Välja Ladda för att ladda upp bilderna till sina respektive mappar från GitHub-repo.
   

De uppladdade bilderna är inte märkta. Du märker bilderna i följande steg.

Märk ditt dataset med Ground Truth

För att träna ML-modellen behöver du märkta bilder. Ground Truth ger en enkel process för att märka bilderna. Märkningsuppgiften utförs av en mänsklig arbetsstyrka; i det här inlägget skapar du en privat arbetsstyrka. Du kan använda Amazon Mekanisk Turk för märkning i stor skala.

Skapa en arbetsstyrka för märkning

Låt oss först skapa vår märkningsarbetare. Slutför följande steg:

1. På SageMaker-konsolen, under Mark Sanningen välj i navigeringsfönstret Märkning av arbetskrafter.
2. På Privat fliken, välj Skapa privat team.
   
3. För Lagnamn, ange ett namn för din arbetsstyrka (för det här inlägget, labeling-team).
4. Välja Skapa privat team.
   
5. Välja Bjud in nya arbetare.
   
   
6. I Lägg till arbetare via e-postadress sektionen anger du e-postadresserna till dina medarbetare. För detta inlägg, ange din egen e-postadress.
7. Välja Bjud in nya arbetare.
   

Du har skapat en märkningspersonal som du använder i nästa steg när du skapar ett märkningsjobb.

Skapa ett Ground Truth-märkningsjobb

Utför följande steg för att göra ditt märkningsjobb bra:

1. På SageMaker-konsolen, under Mark Sanningenväljer Märkning jobb.
2. Välja Skapa märkningsjobb.
   
3. För Jobb namn, stiga på fruits-detection.
4. Välja Jag vill ange ett namn på etikettattribut som skiljer sig från märkningsjobbnamnet.
5. För Etikettattributens namnstiga på Labels.
6. För Indatainställning, Välj Automatiserad datainställning.
7. För S3-plats för indatauppsättningar, ange S3-platsen för bilderna med hjälp av hinken du skapade tidigare (s3://{your-bucket-name}/raw-data/images/).
8. För S3-plats för utdatauppsättningar, Välj Ange en ny plats och ange utdataplatsen för kommenterade data (s3://{your-bucket-name}/annotated-data/).
9. För Data typväljer Bild.
10. Välja Slutför datainställningen.
    Detta skapar bildmanifestfilen och uppdaterar S3-indataplatssökvägen. Vänta på meddelandet "Indataanslutning lyckad."
    
11. Bygga ut Ytterligare konfiguration.
12. Bekräfta det Fullständig datauppsättning väljs.
    Detta används för att ange om du vill tillhandahålla alla bilder till etikettjobbet eller en delmängd av bilder baserat på filter eller slumpmässigt urval.
    
13. För Uppgiftskategoriväljer Bild eftersom detta är en uppgift för bildkommentarer.
14. Eftersom detta är ett användningsfall för objektdetektering, för Uppgiftsval, Välj Begränsande låda.
15. Lämna de andra alternativen som standard och välj Nästa.
    
16. Välja Nästa.
    
    Nu anger du dina arbetare och konfigurerar märkningsverktyget.
17. För Arbetartyper, Välj Privat.För det här inlägget använder du en intern arbetsstyrka för att kommentera bilderna. Du har också möjlighet att välja en offentlig kontraktsanställd arbetsstyrka (Amazon Mechanical Turk) eller en partner arbetskraft (Säljaren hanteras) beroende på ditt användningsfall.
18. För privata team¸ välj det team du skapade tidigare.
19. Lämna de andra alternativen som standard och scrolla ner till Verktyg för märkning av avgränsningslådor.Det är viktigt att tillhandahålla tydliga instruktioner här i märkningsverktyget för det privata märkningsteamet. Dessa instruktioner fungerar som en guide för kommentatorer vid märkning. Bra instruktioner är kortfattade, så vi rekommenderar att du begränsar de verbala eller textuella instruktionerna till två meningar och fokuserar på visuella instruktioner. När det gäller bildklassificering rekommenderar vi att du tillhandahåller en märkt bild i var och en av klasserna som en del av instruktionerna.
20. Lägg till två etiketter: fruit och no_fruit.
21. Ange detaljerade instruktioner i Beskrivningsfält att tillhandahålla instruktioner till arbetarna. Till exempel: You need to label fruits in the provided image. Please ensure that you select label 'fruit' and draw the box around the fruit just to fit the fruit for better quality of label data. You also need to label other areas which look similar to fruit but are not fruit with label 'no_fruit'.Du kan också valfritt ge exempel på bra och dåliga märkningsbilder. Du måste se till att dessa bilder är offentligt tillgängliga.
22. Välja Skapa för att skapa märkningsjobbet.
    

När jobbet har skapats är nästa steg att märka ingångsbilderna.

Starta märkningsjobbet

När du väl har skapat jobbet är jobbets status InProgress. Det innebär att jobbet skapas och den privata arbetskraften meddelas via e-post angående uppgiften som tilldelats dem. Eftersom du har tilldelat uppgiften till dig själv bör du få ett e-postmeddelande med instruktioner för att logga in på Ground Truth Labeling-projektet.

1. Öppna e-postmeddelandet och välj länken som tillhandahålls.
2. Ange användarnamnet och lösenordet i e-postmeddelandet.
   Du kan behöva ändra det tillfälliga lösenordet som anges i e-postmeddelandet till ett nytt lösenord efter inloggning.
3. När du har loggat in, välj ditt jobb och välj Börja jobba.
   
   Du kan använda de medföljande verktygen för att zooma in, zooma ut, flytta och rita begränsningsrutor i bilderna.
4. Välj din etikett (fruit or no_fruit) och rita sedan en begränsningsram i bilden för att kommentera den.
5. När du är klar väljer du Skicka.

Nu har du korrekt märkta bilder som kommer att användas av ML-modellen för träning.

Skapa ditt Amazon Rekognition-projekt

För att skapa ditt jordbruksutkastningsmätningsprojekt, slutför följande steg:

1. Välj på Amazon Rekognition-konsolen Anpassade etiketter.
2. Välja Kom igång.
3. För Projektnamn, stiga på fruits_yield.
4. Välja Skapa projekt.
   

Du kan också skapa ett projekt på Projekt sida. Du kan komma åt Projekt sida via navigeringsfönstret. Nästa steg är att tillhandahålla bilder som input.

Importera din datauppsättning

För att skapa din jordbruksmodell för avkastningsmätning måste du först importera en datauppsättning att träna modellen med. För det här inlägget är vår datauppsättning redan märkt med Ground Truth.

1. För Importera bilder, Välj Importera bilder märkta av SageMaker Ground Truth.
   
2. För Manifest filplats, ange S3-bucket-platsen för din manifestfil (s3://{your-bucket-name}/fruits_image/annotated_data/fruits-labels/manifests/output/output.manifest).
3. Välja Skapa datamängd.
   

Du kan se din märkta datamängd.

Nu har du din indatauppsättning för ML-modellen för att börja träna på dem.

Träna din modell

När du har märkt dina bilder är du redo att träna din modell.

1. Välja Tågmodell.
2. För Välj projekt, välj ditt projekt fruits_yield.
3. Välja Tågmodell.
   

Vänta tills utbildningen är klar. Nu kan du börja testa prestandan för denna tränade modell.

Testa din modell

Din jordbruksmodell för avkastningsmätning är nu redo att användas och bör finnas i Running stat. Utför följande steg för att testa modellen:

Steg 1: Starta modellen

På din modellinformationssida, på Använd modell fliken, välj Start.

Rekognition Custom Labels tillhandahåller också API-anrop för att starta, använda och stoppa din modell.

Steg 2: Testa modellen

När modellen är i Running stat kan du använda provet testskript analyzeImage.py för att räkna mängden frukt i en bild.

1. Ladda ner det här skriptet från GitHub repo.
2. Redigera den här filen för att ersätta parametern bucket med ditt hinknamn och model med din Amazon Rekognition modell ARN.

Vi använder parametrarna photo och min_confidence som indata för detta Python-skript.

Du kan köra det här skriptet lokalt med hjälp av AWS-kommandoradsgränssnitt (AWS CLI) eller med hjälp av AWS CloudShell. I vårt exempel körde vi skriptet via CloudShell-konsolen. Observera att CloudShell är gratis att använda.

Se till att installera de nödvändiga beroenden med kommandot pip3 install boto3 PILLOW om inte redan installerat.

3. Ladda upp filen analyzeImage.py till CloudShell med hjälp av Handlingar meny.
   

Följande skärmdump visar utdata, som upptäckte två frukter i ingångsbilden. Vi tillhandahöll 15.jpeg som fotoargument och 85 som min_confidence värde.

Följande exempel visar bild 15.jpeg med två begränsningsrutor.

Du kan köra samma skript med andra bilder och experimentera genom att ändra konfidenspoängen ytterligare.

Steg 3: Stoppa modellen

När du är klar, kom ihåg att stoppa modellen för att undvika onödiga avgifter. På sidan med modelldetaljer, på fliken Använd modell, välj Stopp.

Städa upp

För att undvika onödiga avgifter, radera resurserna som används i den här genomgången när de inte används. Vi måste ta bort Amazon Rekognition-projektet och S3-hinken.

Ta bort Amazon Rekognition-projektet

För att ta bort Amazon Rekognition-projektet, slutför följande steg:

1. Välj på Amazon Rekognition-konsolen Använd anpassade etiketter.
2. Välja KOM IGÅNG.
3. Välj i navigeringsfönstret Projekt.
4. På Projekt sida, välj det projekt som du vill ta bort.
   1. Välja Radera.
      Smakämnen Ta bort projekt dialogrutan visas.
5. Om projektet inte har några associerade modeller:
   1. ange radera för att ta bort projektet.
   2. Välja Radera för att ta bort projektet.
6. Om projektet har associerade modeller eller datauppsättningar:
   1. ange radera för att bekräfta att du vill ta bort modellen och datauppsättningarna.
   2. Välj antingen Ta bort associerade modeller, Ta bort associerade datamängder, eller Ta bort associerade datamängder och modeller, beroende på om modellen har datauppsättningar, modeller eller båda.

   Radering av modell kan ta ett tag att slutföra. Observera att Amazon Rekognition-konsolen inte kan ta bort modeller som är i träning eller löpning. Försök igen efter att ha stoppat alla löpmodeller som är listade och vänta tills modellerna som listas som träning är klara. Om du stänger dialogrutan under radering av modell, raderas modellerna fortfarande. Senare kan du ta bort projektet genom att upprepa denna procedur.

7. ange radera för att bekräfta att du vill ta bort projektet.
8. Välja Radera för att ta bort projektet.

Ta bort din S3-hink

Du måste först tömma hinken och sedan ta bort den.

1. På Amazon S3 konsol, välj Skopor.
2. Välj den hink som du vill tömma och välj sedan Tom.
3. Bekräfta att du vill tömma hinken genom att ange hinkens namn i textfältet och välj sedan Tom.
4. Välja Radera.
5. Bekräfta att du vill ta bort hinken genom att ange hinkens namn i textfältet och välj sedan Ta bort hink.

Slutsats

I det här inlägget visade vi hur du skapar en objektdetekteringsmodell med Rekognition Custom Labels. Den här funktionen gör det enkelt att träna en anpassad modell som kan upptäcka en objektklass utan att behöva specificera andra objekt eller förlora noggrannhet i dess resultat.

Mer information om hur du använder anpassade etiketter finns i Vad är anpassade etiketter på Amazon Rekognition?

---

Om författarna

Dhiraj Thakur är en lösningsarkitekt med Amazon Web Services. Han samarbetar med AWS-kunder och -partners för att ge vägledning om införande, migrering och strategi för företagsmoln. Han brinner för teknik och tycker om att bygga och experimentera inom analys- och AI/ML-området.

Sameer Goel är en Sr. Solutions Architect i Nederländerna, som driver kundernas framgång genom att bygga prototyper på banbrytande initiativ. Innan han började på AWS tog Sameer en masterexamen från Boston, med en koncentration inom datavetenskap. Han tycker om att bygga och experimentera med AI/ML-projekt på Raspberry Pi. Du kan hitta honom på LinkedIn.