Wykorzystaj wizję komputerową do pomiaru wydajności rolnictwa za pomocą etykiet niestandardowych Amazon Rekognition

W rolnictwie istotną rolę w szacowaniu plonów odgrywa problem identyfikacji i liczenia ilości owoców na drzewach. Popularna staje się koncepcja wynajmu i dzierżawy drzewka, w której właściciel drzewa co roku przed zbiorami dzierżawi je na podstawie szacunkowych zbiorów owoców. Powszechna praktyka ręcznego liczenia owoców jest procesem czasochłonnym i pracochłonnym. To jedno z najtrudniejszych, ale najważniejszych zadań, aby uzyskać lepsze wyniki w systemie zarządzania uprawami. Takie oszacowanie ilości owoców i kwiatów pomaga rolnikom podejmować lepsze decyzje — nie tylko w sprawie cen leasingu, ale także praktyk uprawowych i zapobiegania chorobom roślin.

W tym miejscu rozwiązanie zautomatyzowanego uczenia maszynowego (ML) dla wizji komputerowej (CV) może pomóc rolnikom. Etykiety niestandardowe Amazon Rekognition to w pełni zarządzana usługa wizji komputerowej, która umożliwia programistom tworzenie niestandardowych modeli do klasyfikowania i identyfikowania obiektów na obrazach, które są specyficzne i unikalne dla Twojej firmy.

Rekognition Custom Labels nie wymaga wcześniejszej wiedzy z zakresu widzenia komputerowego. Możesz zacząć, po prostu przesyłając dziesiątki obrazów zamiast tysięcy. Jeśli obrazy są już oznaczone etykietami, możesz rozpocząć trenowanie modelu za pomocą kilku kliknięć. Jeśli nie, możesz je oznaczyć bezpośrednio w konsoli Rekognition Custom Labels lub użyć Amazon SageMaker Ground Prawda aby je oznaczyć. Rekognition Custom Labels wykorzystuje uczenie transferu do automatycznego sprawdzania danych uczących, wybierania odpowiedniej struktury modelu i algorytmu, optymalizacji hiperparametrów i uczenia modelu. Gdy jesteś zadowolony z dokładności modelu, możesz rozpocząć hostowanie wytrenowanego modelu za pomocą jednego kliknięcia.

W tym poście pokazujemy, jak zbudować kompleksowe rozwiązanie za pomocą etykiet niestandardowych Rekognition do wykrywania i liczenia owoców w celu pomiaru wydajności rolnictwa.

Omówienie rozwiązania

Tworzymy niestandardowy model do wykrywania owoców, wykonując następujące kroki:

1. Oznacz zbiór danych obrazami zawierającymi owoce za pomocą Amazon SageMaker Ground Prawda.
2. Utwórz projekt w Rekognition Custom Labels.
3. Zaimportuj swój oznaczony etykietą zbiór danych.
4. Wytrenuj model.
5. Przetestuj nowy model niestandardowy przy użyciu automatycznie wygenerowanego punktu końcowego interfejsu API.

Rekognition Custom Labels umożliwia zarządzanie procesem uczenia modelu ML w konsoli Amazon Rekognition, co upraszcza całościowy proces opracowywania i wnioskowania modelu.

Wymagania wstępne

Aby utworzyć model pomiaru plonów w rolnictwie, musisz najpierw przygotować zestaw danych, na podstawie którego zostanie przeszkolony model. W tym poście nasz zbiór danych składa się z obrazów owoców. Poniższe obrazy pokazują kilka przykładów.

Nasze obrazy pozyskaliśmy z własnego ogrodu. Możesz pobrać pliki graficzne z GitHub repo.

W tym poście używamy tylko kilku zdjęć, aby pokazać przypadek użycia owoców. Możesz dalej eksperymentować z większą liczbą obrazów.

Aby przygotować zbiór danych, wykonaj następujące kroki:

1. Tworzenie Usługa Amazon Simple Storage Łyżka (Amazon S3).
2. W tym zasobniku utwórz dwa foldery o nazwie raw_data i test_data, do przechowywania obrazów do etykietowania i testowania modelu.
3. Dodaj Prześlij aby przesłać obrazy do odpowiednich folderów z repozytorium GitHub.
   

Przesłane obrazy nie są oznaczone. Oznaczysz obrazy w następnym kroku.

Oznacz swój zbiór danych za pomocą Ground Truth

Aby wytrenować model ML, potrzebujesz obrazków z etykietami. Ground Truth zapewnia łatwy proces etykietowania obrazów. Zadanie etykietowania jest wykonywane przez ludzką siłę roboczą; w tym poście tworzysz prywatną siłę roboczą. Możesz użyć Amazon Mechanical Turk do etykietowania na dużą skalę.

Utwórz personel zajmujący się etykietowaniem

Najpierw stwórzmy naszych pracowników zajmujących się etykietowaniem. Wykonaj następujące kroki:

1. Na konsoli SageMaker pod Podstawowa prawda w okienku nawigacji wybierz Etykietowanie siły roboczej.
2. Na Sprawy Prywatne kartę, wybierz Utwórz prywatny zespół.
   
3. W razie zamówieenia projektu Nazwa drużyny, wprowadź nazwę swojej siły roboczej (dla tego posta, labeling-team).
4. Dodaj Utwórz prywatny zespół.
   
5. Dodaj Zaproś nowych pracowników.
   
   
6. W Dodaj pracowników według adresu e-mail w sekcji wprowadź adresy e-mail swoich pracowników. W tym poście wpisz swój własny adres e-mail.
7. Dodaj Zaproś nowych pracowników.
   

Utworzyłeś pracowników zajmujących się etykietowaniem, których użyjesz w następnym kroku podczas tworzenia zadania etykietowania.

Utwórz zadanie etykietowania Ground Truth

Aby dobrze wykonać zadanie związane z etykietowaniem, wykonaj następujące czynności:

1. Na konsoli SageMaker pod Podstawowa prawdawybierz Etykietowanie zadań.
2. Dodaj Utwórz zadanie etykietowania.
   
3. W razie zamówieenia projektu Nazwa pracy, wchodzić fruits-detection.
4. Wybierz Chcę podać nazwę atrybutu etykiety inną niż nazwa zadania etykietowania.
5. W razie zamówieenia projektu Nazwa atrybutu etykietywchodzić Labels.
6. W razie zamówieenia projektu Konfiguracja danych wejściowych, Wybierz Zautomatyzowana konfiguracja danych.
7. W razie zamówieenia projektu Lokalizacja S3 dla wejściowych zestawów danych, wprowadź lokalizację obrazów S3, korzystając z utworzonego wcześniej wiadra (s3://{your-bucket-name}/raw-data/images/).
8. W razie zamówieenia projektu Lokalizacja S3 dla wyjściowych zestawów danych, Wybierz Określ nową lokalizację i wprowadź lokalizację wyjściową dla danych z adnotacjami (s3://{your-bucket-name}/annotated-data/).
9. W razie zamówieenia projektu Typ danychwybierz Obraz.
10. Dodaj Kompletna konfiguracja danych.
    Spowoduje to utworzenie pliku manifestu obrazu i zaktualizowanie ścieżki lokalizacji wejściowej S3. Poczekaj na komunikat „Połączenie danych wejściowych powiodło się”.
    
11. Rozszerzać Dodatkowa konfiguracja.
12. Potwierdź, że Pełny zbiór danych jest wybrany.
    Służy do określenia, czy chcesz dostarczyć wszystkie obrazy do zadania etykietowania, czy podzbiór obrazów na podstawie filtrów lub losowego próbkowania.
    
13. W razie zamówieenia projektu Kategoria zadaniawybierz Obraz ponieważ jest to zadanie dla adnotacji obrazu.
14. Ponieważ jest to przypadek użycia wykrywania obiektów, dla Wybór zadań, Wybierz Pudełko ograniczające.
15. Pozostałe opcje pozostaw jako domyślne i wybierz Następna.
    
16. Dodaj Następna.
    
    Teraz określasz swoich pracowników i konfigurujesz narzędzie do etykietowania.
17. W razie zamówieenia projektu Rodzaje pracowników, Wybierz Sprawy Prywatne.W tym poście wykorzystujesz wewnętrzną siłę roboczą do opisywania obrazów. Masz również możliwość wyboru publicznej siły roboczej kontraktowej (Amazon Mechaniczny Turk) lub partnerskiej siły roboczej (Zarządzany przez dostawcę) w zależności od przypadku użycia.
18. W przypadku zespołów prywatnych wybierz zespół, który utworzyłeś wcześniej.
19. Pozostałe opcje pozostaw jako domyślne i przewiń w dół do Narzędzie do etykietowania obwiedni.Konieczne jest podanie jasnych instrukcji w narzędziu do etykietowania dla zespołu zajmującego się etykietowaniem prywatnym. Te instrukcje służą jako przewodnik dla adnotatorów podczas etykietowania. Dobre instrukcje są zwięzłe, dlatego zalecamy ograniczenie instrukcji słownych lub tekstowych do dwóch zdań i skupienie się na instrukcjach wizualnych. W przypadku klasyfikacji obrazów zalecamy w ramach instrukcji podać po jednym obrazku oznaczonym w każdej z klas.
20. Dodaj dwie etykiety: fruit i no_fruit.
21. Wprowadź szczegółowe instrukcje w Pole opisu do podania instrukcje dla pracowników. Na przykład: You need to label fruits in the provided image. Please ensure that you select label 'fruit' and draw the box around the fruit just to fit the fruit for better quality of label data. You also need to label other areas which look similar to fruit but are not fruit with label 'no_fruit'.Możesz też opcjonalnie podać przykłady dobrych i złych obrazów etykiet. Musisz upewnić się, że te obrazy są publicznie dostępne.
22. Dodaj Stwórz aby utworzyć zadanie etykietowania.
    

Po pomyślnym utworzeniu zadania następnym krokiem jest oznaczenie obrazów wejściowych.

Rozpocznij zadanie etykietowania

Po pomyślnym utworzeniu zadania status zadania to InProgress. Oznacza to, że praca jest tworzona, a prywatna siła robocza jest powiadamiana e-mailem o przydzielonym im zadaniu. Ponieważ przydzieliłeś zadanie sobie, powinieneś otrzymać e-mail z instrukcjami logowania się do projektu Ground Truth Labeling.

1. Otwórz wiadomość e-mail i wybierz podany link.
2. Wprowadź nazwę użytkownika i hasło podane w wiadomości e-mail.
   Po zalogowaniu może być konieczna zmiana tymczasowego hasła podanego w wiadomości e-mail na nowe hasło.
3. Po zalogowaniu wybierz swoją pracę i wybierz Rozpocząć pracę.
   
   Za pomocą dostarczonych narzędzi można powiększać, pomniejszać, przesuwać i rysować obwiednie na obrazach.
4. Wybierz swoją etykietę (fruit or no_fruit), a następnie narysuj obwiednię na obrazie, aby ją opisać.
5. Kiedy skończysz, wybierz Prześlij.

Teraz masz poprawnie oznaczone obrazy, które będą używane przez model ML do szkolenia.

Stwórz swój projekt Amazon Rekognition

Aby utworzyć projekt pomiaru plonów w rolnictwie, wykonaj następujące czynności:

1. Na konsoli Amazon Rekognition wybierz Niestandardowe etykiety.
2. Dodaj Rozpocznij.
3. W razie zamówieenia projektu Nazwa Projektu, wchodzić fruits_yield.
4. Dodaj Utwórz projekt.
   

Możesz również utworzyć projekt na Projekty strona. Możesz uzyskać dostęp do Projekty stronę za pomocą panelu nawigacyjnego. Następnym krokiem jest dostarczenie obrazów jako danych wejściowych.

Zaimportuj swój zbiór danych

Aby utworzyć model pomiaru plonów w rolnictwie, musisz najpierw zaimportować zestaw danych, aby nauczyć model. W tym poście nasz zbiór danych jest już oznaczony przy użyciu Ground Truth.

1. W razie zamówieenia projektu Importuj obrazy, Wybierz Importuj obrazy oznaczone przez SageMaker Ground Truth.
   
2. W razie zamówieenia projektu Lokalizacja pliku manifestu, wpisz lokalizację zasobnika S3 pliku manifestu (s3://{your-bucket-name}/fruits_image/annotated_data/fruits-labels/manifests/output/output.manifest).
3. Dodaj Utwórz zestaw danych.
   

Możesz zobaczyć swój zbiór danych oznaczonych etykietami.

Teraz masz swój wejściowy zestaw danych dla modelu ML, aby rozpocząć ich szkolenie.

Wytrenuj swoją modelkę

Po oznaczeniu obrazów etykietami możesz trenować model.

1. Dodaj Trenuj model.
2. W razie zamówieenia projektu Wybierz projekt, wybierz swój projekt fruits_yield.
3. Dodaj Model pociągu.
   

Poczekaj na zakończenie szkolenia. Teraz możesz rozpocząć testowanie wydajności tego wytrenowanego modelu.

Przetestuj swój model

Twój model pomiaru plonów w rolnictwie jest teraz gotowy do użycia i powinien znajdować się w Running państwo. Aby przetestować model, wykonaj następujące czynności:

Krok 1: Uruchom model

Na stronie szczegółów modelu, na Użyj modelu kartę, wybierz Start.

Rekognition Custom Labels zapewnia również wywołania interfejsu API do uruchamiania, używania i zatrzymywania modelu.

Krok 2: Przetestuj model

Gdy model jest w Running stan, możesz użyć przykładowego skryptu testowego analyzeImage.py aby policzyć ilość owoców na obrazie.

1. Pobierz ten skrypt z GitHub repo.
2. Edytuj ten plik, aby zastąpić parametr bucket z nazwą Twojego wiadra i model z Twoim modelem rozpoznawania Amazon ARN.

Używamy parametrów photo i min_confidence jako dane wejściowe dla tego skryptu Pythona.

Możesz uruchomić ten skrypt lokalnie za pomocą Interfejs wiersza poleceń AWS (AWS CLI) lub za pomocą Chmura AWS. W naszym przykładzie skrypt uruchomiliśmy za pośrednictwem konsoli CloudShell. Zauważ, że CloudShell jest swobodnie korzystać.

Upewnij się, że zainstalowałeś wymagane zależności za pomocą polecenia pip3 install boto3 PILLOW jeśli jeszcze nie jest zainstalowany.

3. Prześlij plik analyzeImage.py do CloudShell za pomocą Akcje menu.
   

Poniższy zrzut ekranu pokazuje dane wyjściowe, które wykryły dwa owoce na obrazie wejściowym. Dostarczyliśmy 15.jpeg jako argument ze zdjęciem i 85 jako min_confidence wartość.

Poniższy przykład przedstawia obraz 15.jpeg z dwoma ramkami ograniczającymi.

Możesz uruchomić ten sam skrypt z innymi obrazami i eksperymentować, dalej zmieniając wynik ufności.

Krok 3: Zatrzymaj model

Po zakończeniu pamiętaj o zatrzymaniu modelu, aby uniknąć niepotrzebnych opłat. Na stronie szczegółów modelu na karcie Użyj modelu wybierz opcję Zatrzymaj.

Sprzątać

Aby uniknąć niepotrzebnych opłat, usuń zasoby używane w tym przewodniku, gdy nie są używane. Musimy usunąć projekt Amazon Rekognition i zasobnik S3.

Usuń projekt Amazon Rekognition

Aby usunąć projekt Amazon Rekognition, wykonaj następujące czynności:

1. Na konsoli Amazon Rekognition wybierz Użyj etykiet niestandardowych.
2. Dodaj Rozpocznij.
3. W okienku nawigacji wybierz Projekty.
4. Na Projekty stronę, wybierz projekt, który chcesz usunąć.
   1. Dodaj Usuń.
      Połączenia Usuń projekt pojawi się okno dialogowe.
5. Jeśli projekt nie ma powiązanych modeli:
   1. Wchodzę usunąć aby usunąć projekt.
   2. Dodaj Usuń aby usunąć projekt.
6. Jeśli projekt ma powiązane modele lub zbiory danych:
   1. Wchodzę usunąć aby potwierdzić, że chcesz usunąć model i zestawy danych.
   2. Wybierz jedną Usuń powiązane modele, Usuń powiązane zbiory danychlub Usuń powiązane zbiory danych i modele, w zależności od tego, czy model zawiera zestawy danych, modele, czy oba te elementy.

   Usunięcie modelu może chwilę potrwać. Pamiętaj, że konsola Amazon Rekognition nie może usuwać modeli, które są w trakcie trenowania lub działania. Spróbuj ponownie po zatrzymaniu wszystkich uruchomionych modeli, które są na liście, i poczekaj, aż modele wymienione jako uczące się zakończą. Jeśli zamkniesz okno dialogowe podczas usuwania modelu, modele są nadal usuwane. Później możesz usunąć projekt, powtarzając tę ​​procedurę.

7. Wchodzę usunąć aby potwierdzić, że chcesz usunąć projekt.
8. Dodaj Usuń aby usunąć projekt.

Usuń swój zasobnik S3

Najpierw musisz opróżnić wiadro, a następnie je usunąć.

1. Na Amazon S3 konsola, wybierz Wiadra.
2. Wybierz wiadro, które chcesz opróżnić, a następnie wybierz pusty.
3. Potwierdź, że chcesz opróżnić zasobnik, wprowadzając nazwę zasobnika w polu tekstowym, a następnie wybierz pusty.
4. Dodaj Usuń.
5. Potwierdź, że chcesz usunąć zasobnik, wprowadzając nazwę zasobnika w polu tekstowym, a następnie wybierz Usuń zasobnik.

Wnioski

W tym poście pokazaliśmy, jak stworzyć model wykrywania obiektów za pomocą etykiet niestandardowych Rekognition. Ta funkcja ułatwia trenowanie niestandardowego modelu, który może wykrywać klasę obiektów bez konieczności określania innych obiektów lub utraty dokładności wyników.

Aby uzyskać więcej informacji na temat używania etykiet niestandardowych, zobacz Co to są niestandardowe etykiety Amazon Rekognition?

---

O autorach

Dhiraj Thakura jest architektem rozwiązań w Amazon Web Services. Współpracuje z klientami i partnerami AWS, aby zapewnić wskazówki dotyczące wdrażania chmury korporacyjnej, migracji i strategii. Pasjonuje się technologią, lubi budować i eksperymentować w przestrzeni analitycznej i AI / ML.

Sameera Goela jest starszym architektem rozwiązań w Holandii, który napędza sukces klientów, budując prototypy w najnowocześniejszych inicjatywach. Przed dołączeniem do AWS Sameer ukończył Boston z tytułem magistra, ze specjalizacją w nauce o danych. Lubi budować i eksperymentować z projektami AI/ML na Raspberry Pi. Możesz go znaleźć na LinkedIn.