Wskazówki, jak ulepszyć swój model etykiet niestandardowych Amazon Rekognition

W tym poście omawiamy najlepsze praktyki, aby poprawić wydajność modeli wizji komputerowych za pomocą Etykiety niestandardowe Amazon Rekognition. Rekognition Custom Labels to w pełni zarządzana usługa do tworzenia niestandardowych modeli widzenia komputerowego do celów klasyfikacji obrazów i wykrywania obiektów. Rekognition Custom Labels opiera się na wstępnie przeszkolonych modelach w Amazon Rekognition, które są już przeszkolone na dziesiątkach milionów obrazów z wielu kategorii. Zamiast tysięcy obrazów możesz zacząć od małego zestawu obrazów szkoleniowych (kilkaset lub mniej), które są specyficzne dla Twojego przypadku użycia. Rekognition Custom Labels ogranicza złożoność związaną z budowaniem modelu niestandardowego. Automatycznie sprawdza dane szkoleniowe, wybiera odpowiednie algorytmy ML, wybiera typ wystąpienia, trenuje wiele modeli kandydujących z różnymi ustawieniami hiperparametrów i generuje najlepiej wyszkolony model. Rekognition Custom Labels zapewnia również łatwy w użyciu interfejs od Konsola zarządzania AWS do zarządzania całym przepływem pracy ML, w tym etykietowania obrazów, trenowania modelu, wdrażania modelu i wizualizacji wyników testów.

Zdarza się, że dokładność modelu nie jest najlepsza i nie masz wielu opcji dostosowania parametrów konfiguracyjnych modelu. Za kulisami istnieje wiele czynników, które odgrywają kluczową rolę w tworzeniu modelu o wysokiej wydajności, takie jak:

• Kąt obrazu
• Rozdzielczość obrazu
• Współczynnik proporcji obrazu
• Wystawienie na działanie światła
• Przejrzystość i wyrazistość tła
• Kontrast kolorów
• Przykładowy rozmiar danych

Poniżej przedstawiono ogólne kroki, które należy wykonać, aby wyszkolić model etykiet niestandardowych rozpoznawania klasy produkcyjnej:

1. Taksonomia recenzji – Definiuje listę atrybutów/elementów, które chcesz zidentyfikować na obrazie.
2. Zbierz odpowiednie dane – To najważniejszy krok, w którym musisz zebrać odpowiednie obrazy, które powinny przypominać to, co zobaczysz w środowisku produkcyjnym. Może to obejmować obrazy obiektów o różnym tle, oświetleniu lub kącie kamery. Następnie tworzysz treningowe i testowe zestawy danych, dzieląc zebrane obrazy. Jako część testowego zestawu danych należy uwzględniać tylko obrazy ze świata rzeczywistego i nie należy dołączać żadnych obrazów generowanych syntetycznie. Adnotacje zebranych danych mają kluczowe znaczenie dla wydajności modelu. Upewnij się, że obwiednie są ciasne wokół obiektów, a etykiety są dokładne. W dalszej części tego postu omówimy kilka wskazówek, które możesz wziąć pod uwagę podczas tworzenia odpowiedniego zestawu danych.
3. Przejrzyj wskaźniki treningowe – Użyj poprzednich zestawów danych, aby trenować model i przejrzeć metryki trenowania pod kątem wyniku F1, precyzji i przywołania. W dalszej części tego wpisu omówimy szczegółowo, jak analizować metryki treningowe.
4. Oceń wytrenowany model – Użyj zestawu niewidocznych obrazów (nieużywanych do trenowania modelu) ze znanymi etykietami, aby ocenić prognozy. Ten krok należy zawsze wykonywać, aby upewnić się, że model działa zgodnie z oczekiwaniami w środowisku produkcyjnym.
5. Przeszkolenie (opcjonalnie) – Ogólnie rzecz biorąc, trenowanie dowolnego modelu uczenia maszynowego jest procesem iteracyjnym w celu osiągnięcia pożądanych rezultatów, model wizji komputerowej nie jest inny. Przejrzyj wyniki w kroku 4, aby zobaczyć, czy do danych treningowych należy dodać więcej obrazów i powtórz powyższe kroki 3–5.

W tym poście skupiamy się na najlepszych praktykach dotyczących zbierania odpowiednich danych (krok 2) i oceny wytrenowanych metryk (krok 3) w celu poprawy wydajności modelu.

Zbierz odpowiednie dane

Jest to najbardziej krytyczny etap szkolenia modelu etykiet niestandardowych rozpoznawania klasy produkcyjnej. W szczególności istnieją dwa zbiory danych: trening i testowanie. Dane uczące są używane do uczenia modelu i musisz poświęcić wysiłek na budowanie odpowiedniego zestawu uczącego. Modele etykiet niestandardowych rozpoznawania są zoptymalizowane pod kątem Wynik F1 na testowym zbiorze danych, aby wybrać najdokładniejszy model dla swojego projektu. Dlatego ważne jest, aby wybrać testowy zestaw danych, który przypomina rzeczywisty świat.

Liczba obrazów

Zalecamy posiadanie co najmniej 15-20 obrazów na etykietę. Posiadanie większej liczby obrazów z większą liczbą odmian, które odzwierciedlają Twój przypadek użycia, poprawi wydajność modelu.

Zrównoważony zbiór danych

W idealnym przypadku każda etykieta w zestawie danych powinna mieć podobną liczbę próbek. Nie powinno być ogromnych rozbieżności w liczbie obrazów na etykietę. Na przykład zestaw danych, w którym największa liczba obrazów dla etykiety wynosi 1,000, a 50 obrazów dla innej etykiety, przypomina niezrównoważony zestaw danych. Zalecamy unikanie scenariuszy o krzywym stosunku 1:50 między etykietą z najmniejszą liczbą obrazów a etykietą z największą liczbą obrazów.

Różne rodzaje obrazów

Dołącz obrazy do treningowego i testowego zbioru danych, które przypominają to, czego będziesz używać w świecie rzeczywistym. Na przykład, jeśli chcesz sklasyfikować obrazy salonów i sypialni, powinieneś dołączyć puste i umeblowane obrazy obu pokoi.

Poniżej znajduje się przykładowy obraz umeblowanego salonu.

Dla kontrastu, poniżej znajduje się przykład nieumeblowanego salonu.

Poniżej znajduje się przykładowy obraz umeblowanej sypialni.

Poniżej znajduje się przykładowy obraz nieumeblowanej sypialni.

Różne tła

Dołącz obrazy z różnym tłem. Obrazy z naturalnym kontekstem mogą zapewnić lepsze wyniki niż zwykłe tło.

Poniżej znajduje się przykładowy obraz podwórka domu.

Poniżej znajduje się przykładowy obraz podwórka innego domu na innym tle.

Różne warunki oświetleniowe

Uwzględnij obrazy o różnym oświetleniu, aby obejmowały różne warunki oświetlenia występujące podczas wnioskowania (na przykład z lampą błyskową i bez). Możesz także dołączyć obrazy o różnym nasyceniu, odcieniu i jasności.

Poniżej znajduje się przykładowy obraz kwiatu w normalnym świetle.

W przeciwieństwie do tego, poniższy obraz przedstawia ten sam kwiat w jasnym świetle.

Różne kąty

Uwzględnij obrazy zrobione pod różnymi kątami obiektu. Pomaga to modelowi poznać różne cechy obiektów.

Poniższe zdjęcia przedstawiają tę samą sypialnię pod różnymi kątami.

Mogą zaistnieć sytuacje, w których uzyskanie obrazów różnych typów nie będzie możliwe. W tych scenariuszach obrazy syntetyczne można generować jako część zestawu danych uczących. Aby uzyskać więcej informacji na temat popularnych technik powiększania obrazu, zobacz Rozszerzanie danych.

Dodaj negatywne etykiety

W przypadku klasyfikacji obrazów dodanie etykiet negatywnych może pomóc w zwiększeniu dokładności modelu. Możesz na przykład dodać etykietę negatywną, która nie pasuje do żadnej z wymaganych etykiet. Poniższy obraz przedstawia różne etykiety używane do identyfikacji w pełni dojrzałych kwiatów.

Dodanie negatywnej etykiety not_fully_grown pomaga modelowi poznać cechy, które nie są częścią fully_grown etykieta.

Radzenie sobie z pomyłką etykiet

Przeanalizuj wyniki w testowym zestawie danych, aby rozpoznać wszelkie wzorce, które zostały pominięte w uczącym lub testowym zestawie danych. Czasami łatwo jest dostrzec takie wzory, wizualnie przyglądając się obrazom. Na poniższej ilustracji model próbuje rozwiązać problem między etykietą podwórka a etykietą patio.

W tym scenariuszu dodanie większej liczby obrazów do tych etykiet w zestawie danych, a także ponowne zdefiniowanie etykiet, tak aby każda etykieta była odrębna, może pomóc w zwiększeniu dokładności modelu.

Powiększanie danych

Wewnątrz Rekognition Custom Labels wykonujemy różne rozszerzenia danych w celu trenowania modeli, w tym losowe przycinanie obrazu, drgania kolorów, losowe szumy Gaussa i inne. W zależności od konkretnych przypadków użycia korzystne może być również dodanie bardziej wyraźnych rozszerzeń danych do danych treningowych. Na przykład, jeśli interesuje Cię wykrywanie zwierząt zarówno na obrazach kolorowych, jak i czarno-białych, możesz potencjalnie uzyskać większą dokładność, dodając czarno-białe i kolorowe wersje tych samych obrazów do danych treningowych.

Nie zalecamy rozszerzeń danych testowych, chyba że rozszerzenia odzwierciedlają przypadki użycia w środowisku produkcyjnym.

Przejrzyj wskaźniki treningowe

Wynik F1, precyzja, przypomnienie i zakładany próg to metryka które są generowane jako wynik uczenia modelu przy użyciu etykiet niestandardowych rozpoznawania. Modele są zoptymalizowane pod kątem najlepszego wyniku F1 na podstawie dostarczonego zestawu danych testowych. Zakładany próg jest również generowany na podstawie testowego zbioru danych. Możesz dostosować próg w oparciu o wymagania biznesowe pod względem precyzji lub wycofania.

Ponieważ zakładane progi są ustawione na testowym zestawie danych, odpowiedni zestaw testowy powinien odzwierciedlać rzeczywisty przypadek użycia produkcyjnego. Jeśli testowy zestaw danych nie jest reprezentatywny dla przypadku użycia, możesz zobaczyć sztucznie zawyżone wyniki F1 i niską wydajność modelu na rzeczywistych obrazach.

Te metryki są przydatne podczas wstępnej oceny modelu. W przypadku systemu klasy produkcyjnej zalecamy ocenę modelu względem zewnętrznego zestawu danych (500–1,000 niewidocznych obrazów) reprezentatywnego dla świata rzeczywistego. Pomaga to ocenić, jak model będzie działał w systemie produkcyjnym, a także zidentyfikować brakujące wzorce i poprawić je poprzez ponowne uczenie modelu. Jeśli zauważysz niezgodność między wynikami F1 a oceną zewnętrzną, sugerujemy sprawdzenie, czy dane testowe odzwierciedlają rzeczywisty przypadek użycia.

Wnioski

W tym poście omówiliśmy najlepsze praktyki ulepszania modeli niestandardowych etykiet rozpoznawania. Zachęcamy do zapoznania się z Rozpoznawanie etykiet niestandardowych i wypróbuj go dla swoich zbiorów danych biznesowych.

---

O autorach

Amit Gupta jest starszym architektem rozwiązań usług AI w AWS. Jego pasją jest udostępnianie klientom dobrze zaprojektowanych rozwiązań uczenia maszynowego na dużą skalę.

Jogesz Chaturwedi jest architektem rozwiązań w AWS ze specjalizacją w wizji komputerowej. Współpracuje z klientami, aby sprostać ich wyzwaniom biznesowym, korzystając z technologii chmurowych. Poza pracą lubi wędrować, podróżować i oglądać sport.

Hao Yang jest starszym naukowcem w zespole ds. etykiet niestandardowych Amazon Rekognition. Jego główne zainteresowania badawcze to wykrywanie obiektów i uczenie się z ograniczonymi adnotacjami. Na zewnątrz Hao lubi oglądać filmy, fotografować i spędzać czas na świeżym powietrzu.

Paszmeńska tajemnica jest starszym menedżerem produktu ds. etykiet niestandardowych Amazon Rekognition. Poza pracą Pashmeen lubi pełne przygód wędrówki, fotografowanie i spędzanie czasu z rodziną.