Sprawdzaj etykiety danych za pomocą narzędzia wizualnego, bez użycia kodu, aby tworzyć wysokiej jakości zbiory danych szkoleniowych za pomocą Amazon SageMaker Ground Truth Plus

Opublikowane ponownie przez Plato

Obserwuje: 0

Wprowadzony na AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus pomaga tworzyć wysokiej jakości zestawy danych szkoleniowych, eliminując niezróżnicowane ciężkie dźwiganie związane z tworzeniem aplikacji do etykietowania danych i zarządzaniem pracownikami zajmującymi się etykietowaniem. Wszystko, co robisz, to udostępniasz dane wraz z wymaganiami dotyczącymi etykietowania, a Ground Truth Plus konfiguruje i zarządza przepływem pracy związanym z etykietowaniem danych w oparciu o te wymagania. Stamtąd zespół ekspertów przeszkolony w zakresie różnych zadań uczenia maszynowego (ML) wykonuje etykietowanie danych. Nie potrzebujesz nawet głębokiej wiedzy ML ani wiedzy na temat projektowania przepływu pracy i zarządzania jakością, aby korzystać z Ground Truth Plus.

Tworzenie wysokiej jakości zestawu danych szkoleniowych dla algorytmu uczenia maszynowego jest procesem iteracyjnym. Praktycy ML często budują niestandardowe systemy do kontroli etykiet danych, ponieważ dokładnie oznaczone dane mają kluczowe znaczenie dla jakości modelu ML. Aby zapewnić uzyskanie wysokiej jakości danych treningowych, Ground Truth Plus zapewnia wbudowany interfejs użytkownika (Review UI) do sprawdzania jakości etykiet danych i przekazywania informacji zwrotnych na temat etykiet danych, dopóki nie będziesz zadowolony, że etykiety dokładnie reprezentują podstawowa prawda, czyli to, co można bezpośrednio zaobserwować w realnym świecie.

W tym poście opisano kroki tworzenia zespołu projektowego i korzystania z kilku nowych wbudowanych funkcji narzędzia interfejsu użytkownika recenzji w celu wydajnego przeprowadzania inspekcji zestawu danych z etykietami. W instrukcji założono, że masz aktywny projekt etykietowania Ground Truth Plus. Aby uzyskać więcej informacji, zobacz Amazon SageMaker Ground Truth Plus – Twórz zestawy danych szkoleniowych bez kodu i zasobów wewnętrznych.

Stwórz zespół projektowy

Zespół projektowy zapewnia członkom z Twojej organizacji dostęp do etykiet danych za pomocą narzędzia Review UI. Aby skonfigurować zespół projektowy, wykonaj następujące kroki:

Na ziemi Prawda Plus konsolawybierz Stwórz zespół projektowy.
Wybierz Utwórz nową grupę użytkowników Amazon Cognito . Jeśli masz już istniejący Amazon Cognito grupę użytkowników, wybierz Importuj członków opcja.
W razie zamówieenia projektu Nazwa grupy użytkowników Amazon Cognito, Wpisz imię. Tej nazwy nie można zmienić.
W razie zamówieenia projektu Adresy e-mail, wprowadź adresy e-mail maksymalnie 50 członków zespołu, oddzielając je przecinkami.
Dodaj Stwórz zespół projektowy.

Członkowie Twojego zespołu otrzymają wiadomość e-mail z zaproszeniem do dołączenia do zespołu projektowego Ground Truth Plus. Stamtąd mogą zalogować się do portalu projektu Ground Truth Plus, aby przejrzeć etykiety danych.

Sprawdź jakość zestawu danych z etykietami

Przejdźmy teraz do przykładu śledzenia obiektów wideo za pomocą CBCL StreetSceny zestaw danych.

Po oznaczeniu danych w partii partia jest oznaczana jako Gotowe do przeglądu.

Wybierz partię i wybierz Przejrzyj partię. Nastąpi przekierowanie do interfejsu recenzji. Masz swobodę wyboru innej częstotliwości próbkowania dla każdej partii, którą przeglądasz. Na przykład w naszej przykładowej partii mamy łącznie pięć filmów. Możesz określić, czy chcesz przejrzeć tylko część tych pięciu filmów, czy wszystkie.

Przyjrzyjmy się teraz różnym funkcjom interfejsu użytkownika recenzji, które pomogą Ci w szybszym sprawdzaniu jakości zestawu danych z etykietami i dostarczaniu informacji zwrotnych na temat jakości:

Filtruj etykiety na podstawie kategorii etykiet – W interfejsie recenzji, w prawym okienku, możesz filtrować etykiety na podstawie ich kategorii etykiet. Ta funkcja jest przydatna, gdy istnieje wiele kategorii etykiet (np. Vehicles, Pedestrians, Poles) w gęstym obiekcie zestawu danych i chcesz wyświetlać etykiety dla jednej kategorii etykiet na raz. Na przykład skupmy się na Car kategoria etykiety. Wejdz do Car kategorię etykiety w prawym okienku, aby filtrować wszystkie adnotacje tylko typu Car. Poniższe zrzuty ekranu przedstawiają widok interfejsu użytkownika recenzji przed i po zastosowaniu filtra.
Nakładaj powiązane wartości atrybutów z adnotacjami – Każdej etykiecie można przypisać atrybuty, które mają być opatrzone adnotacjami. Na przykład dla kategorii etykiety Car , powiedzmy, że chcesz poprosić pracowników o dodanie adnotacji Color i Occlusion atrybuty dla każdej instancji etykiety. Po załadowaniu interfejsu użytkownika recenzji zobaczysz odpowiednie atrybuty pod każdym wystąpieniem etykiety w prawym okienku. Ale co, jeśli zamiast tego chcesz zobaczyć te adnotacje atrybutów bezpośrednio na obrazie? Wybierasz etykietę Car:1 i aby nałożyć adnotacje atrybutów dla Car:1 , naciskasz Ctrl + A.
Teraz zobaczysz adnotację Dark Blue dla Color atrybut i adnotacja None dla Occlusion atrybut wyświetlany bezpośrednio na obrazie obok Car:1 ramka ograniczająca. Teraz możesz to łatwo zweryfikować Car:1 został oznaczony jako Dark Blue, bez okluzji, tylko od patrzenia na obraz zamiast konieczności lokalizowania Car:1 w prawym okienku, aby zobaczyć adnotacje atrybutów.
Wystaw opinię na poziomie etykiety – Dla każdej etykiety możesz zostawić opinię na poziomie etykiety w tej etykiecie Opinia o etykiecie wolny atrybut ciągu. Na przykład na tym obrazie Car:1 wygląda bardziej na czarno niż ciemnoniebiesko. Możesz przekazać tę rozbieżność jako informację zwrotną dla Car:1 używając Opinia o etykiecie pole, aby śledzić komentarz do tej etykiety w tej ramce. Nasz wewnętrzny zespół ds. kontroli jakości przejrzy te opinie i wprowadzi zmiany w procesie dodawania adnotacji i zasadach dotyczących etykiet oraz przeszkoli adnotatorów zgodnie z wymaganiami.
Wystaw opinię na poziomie ramki – Podobnie dla każdej klatki możesz zostawić informację zwrotną na poziomie klatki poniżej tej klatki Informacje zwrotne dotyczące ramki wolny atrybut ciągu. W tym przypadku adnotacje dot Car i Pedestrian klasy wyglądają poprawnie i dobrze zaimplementowane w tej ramce. Możesz przekazać tę pozytywną opinię za pomocą Przekazać opinię pole, a Twój komentarz jest połączony z tą ramką.
Skopiuj informację zwrotną adnotacji do innych ramek – Możesz skopiować informacje zwrotne na poziomie etykiety i klatki do innych ramek, klikając ten atrybut prawym przyciskiem myszy. Ta funkcja jest przydatna, gdy chcesz zduplikować ten sam komunikat zwrotny w klatkach dla tej etykiety lub zastosować ten sam komunikat zwrotny na poziomie klatki w kilku klatkach. Ta funkcja pozwala szybko zakończyć kontrolę etykiet danych.
Zatwierdź lub odrzuć każdy obiekt zestawu danych – Dla każdego przeglądanego obiektu zestawu danych masz możliwość wyboru Zatwierdzać jeśli jesteś zadowolony z adnotacji lub wybierz Odrzuć jeśli nie jesteś usatysfakcjonowany i chcesz przerobić te adnotacje. Kiedy wybierzesz Prześlij, zostanie wyświetlona opcja zatwierdzenia lub odrzucenia właśnie ocenionego filmu. W obu przypadkach możesz podać dodatkowy komentarz:
- Jeśli wybierzesz Zatwierdzać, komentarz jest opcjonalny.
- Jeśli wybierzesz Odrzuć, komentarz jest wymagany i sugerujemy przedstawienie szczegółowej opinii. Twoja opinia zostanie sprawdzona przez dedykowany zespół kontroli jakości Ground Truth Plus, który podejmie działania naprawcze, aby uniknąć podobnych błędów w kolejnych filmach.

Po przesłaniu filmu ze swoją opinią nastąpi przekierowanie z powrotem do strony szczegółów projektu w portalu projektu, gdzie można wyświetlić liczbę odrzuconych obiektów pod Odrzucone obiekty kolumnie oraz wskaźnik błędu, który jest liczony jako liczba zaakceptowanych obiektów spośród recenzowanych obiektów w ramach Wskaźnik akceptacji kolumna dla każdej partii w projekcie. Na przykład dla partii 1 na poniższym zrzucie ekranu współczynnik akceptacji wynosi 80%, ponieważ z pięciu recenzowanych obiektów zaakceptowano cztery obiekty.

Wnioski

Wysokiej jakości zestaw danych szkoleniowych ma kluczowe znaczenie dla realizacji inicjatyw uczenia maszynowego. Dzięki Ground Truth Plus masz teraz ulepszone wbudowane narzędzie do przeglądania interfejsu użytkownika, które usuwa niezróżnicowane ciężkie dźwiganie związane z tworzeniem niestandardowych narzędzi do przeglądania jakości oznakowanego zestawu danych. W tym poście dowiesz się, jak skonfigurować zespół projektowy i korzystać z nowych wbudowanych funkcji narzędzia interfejsu użytkownika recenzji. Odwiedzić Konsola Ground Truth Plus zacząć.

Jak zawsze, AWS chętnie przyjmuje opinie. Prosimy o przesyłanie wszelkich uwag lub pytań.

O autorze

Manisz Goel jest Product Managerem w Amazon SageMaker Ground Truth Plus. Koncentruje się na tworzeniu produktów, które ułatwiają klientom przyjęcie uczenia maszynowego. W wolnym czasie lubi podróżować i czytać książki.

Revekka Kostojewa jest inżynierem programistą w Amazon AWS, gdzie pracuje nad rozwiązaniami zorientowanymi na klienta i rozwiązaniami wewnętrznymi, aby rozszerzyć zakres i skalowalność usług Sagemaker Ground Truth. Jako badaczka jest zmotywowana do ulepszania narzędzi branżowych, aby napędzać innowacje.