Uzyskaj szybszy dostęp do danych klasy produkcyjnej, korzystając z nowych wbudowanych interfejsów z Amazon SageMaker Ground Truth Plus

Wprowadzony na AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus pomaga tworzyć wysokiej jakości zestawy danych szkoleniowych, eliminując niezróżnicowane ciężkie dźwiganie związane z tworzeniem aplikacji do etykietowania danych i zarządzaniem pracownikami zajmującymi się etykietowaniem. Wszystko, co robisz, to udostępniasz dane wraz z wymaganiami dotyczącymi etykietowania, a Ground Truth Plus konfiguruje i zarządza przepływem pracy związanym z etykietowaniem danych w oparciu o te wymagania. Stamtąd zespół ekspertów, który jest przeszkolony w zakresie różnych zadań uczenia maszynowego (ML), etykietuje Twoje dane. Nie potrzebujesz nawet głębokiej wiedzy ML ani wiedzy na temat projektowania przepływu pracy i zarządzania jakością, aby korzystać z Ground Truth Plus.

Dziś z radością ogłaszamy wprowadzenie nowych wbudowanych interfejsów w Ground Truth Plus. Dzięki tej nowej funkcji wielu użytkowników Ground Truth Plus może teraz tworzyć nowe projekt i partia, udostępniaj dane i odbieraj dane przy użyciu tego samego konta AWS za pośrednictwem samoobsługowych interfejsów. Umożliwia to przyspieszenie tworzenia wysokiej jakości zestawów danych szkoleniowych poprzez skrócenie czasu konfiguracji projektu. Ponadto możesz kontrolować szczegółowy dostęp do swoich danych, określając zakres AWS Zarządzanie tożsamością i dostępem (IAM) uprawnienia do roli, które odpowiadają Twojemu indywidualnemu poziomowi Usługa Amazon Simple Storage (Amazon S3) i zawsze masz możliwość cofnięcia dostępu do niektórych zasobników.

Do tej pory trzeba było kontaktować się z kierownikiem programu operacyjnego Ground Truth Plus (OPM), aby utworzyć nowe etykiety danych projektowanie i partie. Ten proces miał pewne ograniczenia, ponieważ tylko jeden użytkownik mógł zażądać nowego projektu i partii — jeśli wielu użytkowników w organizacji korzystało z tego samego konta AWS, tylko jeden użytkownik mógł zażądać nowego projektu i partii etykietowania danych za pomocą Ground Truth Plus konsola. Ponadto proces spowodował sztuczne opóźnienia w rozpoczęciu procesu etykietowania z powodu wielu ręcznych punktów styku i rozwiązywania problemów wymaganych w przypadku problemów. Oddzielnie wszystkie projekty wykorzystywały tę samą rolę IAM do uzyskiwania dostępu do danych. Dlatego też, aby uruchomić projekty i partie, które wymagały dostępu do różnych źródeł danych, takich jak różne zasobniki Amazon S3, trzeba było polegać na oprogramowaniu Ground Truth Plus OPM, aby zapewnić zasady S3 dla konta, które trzeba było ręcznie zastosować do zasobników S3. Cała ta operacja wymagała dużego nakładu pracy ręcznej, co skutkowało ogólnymi kosztami operacyjnymi.

Ten post przeprowadzi Cię przez kroki tworzenia nowego projektu i partii, udostępniania danych i odbierania danych za pomocą nowych interfejsów samoobsługowych, aby skutecznie rozpocząć proces etykietowania. Ten post zakłada, że ​​znasz Ground Truth Plus. Aby uzyskać więcej informacji, zobacz Amazon SageMaker Ground Truth Plus – Twórz zestawy danych szkoleniowych bez kodu i zasobów wewnętrznych.

Omówienie rozwiązania

Pokazujemy, jak wykonać następujące czynności:

• Zaktualizuj istniejące projekty
• Poproś o nowy projekt
• Stwórz zespół projektowy
• Utwórz partię

Wymagania wstępne

Zanim zaczniesz, upewnij się, że masz następujące wymagania wstępne:

• An Konto AWS
• Użytkownik IAM z dostępem do tworzenia ról IAM
• Połączenia Identyfikator URI Amazon S3 zasobnika, w którym przechowywane są obiekty do etykietowania

Zaktualizuj istniejące projekty

Jeśli masz projekt Ground Truth Plus przed uruchomieniem (9 grudnia 2022 r.) nowych funkcji opisanych w tym poście, musisz utworzyć i udostępnić rolę IAM, aby móc korzystać z tych funkcji w istniejącym projekcie Ground Truth Plus . Jeśli jesteś nowym użytkownikiem Ground Truth Plus, możesz pominąć tę sekcję.

Aby utworzyć rolę IAM, wykonaj następujące kroki:

1. W konsoli IAM wybierz Utwórz rolę.
2. Wybierz Niestandardowa polityka zaufania.
3. Określ następującą relację zaufania dla roli:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Dodaj Następna.
5. Dodaj Utwórz politykę.
6. Na karcie JSON określ następujące zasady. Zaktualizuj właściwość Resource, określając dwa wpisy dla każdego zasobnika: jeden z samym ARN zasobnika, a drugi z ARN zasobnika, po którym następuje /*. Na przykład wymień w arn:aws:s3:::my-bucket/myprefix/ i /* w arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Dodaj Dalej: Tagi i Dalej: Przejrzyj.
8. Wprowadź nazwę zasady i opcjonalny opis.
9. Dodaj Utwórz politykę.
10. Zamknij tę kartę i wróć do poprzedniej, aby utworzyć swoją rolę.

Na karcie Dodaj uprawnienia powinieneś zobaczyć nową politykę, którą utworzyłeś (odśwież stronę, jeśli jej nie widzisz).

11. Wybierz nowo utworzoną politykę i wybierz Następna.
12. Wpisz nazwę (na przykład GTPlusExecutionRole) i opcjonalnie opis roli.
13. Dodaj Utwórz rolę.
14. Podaj rolę ARN swojemu OPM Ground Truth Plus, który następnie zaktualizuje Twój istniejący projekt o tę nowo utworzoną rolę.

Poproś o nowy projekt

Aby poprosić o nowy projekt, wykonaj następujące kroki:

1. Na Konsola Ground Truth Plus, przejdź do Projekty

Tutaj znajdują się wszystkie Twoje projekty.

2. Dodaj Poproś o projekt.

Połączenia Poproś o projekt to Twoja szansa na podanie szczegółów, które pomogą nam umówić się na wstępną rozmowę konsultacyjną i skonfigurować Twój projekt.

3. Oprócz określenia ogólnych informacji, takich jak nazwa i opis projektu, należy określić typ zadania projektu oraz określić, czy zawiera ono dane osobowe (PII).

Aby oznaczyć Twoje dane, Ground Truth Plus potrzebuje tymczasowego dostępu do Twoich nieprzetworzonych danych w zasobniku S3. Po zakończeniu procesu etykietowania Ground Truth Plus dostarcza dane wyjściowe z etykietowania z powrotem do wiadra S3. Odbywa się to za pośrednictwem roli IAM. Możesz utworzyć nową rolę lub przejść do konsoli IAM, aby utworzyć nową rolę (instrukcje znajdziesz w poprzedniej sekcji).

4. Jeśli zdecydujesz się utworzyć rolę, wybierz Wpisz niestandardową rolę ARN i wprowadź swoją rolę IAM ARN, która ma format arn:aws:iam:::role/.
5. Aby skorzystać z wbudowanego narzędzia, w menu rozwijanym pod Rola uprawnieńwybierz Utwórz nową rolę.
6. Określ lokalizację zasobnika danych etykiet. Jeśli nie znasz lokalizacji swoich danych etykiet lub nie masz przesłanych żadnych danych etykiet, wybierz Dowolne wiadro S3, co zapewni Ground Truth Plus dostęp do wszystkich zasobników na Twoim koncie.
7. Dodaj Stwórz aby stworzyć rolę.

Twoja rola IAM pozwoli na korzystanie z Ground Truth Plus, zidentyfikowanego jako sagemaker-ground-truth-plus.amazonaws.com w roli polityka zaufania, aby wykonać następujące działania na zasobnikach S3:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Dodaj Poproś o projekt aby wypełnić prośbę.

Ground Truth Plus OPM zaplanuje z Tobą wstępną rozmowę konsultacyjną w celu omówienia wymagań projektu etykietowania danych i wyceny.

Stwórz zespół projektowy

Po złożeniu wniosku o projekt musisz utworzyć zespół projektowy, aby zalogować się do portalu projektu. Zespół projektowy zapewnia członkom Twojej organizacji lub zespołu dostęp do śledzenia projektów, przeglądania metryk i przeglądania etykiet. Możesz skorzystać z opcji Zaproś nowych członków przez e-mail or Importuj członków z istniejących Amazon Cognito grupy użytkowników. W tym poście pokazujemy, jak importować członków z istniejących Amazon Cognito grupy użytkowników, aby dodać użytkowników do zespołu projektowego.

1. Na Konsola Ground Truth Plus, przejdź do Zespół projektowy
2. Dodaj Stwórz zespół projektowy.
3. Dodaj Importuj członków z istniejących grup użytkowników Amazon Cognito.
4. Wybierz pulę użytkowników Amazon Cognito.

Pule użytkowników wymagają domeny i istniejącej grupy użytkowników.

5. Wybierz klienta aplikacji.

Zalecamy korzystanie z klienta wygenerowanego przez Amazon Sage Maker.

6. Wybierz grupę użytkowników ze swojej puli, aby zaimportować członków.
7. Dodaj Stwórz zespół projektowy.
   

Możesz dodać więcej członków zespołu po utworzeniu zespołu projektowego, wybierając Zaproś nowych członków na Użytkownicy stronie konsoli Ground Truth Plus.

Utwórz partię

Po pomyślnym przesłaniu wniosku o projekt i utworzeniu zespołu projektowego możesz uzyskać dostęp do portalu projektu Ground Truth Plus, klikając Otwórz portal projektu na konsoli Ground Truth Plus.

Możesz użyć portalu projektu do tworzenia partii dla projektu, ale dopiero po zmianie stanu projektu na Request approved.

1. Wyświetl szczegóły projektu i partie, wybierając nazwę projektu.
   Zostanie otwarta strona zatytułowana z nazwą projektu.
2. W Partie Sekcja, wybierz Utwórz partię.
   
3. Wprowadź nazwę partii i opcjonalny opis.
4. Wprowadź lokalizacje S3 wejściowych i wyjściowych zestawów danych.

Aby partia została utworzona pomyślnie, musisz spełnić następujące wymagania:

4. • Zasobnik i prefiks S3 powinny istnieć, a łączna liczba plików powinna być większa niż 0
   • Łączna liczba obiektów powinna być mniejsza niż 10,000 XNUMX
   • Rozmiar każdego obiektu powinien być mniejszy niż 2 GB
   • Łączny rozmiar wszystkich połączonych obiektów jest mniejszy niż 100 GB
   • Rola IAM podana do utworzenia projektu ma uprawnienia dostępu do zasobnika wejściowego, zasobnika wyjściowego i plików S3, które są używane do tworzenia wsadu
   • Pliki w podanej lokalizacji S3 dla wejściowych zestawów danych nie powinny być szyfrowane przez Usługa zarządzania kluczami AWS (AWS KMS)
5. Dodaj Prześlij.

Twój status partii będzie wyświetlany jako Request submitted. Po tym, jak Ground Truth Plus uzyska tymczasowy dostęp do Twoich danych, eksperci AWS skonfigurują przepływy pracy związane z etykietowaniem danych i obsłużą je w Twoim imieniu, co zmieni status partii na In-progress. Po zakończeniu etykietowania status partii zmienia się z In-progress do Ready for review. Jeśli chcesz przejrzeć swoje etykiety przed ich otrzymaniem, wybierz Przejrzyj partię. Stamtąd masz możliwość wyboru Zaakceptuj partię aby otrzymać oznaczone dane.

Wnioski

Ten post pokazał, jak wielu użytkowników Ground Truth Plus może teraz tworzyć nowy projekt i partię, udostępniać dane i odbierać dane przy użyciu tego samego konta AWS za pośrednictwem nowych samoobsługowych interfejsów. Ta nowa funkcja pozwala szybciej rozpocząć projekty etykietowania i zmniejsza koszty operacyjne. Pokazaliśmy również, jak można kontrolować szczegółowy dostęp do danych, dopasowując zakres uprawnień roli IAM do indywidualnego poziomu dostępu.

Zachęcamy do wypróbowania tej nowej funkcji i połączenia się z Społeczność uczenia maszynowego i sztucznej inteligencji jeśli masz jakieś pytania lub uwagi!

O autorach

Manisz Goel jest Product Managerem w Amazon SageMaker Ground Truth Plus. Koncentruje się na tworzeniu produktów, które ułatwiają klientom przyjęcie uczenia maszynowego. W wolnym czasie lubi podróżować i czytać książki.

Karthika Ganduriego jest Software Development Engineer w Amazon AWS, gdzie pracuje nad budowaniem narzędzi ML dla klientów oraz rozwiązań wewnętrznych. Poza pracą lubi klikać w zdjęcia.  

Zhuling Bai jest inżynierem rozwoju oprogramowania w Amazon AWS. Pracuje nad rozwojem systemów rozproszonych na dużą skalę w celu rozwiązywania problemów związanych z uczeniem maszynowym.

Aatefa Baransy’ego jest inżynierem frontendu w Amazon AWS. Pisze szybkie, niezawodne i gruntownie przetestowane oprogramowanie, które wspiera i rozwija najnowocześniejsze w branży aplikacje sztucznej inteligencji.

Mohammada Adnana jest starszym inżynierem AI i ML w AWS. Brał udział w uruchomieniu wielu usług AWS, w szczególności Amazon Lookout for Metrics i AWS Panorama. Obecnie koncentruje się na ofertach AWS typu „human-in-the-loop” (AWS SageMaker's Ground true, Ground true plus i Augmented AI). Jest zwolennikiem czystego kodu i ekspertem w dziedzinie architektury bezserwerowej i sterowanej zdarzeniami. Możesz śledzić go na LinkedIn, mohammad-adnan-6a99a829.