Świat, w którym żyjemy, szybko się zmienia, podobnie jak dane i funkcje, których firmy i klienci używają do trenowania swoich modeli. Ponowne uczenie modeli w celu zachowania ich synchronizacji z tymi zmianami ma kluczowe znaczenie dla zachowania dokładności. Dlatego potrzebujesz zwinnego i dynamicznego podejścia, aby aktualizować modele i dostosowywać je do nowych danych wejściowych. To połączenie doskonałych modeli i ciągłej adaptacji doprowadzi do udanej strategii uczenia maszynowego (ML).
Dziś z radością ogłaszamy uruchomienie koła zamachowego Amazon Comprehend — kompleksowej funkcji uczenia maszynowego (MLOps) dla Amazon Comprehend Model. W tym poście pokazujemy, jak można stworzyć kompleksowy przepływ pracy za pomocą koła zamachowego Amazon Comprehend.
Omówienie rozwiązania
Amazon Comprehend to w pełni zarządzana usługa, która wykorzystuje przetwarzanie języka naturalnego (NLP) do wydobywania wglądu w treść dokumentów. Pomaga wydobywać informacje, rozpoznając nastroje, frazy kluczowe, jednostki i wiele więcej, umożliwiając korzystanie z najnowocześniejszych modeli i dostosowywanie ich do konkretnego przypadku użycia.
MLOps koncentruje się na skrzyżowaniu nauki o danych i inżynierii danych w połączeniu z istniejącymi praktykami DevOps w celu usprawnienia dostarczania modeli w całym cyklu rozwoju ML. MLOps to dziedzina integracji obciążeń ML z zarządzaniem wersjami, CI/CD i operacjami. MLOps wymaga integracji rozwoju oprogramowania, operacji, inżynierii danych i nauki o danych.
Właśnie dlatego Amazon Comprehend wprowadza koło zamachowe. Koło zamachowe ma być Twoim jedynym przystankiem do wykonywania operacji MLOP dla modeli Amazon Comprehend. Ta nowa funkcja pozwoli Ci aktualizować modele, ulepszać modele i szybciej wdrażać najlepszą wersję.
Poniższy diagram przedstawia cykl życia modelu wewnątrz koła zamachowego Amazon Comprehend.
Bieżący proces tworzenia nowego modelu składa się z sekwencji kroków. Najpierw zbierasz dane i przygotowujesz zestaw danych. Następnie trenujesz model przy użyciu tego zestawu danych. Po przeszkoleniu modelu jest on oceniany pod kątem dokładności i wydajności. Na koniec wdrażasz model w punkcie końcowym, aby przeprowadzić wnioskowanie. Podczas tworzenia nowych modeli należy powtórzyć te kroki i ręcznie zaktualizować punkt końcowy.
Koło zamachowe Amazon Comprehend automatyzuje ten proces uczenia maszynowego, od pozyskiwania danych po wdrożenie modelu w produkcji. Dzięki tej nowej funkcji możesz zarządzać szkoleniem i testowaniem utworzonych modeli w Amazon Comprehend. Ta funkcja umożliwia również zautomatyzowanie ponownego uczenia modelu po pobraniu nowych zestawów danych i udostępnieniu ich w jeziorze danych koła zamachowego.
Koło zamachowe zapewnia integrację z niestandardowymi interfejsami API klasyfikacji i niestandardowego rozpoznawania jednostek i może pomóc różnym rolom, takim jak inżynierowie danych i programiści, zautomatyzować przepływ pracy NLP i zarządzać nim za pomocą usług bez kodu.
Najpierw wprowadźmy kilka pojęć:
- koło zamachowe – Koło zamachowe to zasób AWS, który koordynuje ciągłe szkolenie modelu w zakresie niestandardowej klasyfikacji lub rozpoznawania jednostek niestandardowych.
- Dataset – Zestaw danych to zestaw danych treningowych lub testowych, który jest używany w pojedynczym kole zamachowym. Koło zamachowe używa zestawów danych szkoleniowych do uczenia nowych wersji modeli i oceniania ich wydajności na testowych zestawach danych.
- Jezioro danych – Jezioro danych koła zamachowego to lokalizacja w twoim Usługa Amazon Simple Storage (Amazon S3), w którym przechowywane są wszystkie jego zestawy danych i artefakty modelu. Każde koło zamachowe ma własne dedykowane jezioro danych.
- Iteracja koła zamachowego – Iteracja koła zamachowego to przebieg koła zamachowego po uruchomieniu przez użytkownika. W zależności od dostępności nowych zestawów danych pociągowych lub testowych, koło zamachowe wytrenuje nową wersję modelu lub oceni wydajność aktywnego modelu na nowych danych testowych.
- aktywny model – Aktywny model to wybrana przez użytkownika wersja modelu do predykcji. Ponieważ wydajność modelu jest poprawiana dzięki nowym iteracjom koła zamachowego, możesz zmienić aktywną wersję na tę, która ma najlepszą wydajność.
Poniższy diagram ilustruje przepływ pracy koła zamachowego.
Te kroki są szczegółowo opisane w następujący sposób:
- Utwórz koło zamachowe – Koło zamachowe automatyzuje uczenie wersji modelu dla niestandardowego klasyfikatora lub niestandardowego rozpoznawania jednostek. Możesz wybrać istniejący model Amazon Comprehend jako punkt wyjścia dla koła zamachowego lub możesz zacząć od zera bez żadnych modeli. W obu przypadkach należy określić lokalizację jeziora danych koła zamachowego dla koła zamachowego.
- Pozyskiwanie danych – Możesz tworzyć nowe zestawy danych do trenowania lub testowania w kole zamachowym. Wszystkie dane treningowe i testowe dla wszystkich wersji modelu są zarządzane i przechowywane w jeziorze danych koła zamachowego utworzonym w Twoim zasobniku S3. Obsługiwane formaty plików to CSV i rozszerzony manifest z lokalizacji S3. Możesz znaleźć więcej informacji na temat przygotowywania zestawu danych dla klasyfikacja niestandardowa i rozpoznawanie jednostek niestandardowych.
- Wytrenuj i oceń model – Jeśli nie wskażesz modelu ARN (Amazon Resource Name), który ma być używany, oznacza to, że nowy zostanie zbudowany od podstaw. W tym celu pierwsza iteracja koła zamachowego utworzy model na podstawie przesłanego zestawu danych pociągu. Dla kolejnych iteracji możliwe są następujące przypadki:
- Jeśli od ostatniej iteracji nie zostaną przesłane żadne nowe zestawy danych pociągów ani testów, iteracja koła zamachowego zakończy się bez żadnych zmian.
- Jeśli od ostatniej iteracji pojawiły się tylko nowe zestawy danych testowych, iteracja koła zamachowego zgłosi wydajność bieżącego aktywnego modelu na podstawie nowych zestawów danych testowych.
- Jeśli istnieją tylko nowe zestawy danych pociągów, iteracja koła zamachowego wytrenuje nowy model.
- Jeśli dostępne są nowe zbiory danych pociągowych i testowych, iteracja koła zamachowego wytrenuje nowy model i zgłosi wydajność bieżącego aktywnego modelu.
- Promuj nową aktywną wersję modelu – Na podstawie wydajności różnych iteracji koła zamachowego możesz zaktualizować aktywną wersję modelu do najlepszej.
- Wdróż punkt końcowy – Po przeprowadzeniu iteracji koła zamachowego i zaktualizowaniu aktywnej wersji modelu można przeprowadzić wnioskowanie w czasie rzeczywistym (synchroniczne) na modelu. Możesz utworzyć punkt końcowy za pomocą koła zamachowego ARN, które domyślnie użyje aktualnie aktywnej wersji modelu. Kiedy zmienia się aktywny model koła zamachowego, punkt końcowy automatycznie zaczyna korzystać z nowego aktywnego modelu bez interwencji klienta. Punkt końcowy obejmuje wszystkie zarządzane zasoby, które udostępniają model niestandardowy do wnioskowania w czasie rzeczywistym.
W poniższych sekcjach pokazujemy różne sposoby tworzenia nowego koła zamachowego Amazon Comprehend.
Wymagania wstępne
Potrzebujesz:
- Aktywne konto AWS
- Zasobnik S3 dla Twojej lokalizacji danych
- An AWS Zarządzanie tożsamością i dostępem Rola (IAM) z uprawnieniami do tworzenia koła zamachowego Amazon Comprehend oraz uprawnieniami do odczytu i zapisu w lokalizacji danych w segmencie S3
Utwórz koło zamachowe za pomocą AWS CloudFormation
Aby rozpocząć korzystanie z koła zamachowego Amazon Comprehend Tworzenie chmury AWS, potrzebujesz następujących informacji o AWS::Comprehend::Flywheel
ratunek:
- DataAccessRola Arn – ARN roli IAM, która przyznaje Amazon Comprehend pozwolenie na dostęp do danych koła zamachowego
- DataLakeS3Uri – Identyfikator URI Amazon S3 lokalizacji jeziora danych koła zamachowego
- nazwa koła zamachowego – Nazwa koła zamachowego
Aby uzyskać więcej informacji, zobacz Dokumentacja AWS CloudFormation.
Utwórz koło zamachowe w konsoli Amazon Comprehend
W tym przykładzie pokazujemy, jak zbudować koło zamachowe dla niestandardowego modelu klasyfikatora na Konsola Amazon Comprehend to określa temat wiadomości.
Utwórz zbiór danych
Najpierw musisz utworzyć zestaw danych. W tym poście używamy Zbiór danych klasyfikacji wiadomości AG. W tym zbiorze danych dane są podzielone na cztery kategorie wiadomości: WORLD
, SPORTS
, BUSINESS
, SCI_TEC
.
Uruchom notatnik wykonaj kroki wstępnego przetwarzania danych w pliku Zrozumieć immersję Laboratorium dzienne 2 dla zestawu danych szkoleniowych i testowych i zapisz dane w Amazon S3.
Utwórz koło zamachowe
Teraz możemy stworzyć nasze koło zamachowe. Wykonaj następujące kroki:
- Na konsoli Amazon Comprehend wybierz Koła zamachowe w okienku nawigacji.
- Dodaj Utwórz nowe koło zamachowe.
Możesz utworzyć nowe koło zamachowe z istniejącego modelu lub utworzyć nowy model. W takim przypadku tworzymy nowy model od podstaw.
- W razie zamówieenia projektu Nazwa koła zamachowego, wprowadź nazwę (w tym przykładzie
custom-news-flywheel
). - Zostawić Model pole puste.
- Wybierz Niestandardowa klasyfikacja dla Niestandardowy typ modelu.
- W razie zamówieenia projektu Wybierz język, pozostaw ustawienie jako Angielski.
- Wybierz Korzystanie z trybu wielu etykiet dla Tryb klasyfikatora.
- W razie zamówieenia projektu Etykiety niestandardowe, wchodzić
BUSINESS,SCI_TECH,SPORTS,WORLD
. - W przypadku ustawień szyfrowania zachowaj Użyj klucza należącego do AWS.
- W przypadku lokalizacji jeziora danych koła zamachowego wybierz na swoim koncie identyfikator URI S3, który można przypisać do tego koła zamachowego.
Każde koło zamachowe ma lokalizację jeziora danych S3, w której przechowuje zasoby i artefakty koła zamachowego, takie jak zestawy danych i statystyki modelu. Pamiętaj, aby nie modyfikować ani nie usuwać żadnych obiektów z tej lokalizacji, ponieważ ma ona być zarządzana wyłącznie przez koło zamachowe.
- Dodaj Utwórz rolę IAM i wprowadź nazwę roli (
CustomNewsFlywheelRole
w naszym przypadku). - Dodaj Stwórz.
Utworzenie koła zamachowego zajmie kilka minut. Po utworzeniu status zmieni się na Aktywna.
- Na
custom-news-flywheel
strona szczegółów, wybierz Utwórz zbiór danych. - W razie zamówieenia projektu Nazwa zestawu danych, wprowadź nazwę zestawu danych szkoleniowych.
- Pozostawiać Plik CSV dla Format danych.
- Dodaj Trening i wybierz zestaw danych szkoleniowych z zasobnika S3.
- Dodaj Stwórz.
- Powtórz te kroki, aby utworzyć testowy zestaw danych.
- Po zmianie stanu przesłanego zestawu danych na Zakończony, idź do Iteracje koła zamachowego kartę i wybierz Uruchom koło zamachowe.
- Po zakończeniu szkolenia przejdź do Wersje modelu kartę, wybierz ostatnio wyszkolony model i wybierz Zrób aktywny model.
Możesz także obserwować obiektywne wskaźniki F1, precyzję i pamięć.
- Powrót do Zbiory danych kartę i wybierz Utwórz zbiór danych Zestawy danych testowych
- Podaj lokalizację
text.csv
w wiadrze S3.
Poczekaj, aż stan pokaże się jako Zakończony. Spowoduje to utworzenie metryk w aktywnym modelu przy użyciu testowego zestawu danych.
Jeśli wybierzesz Niestandardowa klasyfikacja w okienku nawigacyjnym możesz zobaczyć wszystkie modele klasyfikatorów dokumentów, nawet te przeszkolone przy użyciu kół zamachowych.
Utwórz punkt końcowy
Aby utworzyć punkt końcowy modelu, wykonaj następujące kroki:
- W konsoli Amazon Comprehend przejdź do utworzonego koła zamachowego.
- Na Punkty końcowe kartę, wybierz Utwórz punkt końcowy.
- Nazwij punkt końcowy
news-topic
. - Pod Modele klasyfikacyjne i koła zamachowe, aktywna wersja modelu jest już wybrana.
- W razie zamówieenia projektu Jednostki wnioskowaniawybierz 1 jm.
- Zaznacz pole wyboru potwierdzenia, a następnie wybierz Utwórz punkt końcowy.
- Po utworzeniu i uaktywnieniu punktu końcowego przejdź do Użyj w analizie w czasie rzeczywistym na stronie szczegółów punktu końcowego.
- Przetestuj model, wprowadzając tekst w pliku Wprowadź tekst pudełko.
- Pod Efekt, sprawdź etykiety tematów wiadomości.
Utwórz zadanie analizy asynchronicznej
Aby utworzyć zadanie analizy, wykonaj następujące kroki:
- W konsoli Amazon Comprehend przejdź do aktywnej wersji modelu.
- Dodaj Utwórz pracę.
- W razie zamówieenia projektu Imię, wchodzić
batch-news
. - W razie zamówieenia projektu Typ analizy¸ wybierz Niestandardowa klasyfikacja.
- W razie zamówieenia projektu Modele klasyfikacyjne i koła zamachowe, wybierz utworzone koło zamachowe (
custom-news-flywheel
). - Przeglądaj Amazon S3, aby wybrać plik wejściowy z różnymi tekstami wiadomości, z którymi chcemy utworzyć analizę, a następnie wybierz Jeden dokument na linię (jeden tekst wiadomości w wierszu).
Poniższy zrzut ekranu przedstawia dokument przesłany do tego ćwiczenia.
- Wybierz miejsce, w którym chcesz zapisać plik wyjściowy w lokalizacji S3.
- W razie zamówieenia projektu Uprawnienia dostępu, wybierz rolę IAM
CustomNewsFlywheelRole
które stworzyłeś wcześniej. - Dodaj Utwórz pracę.
- Po zakończeniu zadania pobierz plik wyjściowy i sprawdź prognozy.
Sprzątać
Aby uniknąć przyszłych opłat, wyczyść utworzone zasoby.
- Na konsoli Amazon Comprehend wybierz Koła zamachowe w okienku nawigacji.
- Wybierz swoje koło zamachowe i wybierz Usuń.
- Usuń wszystkie utworzone punkty końcowe.
- Opróżnij i usuń utworzone zasobniki S3.
Wnioski
W tym poście widzieliśmy, jak koło zamachowe Amazon Comprehend służy jako punkt kompleksowej obsługi do wykonywania operacji MLOP dla modeli Amazon Comprehend. Omówiliśmy również jego propozycję wartości i przedstawiliśmy podstawowe koncepcje koła zamachowego. Następnie przeprowadziliśmy Cię przez różne etapy, od stworzenia koła zamachowego do stworzenia punktu końcowego.
Dowiedz się więcej o: Uprość ciągłe uczenie się niestandardowych modeli Amazon Comprehend za pomocą koła zamachowego Comprehend. Wypróbuj teraz i zacznij korzystać z naszej nowo uruchomionej usługi, koła zamachowego Amazon Comprehend.
O autorach
Alberta Menendeza jest Associate DevOps Consultant in Professional Services w AWS i członkiem Comprehend Champions. Uwielbia pomagać klientom w przyspieszaniu podróży do chmury i tworzyć rozwiązania, które rozwiązują ich problemy biznesowe. W wolnym czasie lubi uprawiać sport, zwłaszcza koszykówkę i padla, spędzać czas z rodziną i przyjaciółmi oraz poznawać technologię.
Irene Arroyo Delgado jest Associate AI/ML Consultant in Professional Services w AWS i członkiem Comprehend Champions. Koncentruje się na produkowaniu obciążeń ML w celu osiągnięcia pożądanych przez klientów wyników biznesowych poprzez automatyzację kompleksowych cykli życia ML. Ma doświadczenie w budowaniu wydajnych platform ML i ich integracji z jeziorem danych w AWS. W wolnym czasie Irene lubi podróżować i wędrować po górach.
Szweta Thapa jest architektem rozwiązań w Enterprise Engaged w AWS i członkiem Comprehend Champions. Lubi pomagać swoim klientom w ich podróży i rozwoju w chmurze, słuchać ich potrzeb biznesowych i oferować im najlepsze rozwiązania. W wolnym czasie Shweta lubi biegać, podróżować, a przede wszystkim spędzać czas z córeczką.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/introducing-the-amazon-comprehend-flywheel-for-mlops/
- 100
- 11
- 116
- 7
- a
- O nas
- przyśpieszyć
- dostęp
- Konto
- precyzja
- Osiągać
- w poprzek
- aktywny
- przystosować
- adaptacja
- Korzyść
- Po
- zwinny
- AI / ML
- Wszystkie kategorie
- Pozwalać
- pozwala
- już
- Amazonka
- Amazon Comprehend
- analiza
- i
- Ogłosić
- Pszczoła
- podejście
- Aktywa
- Współpracownik
- zwiększona
- zautomatyzować
- automaty
- automatycznie
- automatyzacja
- dostępność
- dostępny
- AWS
- Niemowlę
- na podstawie
- podstawowy
- Koszykówka
- bo
- BEST
- Pudełko
- budować
- Budowanie
- wybudowany
- biznes
- walizka
- Etui
- kategorie
- wyzwania
- zmiana
- Zmiany
- wymiana pieniędzy
- Opłaty
- ZOBACZ
- Dodaj
- klasyfikacja
- sklasyfikowany
- Chmura
- połączenie
- Firmy
- kompletny
- Zakończony
- zrozumieć
- Koncepcje
- Konsola
- konsultant
- zawartość
- ciągły
- Para
- Stwórz
- stworzony
- Tworzenie
- krytyczny
- Aktualny
- Obecnie
- zwyczaj
- klient
- Klientów
- dane
- Jezioro danych
- nauka danych
- zbiory danych
- Data
- dzień
- dedykowane
- Domyślnie
- dostawa
- wykazać
- W zależności
- rozwijać
- wdrażanie
- życzenia
- szczegółowe
- detale
- deweloperzy
- oprogramowania
- różne
- omówione
- dokument
- dokumenty
- nie
- pobieranie
- dynamiczny
- każdy
- Wcześniej
- bądź
- szyfrowanie
- koniec końców
- Punkt końcowy
- zaangażowany
- Inżynieria
- Inżynierowie
- Wchodzę
- Enterprise
- podmioty
- jednostka
- szczególnie
- oceniać
- oceniane
- Parzyste
- przykład
- podniecony
- wyłącznie
- Ćwiczenie
- Przede wszystkim system został opracowany
- doświadczenie
- wyciąg
- f1
- członków Twojej rodziny
- szybciej
- Cecha
- Korzyści
- pole
- Postacie
- filet
- W końcu
- Znajdź
- koniec
- i terminów, a
- koncentruje
- następujący
- następujący sposób
- Darmowy
- przyjaciele
- od
- w pełni
- przyszłość
- otrzymać
- Go
- będzie
- Dotacje
- wspaniały
- Wzrost
- pomoc
- pomoc
- pomaga
- W jaki sposób
- How To
- HTML
- HTTPS
- tożsamość
- podnieść
- ulepszony
- in
- obejmuje
- wskazać
- Informacja
- wkład
- spostrzeżenia
- Integracja
- integracja
- skrzyżowanie
- interwencja
- przedstawiać
- wprowadzono
- wprowadzenie
- IT
- iteracja
- iteracje
- Praca
- podróż
- Trzymać
- Klawisz
- laboratorium
- Etykiety
- jezioro
- język
- Nazwisko
- uruchomić
- uruchomiona
- prowadzić
- nauka
- Pozostawiać
- wifecycwe
- cykle życia
- Linia
- Słuchanie
- relacja na żywo
- lokalizacja
- maszyna
- uczenie maszynowe
- utrzymać
- robić
- zarządzanie
- zarządzane
- i konserwacjami
- ręcznie
- członek
- Metryka
- minut
- ML
- MLOps
- model
- modele
- modyfikować
- jeszcze
- większość
- Nazwa
- Naturalny
- Przetwarzanie języka naturalnego
- Nawigacja
- Nawigacja
- Potrzebować
- wymagania
- Nowości
- aktualności
- nlp
- cel
- obiekty
- obserwować
- oferuje
- ONE
- trwający
- operacje
- własny
- własność
- chleb
- wykonać
- jest gwarancją najlepszej jakości, które mogą dostarczyć Ci Twoje monitory,
- pozwolenie
- uprawnienia
- Zwroty
- Platformy
- plato
- Analiza danych Platona
- PlatoDane
- punkt
- możliwy
- Post
- praktyki
- Detaliczność
- Przewidywania
- Przygotować
- przygotowanie
- wygląda tak
- przetwarzanie
- Produkcja
- profesjonalny
- propozycja
- zapewnia
- szybko
- Czytaj
- w czasie rzeczywistym
- niedawno
- uznanie
- zwolnić
- powtórzony
- raport
- reprezentuje
- Wymaga
- Zasób
- Zasoby
- Rola
- role
- run
- bieganie
- Zapisz
- nauka
- Sekcja
- działy
- wybrany
- Sekwencja
- służy
- usługa
- Usługi
- zestaw
- ustawienie
- w panelu ustawień
- Sklep
- Targi
- Prosty
- ponieważ
- pojedynczy
- So
- Tworzenie
- rozwoju oprogramowania
- Rozwiązania
- ROZWIĄZANIA
- kilka
- specyficzny
- określony
- Spędzanie
- SPORTOWE
- początek
- rozpoczęty
- Startowy
- rozpocznie
- state-of-the-art
- statystyka
- Rynek
- Cel
- Stop
- przechowywanie
- przechowywany
- sklep
- Strategia
- opływowy
- udany
- taki
- Utrzymany
- Brać
- Technologia
- test
- Testowanie
- Połączenia
- ich
- w związku z tym
- Przez
- czas
- do
- aktualny
- tematy
- Pociąg
- przeszkolony
- Trening
- Podróżowanie
- rozsierdzony
- Aktualizacja
- zaktualizowane
- aktualizowanie
- przesłanych
- posługiwać się
- przypadek użycia
- Użytkownik
- wartość
- wersja
- chodził
- sposoby
- Co
- który
- będzie
- bez
- warsztaty
- świat
- napisać
- You
- Twój
- zefirnet