Trendy technologiczne i postęp w mediach cyfrowych w ciągu ostatniej dekady spowodowały rozpowszechnienie danych tekstowych. Potencjalne korzyści wynikające z eksploracji tego tekstu w celu uzyskania spostrzeżeń, zarówno taktycznych, jak i strategicznych, są ogromne. Nazywa się to przetwarzaniem języka naturalnego (NLP). NLP można na przykład wykorzystać do analizowania recenzji produktów pod kątem nastrojów klientów, wytrenowania niestandardowego modelu rozpoznawania encji w celu identyfikowania typów produktów będących przedmiotem zainteresowania na podstawie komentarzy klientów lub wyszkolenia niestandardowego modelu klasyfikacji tekstowej w celu określenia najpopularniejszych kategorii produktów.
Amazon Comprehend to usługa NLP z gotową inteligencją do wyciągania wniosków na temat zawartości dokumentów. Rozwija wiedzę poprzez rozpoznawanie jednostek, fraz kluczowych, języka, nastrojów i innych typowych elementów w dokumencie. Amazon Comprehend Custom wykorzystuje automatyczne uczenie maszynowe (Auto ML) do budowania modeli NLP w Twoim imieniu przy użyciu własnych danych. Umożliwia to wykrywanie podmiotów charakterystycznych dla Twojej firmy lub klasyfikowanie tekstu lub dokumentów zgodnie z własnymi wymaganiami. Dodatkowo możesz zautomatyzować cały przepływ pracy NLP za pomocą łatwych w użyciu interfejsów API.
Dzisiaj z radością ogłaszamy wprowadzenie funkcji kopiowania modeli niestandardowych Amazon Comprehend, która umożliwia automatyczne kopiowanie modeli niestandardowych Amazon Comprehend z konta źródłowego na wyznaczone konta docelowe w tym samym regionie bez konieczności dostępu do zbiorów danych, w których znajduje się model został przeszkolony i oceniony. Od dziś możesz korzystać z Konsola zarządzania AWS, Interfejs wiersza poleceń AWS (AWS CLI) lub Interfejsy API boto3 (Python SDK dla AWS), aby skopiować przeszkolone modele niestandardowe z konta źródłowego na wyznaczone konto docelowe. Ta nowa funkcja jest dostępna zarówno w przypadku niestandardowej klasyfikacji Amazon Comprehend, jak i niestandardowych modeli rozpoznawania jednostek.
Korzyści z funkcji kopiowania modelu
Ta nowa funkcja ma następujące zalety:
- Strategia MLOps dla wielu kont – Przeszkol model jednorazowo i zapewnij przewidywalne wdrożenie w wielu środowiskach na różnych kontach.
- Szybsze wdrożenie – Możesz szybko kopiować wyszkolony model pomiędzy kontami, unikając czasu potrzebnego na ponowne uczenie się na każdym koncie.
- Chroń wrażliwe zbiory danych – Teraz nie musisz już udostępniać zbiorów danych pomiędzy różnymi kontami lub użytkownikami. Dane treningowe muszą być dostępne tylko na koncie, na którym odbywa się szkolenie. Jest to bardzo ważne w niektórych branżach, takich jak usługi finansowe, gdzie izolacja danych i piaskownica są niezbędne do spełnienia wymogów prawnych.
- Łatwa współpraca – Partnerzy lub dostawcy mogą teraz z łatwością szkolić się w zakresie Amazon Comrehend Custom i udostępniać modele swoim klientom.
Jak działa kopiowanie modelu
Dzięki nowej funkcji kopiowania modeli możesz kopiować niestandardowe modele między kontami AWS w tym samym regionie w dwuetapowym procesie. Po pierwsze, użytkownik na jednym koncie AWS (konto A) udostępnia niestandardowy model, który znajduje się na jego koncie. Następnie użytkownik na innym koncie AWS (konto B) importuje model na swoje konto.
Udostępnij model
Aby udostępnić model niestandardowy na koncie A, użytkownik dołącza plik AWS Zarządzanie tożsamością i dostępem (IAM) zasady oparte na zasobach do wersji modelowej. Ta polityka upoważnia podmiot na koncie B, taki jak użytkownik lub rola IAM, do zaimportowania wersji modelu do Amazon Comprehend na swoim koncie AWS. Możesz skonfigurować politykę opartą na zasobach za pomocą konsoli lub za pomocą niestandardowej usługi Amazon Comprehend PutResourcePolicy
API.
Zaimportuj model
Aby zaimportować model na konto B, użytkownik tego konta podaje Amazon Comprehend niezbędne szczegóły, takie jak nazwa zasobu Amazon (ARN) modelu. Podczas importowania modelu użytkownik ten tworzy na swoim koncie AWS nowy, niestandardowy model, który replikuje model, który zaimportował. Model ten jest w pełni przeszkolony i gotowy do zadań wnioskowania, takich jak klasyfikacja dokumentów lub rozpoznawanie nazwanych jednostek. Jeśli model jest zaszyfrowany za pomocą Usługa zarządzania kluczami AWS (AWS KMS) w źródle, to rola usługi określona podczas importu modelu musi mieć dostęp do klucza KMS, aby móc odszyfrować model podczas importu. Konto docelowe może również określić klucz KMS do szyfrowania modelu podczas importu. Import udostępnionego modelu jest również dostępny zarówno na konsoli, jak i jako API.
Omówienie rozwiązania
Aby zademonstrować funkcjonalność funkcji kopiowania modelu, pokazujemy, jak trenować, udostępniać i importować niestandardowy model rozpoznawania encji Amazon Comprehend przy użyciu konsoli Amazon Comprehend i interfejsu CLI AWS. Do tej demonstracji używamy dwóch różnych kont. Te kroki mają również zastosowanie do niestandardowej klasyfikacji Amazon Comrehend. Wymagane kroki są następujące:
- Wytrenuj model rozpoznawania encji niestandardowych Amazon Comrehend na koncie źródłowym.
- Zdefiniuj zasady zasobów IAM dla przeszkolonego modelu, aby umożliwić dostęp dla wielu kont.
- Skopiuj wyszkolony model z konta źródłowego na konto docelowe.
- Przetestuj skopiowany model w ramach zadania wsadowego.
Wytrenuj model rozpoznawania encji niestandardowych Amazon Comrehend na koncie źródłowym
Pierwszym krokiem jest wytrenowanie modelu rozpoznawania encji niestandardowych Amazon Comprehend na koncie źródłowym. Jako wejściowy zbiór danych do szkolenia używamy pliku CSV lista podmiotów i dokumenty szkoleniowe do rozpoznania ofert usług AWS w danym dokumencie. Upewnij się, że lista podmiotów i dokumenty szkoleniowe znajdują się w pliku Usługa Amazon Simple Storage Wiadro (Amazon S3) na koncie źródłowym. Aby uzyskać instrukcje, zobacz Dodawanie dokumentów do Amazon S3.
Utwórz rolę IAM dla Amazon Comrehend i zapewnij wymagany dostęp do segmentu S3 z danymi szkoleniowymi. Zwróć uwagę na rolę ścieżek zasobników ARN i S3, których będziesz używać w późniejszych krokach.
Trenuj model za pomocą interfejsu CLI AWS
Utwórz moduł rozpoznawania jednostek, używając następującego polecenia AWS CLI. Zastąp swoje parametry ścieżkami S3, rolą IAM i regionem. Odpowiedź zwraca EntityRecognizerArn
.
Status zadania szkoleniowego można monitorować, wywołując funkcję rozpoznawania encji opisującej i sprawdzając Status w odpowiedzi.
Trenuj model za pomocą konsoli
Aby wytrenować model za pomocą konsoli, wykonaj następujące kroki:
- W konsoli Amazon Comprehend, pod Personalizacja, utwórz nowy niestandardowy model rozpoznawania jednostek.
- Podaj nazwę modelu i wersję.
- W razie zamówieenia projektu Wybierz językwybierz Angielski.
- W razie zamówieenia projektu Niestandardowy typ encji, Dodaj
AWS_OFFERING
.
Aby wytrenować niestandardowy model rozpoznawania jednostek, możesz wybrać jeden z dwóch sposobów dostarczania danych do Amazon Comprehend: adnotacje or listy jednostek. Dla uproszczenia użyj metody listy encji.
- W razie zamówieenia projektu Format danych, Wybierz Plik CSV.
- W razie zamówieenia projektu Rodzaj szkolenia, Wybierz Korzystanie z listy podmiotów i dokumentów szkoleniowych.
- Podaj ścieżki lokalizacji S3 dla pliku CSV listy encji i danych szkoleniowych.
- Aby przyznać Amazon Comrehend uprawnienia dostępu do Twojego segmentu S3, utwórz rolę powiązaną z usługą IAM.
W Polityka oparta na zasobach sekcji, możesz autoryzować dostęp dla wersji modelu. Konta, do których przyznasz dostęp, mogą zaimportować ten model na swoje konta. Na razie pomijamy ten krok i dodajemy politykę po przeszkoleniu modelu i jesteśmy zadowoleni z wydajności modelu.
- Dodaj Stwórz.
Spowoduje to przesłanie modułu rozpoznawania encji niestandardowych, który przechodzi przez wiele modeli, dostraja hiperparametry i sprawdza weryfikację krzyżową, aby upewnić się, że model jest niezawodny. Są to te same czynności, które wykonują analitycy danych.
Zdefiniuj zasady zasobów IAM dla przeszkolonego modelu, aby umożliwić dostęp dla wielu kont
Kiedy jesteśmy zadowoleni z wydajności szkolenia, możemy śmiało udostępnić konkretną wersję modelu, dodając politykę zasobów.
Dodaj politykę opartą na zasobach z interfejsu CLI AWS
Autoryzuj importowanie modelu z konta docelowego, dodając zasady zasobów do modelu, jak pokazano w poniższym kodzie. Zasady mogą być ściśle zawężone do konkretnej wersji modelu i docelowego podmiotu zabezpieczeń. Zastąp wytrenowany moduł rozpoznawania jednostek ARN i konto docelowe, do którego chcesz zapewnić dostęp.
Dodaj politykę opartą na zasobach za pośrednictwem konsoli
Po zakończeniu szkolenia generowana jest niestandardowa wersja modelu rozpoznawania jednostek. Możemy wybrać wyszkolony model i wersję, aby wyświetlić szczegóły szkolenia, w tym wydajność wyszkolonego modelu.
Aby zaktualizować politykę, wykonaj następujące kroki:
- Na Tagi, VPC i zasady edytuj politykę opartą na zasobach.
- Podaj nazwę zasady, nazwę główną usługi Amazon Comprehend (
comprehend.amazonaws.com
), identyfikator konta docelowego i użytkownicy uprawnień na koncie docelowym upoważnieni do importowania wersji modelu.
Określamy root
jako jednostka uprawnień do autoryzacji wszystkich użytkowników na koncie docelowym.
Skopiuj przeszkolony model z konta źródłowego do konta docelowego
Teraz model jest szkolony i udostępniany z konta źródłowego. Autoryzowany użytkownik konta docelowego może zaimportować model i utworzyć kopię modelu na swoim koncie.
Aby zaimportować model, musisz określić model źródłowy ARN i rolę usługi dla Amazon Comprehend, aby wykonać akcję kopiowania na Twoim koncie. Możesz określić opcjonalny identyfikator AWS KMS, aby zaszyfrować model na koncie docelowym.
Zaimportuj model za pomocą interfejsu CLI AWS
Aby zaimportować model za pomocą interfejsu CLI AWS, wprowadź następujący kod:
Zaimportuj model poprzez konsolę
Aby zaimportować model poprzez konsolę, wykonaj następujące kroki:
- W konsoli Amazon Comprehend, pod Rozpoznawanie jednostek niestandardowychwybierz Wersja importowa.
- W razie zamówieenia projektu Wersja modelu ARN, wprowadź ARN modelu przeszkolonego na koncie źródłowym.
- Wprowadź nazwę modelu i wersję celu.
- Podaj rolę konta usługi i wybierz Potwierdzać aby rozpocząć proces importu modelu.
Po zmianie statusu modelu na Imported
, możemy wyświetlić szczegóły modelu, w tym szczegóły wydajności wyszkolonego modelu.
Przetestuj skopiowany model w ramach zadania wsadowego
Testujemy skopiowany model na koncie docelowym, wykrywając niestandardowe encje za pomocą zadania wsadowego. Aby przetestować model, pobierz plik plik testowy i umieść go w wiadrze S3 na koncie docelowym. Utwórz rolę IAM dla Amazon Comrehend i zapewnij wymagany dostęp do segmentu S3 z danymi testowymi. Używasz ścieżek zasobników roli ARN i S3, które zanotowałeś wcześniej.
Po zakończeniu zadania możesz zweryfikować dane wnioskowania w określonym wyjściowym zasobniku S3.
Przetestuj model za pomocą interfejsu CLI AWS
Aby przetestować model za pomocą interfejsu CLI AWS, wpisz następujący kod:
Przetestuj model za pomocą konsoli
Aby przetestować model za pośrednictwem konsoli, wykonaj następujące kroki:
- Na konsoli Amazon Comprehend wybierz Analiza zadań i wybierz Utwórz pracę.
- W razie zamówieenia projektu Imię, wprowadź nazwę zadania.
- W razie zamówieenia projektu Typ analizy¸ wybierz Rozpoznawanie jednostek niestandardowych.
- Wybierz nazwę modelu i wersję zaimportowanego modelu.
- Podaj ścieżki S3 do pliku testowego zadania i lokalizację wyjściową, w której Amazon Comprehend przechowuje wynik.
- Wybierz lub utwórz rolę IAM z uprawnieniami dostępu do segmentów S3.
- Dodaj Utwórz pracę.
Po zakończeniu zadania analizy w wyjściowej ścieżce zasobnika S3 znajdują się pliki JSON, które można pobrać w celu sprawdzenia wyników rozpoznawania jednostek z zaimportowanego modelu.
Wnioski
W tym poście zademonstrowaliśmy funkcję kopiowania modelu encji niestandardowej Amazon Comprehend. Ta funkcja umożliwia wytrenowanie modelu rozpoznawania lub klasyfikacji encji niestandardowych Amazon Comprehend na jednym koncie, a następnie udostępnienie modelu innemu kontu w tym samym regionie. Upraszcza to strategię wielu kont, w której model można wyszkolić jednorazowo i udostępnić pomiędzy kontami w tym samym regionie bez konieczności ponownego uczenia lub udostępniania zbiorów danych szkoleniowych. Pozwala to na przewidywalne wdrożenie na każdym koncie w ramach przepływu pracy MLOps. Aby uzyskać więcej informacji, zapoznaj się z naszą dokumentacją na temat Zrozum niestandardową kopięlub wypróbuj instruktaż z tego posta za pomocą konsoli lub powłoki chmury z interfejsem CLI AWS.
W chwili pisania tego tekstu funkcja kopiowania modelu w Amazon Comrehend jest dostępna w następujących regionach:
- Wschodnie stany USA (Ohio)
- Wschodnie stany USA (Wirginia Północna)
- Zachodnie stany USA (Oregon)
- Azja i Pacyfik (Bombaj)
- Azja i Pacyfik (Seul)
- Azja i Pacyfik (Singapur)
- Azja i Pacyfik (Sydney)
- Azja i Pacyfik (Tokio)
- UE (Frankfurt)
- UE (Irlandia)
- UE (Londyn)
- AWS GovCloud (USA-Zachód)
Wypróbuj tę funkcję i prześlij nam swoją opinię za pośrednictwem Forum AWS dla Amazon Comprehend lub za pośrednictwem zwykłych kontaktów wsparcia AWS.
O autorach
Premkumar Rangarajan jest architektem rozwiązań specjalistycznych AI/ML w Amazon Web Services, a wcześniej jest autorem książki Natural Language Processing with AWS AI Services. Ma 26-letnie doświadczenie w branży IT na różnych stanowiskach, w tym na stanowisku lidera dostaw, specjalisty ds. integracji i architekta korporacyjnego. Pomaga przedsiębiorstwom każdej wielkości wdrożyć sztuczną inteligencję i uczenie maszynowe, aby sprostać wyzwaniom w świecie rzeczywistym.
Chethan Kryszna jest starszym architektem rozwiązań dla partnerów w Indiach. Współpracuje ze strategicznymi partnerami AWS w celu ustanowienia solidnych kompetencji w chmurze, przyjęcia najlepszych praktyk AWS i rozwiązywania problemów klientów. Jest konstruktorem i lubi eksperymentować z AI/ML, IoT i analityką.
Sriharsha MS jest architektem specjalistycznych rozwiązań AI / ML w zespole Strategic Specialist w Amazon Web Services. Współpracuje ze strategicznymi klientami AWS, którzy wykorzystują AI / ML do rozwiązywania złożonych problemów biznesowych. Zapewnia wytyczne techniczne i porady projektowe dotyczące wdrażania aplikacji AI / ML na dużą skalę. Jego doświadczenie obejmuje architekturę aplikacji, bigdata, analitykę i uczenie maszynowe.
- Coinsmart. Najlepsza w Europie giełda bitcoinów i kryptowalut.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. DARMOWY DOSTĘP.
- CryptoJastrząb. Radar Altcoin. Bezpłatna wersja próbna.
- Źródło: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- O nas
- dostęp
- Konto
- Działania
- zajęcia
- postępy
- Korzyść
- Rada
- AI
- Usługi AI
- Wszystkie kategorie
- Amazonka
- Amazon Web Services
- analiza
- analityka
- Ogłosić
- Ogłaszając
- Inne
- api
- Pszczoła
- odpowiedni
- Zastosowanie
- aplikacje
- architektura
- samochód
- dostępny
- AWS
- Korzyści
- BEST
- Najlepsze praktyki
- granica
- budować
- budowniczy
- biznes
- wyzwania
- kontrola
- Wykrywanie urządzeń szpiegujących
- klasyfikacja
- Chmura
- kod
- komentarze
- wspólny
- kompleks
- Konsola
- zawartość
- Klientów
- dane
- dekada
- dostawa
- Wdrożenie
- Wnętrze
- różne
- cyfrowy
- dokumenty
- z łatwością
- efekt
- ogromny
- Enterprise
- niezbędny
- przykład
- doświadczenie
- ekspertyza
- Cecha
- informacja zwrotna
- budżetowy
- usługi finansowe
- i terminów, a
- następujący
- Funkcjonalność
- Zaoszczędzić
- mający
- pomaga
- W jaki sposób
- How To
- HTTPS
- zidentyfikować
- tożsamość
- wdrożenia
- ważny
- importowanie
- Włącznie z
- Indie
- przemysłowa
- przemysł
- Informacja
- spostrzeżenia
- integracja
- Inteligencja
- odsetki
- Internet przedmiotów
- Irlandia
- izolacja
- IT
- Praca
- Oferty pracy
- Klawisz
- język
- uruchomić
- prowadzić
- nauka
- Linia
- Lista
- lokalizacja
- Londyn
- maszyna
- uczenie maszynowe
- i konserwacjami
- Media
- Górnictwo
- ML
- model
- modele
- większość
- Najbardziej popularne posty
- Bombaj
- Naturalny
- Oferty
- Ohio
- zamówienie
- Oregon
- Inne
- Pacyfik
- partnerem
- wzmacniacz
- jest gwarancją najlepszej jakości, które mogą dostarczyć Ci Twoje monitory,
- Zwroty
- polityka
- Popularny
- Główny
- problemy
- wygląda tak
- Produkt
- zapewniać
- zapewnia
- szybko
- regulacyjne
- wymagany
- wymagania
- Zasób
- odpowiedź
- Efekt
- powraca
- Recenzje
- Skala
- Naukowcy
- Sdk
- Seul
- usługa
- Usługi
- Share
- shared
- Akcje
- Powłoka
- Prosty
- Singapur
- So
- Rozwiązania
- ROZWIĄZANIA
- początek
- Zestawienie sprzedaży
- Rynek
- przechowywanie
- sklep
- Strategiczny
- Strategia
- wsparcie
- sydney
- cel
- zespół
- Techniczny
- test
- Źródło
- Przez
- czas
- już dziś
- Tokio
- Trening
- Trendy
- wyjątkowy
- Aktualizacja
- us
- posługiwać się
- Użytkownicy
- sprzedawców
- Zobacz i wysłuchaj
- virginia
- sieć
- usługi internetowe
- Zachód
- KIM
- w ciągu
- bez
- działa
- pisanie
- lat