Dzisiaj z przyjemnością ogłaszamy, że możesz teraz wykonywać przekształcenia wsadowe za pomocą Amazon SageMaker JumpStart duże modele językowe (LLM) do generowania Text2Text. Przekształcenia wsadowe są przydatne w sytuacjach, w których odpowiedzi nie muszą być udzielane w czasie rzeczywistym, dlatego można wnioskować wsadowo dla dużych zestawów danych zbiorczo. W przypadku transformacji wsadowej uruchamiane jest zadanie wsadowe, które pobiera wsadowe dane wejściowe jako zestaw danych i wstępnie przeszkolony model oraz generuje prognozy dla każdego punktu danych w zestawie danych. Transformacja wsadowa jest opłacalna, ponieważ w przeciwieństwie do hostowanych w czasie rzeczywistym punktów końcowych, które mają stały sprzęt, klastry transformacji wsadowej są usuwane po zakończeniu zadania, dlatego sprzęt jest używany tylko na czas trwania zadania wsadowego.
W niektórych przypadkach żądania wnioskowania w czasie rzeczywistym można grupować w małe partie w celu przetwarzania wsadowego w celu tworzenia odpowiedzi w czasie rzeczywistym lub prawie w czasie rzeczywistym. Na przykład, jeśli potrzebujesz przetwarzać ciągły strumień danych z niskimi opóźnieniami i wysoką przepustowością, wywołanie punktu końcowego w czasie rzeczywistym dla każdego żądania osobno wymagałoby więcej zasobów i może zająć więcej czasu, aby przetworzyć wszystkie żądania, ponieważ przetwarzanie odbywa się szeregowo . Lepszym rozwiązaniem byłoby pogrupowanie niektórych żądań i wywołanie punktu końcowego w czasie rzeczywistym w trybie wnioskowania wsadowego, który przetwarza żądania w jednym przejściu modelu do przodu i zwraca zbiorczą odpowiedź na żądanie w czasie rzeczywistym lub prawie rzeczywistym . Opóźnienie odpowiedzi będzie zależeć od liczby zgrupowanych żądań i rozmiaru pamięci instancji, dlatego możesz dostosować rozmiar partii do wymagań biznesowych dotyczących opóźnień i przepustowości. Nazywamy to wnioskowanie wsadowe w czasie rzeczywistym ponieważ łączy w sobie koncepcję przetwarzania wsadowego, a jednocześnie zapewnia odpowiedzi w czasie rzeczywistym. Dzięki wnioskowaniu wsadowemu w czasie rzeczywistym można osiągnąć równowagę między niskimi opóźnieniami a wysoką przepustowością, co pozwala na terminowe i wydajne przetwarzanie dużych ilości danych.
Szybka transformacja wsadowa dla modeli Text2Text Generation umożliwia przekazywanie hiperparametrów wsadowych przez zmienne środowiskowe, które jeszcze bardziej zwiększają przepustowość i minimalizują opóźnienia.
JumpStart zapewnia wstępnie wytrenowane modele typu open source dla szerokiej gamy typów problemów, które pomogą Ci rozpocząć pracę z uczeniem maszynowym (ML). Te modele można stopniowo trenować i dostrajać przed wdrożeniem. JumpStart zapewnia również szablony rozwiązań, które konfigurują infrastrukturę dla typowych przypadków użycia, oraz wykonywalne przykładowe notatniki dla ML z Amazon Sage Maker. Możesz uzyskać dostęp do wstępnie wytrenowanych modeli, szablonów rozwiązań i przykładów za pośrednictwem strony docelowej JumpStart w Studio Amazon SageMaker. Możesz także uzyskać dostęp do modeli JumpStart za pomocą SageMaker Python SDK.
W tym poście pokazujemy, jak korzystać z najnowocześniejszych wstępnie przeszkolonych text2text Modele FLAN T5 od Hugging Face do przekształcania wsadowego i wnioskowania wsadowego w czasie rzeczywistym.
Omówienie rozwiązania
Notatnik przedstawiający transformację wsadową wstępnie przeszkolonych modeli Text2Text FLAN T5 z Przytulanie Twarzy w dostępnych poniżej Repozytorium GitHub. Ten notatnik wykorzystuje dane z Hugging Face cnn_dailymail zestaw danych dla zadania podsumowania tekstu przy użyciu SageMaker SDK.
Poniżej przedstawiono kluczowe kroki wdrażania transformacji wsadowej i wnioskowania wsadowego w czasie rzeczywistym:
- Skonfiguruj wymagania wstępne.
- Wybierz wstępnie przeszkolony model.
- Pobierz artefakty dla modelu.
- Określ hiperparametry zadania transformacji wsadowej.
- Przygotuj dane do przekształcenia wsadowego.
- Uruchom zadanie transformacji wsadowej.
- Oceń podsumowanie za pomocą a CZERWONA (Podwójne studium zorientowane na przypomnienie dla oceny Gisting).
- Wykonuj wnioskowanie wsadowe w czasie rzeczywistym.
Skonfiguruj wymagania wstępne
Przed uruchomieniem notebooka należy wykonać kilka początkowych kroków konfiguracyjnych. Skonfigurujmy rolę wykonawczą SageMaker, aby miała uprawnienia do uruchamiania usług AWS w Twoim imieniu:
Wybierz wstępnie przeszkolony model
Używamy modelu huggingface-text2text-flan-t5-large jako modelu domyślnego. Opcjonalnie możesz pobrać listę dostępnych modeli Text2Text na JumpStart i wybrać preferowany model. Ta metoda zapewnia prosty sposób wybierania różnych identyfikatorów modeli przy użyciu tego samego notebooka. Do celów demonstracyjnych używamy modelu huggingface-text2text-flan-t5-large:
Pobierz artefakty dla modelu
Dzięki SageMaker możemy przeprowadzać wnioskowanie na podstawie wstępnie wytrenowanego modelu, nawet bez uprzedniego dostrajania go na nowym zbiorze danych. Zaczynamy od odzyskania deploy_image_uri
, deploy_source_uri
, model_uri
dla wstępnie wytrenowanego modelu:
Określ hiperparametry zadania transformacji wsadowej
Możesz przekazać dowolny podzbiór hiperparametrów jako zmienne środowiskowe do zadania transformacji wsadowej. Te hiperparametry można również przekazać w ładunku JSON. Jeśli jednak ustawiasz zmienne środowiskowe dla hiperparametrów, jak pokazano w poniższym kodzie, zaawansowane hiperparametry z poszczególnych przykładów w ładunku wierszy JSON nie będą używane. Jeśli chcesz użyć hiperparametrów z ładunku, możesz chcieć ustawić hyper_params_dict
zamiast tego parametr jako null.
Przygotuj dane do przekształcenia wsadowego
Teraz jesteśmy gotowi do załadowania cnn_dailymail zestaw danych z Hugging Face:
Przeglądamy każdy wpis danych i tworzymy dane wejściowe w wymaganym formacie. Tworzymy articles.jsonl
plik jako plik danych testowych zawierający artykuły, które należy podsumować jako ładunek wejściowy. Podczas tworzenia tego pliku dołączamy monit "Briefly summarize this text:"
do każdego wiersza wejściowego testu. Jeśli chcesz mieć różne hiperparametry dla każdego wejścia testowego, możesz dołączyć te hiperparametry w ramach tworzenia zestawu danych.
Tworzymy highlights.jsonl
jako podstawowy plik prawdy zawierający najciekawsze fragmenty każdego artykułu przechowywanego w pliku testowym articles.jsonl
. Przechowujemy oba pliki testowe w formacie Usługa Amazon Simple Storage (Amazon S3) wiadro. Zobacz następujący kod:
Uruchom zadanie transformacji wsadowej
Kiedy rozpoczynasz zadanie transformacji wsadowej, SageMaker uruchamia niezbędne zasoby obliczeniowe do przetwarzania danych, w tym instancje CPU lub GPU, w zależności od wybranego typu instancji. Podczas zadania transformacji wsadowej SageMaker automatycznie udostępnia i zarządza zasobami obliczeniowymi wymaganymi do przetwarzania danych, w tym instancjami, pamięcią masową i zasobami sieciowymi. Po zakończeniu zadania transformacji wsadowej zasoby obliczeniowe są automatycznie czyszczone przez SageMaker. Oznacza to, że instancje i pamięć masowa używane podczas zadania są zatrzymywane i usuwane, co uwalnia zasoby i minimalizuje koszty. Zobacz następujący kod:
Poniżej znajduje się jeden przykładowy rekord z articles.jsonl
plik testowy. Zauważ, że rekord w tym pliku ma identyfikator pasujący do predict.jsonl
rekordy plików, które pokazują podsumowanie rekordu jako dane wyjściowe z modelu Hugging Face Text2Text. Podobnie, plik prawdy podstawowej ma również pasujący identyfikator dla rekordu danych. Dopasowany identyfikator w pliku testowym, pliku prawdy podstawowej i pliku wyjściowym umożliwia łączenie rekordów wejściowych z rekordami wyjściowymi w celu łatwej interpretacji wyników.
Poniżej znajduje się przykładowy rekord wejściowy przewidziany do podsumowania:
Poniżej przedstawiono przewidywany wynik z podsumowaniem:
Poniżej znajduje się podsumowanie prawdy podstawowej do celów oceny modelu:
Następnie używamy podstawowej prawdy i przewidywanych wyników do oceny modelu.
Oceń model za pomocą wyniku ROUGE¶
CZERWONA, czyli Recall-Oriented Understudy for Gisting Evaluation, to zestaw wskaźników i pakiet oprogramowania służący do oceny automatycznego podsumowania i tłumaczenia maszynowego w przetwarzaniu języka naturalnego. Metryki porównują automatycznie wygenerowane streszczenie lub tłumaczenie z referencyjnym streszczeniem lub tłumaczeniem (stworzonym przez człowieka) lub zestawem odniesień.
W poniższym kodzie łączymy przewidywane i oryginalne podsumowania, łącząc je na wspólnym kluczu id
i użyj tego do obliczenia wyniku ROUGE:
Wykonuj wnioskowanie wsadowe w czasie rzeczywistym
Następnie pokażemy, jak uruchomić wnioskowanie wsadowe w czasie rzeczywistym na punkcie końcowym, udostępniając dane wejściowe jako listę. Używamy tego samego identyfikatora modelu i zestawu danych, co wcześniej, z wyjątkiem tego, że pobieramy kilka rekordów z testowego zestawu danych i używamy ich do wywołania punktu końcowego w czasie rzeczywistym.
Poniższy kod pokazuje, jak utworzyć i wdrożyć punkt końcowy w czasie rzeczywistym na potrzeby wnioskowania wsadowego w czasie rzeczywistym:
Następnie przygotowujemy nasz ładunek wejściowy. W tym celu wykorzystujemy dane, które przygotowaliśmy wcześniej, wyodrębniamy pierwsze 10 testowych danych wejściowych i dołączamy dane wejściowe tekstowe z hiperparametrami, których chcemy użyć. Dostarczamy ten ładunek w czasie rzeczywistym invoke_endpoint
. Ładunek odpowiedzi jest następnie zwracany jako lista odpowiedzi. Zobacz następujący kod:
Sprzątać
Po przetestowaniu punktu końcowego upewnij się, że usunięto punkt końcowy wnioskowania SageMaker i usuń model, aby uniknąć naliczania opłat.
Wnioski
W tym notatniku przeprowadziliśmy transformację wsadową, aby zaprezentować model generatora tekst2tekst przytulania twarzy dla zadań podsumowujących. Transformacja wsadowa jest korzystna w uzyskiwaniu wniosków z dużych zestawów danych bez konieczności posiadania trwałego punktu końcowego. Połączyliśmy rekordy wejściowe z wnioskami, aby pomóc w interpretacji wyników. Użyliśmy wyniku ROUGE, aby porównać podsumowanie danych testowych z podsumowaniem wygenerowanym przez model.
Ponadto zademonstrowaliśmy wnioskowanie wsadowe w czasie rzeczywistym, w którym można wysłać niewielką partię danych do punktu końcowego w czasie rzeczywistym, aby osiągnąć równowagę między opóźnieniem a przepustowością w scenariuszach takich jak przesyłanie strumieniowe danych wejściowych. Wnioskowanie wsadowe w czasie rzeczywistym pomaga zwiększyć przepustowość dla żądań w czasie rzeczywistym.
Wypróbuj transformację wsadową za pomocą modeli Text2Text Generation w SageMaker już dziś i daj nam znać swoją opinię!
O autorach
Hemanta Singha jest inżynierem uczenia maszynowego z doświadczeniem we wbudowanych algorytmach Amazon SageMaker JumpStart i Amazon SageMaker. Uzyskał tytuł magistra w Courant Institute of Mathematical Sciences i B.Tech w IIT Delhi. Ma doświadczenie w pracy nad różnorodnymi problemami uczenia maszynowego w dziedzinie przetwarzania języka naturalnego, wizji komputerowej i analizy szeregów czasowych.
Rachna Czadha jest głównym architektem rozwiązań AI/ML w dziale Strategic Accounts w AWS. Rachna jest optymistą, który wierzy, że etyczne i odpowiedzialne korzystanie z AI może w przyszłości poprawić społeczeństwo i przynieść dobrobyt gospodarczy i społeczny. W wolnym czasie Rachna lubi spędzać czas z rodziną, spacerować i słuchać muzyki.
Dr Ashish Khetan jest starszym naukowcem z wbudowanymi algorytmami Amazon SageMaker i pomaga rozwijać algorytmy uczenia maszynowego. Doktoryzował się na University of Illinois Urbana-Champaign. Jest aktywnym badaczem uczenia maszynowego i wnioskowania statystycznego oraz opublikował wiele artykułów na konferencjach NeurIPS, ICML, ICLR, JMLR, ACL i EMNLP.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoAiStream. Analiza danych Web3. Wiedza wzmocniona. Dostęp tutaj.
- Wybijanie przyszłości w Adryenn Ashley. Dostęp tutaj.
- Kupuj i sprzedawaj akcje spółek PRE-IPO z PREIPO®. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/perform-batch-transforms-with-amazon-sagemaker-jumpstart-text2text-generation-large-language-models/
- :ma
- :Jest
- :nie
- :Gdzie
- $W GÓRĘ
- 000
- 1
- 10
- 100
- 11
- 13
- 14
- 20
- 2014
- 50
- 7
- 8
- 9
- a
- Zdolny
- O nas
- powyżej
- akceptacja
- zaakceptowany
- dostęp
- Stosownie
- Konta
- Osiągać
- Przejmuje
- w poprzek
- działania
- aktywny
- zaawansowany
- korzystny
- przed
- AI
- AI / ML
- AID
- Algorytmy
- Wszystkie kategorie
- rzekomy
- pozwala
- również
- Amazonka
- Amazon Sage Maker
- Amazon SageMaker JumpStart
- Amazon Web Services
- an
- analiza
- i
- Ogłosić
- każdy
- api
- stosowany
- podejście
- SĄ
- na około
- artykuł
- towary
- AS
- At
- Próby
- władza
- automatycznie
- automatycznie
- dostępny
- uniknąć
- AWS
- Bilans
- baza
- na podstawie
- BE
- stał
- bo
- staje się
- zanim
- jest
- uwierzyć
- uważa,
- Beniaminek
- Ulepsz Swój
- pomiędzy
- ciało
- obie
- Obie strony
- Granice
- krótko
- przynieść
- Przynosi
- wbudowany
- biznes
- ale
- by
- wezwanie
- CAN
- nie może
- Etui
- Spowodować
- Opłaty
- Dodaj
- klasa
- klient
- bliższy
- CNN
- kod
- połączyć
- kombajny
- łączenie
- jak
- zobowiązania
- zobowiązany
- wspólny
- porównać
- kompletny
- obliczać
- komputer
- Wizja komputerowa
- pojęcie
- Prowadzenie
- konferencje
- Pojemnik
- kontynuować
- ciągły
- przyczyniły
- Koszty:
- opłacalne
- mógłby
- rada
- kontrproduktywne
- kraje
- Boisko
- Stwórz
- Tworzenie
- Zbrodnie
- Karny
- dane
- wprowadzanie danych
- zbiory danych
- martwy
- decyzja
- Domyślnie
- Delhi
- wykazać
- wykazać
- Departament
- W zależności
- rozwijać
- Wdrożenie
- opisane
- Ustalać
- rozwijać
- oprogramowania
- różnić się
- Różnice
- różne
- kierować
- inny
- do
- Doker
- domena
- zrobić
- nie
- Drzwi
- na dół
- czas trwania
- podczas
- każdy
- Wcześniej
- Wschód
- łatwo
- Gospodarczy
- wydajny
- starania
- kwalifikowalne
- umożliwiając
- zakończenia
- Punkt końcowy
- inżynier
- zapewnić
- Wchodzi
- wejście
- Środowisko
- Era
- etyczny
- oceniać
- oceny
- ewaluację
- Parzyste
- dowód
- przykład
- przykłady
- Z wyjątkiem
- podniecony
- egzekucja
- doświadczenie
- wyciąg
- Twarz
- wiara
- członków Twojej rodziny
- kilka
- filet
- Akta
- i terminów, a
- następujący
- W razie zamówieenia projektu
- wytrzymałość
- obcy
- formalny
- Formalnie
- format
- Naprzód
- założenie
- od
- pełny
- dalej
- przyszłość
- generacja
- generator
- otrzymać
- daje
- Go
- Gole
- Rządy
- GPU
- większy
- Ziemia
- Zarządzanie
- sprzęt komputerowy
- Have
- he
- pomoc
- pomaga
- jej
- tutaj
- Wysoki
- pasemka
- jego
- hostowane
- W jaki sposób
- How To
- Jednak
- HTML
- http
- HTTPS
- Przytulanie twarzy
- człowiek
- prawa człowieka
- Ludzkość
- ID
- ids
- if
- Illinois
- obraz
- natychmiast
- wykonawczych
- importować
- podnieść
- in
- zawierać
- Włącznie z
- Zwiększać
- niezależność
- indywidualny
- Indywidualnie
- Informacja
- Infrastruktura
- początkowy
- niesprawiedliwość
- wkład
- Wejścia
- zapytanie
- przykład
- zamiast
- Instytut
- na świecie
- interpretacja
- najnowszych
- badać
- śledztwo
- Dochodzenia
- Izrael
- IT
- JEGO
- styczeń
- Praca
- przystąpić
- łączący
- jpg
- json
- sędzia
- czerwiec
- jurysdykcja
- właśnie
- PRAWO
- Klawisz
- Wiedzieć
- lądowanie
- język
- duży
- Nazwisko
- Utajenie
- później
- uruchamia
- nauka
- lewo
- niech
- lekko
- lubić
- lubi
- Linia
- linie
- powiązany
- Powiązanie
- Lista
- Słuchanie
- załadować
- długo
- dłużej
- niski
- maszyna
- uczenie maszynowe
- robić
- Dokonywanie
- zarządza
- sposób
- wiele
- wyraźny
- dopasowane
- dopasowywanie
- matematyczny
- Może..
- znaczy
- członek
- Użytkownicy
- członkostwo
- Pamięć
- metoda
- Metryka
- minimalizowanie
- ML
- Moda
- model
- modele
- Miesiąc
- jeszcze
- ruch
- Muzyka
- musi
- Nazwa
- Naturalny
- Przetwarzanie języka naturalnego
- niezbędny
- Potrzebować
- Negocjacje
- Ani
- Holandia
- sieci
- Nowości
- aktualności
- informacja prasowa
- notatnik
- już dziś
- przedmiot
- uzyskiwanie
- of
- Biurowe
- Oficjalnie
- on
- ONE
- tylko
- koncepcja
- open source
- otwierany
- sprzeciwiać się
- przeciwny
- or
- oryginalny
- OS
- ludzkiej,
- na zewnątrz
- wydajność
- koniec
- pakiet
- strona
- Palestyna
- Papiery
- parametr
- parametry
- część
- przyjęcie
- przechodzić
- ścieżka
- Chodnik
- pokój
- Ludzie
- wykonać
- uprawnienia
- plato
- Analiza danych Platona
- PlatoDane
- Proszę
- punkt
- możliwy
- Post
- przewidzieć
- Przewiduje
- przepowiednia
- Przewidywania
- Urządzenie prognozujące
- Korzystny
- Przygotować
- przygotowany
- warunki wstępne
- prezydent
- nacisk
- premia
- premier
- Główny
- Problem
- problemy
- wygląda tak
- procesów
- przetwarzanie
- Wytworzony
- dobrobyt
- zapewniać
- pod warunkiem,
- zapewnia
- że
- opublikowany
- cele
- Python
- zasięg
- gotowy
- real
- w czasie rzeczywistym
- rekord
- dokumentacja
- referencje
- odnosi
- zwolnić
- Usunięto
- WIELOKROTNIE
- raport
- zażądać
- wywołań
- wymagać
- wymagany
- wymagania
- badacz
- Zasoby
- odpowiedź
- Odpowiedzi
- obowiązki
- odpowiedzialny
- dalsze
- Efekt
- powrót
- powraca
- przeglądu
- prawa
- Rola
- Rzym
- RZĄD
- run
- s
- sagemaker
- Wnioskowanie SageMakera
- Powiedział
- taki sam
- powiedzenie
- scenariusze
- NAUKI
- Naukowiec
- wynik
- Sdk
- widzieć
- poszukuje
- wybrany
- wysłać
- senior
- Serie
- Usługi
- zestaw
- ustawienie
- ustawienie
- shared
- ona
- powinien
- pokazać
- prezentacja
- Targi
- Strony
- podpisana
- Podobnie
- Prosty
- ponieważ
- sytuacja
- sytuacje
- Rozmiar
- mały
- So
- Obserwuj Nas
- Społeczeństwo
- Tworzenie
- rozwiązanie
- Rozwiązania
- kilka
- mówić
- Mówiąc
- Spędzanie
- początek
- rozpoczęty
- Stan
- Departament stanu
- state-of-the-art
- Zestawienie sprzedaży
- Zjednoczone
- statystyczny
- Ewolucja krok po kroku
- Cel
- Nadal
- zatrzymany
- przechowywanie
- sklep
- przechowywany
- bezpośredni
- Strategiczny
- strumień
- Streaming
- strongly
- przedmiot
- streszczać
- PODSUMOWANIE
- lato
- wsparcie
- Brać
- Zadania
- trwa
- Zadanie
- zadania
- tech
- Szablony
- terytoria
- terytorium
- test
- niż
- że
- Połączenia
- Informacje
- Holandia
- Państwo
- świat
- ich
- Im
- następnie
- w związku z tym
- Te
- one
- to
- tych
- Przez
- wydajność
- czas
- Szereg czasowy
- do
- już dziś
- razem
- rozdarty
- w kierunku
- Pociąg
- Przekształcać
- transformator
- transformacje
- Tłumaczenie
- prawdziwy
- Prawda
- rodzaj
- typy
- Osłabiać
- Zjednoczony
- United States
- uniwersalny
- uniwersytet
- w odróżnieniu
- Uploading
- na
- us
- posługiwać się
- używany
- za pomocą
- Wiceprezes
- wizja
- kłęby
- W
- chcieć
- wojna
- była
- Oglądaj
- Droga..
- we
- sieć
- usługi internetowe
- Wednesday
- powitanie
- mile widziana
- DOBRZE
- Co
- jeśli chodzi o komunikację i motywację
- czy
- który
- Podczas
- KIM
- szeroki
- Szeroki zasięg
- będzie
- w
- w ciągu
- bez
- pracujący
- świat
- by
- You
- Twój
- zefirnet