Dostosuj Llamę 2 do generowania tekstu w Amazon SageMaker JumpStart | Usługi internetowe Amazona

Dzisiaj z radością ogłaszamy możliwość dostrojenia modeli Llama 2 za pomocą Meta Amazon SageMaker JumpStart. Rodzina dużych modeli językowych (LLM) Llama 2 to zbiór wstępnie wytrenowanych i precyzyjnie dostrojonych generatywnych modeli tekstowych o skali od 7 miliardów do 70 miliardów parametrów. Dopracowane LLM, zwane Llama-2-chat, są zoptymalizowane pod kątem zastosowań dialogowych. Możesz łatwo wypróbować te modele i używać ich w SageMaker JumpStart, będącym centrum uczenia maszynowego (ML), które zapewnia dostęp do algorytmów, modeli i rozwiązań ML, dzięki czemu możesz szybko rozpocząć korzystanie z ML. Teraz możesz także dostroić 7 miliardów, 13 miliardów i 70 miliardów parametrów Modele generowania tekstu Llama 2 w SageMaker JumpStart za pomocą Studio Amazon SageMaker Interfejs użytkownika za pomocą kilku kliknięć lub przy użyciu pakietu SageMaker Python SDK.

Podstawowe modele generatywnej sztucznej inteligencji są przedmiotem większości badań i przypadków użycia w zakresie uczenia maszynowego i sztucznej inteligencji od ponad roku. Te podstawowe modele bardzo dobrze radzą sobie z zadaniami generatywnymi, takimi jak generowanie tekstu, podsumowywanie, odpowiadanie na pytania, generowanie obrazów i wideo i nie tylko, ze względu na ich duży rozmiar, a także dlatego, że są szkolone na kilku dużych zbiorach danych i setkach zadań. Pomimo dużych możliwości uogólniania tych modeli, często istnieją przypadki użycia, które mają bardzo specyficzne dane dziedzinowe (takie jak opieka zdrowotna lub usługi finansowe), z powodu których modele te mogą nie być w stanie zapewnić dobrych wyników dla tych przypadków użycia. Powoduje to potrzebę dalszego dostrajania tych generatywnych modeli sztucznej inteligencji w oparciu o dane specyficzne dla przypadku użycia i domeny.

W tym poście opisujemy, jak dostroić wstępnie wytrenowane modele generowania tekstu Llama 2 za pomocą SageMaker JumpStart.

Co to jest Lama 2

Lama 2 to model języka autoregresyjnego, który wykorzystuje zoptymalizowaną architekturę transformatora. Lama 2 jest przeznaczona do użytku komercyjnego i badawczego w języku angielskim. Jest dostępny w różnych rozmiarach parametrów — 7 miliardów, 13 miliardów i 70 miliardów — a także w wstępnie wytrenowanych i precyzyjnie dostrojonych odmianach. Według Meta dostrojone wersje wykorzystują nadzorowane dostrajanie (SFT) i uczenie się przez wzmacnianie na podstawie informacji zwrotnej od człowieka (RLHF), aby dostosować się do ludzkich preferencji pod względem przydatności i bezpieczeństwa. Llama 2 została wstępnie przeszkolona na 2 bilionach tokenów danych z publicznie dostępnych źródeł. Dostrojone modele są przeznaczone do czatu przypominającego asystenta, natomiast wstępnie wyszkolone modele można dostosować do różnych zadań związanych z generowaniem języka naturalnego. Niezależnie od tego, z której wersji modelu korzysta programista, plik przewodnik odpowiedzialnego użytkowania firmy Meta może pomóc w dodatkowym dostrojeniu, które może być konieczne w celu dostosowania i optymalizacji modeli przy zastosowaniu odpowiednich środków ograniczających bezpieczeństwo.

Obecnie Llama 2 jest dostępna w następujących regionach:

• Wdróż dostępny wstępnie wyszkolony model: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• Dopracuj i wdróż dopracowany model: “us-east-1”, “us-west-2”,“eu-west-1”

Co to jest SageMaker JumpStart

Dzięki SageMaker JumpStart praktycy ML mogą wybierać spośród szerokiej gamy publicznie dostępnych modeli podstawowych. Praktycy ML mogą wdrażać modele podstawowe w dedykowanych Amazon Sage Maker instancje z izolowanego środowiska sieciowego i dostosowuj modele za pomocą SageMaker do szkolenia modeli i wdrażania. Możesz teraz odkryć i wdrożyć Llamę 2 za pomocą kilku kliknięć w SageMaker Studio lub programowo za pomocą pakietu SageMaker Python SDK, umożliwiając uzyskanie wydajności modelu i kontroli MLOps za pomocą funkcji SageMaker, takich jak Rurociągi Amazon SageMaker, Debuger Amazon SageMakerlub dzienniki kontenerów. Model jest wdrażany w bezpiecznym środowisku AWS i pod kontrolą VPC, co pomaga zapewnić bezpieczeństwo danych. Ponadto możesz dostroić wstępnie wytrenowane modele generowania tekstu Llama2 7B, 13B i 70B za pomocą SageMaker JumpStart.

Dostosuj modele Lamy2

Możesz dostroić modele za pomocą interfejsu użytkownika SageMaker Studio lub zestawu SDK SageMaker Python. Obie metody omówimy w tej sekcji.

Dostrajanie bez użycia kodu za pomocą interfejsu użytkownika SageMaker Studio

W SageMaker Studio dostęp do modeli Lamy 2 można uzyskać poprzez SageMaker JumpStart w sekcji Modele, notesy i rozwiązania, jak pokazano na poniższym zrzucie ekranu.

Jeśli nie widzisz modeli Lamy 2, zaktualizuj wersję SageMaker Studio, wyłączając i uruchamiając ponownie. Aby uzyskać więcej informacji na temat aktualizacji wersji, zobacz Zamknij i zaktualizuj aplikacje Studio.

Wybierając, możesz znaleźć także pozostałe cztery warianty modelu Poznaj wszystkie modele generowania tekstu lub wyszukaj lamę w polu wyszukiwania.

Na tej stronie możesz wskazać Usługa Amazon Simple Storage Wiadro (Amazon S3) zawierające zbiory danych szkoleniowych i walidacyjnych do dostrajania. Ponadto można skonfigurować konfigurację wdrożenia, hiperparametry i ustawienia zabezpieczeń w celu dostrajania. Następnie możesz wybrać Pociąg aby rozpocząć zadanie szkoleniowe w instancji SageMaker ML. Powyższy zrzut ekranu przedstawia stronę dostrajania modelu Llama-2 7B; można jednak dostroić modele generowania tekstu 13B i 70B Llama 2, korzystając w podobny sposób z odpowiednich stron modeli. Aby korzystać z modeli Llama 2, musisz zaakceptować Umowę licencyjną użytkownika końcowego (EULA). Pojawi się, kiedy dokonasz wyboru Pociąg, jak pokazano na poniższym zrzucie ekranu. Wybierać Przeczytałem i akceptuję umowę EULA i AUP aby rozpocząć prace dostrajające.

Wdróż model

Po dopracowaniu modelu możesz go wdrożyć, korzystając ze strony modelu w SageMaker JumpStart. Opcja wdrożenia dopracowanego modelu pojawi się po zakończeniu dostrajania, jak pokazano na poniższym zrzucie ekranu.

Dostosuj za pomocą pakietu SageMaker Python SDK

Możesz także dostroić modele Llama 2 za pomocą pakietu SageMaker Python SDK. Poniżej znajduje się przykładowy kod umożliwiający dostrojenie Llama 2 7B w zestawie danych:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

Możesz wdrożyć dopracowany model bezpośrednio z estymatora:

finetuned_predictor = estimator.deploy()

Kod znajdziesz także w Dostosuj modele LLaMA 2 w SageMaker JumpStart. Obejmuje przygotowanie zestawu danych, szkolenie na niestandardowym zestawie danych i wdrożenie precyzyjnie dostrojonego modelu. Pokazuje dostrajanie podzbioru zbioru danych Dolly na przykładach z zadania podsumowującego. Poniżej przedstawiono przykładowe dane wejściowe z odpowiedziami precyzyjnie dostrojonymi i niedostrojonymi wraz z odpowiedzią dotyczącą prawdy podstawowej:

Dane wejściowe do modelu:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Odpowiedź na prawdę:

Felix Luna died on November 5th, 2009

Odpowiedź z niedostrojonego modelu:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

Odpowiedź z dostrojonego modelu:

Félix Luna died on November 5th, 2009.nn

Aby zapoznać się z testami porównawczymi wydajności różnych modeli w zestawie danych Dolly i Dialogsum, zobacz Benchmarking wydajności sekcja w załączniku na końcu tego postu.

Technika dostrajania

Modele językowe, takie jak Llama, mają rozmiar większy niż 10 GB, a nawet 100 GB. Dostrajanie tak dużych modeli wymaga instancji ze znacznie dużą pamięcią CUDA. Ponadto uczenie tych modeli może być bardzo powolne ze względu na rozmiar modelu. Dlatego w celu wydajnego dostrajania stosujemy następujące optymalizacje:

• Adaptacja niskiej rangi (LoRA) – Jest to rodzaj efektywnego dostrajania parametrów (PEFT) służącego do wydajnego dostrajania dużych modeli. W tym przypadku zamrażamy cały model i dodajemy do modelu jedynie niewielki zestaw regulowanych parametrów lub warstw. Na przykład zamiast trenować wszystkie 7 miliardów parametrów Lamy 2 7B, możemy dostroić mniej niż 1% parametrów. Pomaga to w znacznym zmniejszeniu zapotrzebowania na pamięć, ponieważ musimy przechowywać gradienty, stany optymalizatora i inne informacje związane ze szkoleniem tylko dla 1% parametrów. Co więcej, pomaga to w skróceniu czasu i kosztów szkolenia. Więcej szczegółów na temat tej metody można znaleźć w artykule LoRA: Adaptacja niskiego poziomu dużych modeli językowych.
• Kwantyzacja Int8 – Nawet przy optymalizacjach takich jak LoRA modele takie jak Llama 70B są nadal zbyt duże, aby można je było trenować. Aby zmniejszyć zużycie pamięci podczas treningu, możemy podczas treningu zastosować kwantyzację Int8. Kwantyzacja zazwyczaj zmniejsza precyzję typów danych zmiennoprzecinkowych. Chociaż zmniejsza to pamięć wymaganą do przechowywania ciężarów modeli, pogarsza to wydajność z powodu utraty informacji. Kwantyzacja Int8 wykorzystuje tylko jedną czwartą precyzji, ale nie powoduje pogorszenia wydajności, ponieważ nie powoduje po prostu utraty bitów. Zaokrągla dane z jednego typu do drugiego. Aby dowiedzieć się więcej o kwantyzacji Int8, zobacz LLM.int8(): 8-bitowe mnożenie macierzy dla transformatorów w dużej skali.
• W pełni podzielone na dane równoległe (FSDP) – Jest to rodzaj algorytmu uczenia równoległego do danych, który dzieli parametry modelu na procesy równoległe danych i opcjonalnie może przenieść część obliczeń szkoleniowych do procesorów. Chociaż parametry są podzielone na różne procesory graficzne, obliczenia każdej mikropartii są lokalne dla procesu roboczego GPU. Umożliwia bardziej równomierne rozbicie parametrów i osiągnięcie zoptymalizowanej wydajności dzięki nakładaniu się komunikacji i obliczeń podczas szkolenia.

W poniższej tabeli porównano różne metody z trzema modelami Llama 2.

Należy pamiętać, że dostrajanie modeli Lamy opiera się na skryptach dostarczonych przez poniższe osoby GitHub repo.

Format zbioru danych szkoleniowych

SageMaker JumpStart obsługuje obecnie zbiory danych zarówno w formacie adaptacji domeny, jak i formacie dostrajania instrukcji. W tej sekcji podajemy przykładowy zbiór danych w obu formatach. Więcej szczegółów znajdziesz w Formatowanie zbioru danych sekcja w załączniku.

Format adaptacji domeny

Model generowania tekstu Lama 2 można dostroić na dowolnym zestawie danych specyficznym dla domeny. Po dopracowaniu zestawu danych specyficznego dla domeny oczekuje się, że model wygeneruje tekst specyficzny dla domeny i rozwiąże różne zadania NLP w tej konkretnej domenie za pomocą kilku podpowiedzi. W przypadku tego zestawu danych dane wejściowe składają się z pliku CSV, JSON lub TXT. Na przykład danymi wejściowymi mogą być zgłoszenia Amazona do SEC w postaci pliku tekstowego:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Format strojenia instrukcji

Podczas dostrajania instrukcji model jest dostrajany pod kątem zestawu zadań przetwarzania języka naturalnego (NLP) opisanych za pomocą instrukcji. Pomaga to poprawić wydajność modelu w przypadku niewidocznych zadań dzięki monitom o zerowym zasięgu. W formacie zestawu danych dostrajania instrukcji określasz template.json plik opisujący formaty wejściowe i wyjściowe. Na przykład każda linia w pliku train.jsonl wygląda następująco:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

Dodatkowy plik template.json wygląda następująco:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Obsługiwane hiperparametry do szkolenia

Dostrajanie Lamy 2 obsługuje wiele hiperparametrów, z których każdy może mieć wpływ na zapotrzebowanie na pamięć, szybkość uczenia i wydajność dostrojonego modelu:

• epoka – Liczba przejść, jakie algorytm dostrajający wykonuje przez zbiór danych szkoleniowych. Musi być liczbą całkowitą większą niż 1. Wartość domyślna to 5.
• wskaźnik_nauczenia – Szybkość aktualizacji wag modeli po przepracowaniu każdej partii przykładów szkoleniowych. Musi to być dodatnia liczba zmiennoprzecinkowa większa niż 0. Wartość domyślna to 1e-4.
• instrukcja_dostrojona – Czy szkolić model, czy nie. Musi być 'True"lub"False'. Wartość domyślna to „False".
• per_device_train_batch_size – Rozmiar partii na rdzeń GPU/procesor do celów szkoleniowych. Musi być dodatnią liczbą całkowitą. Wartość domyślna to 4.
• per_device_eval_batch_size – Rozmiar partii na rdzeń GPU/procesor do oceny. Musi być dodatnią liczbą całkowitą. Wartość domyślna to 1.
• max_train_samples – W celu debugowania lub szybszego szkolenia skróć liczbę przykładów szkoleniowych do tej wartości. Wartość -1 oznacza wykorzystanie wszystkich próbek szkoleniowych. Musi to być dodatnia liczba całkowita lub -1. Wartość domyślna to -1.
• max_val_samples – W celu debugowania lub szybszego szkolenia skróć liczbę przykładów walidacji do tej wartości. Wartość -1 oznacza wykorzystanie wszystkich próbek walidacyjnych. Musi to być dodatnia liczba całkowita lub -1. Wartość domyślna to -1.
• maksymalna_długość_wejściowa – Maksymalna całkowita długość sekwencji wejściowej po tokenizacji. Sekwencje dłuższe niż ta zostaną obcięte. Jeśli -1, max_input_length jest ustawiona na minimum 1024 i maksymalną długość modelu zdefiniowaną przez tokenizer. Jeśli zostanie ustawiony na wartość dodatnią, max_input_length jest ustawiony na minimum podanej wartości i model_max_length zdefiniowany przez tokenizer. Musi to być dodatnia liczba całkowita lub -1. Wartość domyślna to -1.
• validation_split_ratio – Jeśli kanał walidacji to none, stosunek podziału walidacji pociągu z danych pociągu musi mieścić się w przedziale 0–1. Wartość domyślna to 0.2.
• train_data_split_seed – Jeśli nie ma danych walidacyjnych, naprawia to losowy podział wejściowych danych szkoleniowych na dane szkoleniowe i walidacyjne wykorzystywane przez algorytm. Musi być liczbą całkowitą. Wartość domyślna to 0.
• preprocessing_num_workers – Liczba procesów, które należy zastosować do przetwarzania wstępnego. Jeśli None, główny proces służy do wstępnego przetwarzania. Domyślnie jest None.
• lora_r – Lora R. Musi być dodatnią liczbą całkowitą. Wartość domyślna to 8.
• lora_alfa – Lora Alfa. Musi być dodatnią liczbą całkowitą. Wartość domyślna to 32
• lora_dropout – Lora odpada. musi być dodatnią liczbą zmiennoprzecinkową z zakresu od 0 do 1. Wartość domyślna to 0.05.
• int8_kwantyzacja - Jeśli True, model jest ładowany z 8-bitową precyzją na potrzeby szkolenia. Wartość domyślna dla 7B i 13B to False. Domyślnie dla 70B jest True.
• włącz_fsdp - Jeśli True, szkolenie wykorzystuje FSDP. Wartość domyślna dla 7B i 13B to True. Domyślnie dla 70B jest False, Należy pamiętać, że int8_quantization nie jest obsługiwany przez FSDP.

Typy instancji i zgodne hiperparametry

Zapotrzebowanie na pamięć podczas dostrajania może się różnić w zależności od kilku czynników:

• Typ modelu – Model 7B ma najmniejsze zapotrzebowanie na pamięć GPU, a model 70B ma największe zapotrzebowanie na pamięć
• Maksymalna długość wejściowa – Większa wartość długości wejściowej powoduje jednoczesne przetwarzanie większej liczby tokenów i jako taka wymaga większej ilości pamięci CUDA
• Wielkość partii – Większy rozmiar partii wymaga większej pamięci CUDA i dlatego wymaga większych typów instancji
• Kwantyzacja Int8 – W przypadku korzystania z kwantyzacji Int8 model jest ładowany z niską precyzją i dlatego wymaga mniej pamięci CUDA

Aby pomóc Ci rozpocząć, udostępniamy zestaw kombinacji różnych typów instancji, hiperparametrów i typów modeli, które można z powodzeniem dostroić. Możesz wybrać konfigurację zgodnie ze swoimi wymaganiami i dostępnością typów instancji. Dostrajamy wszystkie trzy modele w różnych ustawieniach z trzema epokami w podzbiorze zbioru danych Dolly z przykładami podsumowań.

Model 7B

Poniższa tabela podsumowuje opcje dostrajania modelu 7B.

13B

Poniższa tabela podsumowuje opcje dostrajania modelu 13B.

70B

Poniższa tabela podsumowuje opcje dostrajania modelu 70B.

Zalecenia dotyczące typów instancji i hiperparametrów

Dostosowując dokładność modelu, należy pamiętać o następujących kwestiach:

• Większe modele, takie jak 70B, zapewniają lepszą wydajność niż 7B
• Wydajność bez kwantyzacji Int8 jest lepsza niż wydajność z kwantyzacją INT8

Zwróć uwagę na następujący czas szkolenia i wymagania dotyczące pamięci CUDA:

• Oprawa int8_quantization=True zmniejsza zapotrzebowanie na pamięć i prowadzi do szybszego treningu.
• Zmniejszenie per_device_train_batch_size i max_input_length zmniejsza zapotrzebowanie na pamięć i dlatego można go uruchomić na mniejszych instancjach. Jednakże ustawienie bardzo niskich wartości może wydłużyć czas uczenia.
• Jeśli nie używasz kwantyzacji Int8 (int8_quantization=False), użyj FSDP (enable_fsdp=True) dla szybszego i efektywniejszego treningu.

Wybierając typ instancji, należy wziąć pod uwagę następujące kwestie:

• Instancje G5 zapewniają najbardziej efektywne szkolenie spośród obsługiwanych typów instancji. Dlatego jeśli masz dostępne instancje G5, powinieneś z nich skorzystać.
• Czas treningu w dużej mierze zależy od ilości procesorów graficznych i dostępnej pamięci CUDA. Dlatego szkolenie na instancjach z tą samą liczbą procesorów graficznych (na przykład ml.g5.2xlarge i ml.g5.4xlarge) jest mniej więcej takie samo. Dlatego do treningu możesz wykorzystać tańszą instancję (ml.g5.2xlarge).
• Podczas korzystania z instancji p3 uczenie będzie wykonywane z 32-bitową precyzją, ponieważ bfloat16 nie jest obsługiwany w tych instancjach. Dlatego zadanie szkoleniowe zużyje dwukrotnie więcej pamięci CUDA podczas szkolenia na instancjach p3 w porównaniu z instancjami g5.

Aby poznać koszt szkolenia w przeliczeniu na instancję, zob Instancje Amazon EC2 G5.

Jeśli zbiór danych jest w formacie dostrajania instrukcji, a sekwencje wprowadzania i uzupełniania są małe (np. 50–100 słów), wówczas wysoka wartość max_input_length prowadzi do bardzo słabych wyników. Domyślna wartość tego parametru to -1, co odpowiada max_input_length z 2048 r. dla modeli Lamy. Dlatego jeśli zbiór danych zawiera małe próbki, zalecamy użycie małej wartości max_input_length (np. 200–400).

Wreszcie, ze względu na duże zapotrzebowanie na instancje G5, może wystąpić niedostępność tych instancji w Twoim regionie z błędem “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” Jeśli wystąpi ten błąd, ponów zadanie szkoleniowe lub wypróbuj inny region.

Problemy przy dostrajaniu bardzo dużych modeli

W tej sekcji omówimy dwie kwestie związane z dostrajaniem bardzo dużych modeli.

Wyłącz kompresję wyjściową

Domyślnie wynikiem zadania szkoleniowego jest wyszkolony model, który jest kompresowany w formacie .tar.gz przed przesłaniem do Amazon S3. Jednak ze względu na duży rozmiar modelu ten krok może zająć dużo czasu. Na przykład kompresowanie i przesyłanie modelu 70B może zająć ponad 4 godziny. Aby uniknąć tego problemu, możesz użyć funkcji wyłączania kompresji wyjściowej obsługiwanej przez platformę szkoleniową SageMaker. W tym przypadku model jest przesyłany bez jakiejkolwiek kompresji, który jest następnie wykorzystywany do wdrożenia:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

Problem z przekroczeniem limitu czasu jądra SageMaker Studio

Ze względu na rozmiar modelu Llama 70B zadanie szkoleniowe może zająć kilka godzin, a jądro SageMaker Studio może przestać działać w fazie uczenia. Jednak w tym czasie szkolenie w SageMaker nadal trwa. Jeśli tak się stanie, nadal możesz wdrożyć punkt końcowy, używając nazwy zadania szkoleniowego i następującego kodu:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

Aby znaleźć nazwę zadania szkoleniowego, przejdź do konsoli SageMaker i poniżej Trening w okienku nawigacji wybierz Praca szkoleniowa. Zidentyfikuj nazwę zadania szkoleniowego i zastąp ją w powyższym kodzie.

Wnioski

W tym poście omówiliśmy dostrajanie modeli Meta Llama 2 za pomocą SageMaker JumpStart. Pokazaliśmy, że można używać konsoli SageMaker JumpStart w SageMaker Studio lub pakietu SageMaker Python SDK do dostrajania i wdrażania tych modeli. Omówiliśmy także technikę dostrajania, typy instancji i obsługiwane hiperparametry. Dodatkowo przedstawiliśmy rekomendacje dotyczące zoptymalizowanego szkolenia na podstawie różnych przeprowadzonych przez nas testów. Wyniki dostrojenia trzech modeli na dwóch zbiorach danych pokazano w dodatku na końcu tego posta. Jak widać z tych wyników, dostrajanie poprawia podsumowanie w porównaniu z modelami niedostrojonymi. W następnym kroku możesz spróbować dostroić te modele na własnym zestawie danych, korzystając z kodu dostarczonego w repozytorium GitHub, aby przetestować i porównać wyniki dla swoich przypadków użycia.

Autorzy pragną podziękować za wkład techniczny Christophera Whittena, Xin Huanga, Kyle’a Ulricha, Sifei Li, Amy You, Adama Kozdrowicza, Evana Kravitza, Benjamina Crabtree, Haotiana An, Manana Shaha, Tony’ego Cruza, Erneva Sharmy, Jonathana Guinegagne’a i June Wygrał.

O autorach

Dr Vivek Madan jest naukowcem w zespole Amazon SageMaker JumpStart. Uzyskał doktorat na Uniwersytecie Illinois w Urbana-Champaign i był badaczem podoktoranckim w Georgia Tech. Jest aktywnym badaczem w dziedzinie uczenia maszynowego i projektowania algorytmów. Publikował artykuły na konferencjach EMNLP, ICLR, COLT, FOCS i SODA.

Doktor Farooq Sabir jest starszym architektem rozwiązań w zakresie sztucznej inteligencji i uczenia maszynowego w AWS. Posiada tytuł doktora i magistra inżynierii elektrycznej uzyskany na University of Texas w Austin oraz tytuł magistra informatyki uzyskany na Georgia Institute of Technology. Ma ponad 15-letnie doświadczenie zawodowe, a także lubi uczyć i mentorować studentów. W AWS pomaga klientom formułować i rozwiązywać ich problemy biznesowe w zakresie nauki o danych, uczenia maszynowego, wizji komputerowej, sztucznej inteligencji, optymalizacji numerycznej i pokrewnych dziedzin. Mieszka w Dallas w Teksasie i wraz z rodziną uwielbia podróżować i wyruszać w długie podróże.

Dr Ashish Khetan jest starszym naukowcem w Amazon SageMaker JumpStart i pomaga opracowywać algorytmy uczenia maszynowego. Stopień doktora uzyskał na Uniwersytecie Illinois w Urbana-Champaign. Jest aktywnym badaczem w dziedzinie uczenia maszynowego i wnioskowania statystycznego. Opublikował wiele artykułów na konferencjach NeurIPS, ICML, ICLR, JMLR, ACL i EMNLP.

dodatek

Ten dodatek zawiera dodatkowe informacje na temat testów porównawczych wydajności i formatowania zbioru danych.

Benchmarking wydajności

W tej sekcji przedstawiamy wyniki dostrajania trzech modeli Lamy 2 (7B, 13B i 70B) w dwóch różnych zbiorach danych: Laleczka i Podsumowanie dialogu. W przypadku zbioru danych Dolly naszym zadaniem jest podsumowanie akapitu tekstu, natomiast w przypadku Dialogsum udoskonalamy model, aby podsumował dyskusję między dwiema osobami. W poniższych tabelach przedstawiamy dane wejściowe do modelu (podpowiedzi i instrukcje), podstawową prawdę (podsumowanie), odpowiedź z wstępnie wytrenowanego modelu Lamy 2 i odpowiedź z precyzyjnie dostrojonego modelu Lamy 2 dla każdej z trzech lam 2 modele. Pokazujemy wyniki wnioskowania dla pięciu punktów danych. Z poniższych tabel można zauważyć, że podsumowania obu zbiorów danych ulegają poprawie po dostrojeniu modeli.

• Wyniki dostrajania modelu generowania tekstu Llama 2 7B w zestawie danych Dolly:

• Wyniki dostrajania modelu generowania tekstu Llama 2 13B w zestawie danych Dolly:

• Wyniki dostrajania modelu generowania tekstu Llama 2 70B w zestawie danych Dolly:

• Wyniki dostrajania modelu generowania tekstu Llama 2 7B w zbiorze danych Dialogsum:

• Wyniki dostrajania modelu Lamy-2 13B w zbiorze danych Dialogsum:

• Wyniki dostrajania modelu Lamy 2 70B w zbiorze danych Dialogsum:

Formatowanie zbioru danych

Obecnie oferujemy dwa rodzaje dostrajania: dostrajanie instrukcji i dostrajanie adaptacji domeny. Można łatwo przełączyć się na jedną z metod uczenia poprzez określenie parametru instruction_tuned tak jak 'True"lub"False".

Format adaptacji domeny

Model generowania tekstu można również dostosować do dowolnego zbioru danych specyficznego dla domeny. Po dopracowaniu zestawu danych specyficznego dla domeny oczekuje się, że model wygeneruje tekst specyficzny dla domeny i rozwiąże różne zadania NLP w tej konkretnej domenie za pomocą kilku podpowiedzi.

Jako dane wejściowe do modelu użyj katalogu szkoleniowego i opcjonalnego katalogu walidacyjnego. Każdy katalog zawiera plik CSV, JSON lub TXT. W przypadku plików CSV i JSON dane pociągu lub walidacji są używane z kolumny o nazwie tekst lub z pierwszej kolumny, jeśli nie ma kolumny o nazwie text jest znalezione. Liczba plików podlegających pociąganiu i walidacji (jeśli została podana) powinna wynosić odpowiednio 1.

Dane wyjściowe to przeszkolony model, który można wdrożyć na potrzeby wnioskowania.

Poniżej znajduje się przykład pliku TXT umożliwiającego dostrojenie modelu generowania tekstu. Plik TXT zawiera zgłoszenia SEC Amazona z lat 2021–2022:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

Dostrajanie instrukcji

Model generowania tekstu można dostrajać zgodnie z instrukcjami na dowolnych danych tekstowych, pod warunkiem, że dane są w oczekiwanym formacie. Model dostrojony do instrukcji można dalej wykorzystywać do wnioskowania.

Jako dane wejściowe użyj katalogu szkoleniowego i opcjonalnego katalogu sprawdzającego. Katalogi train i validation powinny zawierać jeden lub wiele plików w formacie JSON (.jsonl). W szczególności katalog pociągu może również zawierać opcjonalny plik *.json opisujący formaty wejściowe i wyjściowe.

Najlepszy model wybierany jest na podstawie straty walidacyjnej obliczonej na koniec każdej epoki. Jeśli nie podano zestawu walidacyjnego, (regulowany) procent danych uczących jest automatycznie dzielony i używany do walidacji.

Dane szkoleniowe muszą być sformatowane w formacie linii JSON (.jsonl), gdzie każda linia jest słownikiem reprezentującym pojedynczą próbkę danych. Wszystkie dane treningowe muszą znajdować się w jednym folderze; można go jednak zapisać w wielu plikach .jsonl. Rozszerzenie pliku .jsonl jest obowiązkowe. Folder szkoleniowy może również zawierać plik template.json plik opisujący formaty wejściowe i wyjściowe. Jeżeli nie zostanie podany żaden plik szablonu, zostanie użyty następujący szablon:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

W takim przypadku dane we wpisach linii JSON muszą zawierać prompt i completion pola. Jeśli dostarczony jest szablon niestandardowy, należy go również użyć prompt i completion klawisze do definiowania szablonów wejściowych i wyjściowych. Poniżej znajduje się przykładowy szablon niestandardowy:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

W tym przypadku dane we wpisach wierszy JSON muszą zawierać rozszerzenie question, context, answer pola.

Dane wyjściowe to przeszkolony model, który można wdrożyć na potrzeby wnioskowania.

Udostępniamy podzbiór danych Amazona z dokumentów SEC. Jest pobierany z publicznie dostępnych EDGAR. Instrukcje dotyczące dostępu do danych znajdują się w pkt Dostęp do danych EDGAR.

Licencja: Licencja Creative Commons Uznanie autorstwa-Na tych samych warunkach (CC BY-SA 4.0)

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Motoryzacja / pojazdy elektryczne, Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• ChartPrime. Podnieś poziom swojej gry handlowej dzięki ChartPrime. Dostęp tutaj.
• Przesunięcia bloków. Modernizacja własności offsetu środowiskowego. Dostęp tutaj.
• Źródło: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/