Wdrażaj modele podstawowe za pomocą Amazon SageMaker, iteruj i monitoruj za pomocą TruEra | Usługi internetowe Amazona

Ten blog jest pisany wspólnie z Joshem Reinim, Shayakiem Senem i Anupamem Dattą z TruEra

Amazon SageMaker JumpStart udostępnia różnorodne wstępnie przeszkolone modele fundamentów, takie jak Llama-2 i Mistal 7B, które można szybko wdrożyć w punkcie końcowym. Te podstawowe modele dobrze sprawdzają się w zadaniach generatywnych, od tworzenia tekstu i podsumowań, odpowiadania na pytania, po tworzenie obrazów i filmów. Pomimo dużych możliwości uogólniania tych modeli, często zdarzają się przypadki użycia, w których modele te muszą zostać dostosowane do nowych zadań lub dziedzin. Jednym ze sposobów ujawnienia tej potrzeby jest ocena modelu w oparciu o wyselekcjonowany zbiór danych podstawowych. Gdy potrzeba dostosowania modelu fundamentu stanie się jasna, można zastosować zestaw technik, aby tego dokonać. Popularnym podejściem jest dostrojenie modelu przy użyciu zbioru danych dostosowanego do przypadku użycia. Dokładne dostrojenie może ulepszyć podstawowy model, a jego skuteczność można ponownie zmierzyć w oparciu o podstawowy zbiór danych. Ten notatnik pokazuje, jak dostroić modele za pomocą SageMaker JumpStart.

Jednym z wyzwań związanych z tym podejściem jest to, że utworzenie wyselekcjonowanych zbiorów danych prawdy podstawowej jest kosztowne. W tym poście podejmujemy to wyzwanie, rozszerzając ten przepływ pracy o platformę do rozszerzalnych, zautomatyzowanych ocen. Zaczynamy od podstawowego modelu podstawowego z SageMaker JumpStart i oceniamy go TruLens, biblioteka open source do oceniania i śledzenia aplikacji z dużym modelem językowym (LLM). Po zidentyfikowaniu potrzeby adaptacji możemy zastosować dostrajanie w SageMaker JumpStart i potwierdzić poprawę za pomocą TruLens.

Oceny TruLens wykorzystują abstrakcję funkcje sprzężenia zwrotnego. Funkcje te można wdrożyć na kilka sposobów, w tym w modelach w stylu BERT, odpowiednio podpowiadanych LLM i nie tylko. Integracja TruLens z Amazońska skała macierzysta umożliwia przeprowadzanie ocen przy użyciu LLM dostępnych w Amazon Bedrock. Niezawodność infrastruktury Amazon Bedrock jest szczególnie cenna przy przeprowadzaniu ocen na etapie rozwoju i produkcji.

Ten post służy zarówno jako wprowadzenie do miejsca TruEra w stosie nowoczesnych aplikacji LLM, jak i praktyczny przewodnik po korzystaniu z Amazon Sage Maker i Prawdziwa Era wdrażać, dostrajać i iterować w aplikacjach LLM. Oto całość notatnik z przykładami kodu pokazującymi ocenę wydajności przy użyciu TruLens

TruEra w stosie aplikacji LLM

TruEra żyje w warstwie obserwowalności aplikacji LLM. Chociaż nowe komponenty przedostały się do warstwy obliczeniowej (dostrajanie, szybka inżynieria, interfejsy API modeli) i warstwy przechowywania (wektorowe bazy danych), nadal istnieje potrzeba obserwowalności. Potrzeba ta rozciąga się od rozwoju po produkcję i wymaga wzajemnie połączonych możliwości testowania, debugowania i monitorowania produkcji, jak pokazano na poniższym rysunku.

W rozwoju możesz użyć open source TruLens aby szybko oceniać, debugować i iterować aplikacje LLM w swoim środowisku. Kompleksowy zestaw wskaźników oceny, obejmujący zarówno wskaźniki oparte na LLM, jak i tradycyjne wskaźniki dostępne w TruLens, umożliwia zmierzenie aplikacji pod kątem kryteriów wymaganych do przeniesienia aplikacji do środowiska produkcyjnego.

W środowisku produkcyjnym te dzienniki i wskaźniki oceny można przetwarzać na dużą skalę za pomocą monitorowania produkcji TruEra. Łącząc monitorowanie produkcji z testowaniem i debugowaniem, można zidentyfikować i skorygować spadki wydajności, takie jak halucynacje, bezpieczeństwo i inne.

Wdrażaj modele fundamentów w SageMaker

Możesz wdrożyć podstawowe modele, takie jak Llama-2 w SageMaker za pomocą zaledwie dwóch linii kodu Pythona:

from sagemaker.jumpstart.model import JumpStartModel
pretrained_model = JumpStartModel(model_id="meta-textgeneration-llama-2-7b")
pretrained_predictor = pretrained_model.deploy()

Wywołaj punkt końcowy modelu

Po wdrożeniu możesz wywołać punkt końcowy wdrożonego modelu, tworząc najpierw ładunek zawierający dane wejściowe i parametry modelu:

payload = { "inputs": "I believe the meaning of life is", "parameters": { "max_new_tokens": 64, "top_p": 0.9, "temperature": 0.6, "return_full_text": False, },
}

Następnie możesz po prostu przekazać ten ładunek do metody przewidywania punktu końcowego. Pamiętaj, że przy każdym wywołaniu modelu musisz przekazać atrybut, aby zaakceptować umowę licencyjną użytkownika końcowego:

response = pretrained_predictor.predict(payload, custom_attributes="accept_eula=true")

Oceń wydajność za pomocą TruLens

Teraz możesz użyć TruLens do skonfigurowania swojej oceny. TruLens to narzędzie umożliwiające obserwację oferujące rozszerzalny zestaw funkcji informacji zwrotnej umożliwiających śledzenie i ocenę aplikacji wykorzystujących LLM. Funkcje informacji zwrotnej są tutaj niezbędne do sprawdzenia braku halucynacji w aplikacji. Te funkcje informacji zwrotnej są wdrażane przy użyciu gotowych modeli od dostawców takich jak Amazon Bedrock. Modele Amazon Bedrock są tu zaletą ze względu na sprawdzoną jakość i niezawodność. Możesz skonfigurować dostawcę za pomocą TruLens za pomocą następującego kodu:

from trulens_eval import Bedrock
# Initialize AWS Bedrock feedback function collection class:
provider = Bedrock(model_id = "amazon.titan-tg1-large", region_name="us-east-1")

W tym przykładzie używamy trzech funkcji informacji zwrotnej: trafności odpowiedzi, trafności kontekstu i ugruntowania. Oceny te szybko stały się standardem w wykrywaniu halucynacji w kontekstowych aplikacjach odpowiadających na pytania i są szczególnie przydatne w zastosowaniach bez nadzoru, które obejmują zdecydowaną większość dzisiejszych aplikacji LLM.

Przyjrzyjmy się każdej z tych funkcji informacji zwrotnej, aby zrozumieć, jakie korzyści mogą nam one przynieść.

Znaczenie kontekstu

Kontekst ma kluczowe znaczenie dla jakości odpowiedzi naszej aplikacji i przydatne może być programowe zapewnienie, że dostarczony kontekst jest odpowiedni dla zapytania wejściowego. Ma to kluczowe znaczenie, ponieważ ten kontekst zostanie wykorzystany przez LLM do sformułowania odpowiedzi, więc wszelkie nieistotne informacje w kontekście mogą zostać wplecione w halucynacje. TruLens umożliwia ocenę trafności kontekstu przy użyciu struktury serializowanego rekordu:

f_context_relevance = (Feedback(provider.relevance, name = "Context Relevance") .on(Select.Record.calls[0].args.args[0]) .on(Select.Record.calls[0].args.args[1]) )

Ponieważ kontekst dostarczony do LLM jest najważniejszym etapem potoku generacji rozszerzonej wyszukiwania (RAG), znaczenie kontekstu ma kluczowe znaczenie dla zrozumienia jakości wyszukiwania. Pracując z klientami z różnych sektorów, zaobserwowaliśmy, że na podstawie tej oceny zidentyfikowaliśmy różne tryby awarii, takie jak niekompletny kontekst, obcy, nieistotny kontekst, a nawet brak dostępnego wystarczającego kontekstu. Identyfikując charakter tych trybów awarii, nasi użytkownicy mogą dostosować strategie indeksowania (takie jak model osadzania i dzielenie na porcje) oraz strategie wyszukiwania (takie jak okienkowanie zdań i automatyczne łączenie), aby złagodzić te problemy.

Uziemienie

Po pobraniu kontekstu jest on następnie przekształcany w odpowiedź przez LLM. Osoby LLM często mają skłonność do odbiegania od dostarczonych faktów, wyolbrzymiania lub rozszerzania odpowiedzi w kierunku poprawnie brzmiącej odpowiedzi. Aby zweryfikować zasadność wniosku, należy podzielić odpowiedź na osobne stwierdzenia i samodzielnie poszukać dowodów potwierdzających każde z nich w uzyskanym kontekście.

grounded = Groundedness(groundedness_provider=provider) f_groundedness = (Feedback(grounded.groundedness_measure, name = "Groundedness") .on(Select.Record.calls[0].args.args[1]) .on_output() .aggregate(grounded.grounded_statements_aggregator) )

Problemy z uziemieniem często mogą być dalszym skutkiem znaczenia kontekstu. Kiedy LLM nie ma wystarczającego kontekstu, aby sformułować odpowiedź opartą na dowodach, jest bardziej prawdopodobne, że doświadczy halucynacji, próbując wygenerować wiarygodną odpowiedź. Nawet w przypadkach, gdy zapewniony jest pełny i odpowiedni kontekst, LLM może popaść w problemy z zasadnością. Szczególnie dotyczyło to zastosowań, w których LLM reaguje w określonym stylu lub jest używany do wykonania zadania, do którego nie jest dobrze dostosowany. Oceny uziemienia pozwalają użytkownikom TruLens rozbić odpowiedzi LLM na twierdzenia, aby zrozumieć, gdzie LLM najczęściej ma halucynacje. Okazało się to szczególnie przydatne do wskazania dalszych sposobów eliminowania halucynacji poprzez zmiany po stronie modelu (takie jak podpowiedzi, wybór modelu i parametry modelu).

Znaczenie odpowiedzi

Wreszcie odpowiedź nadal musi zawierać pomocną odpowiedź na pierwotne pytanie. Możesz to zweryfikować, oceniając trafność ostatecznej odpowiedzi na dane wprowadzone przez użytkownika:

f_answer_relevance = (Feedback(provider.relevance, name = "Answer Relevance") .on(Select.Record.calls[0].args.args[0]) .on_output() )

Osiągając zadowalające oceny dla tej triady, możesz złożyć szczegółowe stwierdzenie na temat poprawności swojej aplikacji; zweryfikowano, że ta aplikacja jest wolna od halucynacji, aż do granic jej bazy wiedzy. Innymi słowy, jeśli baza danych wektorów zawiera wyłącznie dokładne informacje, odpowiedzi udzielone przez kontekstową aplikację odpowiadającą na pytania również będą dokładne.

Ocena prawdy na poziomie podstawowym

Oprócz tych funkcji sprzężenia zwrotnego do wykrywania halucynacji, mamy zestaw danych testowych, DataBricks-Dolly-15k, co pozwala nam dodać podstawowe podobieństwo prawdy jako czwartą metrykę oceny. Zobacz następujący kod:

from datasets import load_dataset dolly_dataset = load_dataset("databricks/databricks-dolly-15k", split="train") # To train for question answering/information extraction, you can replace the assertion in next line to example["category"] == "closed_qa"/"information_extraction".
summarization_dataset = dolly_dataset.filter(lambda example: example["category"] == "summarization")
summarization_dataset = summarization_dataset.remove_columns("category") # We split the dataset into two where test data is used to evaluate at the end.
train_and_test_dataset = summarization_dataset.train_test_split(test_size=0.1) # Rename columns
test_dataset = pd.DataFrame(test_dataset)
test_dataset.rename(columns={"instruction": "query"}, inplace=True) # Convert DataFrame to a list of dictionaries
golden_set = test_dataset[["query","response"]].to_dict(orient='records') # Create a Feedback object for ground truth similarity
ground_truth = GroundTruthAgreement(golden_set)
# Call the agreement measure on the instruction and output
f_groundtruth = (Feedback(ground_truth.agreement_measure, name = "Ground Truth Agreement") .on(Select.Record.calls[0].args.args[0]) .on_output() )

Zbuduj aplikację

Po skonfigurowaniu ewaluatorów możesz zbudować aplikację. W tym przykładzie używamy kontekstowej aplikacji kontroli jakości. W tej aplikacji podaj instrukcje i kontekst dla silnika uzupełniania:

def base_llm(instruction, context): # For instruction fine-tuning, we insert a special key between input and output input_output_demarkation_key = "nn### Response:n" payload = { "inputs": template["prompt"].format( instruction=instruction, context=context ) + input_output_demarkation_key, "parameters": {"max_new_tokens": 200}, } return pretrained_predictor.predict( payload, custom_attributes="accept_eula=true" )[0]["generation"]

Po utworzeniu aplikacji i funkcji przesyłania opinii utworzenie opakowanej aplikacji za pomocą TruLens jest proste. Ta opakowana aplikacja, którą nazwiemy base_recorder, będzie rejestrować i oceniać aplikację za każdym razem, gdy zostanie wywołana:

base_recorder = TruBasicApp(base_llm, app_id="Base LLM", feedbacks=[f_groundtruth, f_answer_relevance, f_context_relevance, f_groundedness]) for i in range(len(test_dataset)): with base_recorder as recording: base_recorder.app(test_dataset["query"][i], test_dataset["context"][i])

Wyniki z bazą Lama-2

Po uruchomieniu aplikacji na każdym rekordzie w testowym zestawie danych możesz wyświetlić wyniki w notatniku SageMaker za pomocą tru.get_leaderboard(). Poniższy zrzut ekranu przedstawia wyniki oceny. Trafność odpowiedzi jest alarmująco niska, co wskazuje, że model ma trudności z konsekwentnym przestrzeganiem dostarczonych instrukcji.

Dostosuj Lamę-2 za pomocą SageMaker Jumpstart

Znajdują się w nim również kroki umożliwiające dostrojenie modelu Lamy-2 za pomocą programu SageMaker Jumpstart notatnik.

Aby skonfigurować dostrajanie, musisz najpierw pobrać zestaw szkoleniowy i skonfigurować szablon instrukcji

# Dumping the training data to a local file to be used for training.
train_and_test_dataset["train"].to_json("train.jsonl") import json template = { "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}
with open("template.json", "w") as f: json.dump(template, f)

Następnie prześlij zestaw danych i instrukcje do pliku Usługa Amazon Simple Storage Łyżka (Amazon S3) do treningu:

from sagemaker.s3 import S3Uploader
import sagemaker
import random output_bucket = sagemaker.Session().default_bucket()
local_data_file = "train.jsonl"
train_data_location = f"s3://{output_bucket}/dolly_dataset"
S3Uploader.upload(local_data_file, train_data_location)
S3Uploader.upload("template.json", train_data_location)
print(f"Training data: {train_data_location}")

Aby dostroić SageMaker, możesz użyć SageMaker JumpStart Estimator. Najczęściej używamy tutaj domyślnych hiperparametrów, z wyjątkiem ustawienia strojenia instrukcji na true:

from sagemaker.jumpstart.estimator import JumpStartEstimator estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True, # For Llama-2-70b, add instance_type = "ml.g5.48xlarge"
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5", max_input_length="1024")
estimator.fit({"training": train_data_location})

Po przeszkoleniu modelu możesz go wdrożyć i utworzyć aplikację tak samo, jak robiłeś to wcześniej:

finetuned_predictor = estimator.deploy() def finetuned_llm(instruction, context): # For instruction fine-tuning, we insert a special key between input and output input_output_demarkation_key = "nn### Response:n" payload = { "inputs": template["prompt"].format( instruction=instruction, context=context ) + input_output_demarkation_key, "parameters": {"max_new_tokens": 200}, } return finetuned_predictor.predict( payload, custom_attributes="accept_eula=true" )[0]["generation"] finetuned_recorder = TruBasicApp(finetuned_llm, app_id="Finetuned LLM", feedbacks=[f_groundtruth, f_answer_relevance, f_context_relevance, f_groundedness])

Oceń dopracowany model

Możesz uruchomić model ponownie na swoim zestawie testowym i obejrzeć wyniki, tym razem w porównaniu z bazową Lamą-2:

for i in range(len(test_dataset)): with finetuned_recorder as recording: finetuned_recorder.app(test_dataset["query"][i], test_dataset["context"][i]) tru.get_leaderboard(app_ids=[‘Base LLM’,‘Finetuned LLM’])

Nowy, dopracowany model Llama-2 znacznie poprawił trafność i solidność odpowiedzi, a także podobieństwo do podstawowego zestawu testów prawdy. Ta duża poprawa jakości odbywa się kosztem niewielkiego wzrostu opóźnień. Ten wzrost opóźnienia jest bezpośrednim skutkiem dostrojenia zwiększającego rozmiar modelu.

Wyniki można nie tylko przeglądać w notatniku, ale także przeglądać wyniki w interfejsie użytkownika TruLens, uruchamiając funkcję tru.run_dashboard(). Może to zapewnić te same zagregowane wyniki na stronie tabeli liderów, ale także daje możliwość głębszego zagłębienia się w problematyczne rekordy i zidentyfikowania trybów awarii aplikacji.

Aby zrozumieć ulepszenia aplikacji na rekordowym poziomie, możesz przejść do strony ocen i sprawdzić wyniki opinii na bardziej szczegółowym poziomie.

Na przykład, jeśli zadasz podstawowemu LLM pytanie „Jaki jest najmocniejszy sześciocylindrowy silnik Porsche”, model będzie miał halucynacje w następujący sposób.

Ponadto możesz sprawdzić programową ocenę tego rekordu, aby poznać wydajność aplikacji w odniesieniu do każdej zdefiniowanej funkcji przesyłania opinii. Analizując wyniki opinii na temat zasadności w TruLens, możesz zobaczyć szczegółowy podział dostępnych dowodów na poparcie każdego twierdzenia wysuniętego przez LLM.

Jeśli wyeksportujesz ten sam rekord do precyzyjnie dostrojonego LLM w TruLens, zobaczysz, że dostrojenie za pomocą SageMaker JumpStart radykalnie poprawiło solidność odpowiedzi.

Korzystając z automatycznego procesu oceny za pomocą TruLens, możesz mierzyć swoją aplikację w oparciu o szerszy zestaw wskaźników, aby lepiej zrozumieć jej wydajność. Co ważne, możesz teraz dynamicznie zrozumieć tę wydajność w każdym przypadku użycia — nawet w tych, w których nie zebrałeś podstawowej prawdy.

Jak działa TruLens

Po stworzeniu prototypu aplikacji LLM możesz zintegrować TruLens (pokazane wcześniej) w celu instrumentacji stosu wywołań. Po oprzyrządowaniu stosu wywołań można go następnie rejestrować przy każdym uruchomieniu w bazie danych rejestrowania znajdującej się w Twoim środowisku.

Oprócz możliwości oprzyrządowania i rejestrowania, ocena jest kluczowym elementem wartości dla użytkowników TruLens. Oceny te są implementowane w TruLens za pomocą funkcji sprzężenia zwrotnego, które działają na wierzchu stosu wywołań instrumentalnych i z kolei wzywają zewnętrznych dostawców modeli do samodzielnego tworzenia informacji zwrotnych.

Po uwzględnieniu informacji zwrotnych wyniki są zapisywane w bazie danych logowania, z której można uruchomić pulpit TruLens. Pulpit nawigacyjny TruLens działający w Twoim środowisku umożliwia eksplorację, iterację i debugowanie aplikacji LLM.

W dużej skali te dzienniki i oceny można przesyłać do TruEra obserwowalność produkcji który może przetwarzać miliony obserwacji na minutę. Korzystając z platformy obserwacyjnej TruEra, możesz szybko wykryć halucynacje i inne problemy z wydajnością, a także w ciągu kilku sekund przybliżyć się do pojedynczego rekordu dzięki zintegrowanej diagnostyce. Przejście do punktu widzenia diagnostyki pozwala łatwo zidentyfikować i złagodzić tryby awarii aplikacji LLM, takie jak halucynacje, niska jakość wyszukiwania, problemy z bezpieczeństwem i inne.

Oceniaj odpowiedzi pod kątem szczerości, nieszkodliwości i pomocy

Osiągając zadowalające oceny dla tej triady, można osiągnąć wyższy stopień pewności co do prawdziwości udzielanych przez nią odpowiedzi. Oprócz prawdomówności TruLens zapewnia szerokie wsparcie w zakresie ocen niezbędnych do zrozumienia wyników Twojego LLM na osi „Uczciwy, nieszkodliwy i pomocny”. Nasi użytkownicy odnieśli ogromne korzyści dzięki możliwości identyfikowania nie tylko halucynacji, o czym mówiliśmy wcześniej, ale także problemów z bezpieczeństwem, dopasowaniem językowym, spójnością i nie tylko. Są to wszystkie niechlujne, rzeczywiste problemy, z którymi borykają się twórcy aplikacji LLM i które można zidentyfikować od razu za pomocą TruLens.

Wnioski

W tym poście omówiono, w jaki sposób możesz przyspieszyć produkcję aplikacji AI i wykorzystać podstawowe modele w swojej organizacji. Dzięki SageMaker JumpStart, Amazon Bedrock i TruEra możesz wdrażać, dostrajać i iterować na modelach podstawowych dla aplikacji LLM. Sprawdź to link aby dowiedzieć się więcej o TruEra i wypróbować  notatnik siebie.

O autorach

Josha Reiniego jest głównym współpracownikiem oprogramowania TruLens o otwartym kodzie źródłowym i założycielem naukowca ds. relacji z programistami w firmie TruEra, gdzie jest odpowiedzialny za inicjatywy edukacyjne i pielęgnowanie kwitnącej społeczności praktyków zajmujących się jakością sztucznej inteligencji.

Shayak Sen jest dyrektorem technicznym i współzałożycielem TruEra. Shayak koncentruje się na budowaniu systemów i prowadzeniu badań, dzięki którym systemy uczenia maszynowego będą bardziej zrozumiałe, zgodne z prywatnością i sprawiedliwe.

Anupama Datty jest współzałożycielem, prezesem i głównym naukowcem firmy TruEra. Przed TruEra spędził 15 lat na wydziale Carnegie Mellon University (2007-22), ostatnio jako profesor zwyczajny inżynierii elektrycznej i komputerowej oraz informatyki.

Vivek Gangasani jest architektem rozwiązań AI/ML Startup Solutions dla startupów generatywnej AI w AWS. Pomaga wschodzącym startupom GenAI budować innowacyjne rozwiązania wykorzystujące usługi AWS i przyspieszone obliczenia. Obecnie koncentruje się na opracowywaniu strategii dostrajania i optymalizacji wydajności wnioskowania dużych modeli językowych. W wolnym czasie Vivek lubi wędrować, oglądać filmy i próbować różnych kuchni.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://aws.amazon.com/blogs/machine-learning/deploy-foundation-models-with-amazon-sagemaker-iterate-and-monitor-with-truera/