Modele fundamentów Llama 2 firmy Meta są teraz dostępne w Amazon SageMaker JumpStart | Usługi sieciowe Amazona

Dziś z radością ogłaszamy, że modele fundamentów Llama 2 opracowane przez Meta są dostępne dla klientów za pośrednictwem Amazon SageMaker JumpStart. Rodzina dużych modeli językowych (LLM) Llama 2 to zbiór wstępnie wytrenowanych i precyzyjnie dostrojonych generatywnych modeli tekstowych o skali od 7 miliardów do 70 miliardów parametrów. Dopracowane LLM, zwane Llama-2-chat, są zoptymalizowane pod kątem zastosowań dialogowych. Możesz łatwo wypróbować te modele i używać ich w SageMaker JumpStart, będącym centrum uczenia maszynowego (ML), które zapewnia dostęp do algorytmów, modeli i rozwiązań ML, dzięki czemu możesz szybko rozpocząć korzystanie z ML.

W tym poście opisujemy, jak używać modeli Llama 2 za pośrednictwem SageMaker JumpStart.

Co to jest Lama 2

Lama 2 to model języka autoregresyjnego, który wykorzystuje zoptymalizowaną architekturę transformatora. Lama 2 jest przeznaczona do użytku komercyjnego i badawczego w języku angielskim. Jest dostępny w różnych rozmiarach parametrów — 7 miliardów, 13 miliardów i 70 miliardów — a także w wstępnie wytrenowanych i precyzyjnie dostrojonych odmianach. Według Meta dostrojone wersje wykorzystują nadzorowane dostrajanie (SFT) i uczenie się przez wzmacnianie na podstawie informacji zwrotnej od człowieka (RLHF), aby dostosować się do ludzkich preferencji pod względem przydatności i bezpieczeństwa. Llama 2 została wstępnie przeszkolona na 2 bilionach tokenów danych z publicznie dostępnych źródeł. Dostrojone modele są przeznaczone do czatu przypominającego asystenta, natomiast wstępnie wyszkolone modele można dostosować do różnych zadań związanych z generowaniem języka naturalnego. Niezależnie od tego, z której wersji modelu korzysta programista, plik przewodnik odpowiedzialnego użytkowania firmy Meta może pomóc w dodatkowym dostrojeniu, które może być konieczne w celu dostosowania i optymalizacji modeli przy zastosowaniu odpowiednich środków ograniczających bezpieczeństwo.

Co to jest SageMaker JumpStart

Dzięki SageMaker JumpStart praktycy ML mogą wybierać spośród szerokiej gamy podstawowych modeli open source. Praktycy ML mogą wdrażać modele podstawowe w dedykowanych Amazon Sage Maker instancje z izolowanego środowiska sieciowego i dostosowywać modele za pomocą SageMaker do trenowania i wdrażania modeli.

Możesz teraz odkryć i wdrożyć Lamę 2 za pomocą kilku kliknięć Studio Amazon SageMaker lub programowo za pośrednictwem pakietu SageMaker Python SDK, co pozwala uzyskać wydajność modelu i elementy sterujące MLOps za pomocą funkcji SageMaker, takich jak Rurociągi Amazon SageMaker, Debuger Amazon SageMakerlub dzienniki kontenerów. Model jest wdrażany w bezpiecznym środowisku AWS i pod kontrolą VPC, co pomaga zapewnić bezpieczeństwo danych. Modele Llama 2 są już dostępne w Amazon SageMaker Studio, początkowo w us-east 1 i us-west 2 regionów.

Odkryj modele

Dostęp do podstawowych modeli można uzyskać poprzez SageMaker JumpStart w interfejsie użytkownika SageMaker Studio i SageMaker Python SDK. W tej sekcji omówimy, jak odkryć modele w SageMaker Studio.

SageMaker Studio to zintegrowane środowisko programistyczne (IDE) zapewniające pojedynczy internetowy interfejs wizualny, w którym można uzyskać dostęp do specjalnie zaprojektowanych narzędzi umożliwiających wykonanie wszystkich etapów programowania ML, od przygotowania danych po budowanie, trenowanie i wdrażanie modeli ML. Aby uzyskać więcej informacji na temat rozpoczęcia i konfiguracji SageMaker Studio, zobacz Studio Amazon SageMaker.

Po wejściu do SageMaker Studio możesz uzyskać dostęp do SageMaker JumpStart, który zawiera wstępnie wytrenowane modele, notatniki i gotowe rozwiązania, w zakładce Gotowe i zautomatyzowane rozwiązania.

Na stronie docelowej SageMaker JumpStart możesz przeglądać rozwiązania, modele, notatniki i inne zasoby. W ofercie znajdziesz dwa flagowe modele Llama 2 Modele fundamentów: Generowanie tekstu karuzela. Jeśli nie widzisz modeli Lamy 2, zaktualizuj wersję SageMaker Studio, wyłączając i uruchamiając ponownie. Aby uzyskać więcej informacji na temat aktualizacji wersji, zobacz Zamknij i zaktualizuj aplikacje Studio.

Wybierając, możesz znaleźć także pozostałe cztery warianty modelu Poznaj wszystkie modele generowania tekstu lub szukając llama w polu wyszukiwania.

Możesz wybrać kartę modelu, aby wyświetlić szczegółowe informacje na temat modelu, takie jak licencja, dane użyte do szkolenia i sposób korzystania. Znajdują się tu także dwa przyciski, Rozmieścić i Otwórz notatnik, które ułatwiają korzystanie z modelu.

Po wybraniu dowolnego przycisku w wyskakującym okienku zostanie wyświetlona umowa licencyjna użytkownika końcowego i zasady dopuszczalnego użytkowania, które należy potwierdzić.

Po potwierdzeniu przejdziesz do następnego kroku, aby użyć modelu.

Wdróż model

Kiedy wybierzesz Rozmieścić i zaakceptuj warunki, rozpocznie się wdrażanie modelu. Alternatywnie możesz wdrożyć za pomocą przykładowego notesu, który pojawi się, wybierając Otwórz notatnik. Przykładowy notes zawiera kompleksowe wskazówki dotyczące wdrażania modelu na potrzeby wnioskowania i czyszczenia zasobów.

Aby wdrożyć za pomocą notebooka, zaczynamy od wybrania odpowiedniego modelu, określonego przez model_id. Możesz wdrożyć dowolny z wybranych modeli w SageMaker za pomocą następującego kodu:

from sagemaker.jumpstart.model import JumpStartModel
my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")
predictor = my_model.deploy()

Spowoduje to wdrożenie modelu w SageMaker z domyślnymi konfiguracjami, w tym domyślnym typem instancji i domyślnymi konfiguracjami VPC. Można zmienić te konfiguracje, określając wartości inne niż domyślne w Model JumpStart. Po wdrożeniu możesz uruchomić wnioskowanie na temat wdrożonego punktu końcowego za pomocą predyktora SageMaker:

payload = { “inputs”: [ [ {"role": "system", "content": "Always answer with Haiku"}, {"role": "user", "content": "I am going to Paris, what should I see?"}, ] ], "parameters":{"max_new_tokens":256, "top_p":0.9, "temperature":0.6}
}

Dopracowane modele czatów (Llama-2-7b-chat, Llama-2-13b-chat, Llama-2-70b-chat) akceptują historię rozmów pomiędzy użytkownikiem a asystentem czatu i generują kolejny czat. Wstępnie wytrenowane modele (Llama-2-7b, Llama-2-13b, Llama-2-70b) wymagają podpowiedzi w postaci ciągu znaków i wykonują uzupełnianie tekstu w podanym wierszu zachęty. Zobacz następujący kod:

predictor.predict(payload, custom_attributes="accept_eula=true")

Pamiętaj, że domyślnie accept_eula ma wartość false. Musisz ustawić accept_eula=true aby pomyślnie wywołać punkt końcowy. Robiąc to, akceptujesz umowę licencyjną użytkownika i zasady dopuszczalnego użytkowania, jak wspomniano wcześniej. Możesz również pobieranie umowę licencyjną.

Custom_attributes używane do przekazywania umowy EULA to pary klucz/wartość. Klucz i wartość są oddzielone znakiem = i pary są oddzielone przez ;. Jeśli użytkownik przekaże ten sam klucz więcej niż raz, ostatnia wartość zostanie zachowana i przekazana do procedury obsługi skryptu (tj. w tym przypadku używanej w logice warunkowej). Na przykład, jeśli accept_eula=false; accept_eula=true jest następnie przesyłany do serwera  accept_eula=true jest zachowywany i przekazywany do procedury obsługi skryptu.

Parametry wnioskowania kontrolują proces generowania tekstu w punkcie końcowym. Maksymalna kontrola nowych tokenów odnosi się do wielkości wyjścia generowanego przez model. Należy pamiętać, że nie jest to to samo, co liczba słów, ponieważ słownictwo modelu nie jest takie samo jak słownictwo języka angielskiego, a każdy token może nie być słowem w języku angielskim. Temperatura kontroluje losowość sygnału wyjściowego. Wyższa temperatura skutkuje bardziej kreatywnymi i halucynacyjnymi wynikami. Wszystkie parametry wnioskowania są opcjonalne.

Poniższa tabela zawiera listę wszystkich modeli lam dostępnych w SageMaker JumpStart wraz z model_ids, domyślne typy instancji oraz maksymalną liczbę tokenów ogółem (suma liczby tokenów wejściowych i liczby wygenerowanych tokenów) obsługiwaną dla każdego z tych modeli.

Należy pamiętać, że punkty końcowe SageMaker mają limit czasu wynoszący 60 sekund. Zatem nawet jeśli model może wygenerować 4096 tokenów, jeśli generowanie tekstu zajmie więcej niż 60 s, żądanie zakończy się niepowodzeniem. W przypadku modeli 7B, 13B i 70B zalecamy ustawienie max_new_tokens nie większej niż odpowiednio 1500, 1000 i 500, przy zachowaniu łącznej liczby tokenów mniejszej niż 4K.

Wnioskowanie i przykładowe monity dla Lamy-2-70b

Możesz użyć modeli lamy do uzupełnienia tekstu dla dowolnego fragmentu tekstu. Dzięki generowaniu tekstu możesz wykonywać różnorodne zadania, takie jak odpowiadanie na pytania, tłumaczenie językowe, analiza nastrojów i wiele innych. Ładunek wejściowy do punktu końcowego wygląda jak następujący kod:

payload = { “inputs”: str, (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Poniżej znajdują się przykładowe monity i tekst wygenerowany przez model. Wszystkie dane wyjściowe są generowane z parametrami wnioskowania {"max_new_tokens":256, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that Output: 1) the laws of physics are the same for all observers in uniform motion relative to one another, and 2) the speed of light is the same for all observers, regardless of their relative motion or of the motion of the source of the light.
In the late 1800s, scientists believed that light travelled through a medium they called the luminiferous ether. But in 1887, Albert Michelson and Edward Morley designed an experiment to measure the speed of light in the ether, and found that the speed of light was the same no matter how they oriented their equipment. This result seemed to contradict the idea of the ether, and Michelson and Morley’s experiment became one of the most famous failed experiments in history.
In 1905, Albert Einstein published a paper that used the results of the Michelson-Morley experiment to develop the theory of special relativity. In 1915, Einstein published a paper on general relativity, which is a theory of gravitation.
In physics, the speed of light is considered to be a constant, and its value is 299,792,458 metres Input: I believe the meaning of life is Output: to be happy, to find joy in life, to love and be loved. To have the courage to be yourself and to be kind to others. To be able to express yourself, to create and to be inspired. To be able to give and receive. To be able to learn and grow. To be able to find beauty in the world and to be able to appreciate it. To be able to find peace and contentment. To be able to find meaning and purpose. To be able to make a difference in the world. To be able to find joy in the simple things. To be able to find joy in the difficult things. To be able to find joy in the journey. To be able to find joy in the destination. To be able to find joy in the present moment. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy Input: A brief message congratulating the team on the launch: Hi everyone, I just Output: wanted to send a quick note to congratulate everyone on the launch of our new website. I know it’s been a long time coming and I’m sure we’re all relieved that it’s finally out there. Thanks to everyone for their hard work and dedication over the last few months. I know it wasn’t always easy, but I think we can all be proud of the final product. I’m looking forward to seeing how our users respond to the new site and I’m confident that it will be a success. Thanks again, and enjoy the rest of your day! Best, [Your Name] [Your Title] [Your Company] [Your Email] [Your Phone Number] [Your Website] [Your Social Media Handles] [Your Address] [Your City, State, Zip Code] [Your Country] [Your Postal Code] [Your Website] [

W następnym przykładzie pokazujemy, jak używać modeli Lamy z kilkukrotnym uczeniem się w kontekście, gdzie udostępniamy próbki szkoleniowe dostępne dla modelu. Należy pamiętać, że wyciągamy wnioski tylko na podstawie wdrożonego modelu i podczas tego procesu wagi modeli nie ulegają zmianie.

Input: Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese => Output: fromage chocolate => chocolat car => voiture hamster => hamster beer => bière bicycle => bicyclette banana => banane strawberry => fraise pizza => pizza cheeseburger => cheeseburger pineapple => ananas carrot => carotte watermelon => pastèque whale => baleine eggplant => aubergine cat => chat penguin => manchot lion => lion elephant => éléphant panda => panda tiger => tigre salmon => saumon squirrel => écureuil kangaroo => kangourou turtle => tortue octopus => poulpe frog => grenouille pig => cochon goldfish => poisson rouge tiger shark => requin tigre gorilla => gorille dol

Wnioskowanie i przykładowe monity dla czatu Llama-2-70b

W przypadku modeli Llama-2-Chat, które są zoptymalizowane pod kątem zastosowań dialogowych, danymi wejściowymi do punktów końcowych modelu czatu jest poprzednia historia pomiędzy asystentem czatu a użytkownikiem. Możesz zadawać pytania kontekstowe w związku z dotychczasową rozmową. Możesz także podać konfigurację systemu, np. persony definiujące zachowanie asystenta czatu. Ładunek wejściowy do punktu końcowego wygląda jak następujący kod:

payload = { “inputs”: [ [ (optional){"role": "system", "content": str}, (repeated k times) {"role": "user", "content": str}, {"role": "assistant", "content": str}, {"role": "user", "content": str}, ] ], (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Poniżej znajdują się przykładowe monity i tekst wygenerowany przez model. Wszystkie dane wyjściowe są generowane z parametrami wnioskowania {"max_new_tokens": 512, "top_p": 0.9, "temperature": 0.6}.

Input:
User: what is the recipe of mayonnaise? Output:
Assistant: Sure, I can help you with that! Mayonnaise is a thick, creamy condiment made from a mixture of egg yolks, oil, vinegar or lemon juice, and seasonings. Here's a basic recipe for homemade mayonnaise: Ingredients: * 2 egg yolks
* 1/2 cup (120 ml) neutral-tasting oil, such as canola or grapeseed
* 1 tablespoon (15 ml) vinegar or lemon juice
* 1/2 teaspoon salt
* 1/4 teaspoon black pepper Instructions: 1. In a medium-sized bowl, whisk together the egg yolks, salt, and black pepper until well combined.
2. Slowly pour the oil into the bowl while continuously whisking the mixture. It's important to add the oil very slowly, otherwise the mixture can break and you'll end up with a separated, curdled mess.
3. Continue whisking until the mixture thickens and emulsifies, which should take about 5-7 minutes. You'll know it's ready when the mixture has doubled in volume and has a thick, creamy consistency.
4. Add the vinegar or lemon juice and continue whisking for another minute or two, until the flavors are fully incorporated.
5. Taste the mayonnaise and adjust the seasoning as needed. You can add more salt, pepper, or acid if desired.
6. Cover the bowl with plastic wrap and refrigerate the mayonnaise for at least 30 minutes before serving. This will allow the flavors to meld together and the mayonnaise to thicken further. That's it! This recipe makes about 1 1/2 cups (360 ml) of mayonnaise, which should be enough for a small to medium-sized batch of sandwiches or salads. You can also customize the recipe by adding different flavorings, such as garlic, mustard, or herbs, to create a unique taste. Enjoy!

W poniższym przykładzie użytkownik rozmawiał z asystentem na temat atrakcji turystycznych w Paryżu. Następnie użytkownik pyta o pierwszą opcję rekomendowaną przez asystenta czatu.

Input:
User: I am going to Paris, what should I see?
Assistant: Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris: 1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows. These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.
User: What is so great about #1? Output:
Assistant: The Eiffel Tower is a world-renowned iconic landmark that symbolizes Paris and France. It was built for the World's Fair in 1889 and was initially intended to be a temporary structure, but it has become a permanent part of the Parisian skyline. Here are some reasons why the Eiffel Tower is so great: 1. Engineering marvel: The Eiffel Tower was a groundbreaking feat of engineering at the time of its construction. It stands at 324 meters (1,063 feet) tall and was the tallest structure in the world for over 40 years.
2. Iconic design: The Eiffel Tower's distinctive shape and design make it instantly recognizable. It has been the subject of countless works of art, photographs, and films, and has become a symbol of Paris and France.
3. Panoramic views: The Eiffel Tower offers breathtaking views of the city from its observation decks. Visitors can enjoy a 360-degree view of Paris, including famous landmarks such as the Seine River, the Arc de Triomphe, and the Montmartre neighborhood.
4. Historical significance: The Eiffel Tower has played a significant role in Paris's history, having been the site of numerous important events, including the famous "Battle of the Eiffel Tower" during World War II.
5. Cultural impact: The Eiffel Tower has had a significant impact on popular culture, inspiring countless works of art, literature, and music. It has also been the subject of numerous documentaries and films, including the classic movie "An American in Paris."
6. Romantic setting: The Eiffel Tower is known for its romantic atmosphere, making it a popular destination for couples and newlyweds. It has been the site of countless marriage proposals and has been featured in numerous romantic films and literature.
7. Accessibility: The Eiffel Tower is easily accessible by public transportation, making it a convenient destination for visitors. It is also wheelchair-friendly, with elevators and ramps providing access to all levels. Overall, the Eiffel Tower is a must-see destination for anyone visiting Paris, offering a unique and unforgettable experience that combines history, culture, engineering, and rom

W poniższych przykładach ustalamy konfigurację systemu:

Input:
System: Always answer with Haiku
User: I am going to Paris, what should I see? Output:
Assistant: Eiffel Tower high
Art in the Louvre Museum
River Seine flows Input:
System: Always answer with emojis
User: How to go from Beijing to NY? Output:
Assistant: Here are the emojis that represent the steps to go from Beijing to New York: 🇨🇳🛫🛬🇺🇸🗽🏙️🚕💨🛩️🛬🛫😴💤🛩️🛬🛫😍

Sprzątać

Po zakończeniu uruchamiania notesu pamiętaj o usunięciu wszystkich zasobów, aby wszystkie zasoby utworzone w procesie zostały usunięte, a rozliczenia zostały zatrzymane:

predictor.delete_model()
predictor.delete_endpoint()

Wnioski

W tym poście pokazaliśmy, jak rozpocząć pracę z modelami Llama 2 w SageMaker Studio. Dzięki temu masz dostęp do sześciu modeli fundamentów Llama 2, które zawierają miliardy parametrów. Ponieważ modele podstawowe są wstępnie wytrenowane, mogą również pomóc w obniżeniu kosztów szkoleń i infrastruktury oraz umożliwić dostosowanie do konkretnego przypadku użycia. Aby rozpocząć korzystanie z SageMaker JumpStart, odwiedź następujące zasoby:

O autorach

Wygrana czerwca jest menedżerem produktu w SageMaker JumpStart. Koncentruje się na ułatwianiu odkrywania i wykorzystywania modeli podstawowych, aby pomóc klientom w tworzeniu generatywnych aplikacji AI. Jego doświadczenie w Amazon obejmuje także aplikację do zakupów mobilnych i dostawę „ostatniej mili”.

Dr Vivek Madan jest naukowcem w zespole Amazon SageMaker JumpStart. Uzyskał doktorat na Uniwersytecie Illinois w Urbana-Champaign i był badaczem podoktoranckim w Georgia Tech. Jest aktywnym badaczem w dziedzinie uczenia maszynowego i projektowania algorytmów. Publikował artykuły na konferencjach EMNLP, ICLR, COLT, FOCS i SODA. dr Kyle Ulrich jest naukowcem stosowanym w zespole Amazon SageMaker JumpStart. Jego zainteresowania badawcze obejmują skalowalne algorytmy uczenia maszynowego, wizję komputerową, szeregi czasowe, nieparametrykę Bayesa i procesy Gaussa. Jego doktorat uzyskał na Duke University i opublikował artykuły w czasopismach NeurIPS, Cell i Neuron. Dr Ashish Khetan jest starszym naukowcem w Amazon SageMaker JumpStart i pomaga opracowywać algorytmy uczenia maszynowego. Stopień doktora uzyskał na Uniwersytecie Illinois w Urbana-Champaign. Jest aktywnym badaczem w dziedzinie uczenia maszynowego i wnioskowania statystycznego. Opublikował wiele artykułów na konferencjach NeurIPS, ICML, ICLR, JMLR, ACL i EMNLP. Sundara Ranganathana jest globalnym szefem specjalistów GenAI/Frameworks GTM w AWS. Koncentruje się na opracowywaniu strategii GTM dla dużych modeli językowych, GenAI i dużych obciążeń ML w usługach AWS, takich jak Amazon EC2, EKS, EFA, AWS Batch i Amazon SageMaker. Jego doświadczenie obejmuje role kierownicze w zarządzaniu produktami i ich rozwoju w NetApp, Micron Technology, Qualcomm i Mentor Graphics.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Motoryzacja / pojazdy elektryczne, Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Przesunięcia bloków. Modernizacja własności offsetu środowiskowego. Dostęp tutaj.
• Źródło: https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/