Модели Meta Llama 3 теперь доступны в Amazon SageMaker JumpStart | Веб-сервисы Amazon

Сегодня мы рады сообщить, что модели фундамента Meta Llama 3 доступны через Amazon SageMaker JumpStart для развертывания и выполнения вывода. Модели Llama 3 представляют собой набор предварительно обученных и точно настроенных моделей генеративного текста.

В этом посте мы расскажем, как обнаружить и развернуть модели Llama 3 с помощью SageMaker JumpStart.

Что такое Мета Лама 3

Llama 3 поставляется с двумя размерами параметров — 8 байт и 70 байт с длиной контекста 8 КБ — которые могут поддерживать широкий спектр вариантов использования с улучшениями в рассуждениях, генерации кода и следовании инструкциям. Llama 3 использует архитектуру преобразователя только для декодера и новый токенизатор, который обеспечивает улучшенную производительность модели с размером 128 КБ. Кроме того, Meta улучшила процедуры после обучения, что существенно снизило процент ложных отказов, улучшило согласованность и увеличило разнообразие ответов модели. Теперь вы можете получить совокупные преимущества производительности Llama 3 и элементов управления MLOps с помощью таких функций Amazon SageMaker, как SageMaker Pipelines, SageMaker Debugger или журналы контейнеров. Кроме того, модель будет развернута в безопасной среде AWS под контролем вашего VPC, что поможет обеспечить безопасность данных.

Что такое SageMaker JumpStart

С помощью SageMaker JumpStart вы можете выбирать из широкого выбора общедоступных моделей фундаментов. Специалисты по машинному обучению могут развертывать базовые модели в выделенных экземплярах SageMaker из сетевой изолированной среды и настраивать модели с помощью SageMaker для обучения и развертывания моделей. Теперь вы можете обнаружить и развернуть модели Llama 3 несколькими щелчками мыши. Студия Amazon SageMaker или программно с помощью SageMaker Python SDK, что позволяет получить производительность модели и элементы управления MLOps с помощью функций SageMaker, таких как Конвейеры SageMaker, Отладчик SageMakerили журналы контейнера. Модель развертывается в безопасной среде AWS и под контролем вашего VPC, что помогает обеспечить безопасность данных. Модели Llama 3 уже доступны для развертывания и анализа в Amazon SageMaker Studio в us-east-1 (Северная Вирджиния), us-east-2 (Огайо), us-west-2 (Орегон), eu-west-1 (Ирландия) и ap-northeast-1 (Токио) Регионы AWS.

Откройте для себя модели

Вы можете получить доступ к базовым моделям через SageMaker JumpStart в пользовательском интерфейсе SageMaker Studio и SageMaker Python SDK. В этом разделе мы рассмотрим, как обнаруживать модели в SageMaker Studio.

SageMaker Studio — это интегрированная среда разработки (IDE), которая предоставляет единый визуальный веб-интерфейс, где вы можете получить доступ к специально созданным инструментам для выполнения всех этапов разработки машинного обучения, от подготовки данных до создания, обучения и развертывания моделей машинного обучения. Дополнительные сведения о том, как начать работу и настроить SageMaker Studio, см. Студия Amazon SageMaker.

В SageMaker Studio вы можете получить доступ к SageMaker JumpStart, который содержит предварительно обученные модели, блокноты и готовые решения, в разделе Готовые и автоматизированные решения.

На целевой странице SageMaker JumpStart вы можете легко найти различные модели, просматривая различные хабы, названные в честь поставщиков моделей. Вы можете найти модели Llama 3 в мета-хабе. Если вы не видите модели Llama 3, обновите версию SageMaker Studio, выключив и перезапустив ее. Для получения дополнительной информации см. Завершите работу и обновите приложения Studio Classic..

Вы можете найти модели Llama 3, выполнив поиск «Meta-llama-3» в поле поиска, расположенном вверху слева.

Вы можете найти все мета-модели, доступные в SageMaker JumpStart, нажав «Мета-хаб».

При нажатии на карточку модели открывается страница сведений о соответствующей модели, на которой можно легко развернуть модель.

Развернуть модель

Когда вы выбираете Развертывание и примите условия лицензионного соглашения, развертывание начнется.

Вы можете отслеживать ход развертывания на странице, которая появляется после нажатия кнопки «Развернуть».

В качестве альтернативы вы можете выбрать Открыть блокнот для развертывания с помощью примера записной книжки. В примере записной книжки представлены комплексные инструкции по развертыванию модели для вывода и очистки ресурсов.

Развертывание с использованием записной книжки начинается с выбора соответствующей модели, указанной в model_id. Вы можете развернуть любую из выбранных моделей в SageMaker с помощью следующего кода.

from sagemaker.jumpstart.model import JumpStartModel

model = JumpStartModel(model_id = "meta-textgeneration-llama-3-70b-instruct")
predictor = model.deploy(accept_eula=False)

По умолчанию accept_eula на False. Для успешного развертывания конечной точки вам необходимо вручную принять лицензионное соглашение. Поступая так, вы принимаете пользовательское лицензионное соглашение и политику допустимого использования. Вы также можете найти лицензионное соглашение Сайт ламы. При этом модель развертывается в SageMaker с конфигурациями по умолчанию, включая тип экземпляра по умолчанию и конфигурации VPC по умолчанию. Вы можете изменить эту конфигурацию, указав значения, отличные от значений по умолчанию, в JumpStartModel. Чтобы узнать больше, пожалуйста, обратитесь к следующему документации.

В следующей таблице перечислены все модели Llama 3, доступные в SageMaker JumpStart, а также model_ids, типы экземпляров по умолчанию и максимальное общее количество токенов (сумма количества входных токенов и количества сгенерированных токенов), поддерживаемых для каждой из этих моделей.

Запустить вывод

После развертывания модели вы можете выполнить логический вывод для развернутой конечной точки с помощью предиктора SageMaker. Точно настроенные модели инструкций (Llama 3: 8B Instruct и 70B Instruct) принимают историю чатов между пользователем и чат-помощником и генерируют последующий чат. Предварительно обученные модели (Llama 3: 8B и 70B) требуют строкового запроса и выполняют заполнение текста в предоставленном запросе.

predictor.predict(payload)

Параметры вывода управляют процессом генерации текста в конечной точке. Новые токены Max контролируют размер выходных данных, генерируемых моделью. Это не то же самое, что количество слов, поскольку словарный запас модели не совпадает со словарным запасом английского языка, и каждый токен не может быть словом английского языка. Параметр температуры управляет случайностью выходных данных. Более высокая температура приводит к более творческим и галлюцинирующим результатам. Все параметры вывода являются необязательными.

Примеры запросов для модели 70B

Вы можете использовать модели Llama 3 для завершения текста для любого фрагмента текста. С помощью генерации текста вы можете выполнять различные задачи, такие как ответы на вопросы, языковой перевод, анализ настроений и многое другое. Входные полезные данные для конечной точки выглядят следующим образом:

payload = {
    “inputs”: str,
   (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Ниже приведены некоторые примеры подсказок и текст, сгенерированный моделью. Все выходные данные генерируются с параметрами вывода {"max_new_tokens":64, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that
Output: 1) the laws of physics are the same for all observers, and 2) the speed of light is constant for all observers. The first part of the theory is known as the special theory of relativity, and the second part is known as the general theory of relativity.nThe special theory of relativity states

Input: I believe the meaning of life is
Output:  to live a life of purpose, on purpose. I believe that we are all here to make a difference in the world, and that we are all here to make a difference in the lives of others. I believe that we are all here to make a difference in the world, and that we are all here to mak

Input: A brief message congratulating the team on the launch:nnHi everyone,nnI just 
Output: wanted to say congratulations on the launch of the new website! It looks great and I'm sure it will be a valuable resource for our customers. I know that a lot of hard work went into making this happen, so thank you all for your efforts.nnBest regards,nJohn Doen

В следующем примере мы покажем, как использовать модели Llama 3 с небольшим количеством кадров контекстного обучения, где мы предоставляем обучающие выборки, доступные для модели. Мы выполняем вывод только на развернутой модели, и во время этого процесса веса модели не меняются.

Input:
Translate English to French:nsea otter => loutre de mernpeppermint => menthe poivréenplush girafe => girafe peluchencheese =>
Output:  fromagenpanda => pandanpenguin => pingouinnpolar bear => ours polairenpuffin => macareuxnsloth => paresseuxnwalrus => morsenwhale => baleinenzebra => zu00e8brenTranslate English to German:n

Примеры запросов для модели 70B-Instruct

В моделях инструкций Llama 3, оптимизированных для сценариев использования диалога, входными данными для конечных точек модели инструкций является предыдущая история между чат-помощником и пользователем. Вы можете задавать вопросы, связанные с разговором, который произошел на данный момент. Вы также можете указать конфигурацию системы, например персонажей, которые определяют поведение чат-помощника. Хотя формат входных полезных данных такой же, как у базовой предварительно обученной модели, входной текст должен быть отформатирован следующим образом:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

[SYSTEM_TEXT]<|eot_id|><|start_header_id|>user<|end_header_id|>

[USER_TEXT]<|eot_id|><|start_header_id|>assistant<|end_header_id|>

В этом шаблоне инструкций вы можете начать с system роли и включать в пошаговую историю столько чередующихся ролей, сколько необходимо. Последняя роль всегда должна быть assistant и закончиться двумя новыми переводами строк.

Далее рассмотрим несколько примеров подсказок и ответов модели. В следующем примере пользователь задает простой вопрос ассистенту.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnwhat is the recipe of mayonnaise?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The classic condiment! Mayonnaise is a thick, creamy emulsion sauce made from a combination of oil, egg yolks, acid (such as vinegar or lemon juice), and seasonings. Here's a simple recipe to make mayonnaise at home:nn**Ingredients:**nn* 2 egg yolksn* 1 tablespoon lemon juice or vinegar (such as apple cider vinegar or white wine vinegar)n* 1/2 teaspoon Dijon mustard (optional, but recommended for flavor)n* 1/2 cup (120 ml) neutral-tasting oil, such as canola, grapeseed, or sunflower oiln* Salt, to tastenn**Instructions:**nn1. **Start with room temperature ingredients**: This is crucial for emulsification to occur.n2. **In a medium-sized bowl**, whisk together the egg yolks, lemon juice or vinegar, and Dijon mustard (if using) until well combined.n3. **Slowly add the oil**: While continuously whisking the egg yolk mixture, slowly pour in the oil in a thin, steady stream. Start with a very slow drizzle and gradually increase the flow as the mixture thickens.n4. **Whisk constantly**: Keep whisking until the mixture has doubled in volume and has a thick, creamy consistency. This should take about 5-7 minutes.n5. **Check the consistency**: Stop whisking when the mayonnaise has reached the desired consistency. It should be smooth, thick, and hold its shape when the whisk is lifted.n6. **Season with salt**: Add salt to taste, and whisk until well combined.n7. **Taste and adjust**: If the mayonnaise is too thick, add a little water. If it's not thick enough, add a little more oil.nn**Tips and Variations:**nn* Use a neutral-tasting oil to avoid flavoring the mayonnaise.n* If you're using a stand mixer, use the whisk attachment and start with a slow speed, increasing as needed.n* Add flavorings like minced garlic, chopped fresh herbs (e.g., parsley, dill, or tarragon), or grated ginger to create different flavor profiles.n* For a lighter mayonnaise, use only 1 egg yolk or add a little water to thin it out.n* If the mayonnaise breaks or separates, don't worry! Simply start again with a new egg yolk and slowly whisk in the broken mayonnaise.nn**Homemade Mayonnaise vs. Store-Bought:**nnWhile store-bought mayonnaise is convenient, homemade mayonnaise offers several advantages:nn* Freshness: Homemade mayonnaise is made to order, ensuring optimal flavor and texture.n* Customization: You can tailor the flavor to your liking with various seasonings and ingredients.n* No preservatives: Homemade mayonnaise doesn't contain added preservatives, making it a healthier option.nnEnjoy your freshly made mayonnaise!

В следующем примере пользователь беседует с ассистентом о туристических объектах Парижа. Затем пользователь спрашивает о первом варианте, рекомендованном чат-ассистентом.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nnParis, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris:nn1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.n2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.n3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows.nnThese are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.<|eot_id|><|start_header_id|>user<|end_header_id|>nnWhat is so great about #1?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The Eiffel Tower! It's an iconic symbol of Paris and one of the most recognizable landmarks in the world. Here are some reasons why it's so great:nn1. **Engineering marvel**: When it was built for the 1889 World's Fair, the Eiffel Tower was a groundbreaking feat of engineering. It was the tallest structure in the world at the time, standing at 324 meters (1,063 feet).n2. **Panoramic views**: The Eiffel Tower offers breathtaking 360-degree views of the city from its observation decks. You can see many of Paris' famous landmarks, such as the Seine River, the Louvre, and Montmartre.n3. **Romantic atmosphere**: The Eiffel Tower is often associated with romance and is a popular spot for proposals, weddings, and romantic dinners. The tower's iron latticework and twinkling lights at night add to its romantic ambiance.n4. **Historical significance**: The Eiffel Tower has played a significant role in French history, serving as a communication tower during World War I and a symbol of French culture and engineering.n5. **Accessibility**: The Eiffel Tower is easily accessible by public transportation or on foot, and there are various ways to experience it, including taking the stairs, elevator, or a guided tour.n6. **Nighttime spectacle**: The Eiffel Tower is even more magical at night, when it's illuminated with thousands of twinkling lights. The light show, known as the "Eiffel Tower Sparkle," takes place every hour on the hour from dusk to midnight.n7. **Iconic status**: The Eiffel Tower has been featured in countless films, literature, and art, making it an instantly recognizable symbol of Paris and France.nnOverall, the Eiffel Tower is a must-visit attraction in Paris, offering a unique combination of history, engineering, romance, and stunning views.

В следующих примерах мы устанавливаем конфигурацию системы.

Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with Haiku<|eot_id|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: Eiffel's iron lacenRiver Seine's gentle flow bynMontmartre's charm calls
Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with emojis<|eot_id|><|start_header_id|>user<|end_header_id|>nnHow to go from Beijing to NY?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: ✈️🛬️🇺🇸

Убирать

После завершения работы с блокнотом обязательно удалите все ресурсы, созданные вами в процессе, чтобы прекратить выставление счетов. Используйте следующий код:

predictor.delete_model()
predictor.delete_endpoint()

Заключение

В этом посте мы показали вам, как начать работу с моделями Llama 3 в SageMaker Studio. Теперь у вас есть доступ к четырем моделям фундаментов Llama 3, которые содержат миллиарды параметров. Поскольку базовые модели предварительно обучены, они также могут помочь снизить затраты на обучение и инфраструктуру, а также обеспечить настройку для вашего варианта использования. Проверить SageMaker JumpStart в SageMaker Studio прямо сейчас, чтобы начать работу.

Об авторах

Кайл Ульрих является прикладным ученым II в AWS.
Синь Хуан — старший научный сотрудник AWS
Цин Лан — старший инженер-разработчик программного обеспечения в AWS.
Хаотянь Ан — инженер-разработчик программного обеспечения II уровня в AWS.
Кристофер Уиттен — инженер-разработчик программного обеспечения II уровня в AWS.
Тайлер Остерберг — инженер-разработчик программного обеспечения I в AWS
Манан Шах — менеджер по разработке программного обеспечения в AWS
Джонатан Гинеган — старший инженер-разработчик программного обеспечения в AWS.
Адриана Симмонс — старший менеджер по маркетингу продуктов в AWS.
июнь выиграл — старший менеджер по продукту в AWS
Ашиш Хетан — старший научный сотрудник AWS
Рахна Чадха является главным архитектором решений по искусственному интеллекту и машинному обучению в AWS.
Дипак Рупакула является главным специалистом по GTM в AWS.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://aws.amazon.com/blogs/machine-learning/meta-llama-3-models-are-now-available-in-amazon-sagemaker-jumpstart/