Моделі основи Llama 2 від Meta тепер доступні в Amazon SageMaker JumpStart | Веб-сервіси Amazon

Сьогодні ми раді повідомити, що моделі основи Llama 2, розроблені Meta, доступні для клієнтів через Amazon SageMaker JumpStart. Сімейство великих мовних моделей (LLM) Llama 2 — це набір попередньо підготовлених і точно налаштованих генеративних текстових моделей із масштабом від 7 до 70 мільярдів параметрів. Тонко налаштовані LLM, які називаються Llama-2-chat, оптимізовані для випадків використання діалогу. Ви можете легко випробувати ці моделі та використовувати їх із SageMaker JumpStart, центром машинного навчання (ML), який надає доступ до алгоритмів, моделей і рішень ML, щоб ви могли швидко розпочати роботу з ML.

У цій публікації ми розглянемо, як використовувати моделі Llama 2 через SageMaker JumpStart.

Що таке Лама 2

Llama 2 — це авторегресивна модель мови, яка використовує оптимізовану трансформаторну архітектуру. Llama 2 призначений для комерційного та наукового використання англійською мовою. Він доступний у діапазоні розмірів параметрів — 7 мільярдів, 13 мільярдів і 70 мільярдів — а також у попередньо підготовлених і точно налаштованих варіантах. Відповідно до Meta, налаштовані версії використовують контрольовану точну настройку (SFT) і навчання з підкріпленням із зворотним зв’язком людини (RLHF), щоб узгодити людські переваги щодо корисності та безпеки. Llama 2 був попередньо навчений на 2 трильйонах токенів даних із загальнодоступних джерел. Налаштовані моделі призначені для чату, схожого на помічника, тоді як попередньо навчені моделі можна адаптувати для різноманітних завдань генерації природної мови. Незалежно від того, яку версію моделі використовує розробник, посібник із відповідального використання від Meta може допомогти в проведенні додаткових тонких налаштувань, які можуть знадобитися для налаштування й оптимізації моделей із відповідними пом’якшеними засобами безпеки.

Що таке SageMaker JumpStart

Завдяки SageMaker JumpStart фахівці з машинного навчання можуть вибирати з широкого вибору моделей основи з відкритим кодом. Практикуючі ML можуть розгортати базові моделі на спеціальному Amazon SageMaker екземпляри з мережевого ізольованого середовища та налаштовуйте моделі за допомогою SageMaker для навчання та розгортання моделі.

Тепер ви можете знайти та розгорнути Llama 2 кількома клацаннями миші Студія Amazon SageMaker або програмно за допомогою SDK SageMaker Python, що дає змогу отримувати продуктивність моделі та елементи керування MLOps за допомогою таких функцій SageMaker, як Трубопроводи Amazon SageMaker, Налагоджувач Amazon SageMaker, або контейнерні журнали. Модель розгортається в захищеному середовищі AWS і під керуванням вашого VPC, що допомагає забезпечити безпеку даних. Моделі Llama 2 доступні сьогодні в Amazon SageMaker Studio, спочатку в us-east 1 та us-west 2 регіони.

Відкрийте для себе моделі

Ви можете отримати доступ до базових моделей через SageMaker JumpStart в інтерфейсі користувача SageMaker Studio та SageMaker Python SDK. У цьому розділі ми розглянемо, як знайти моделі в SageMaker Studio.

SageMaker Studio — це інтегроване середовище розробки (IDE), яке забезпечує єдиний візуальний веб-інтерфейс, де ви можете отримати доступ до спеціально створених інструментів для виконання всіх етапів розробки ML, від підготовки даних до створення, навчання та розгортання ваших моделей ML. Докладніше про те, як розпочати роботу та налаштувати SageMaker Studio, див Студія Amazon SageMaker.

Увійшовши до SageMaker Studio, ви можете отримати доступ до SageMaker JumpStart, який містить попередньо підготовлені моделі, блокноти та готові рішення, у розділі Готові та автоматизовані рішення.

На цільовій сторінці SageMaker JumpStart ви можете переглядати рішення, моделі, блокноти та інші ресурси. Ви можете знайти дві флагманські моделі Llama 2 у Моделі основи: Генерація тексту карусель. Якщо ви не бачите моделей Llama 2, оновіть версію SageMaker Studio, вимкнувши та перезапустивши програму. Додаткову інформацію про оновлення версій див Вимкніть і оновіть програми Studio.

Ви також можете знайти інші чотири варіанти моделі, вибравши Дослідіть усі моделі генерації тексту або шукає llama у вікні пошуку.

Ви можете вибрати картку моделі, щоб переглянути деталі моделі, наприклад ліцензію, дані, які використовуються для навчання, і спосіб використання. Ви також можете знайти дві кнопки, Розгортання та Відкрийте Блокнот, які допоможуть вам використовувати модель.

Коли ви натискаєте будь-яку кнопку, у спливаючому вікні відображатиметься ліцензійна угода кінцевого користувача та політика прийнятного використання, які ви повинні підтвердити.

Після підтвердження ви переходите до наступного кроку використання моделі.

Розгорнути модель

Коли ви обираєте Розгортання і підтвердити умови, почнеться розгортання моделі. Крім того, ви можете розгорнути за допомогою прикладу блокнота, який з’явиться, вибравши Відкрийте Блокнот. Приклад блокнота містить наскрізні вказівки щодо того, як розгорнути модель для висновків і очистити ресурси.

Для розгортання за допомогою ноутбука ми починаємо з вибору відповідної моделі, зазначеної в model_id. Ви можете розгорнути будь-яку з вибраних моделей на SageMaker за допомогою такого коду:

from sagemaker.jumpstart.model import JumpStartModel
my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")
predictor = my_model.deploy()

Це розгортає модель на SageMaker із конфігураціями за замовчуванням, включаючи тип екземпляра за замовчуванням і конфігурації VPC за замовчуванням. Ви можете змінити ці конфігурації, вказавши значення, відмінні від замовчування JumpStartModel. Після розгортання ви можете запустити висновок щодо розгорнутої кінцевої точки за допомогою предиктора SageMaker:

payload = { “inputs”: [ [ {"role": "system", "content": "Always answer with Haiku"}, {"role": "user", "content": "I am going to Paris, what should I see?"}, ] ], "parameters":{"max_new_tokens":256, "top_p":0.9, "temperature":0.6}
}

Тонко налаштовані моделі чату (Llama-2-7b-chat, Llama-2-13b-chat, Llama-2-70b-chat) приймають історію чату між користувачем і помічником чату та генерують наступний чат. Попередньо навчені моделі (Llama-2-7b, Llama-2-13b, Llama-2-70b) вимагають рядкової підказки та виконують завершення тексту у наданій підказці. Перегляньте наступний код:

predictor.predict(payload, custom_attributes="accept_eula=true")

Зауважте, що за замовчуванням, accept_eula має значення false. Вам потрібно встановити accept_eula=true щоб успішно викликати кінцеву точку. Роблячи це, ви приймаєте ліцензійну угоду користувача та політику прийнятного використання, про які згадувалося раніше. Ви також можете скачати ліцензійний договір.

Custom_attributes використовуються для передачі EULA, це пари ключ/значення. Ключ і значення розділені символом = і пари розділені ;. Якщо користувач передає той самий ключ більше одного разу, останнє значення зберігається та передається обробнику сценарію (тобто в цьому випадку використовується для умовної логіки). Наприклад, якщо accept_eula=false; accept_eula=true потім передається на сервер  accept_eula=true зберігається та передається обробнику сценарію.

Параметри висновку керують процесом генерації тексту в кінцевій точці. Максимальний контроль над новими маркерами стосується розміру результату, створеного моделлю. Зауважте, що це не те саме, що кількість слів, оскільки словниковий запас моделі не такий самий, як словниковий запас англійської мови, і кожна лексема може не бути словом англійської мови. Температура контролює випадковість виведення. Більш висока температура призводить до більшої творчості та галюцинацій. Усі параметри висновку є необов’язковими.

У наведеній нижче таблиці перераховано всі моделі Llama, доступні в SageMaker JumpStart разом із model_ids, типові екземпляри за замовчуванням і максимальна кількість загальних маркерів (сума кількості введених маркерів і кількості згенерованих маркерів), підтримуваних для кожної з цих моделей.

Зауважте, що кінцеві точки SageMaker мають обмеження часу очікування 60 с. Таким чином, навіть незважаючи на те, що модель може генерувати 4096 токенів, якщо генерація тексту займає більше 60 секунд, запит не вдасться. Для моделей 7B, 13B і 70B ми рекомендуємо встановити max_new_tokens не більше 1500, 1000 і 500 відповідно, зберігаючи загальну кількість токенів менше 4K.

Підказки для висновків і прикладів для Llama-2-70b

Ви можете використовувати моделі Llama для завершення будь-якого фрагмента тексту. За допомогою генерації тексту ви можете виконувати різноманітні завдання, наприклад відповідати на запитання, перекладати мовою, аналізувати настрої та багато іншого. Вхідне навантаження на кінцеву точку виглядає так:

payload = { “inputs”: str, (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Нижче наведено кілька прикладів підказок і тексту, створеного моделлю. Усі виходи генеруються з параметрами висновку {"max_new_tokens":256, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that Output: 1) the laws of physics are the same for all observers in uniform motion relative to one another, and 2) the speed of light is the same for all observers, regardless of their relative motion or of the motion of the source of the light.
In the late 1800s, scientists believed that light travelled through a medium they called the luminiferous ether. But in 1887, Albert Michelson and Edward Morley designed an experiment to measure the speed of light in the ether, and found that the speed of light was the same no matter how they oriented their equipment. This result seemed to contradict the idea of the ether, and Michelson and Morley’s experiment became one of the most famous failed experiments in history.
In 1905, Albert Einstein published a paper that used the results of the Michelson-Morley experiment to develop the theory of special relativity. In 1915, Einstein published a paper on general relativity, which is a theory of gravitation.
In physics, the speed of light is considered to be a constant, and its value is 299,792,458 metres Input: I believe the meaning of life is Output: to be happy, to find joy in life, to love and be loved. To have the courage to be yourself and to be kind to others. To be able to express yourself, to create and to be inspired. To be able to give and receive. To be able to learn and grow. To be able to find beauty in the world and to be able to appreciate it. To be able to find peace and contentment. To be able to find meaning and purpose. To be able to make a difference in the world. To be able to find joy in the simple things. To be able to find joy in the difficult things. To be able to find joy in the journey. To be able to find joy in the destination. To be able to find joy in the present moment. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy Input: A brief message congratulating the team on the launch: Hi everyone, I just Output: wanted to send a quick note to congratulate everyone on the launch of our new website. I know it’s been a long time coming and I’m sure we’re all relieved that it’s finally out there. Thanks to everyone for their hard work and dedication over the last few months. I know it wasn’t always easy, but I think we can all be proud of the final product. I’m looking forward to seeing how our users respond to the new site and I’m confident that it will be a success. Thanks again, and enjoy the rest of your day! Best, [Your Name] [Your Title] [Your Company] [Your Email] [Your Phone Number] [Your Website] [Your Social Media Handles] [Your Address] [Your City, State, Zip Code] [Your Country] [Your Postal Code] [Your Website] [

У наступному прикладі ми показуємо, як використовувати моделі Llama з невеликим кадровим навчанням у контексті, де ми надаємо навчальні зразки, доступні для моделі. Зауважте, що ми робимо висновки лише щодо розгорнутої моделі, і під час цього процесу ваги моделі не змінюються.

Input: Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese => Output: fromage chocolate => chocolat car => voiture hamster => hamster beer => bière bicycle => bicyclette banana => banane strawberry => fraise pizza => pizza cheeseburger => cheeseburger pineapple => ananas carrot => carotte watermelon => pastèque whale => baleine eggplant => aubergine cat => chat penguin => manchot lion => lion elephant => éléphant panda => panda tiger => tigre salmon => saumon squirrel => écureuil kangaroo => kangourou turtle => tortue octopus => poulpe frog => grenouille pig => cochon goldfish => poisson rouge tiger shark => requin tigre gorilla => gorille dol

Висновки та приклади підказок для Llama-2-70b-чату

З моделями Llama-2-Chat, які оптимізовані для випадків використання діалогу, вхідними даними для кінцевих точок моделі чату є попередня історія між помічником у чаті та користувачем. Ви можете задавати питання, пов’язані з розмовою, яка відбулася до цього часу. Ви також можете надати конфігурацію системи, як-от особи, які визначають поведінку помічника в чаті. Вхідне навантаження на кінцеву точку виглядає так:

payload = { “inputs”: [ [ (optional){"role": "system", "content": str}, (repeated k times) {"role": "user", "content": str}, {"role": "assistant", "content": str}, {"role": "user", "content": str}, ] ], (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Нижче наведено кілька прикладів підказок і тексту, створеного моделлю. Усі виходи генеруються з параметрами висновку {"max_new_tokens": 512, "top_p": 0.9, "temperature": 0.6}.

Input:
User: what is the recipe of mayonnaise? Output:
Assistant: Sure, I can help you with that! Mayonnaise is a thick, creamy condiment made from a mixture of egg yolks, oil, vinegar or lemon juice, and seasonings. Here's a basic recipe for homemade mayonnaise: Ingredients: * 2 egg yolks
* 1/2 cup (120 ml) neutral-tasting oil, such as canola or grapeseed
* 1 tablespoon (15 ml) vinegar or lemon juice
* 1/2 teaspoon salt
* 1/4 teaspoon black pepper Instructions: 1. In a medium-sized bowl, whisk together the egg yolks, salt, and black pepper until well combined.
2. Slowly pour the oil into the bowl while continuously whisking the mixture. It's important to add the oil very slowly, otherwise the mixture can break and you'll end up with a separated, curdled mess.
3. Continue whisking until the mixture thickens and emulsifies, which should take about 5-7 minutes. You'll know it's ready when the mixture has doubled in volume and has a thick, creamy consistency.
4. Add the vinegar or lemon juice and continue whisking for another minute or two, until the flavors are fully incorporated.
5. Taste the mayonnaise and adjust the seasoning as needed. You can add more salt, pepper, or acid if desired.
6. Cover the bowl with plastic wrap and refrigerate the mayonnaise for at least 30 minutes before serving. This will allow the flavors to meld together and the mayonnaise to thicken further. That's it! This recipe makes about 1 1/2 cups (360 ml) of mayonnaise, which should be enough for a small to medium-sized batch of sandwiches or salads. You can also customize the recipe by adding different flavorings, such as garlic, mustard, or herbs, to create a unique taste. Enjoy!

У наступному прикладі користувач мав розмову з помічником про туристичні місця в Парижі. Далі користувач запитує про перший варіант, рекомендований помічником у чаті.

Input:
User: I am going to Paris, what should I see?
Assistant: Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris: 1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows. These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.
User: What is so great about #1? Output:
Assistant: The Eiffel Tower is a world-renowned iconic landmark that symbolizes Paris and France. It was built for the World's Fair in 1889 and was initially intended to be a temporary structure, but it has become a permanent part of the Parisian skyline. Here are some reasons why the Eiffel Tower is so great: 1. Engineering marvel: The Eiffel Tower was a groundbreaking feat of engineering at the time of its construction. It stands at 324 meters (1,063 feet) tall and was the tallest structure in the world for over 40 years.
2. Iconic design: The Eiffel Tower's distinctive shape and design make it instantly recognizable. It has been the subject of countless works of art, photographs, and films, and has become a symbol of Paris and France.
3. Panoramic views: The Eiffel Tower offers breathtaking views of the city from its observation decks. Visitors can enjoy a 360-degree view of Paris, including famous landmarks such as the Seine River, the Arc de Triomphe, and the Montmartre neighborhood.
4. Historical significance: The Eiffel Tower has played a significant role in Paris's history, having been the site of numerous important events, including the famous "Battle of the Eiffel Tower" during World War II.
5. Cultural impact: The Eiffel Tower has had a significant impact on popular culture, inspiring countless works of art, literature, and music. It has also been the subject of numerous documentaries and films, including the classic movie "An American in Paris."
6. Romantic setting: The Eiffel Tower is known for its romantic atmosphere, making it a popular destination for couples and newlyweds. It has been the site of countless marriage proposals and has been featured in numerous romantic films and literature.
7. Accessibility: The Eiffel Tower is easily accessible by public transportation, making it a convenient destination for visitors. It is also wheelchair-friendly, with elevators and ramps providing access to all levels. Overall, the Eiffel Tower is a must-see destination for anyone visiting Paris, offering a unique and unforgettable experience that combines history, culture, engineering, and rom

У наступних прикладах ми встановлюємо конфігурацію системи:

Input:
System: Always answer with Haiku
User: I am going to Paris, what should I see? Output:
Assistant: Eiffel Tower high
Art in the Louvre Museum
River Seine flows Input:
System: Always answer with emojis
User: How to go from Beijing to NY? Output:
Assistant: Here are the emojis that represent the steps to go from Beijing to New York: 🇨🇳🛫🛬🇺🇸🗽🏙️🚕💨🛩️🛬🛫😴💤🛩️🛬🛫😍

Прибирати

Після того, як ви завершите роботу блокнота, переконайтеся, що ви видалили всі ресурси, щоб усі ресурси, які ви створили в процесі, було видалено, а виставлення рахунків припинено:

predictor.delete_model()
predictor.delete_endpoint()

Висновок

У цій публікації ми показали вам, як почати роботу з моделями Llama 2 у SageMaker Studio. Завдяки цьому ви маєте доступ до шести моделей основи Llama 2, які містять мільярди параметрів. Оскільки базові моделі проходять попередню підготовку, вони також можуть допомогти знизити витрати на навчання та інфраструктуру, а також уможливити налаштування для вашого випадку використання. Щоб розпочати роботу з SageMaker JumpStart, відвідайте такі ресурси:

Про авторів

Джун Вон є менеджером із продуктів SageMaker JumpStart. Він зосереджується на тому, щоб базові моделі легко знаходити та використовувати, щоб допомогти клієнтам створювати генеративні додатки ШІ. Його досвід роботи в Amazon також включає мобільний додаток для покупок і доставку «останньої милі».

Доктор Вівек Мадан є прикладним науковцем у команді Amazon SageMaker JumpStart. Він отримав ступінь доктора філософії в Університеті Іллінойсу в Урбана-Шампейн і був науковим співробітником у технічному університеті Джорджії. Він є активним дослідником машинного навчання та розробки алгоритмів і публікував статті на конференціях EMNLP, ICLR, COLT, FOCS і SODA. Доктор Кайл Ульріх є прикладним науковцем у команді Amazon SageMaker JumpStart. Його дослідницькі інтереси включають масштабовані алгоритми машинного навчання, комп’ютерне бачення, часові ряди, байєсівські непараметричні процеси та процеси Гаусса. Його доктор філософії отримав в Університеті Дьюка, і він опублікував статті в NeurIPS, Cell і Neuron. Доктор Ашиш Хетан є старшим прикладним науковим співробітником Amazon SageMaker JumpStart і допомагає розробляти алгоритми машинного навчання. Він отримав ступінь доктора філософії в Іллінойському університеті Урбана-Шампейн. Він активно досліджує машинне навчання та статистичні висновки та опублікував багато статей на конференціях NeurIPS, ICML, ICLR, JMLR, ACL та EMNLP. Сундар Ранганатан є глобальним керівником спеціалістів GenAI/Frameworks GTM в AWS. Він зосереджується на розробці стратегії GTM для великих мовних моделей, GenAI і великомасштабних робочих навантажень машинного навчання в таких сервісах AWS, як Amazon EC2, EKS, EFA, AWS Batch і Amazon SageMaker. Його досвід включає керівні ролі в управлінні продуктами та розробці продуктів у NetApp, Micron Technology, Qualcomm і Mentor Graphics.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. Автомобільні / електромобілі, вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• BlockOffsets. Модернізація екологічної компенсаційної власності. Доступ тут.
• джерело: https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/