Модель фундаменту Falcon 180B від TII тепер доступна через Amazon SageMaker JumpStart | Веб-сервіси Amazon

Сьогодні ми раді повідомити, що модель фундаменту Falcon 180B, розроблена Інститутом технологічних інновацій (TII) і навчена на Amazon SageMaker, доступна для клієнтів через Amazon SageMaker JumpStart для розгортання одним клацанням для запуску висновку. З розміром у 180 мільярдів параметрів і навченим на величезному наборі даних із 3.5 трильйонів токенів, Falcon 180B є найбільшою та однією з найпродуктивніших моделей із відкрито доступними вагами. Ви можете випробувати цю модель за допомогою SageMaker JumpStart, центру машинного навчання (ML), який надає доступ до алгоритмів, моделей і рішень ML, щоб ви могли швидко розпочати роботу з ML. У цій публікації ми розповідаємо, як виявити та розгорнути модель Falcon 180B за допомогою SageMaker JumpStart.

Що таке Falcon 180B

Falcon 180B - модель, випущена компанією IIT який слідує за попередніми випусками сімейства Falcon. Це збільшена версія Falcon 40B, яка використовує багатозапитову увагу для кращої масштабованості. Це авторегресивна мовна модель, яка використовує оптимізовану трансформаторну архітектуру. Його було навчено на 3.5 трильйонах токенів даних, в основному з веб-даних з RefinedWeb (приблизно 85%). Модель має дві версії: 180B і 180B-Chat. 180B — це необроблена, попередньо навчена модель, яку необхідно додатково налаштувати для більшості випадків використання. 180B-Chat краще підходить для отримання загальних інструкцій. Модель чату було налаштовано на базі даних чату та інструкцій разом із кількома широкомасштабними наборами даних розмов.

Модель доступна за умовами Ліцензія Falcon-180B TII та Політика допустимого використання.

Falcon 180B був навчений TII на Amazon SageMaker, на кластері приблизно 4K A100 GPU. Він використовував спеціальну розподілену навчальну кодову базу під назвою Gigatron, яка використовує 3D-паралелізм із ZeRO, і призначені для користувача високопродуктивні ядра Triton. Використана архітектура розподіленого навчання Служба простого зберігання Amazon (Amazon S3) як єдиний уніфікований сервіс для завантаження даних і запису та читання контрольних точок, що особливо сприяло надійності робочого навантаження та простоті експлуатації.

Що таке SageMaker JumpStart

За допомогою SageMaker JumpStart фахівці з машинного навчання можуть вибирати зі списку найефективніших моделей основи, що постійно зростає. Практикуючі ML можуть розгортати базові моделі на виділених екземплярах SageMaker в ізольованому мережевому середовищі та налаштовувати моделі за допомогою Amazon SageMaker для навчання моделей і розгортання.

Тепер ви можете знайти та розгорнути Falcon 180B кількома клацаннями миші Студія Amazon SageMaker або програмно за допомогою SDK SageMaker Python, що дає змогу отримувати продуктивність моделі та елементи керування MLOps за допомогою таких функцій SageMaker, як Трубопроводи Amazon SageMaker, Налагоджувач Amazon SageMaker, або контейнерні журнали. Модель розгортається в захищеному середовищі AWS і під керуванням вашого VPC, що допомагає забезпечити безпеку даних. Falcon 180B доступний для виявлення та може бути розгорнутий у регіонах, де доступні необхідні екземпляри. Зараз екземпляри ml.p4de доступні на сході США (Північна Вірджинія) та на заході США (Орегон).

Відкрийте для себе моделі

Ви можете отримати доступ до базових моделей через SageMaker JumpStart в інтерфейсі користувача SageMaker Studio та SageMaker Python SDK. У цьому розділі ми розглянемо, як знайти моделі в SageMaker Studio.

SageMaker Studio — це інтегроване середовище розробки (IDE), яке забезпечує єдиний візуальний веб-інтерфейс, де ви можете отримати доступ до спеціально створених інструментів для виконання всіх етапів розробки ML, від підготовки даних до створення, навчання та розгортання ваших моделей ML. Докладніше про те, як розпочати роботу та налаштувати SageMaker Studio, див Студія Amazon SageMaker.

У SageMaker Studio ви можете отримати доступ до SageMaker JumpStart, який містить попередньо навчені моделі, блокноти та готові рішення, у розділі Готові та автоматизовані рішення.

На цільовій сторінці SageMaker JumpStart ви можете переглядати рішення, моделі, блокноти та інші ресурси. Ви можете знайти Falcon 180B в Основні моделі: генерація тексту карусель.

Ви також можете знайти інші варіанти моделі, вибравши Дослідіть усі моделі генерації тексту або шукає Falcon.

Ви можете вибрати картку моделі, щоб переглянути деталі моделі, наприклад ліцензію, дані, які використовуються для навчання, і спосіб використання. Ви також знайдете дві кнопки, Розгортання та Відкрийте Блокнот, який допоможе вам використовувати модель (на наступному знімку екрана показано Розгортання варіант).

Розгорнути моделі

Коли ви обираєте Розгортання, почнеться розгортання моделі. Крім того, ви можете розгорнути за допомогою прикладу блокнота, який з’явиться, вибравши Відкрийте Блокнот. Приклад блокнота містить наскрізні вказівки щодо того, як розгорнути модель для висновків і очистити ресурси.

Для розгортання за допомогою ноутбука ми починаємо з вибору відповідної моделі, зазначеної в model_id. Ви можете розгорнути будь-яку з вибраних моделей на SageMaker за допомогою такого коду:

from sagemaker.jumpstart.model import JumpStartModel my_model = JumpStartModel(model_id="huggingface-llm-falcon-180b-chat-bf16") predictor = my_model.deploy()

Це розгортає модель на SageMaker із конфігураціями за замовчуванням, включаючи тип екземпляра за замовчуванням і конфігурації VPC за замовчуванням. Ви можете змінити ці конфігурації, вказавши значення, відмінні від замовчування JumpStartModel. Щоб дізнатися більше, зверніться до Документація API. Після розгортання ви можете запустити висновок щодо розгорнутої кінцевої точки за допомогою предиктора SageMaker. Перегляньте наступний код:

payload = { "inputs": "User: Hello!nFalcon: ", "parameters": {"max_new_tokens": 256, "top_p": 0.9, "temperature": 0.6}
}
response = predictor.predict(payload)

Параметри висновку керують процесом генерації тексту в кінцевій точці. Максимальна кількість нових маркерів стосується розміру результату, створеного моделлю. Зауважте, що це не те саме, що кількість слів, оскільки словниковий запас моделі не такий самий, як словниковий запас англійської мови, і кожна лексема може не бути словом англійської мови. Температура контролює випадковість виведення. Більш висока температура призводить до більшої творчості та галюцинацій. Усі параметри висновку є необов’язковими.

Ця модель параметрів 180B має 335 ГБ і потребує ще більше пам’яті графічного процесора для достатнього виконання висновків із 16-бітною точністю. Наразі JumpStart підтримує цю модель лише на екземплярах ml.p4de.24xlarge. Можна розгорнути 8-розрядну квантовану модель на примірнику ml.p4d.24xlarge, надавши env={"HF_MODEL_QUANTIZE": "bitsandbytes"} аргумент ключового слова до JumpStartModel конструктор і специфікація instance_type="ml.p4d.24xlarge" до способу розгортання. Однак зауважте, що затримка кожного токена приблизно в 5 разів менша для цієї квантованої конфігурації.

У наведеній нижче таблиці перераховано всі моделі Falcon, доступні в SageMaker JumpStart, разом із ідентифікаторами моделей, типами екземплярів за замовчуванням, максимальною загальною кількістю токенів (сума кількості введених токенів і кількості згенерованих токенів), які підтримуються, і типовою затримкою відповіді на маркер. для кожної з цих моделей.

*затримка на маркер надається для середнього часу відповіді прикладів підказок, наданих у цьому блозі; це значення змінюватиметься залежно від довжини вхідної та вихідної послідовностей.

Висновки та приклади для Falcon 180B

Моделі Falcon можна використовувати для доповнення будь-якого тексту. За допомогою генерації тексту ви можете виконувати різноманітні завдання, наприклад відповідати на запитання, перекладати мовою, аналізувати настрої та багато іншого. Кінцева точка приймає наступну схему корисного навантаження:

payload = { "inputs": str, (optional)"parameters": { "do_sample": bool, "max_new_tokens": int, "repetition_penalty": float, "return_full_text": bool, "stop": List[str], "seed": int, "temperature": float, "top_k": int, "top_p": float, "truncate": int, "typical_p": float, "best_of": int, "watermark": bool, "details": bool, "decoder_input_details": bool, }
}

Ви можете дослідити їх визначення параметри клієнта та їхні значення за замовчуванням у репозиторії text-generation-inference.

Нижче наведено кілька прикладів підказок і тексту, створеного моделлю. Усі виходи тут генеруються з параметрами висновку {"max_new_tokens": 768, "stop": ["<|endoftext|>", "###"]}.

Створити веб-сайт можна за 10 простих кроків:

Input Building a website can be done in 10 simple steps: Output
- Choose a domain name
- Register your domain name
- Choose a web host
- Choose a website builder
- Create your website
- Add content to your website
- Add pages to your website
- Add images to your website
- Add videos to your website
- Add social media to your website
1. Choose a domain name
A domain name is the address of your website. It is what people will type into their browser to find your website. For example, the domain name of this website is.
When choosing a domain name, you should choose something that is easy to remember and that represents your business or website. You should also make sure that the domain name is available. You can check if a domain name is available by using a domain name search tool.
2. Register your domain name
Once you have chosen a domain name, you need to register it. This can be done through a domain name registrar. A domain name registrar is a company that manages the registration of domain names.
When registering your domain name, you will need to provide your contact information and choose a payment method. You will also need to choose a domain name extension. The most common domain name extensions are .com, .net, and .org.
3. Choose a web host
A web host is a company that provides space on a server for your website. When choosing a web host, you should choose one that is reliable and that offers good customer support. You should also make sure that the web host offers the features that you need for your website.
4. Choose a website builder
A website builder is a tool that allows you to create a website without having to learn how to code. There are many different website builders available, so you should choose one that is easy to use and that offers the features that you need.
5. Create your website
Once you have chosen a website builder, you can start creating your website. You will need to choose a template for your website and then add content to your website.
6. Add content to your website
The content of your website is what will make your website unique. You should add content that is relevant to your business or website. You can add text, images, videos, and other types of content to your website.
7. Add pages to your website
A website is made up of pages. You can add as many pages as you want to your website. Each page should have a different purpose. For example, you might have a page for your home page, a page for your about page, and a page for your contact page.
8. Add images to your website
Images can make your website more visually appealing. You can add images to your website by uploading them to your website or by using a image hosting service.
9. Add videos to your website
Videos can also make your website more visually appealing. You can add videos to your website by uploading them to your website or by using a video hosting service.
10. Add social media to your website
Social media can help you promote your website. You can add social media buttons to your website so that people can share your website on social media. You can also add social media feeds to your website so that people can see your latest social media posts.

Ви можете помітити, що ця попередньо навчена модель генерує довгі текстові послідовності, які не обов’язково ідеальні для випадків використання діалогу. Перш ніж ми покажемо, як точно налаштована модель чату працює для більшого набору діалогових підказок, наступні два приклади ілюструють, як використовувати моделі Falcon з невеликим кадровим навчанням у контексті, де ми надаємо навчальні зразки, доступні для моделі. Зауважте, що «поодиноке навчання» не коригує ваги моделі — ми лише виконуємо висновок щодо розгорнутої моделі під час цього процесу, надаючи кілька прикладів у контексті введення, щоб допомогти вивести модель гільдії.

Input
Tweet: "I hate it when my phone battery dies."
Sentiment: Negative
###
Tweet: "My day has been :+1:"
Sentiment: Positive
###
Tweet: "This is the link to the article"
Sentiment: Neutral
###
Tweet: "This new music video was incredible"
Sentiment: Output Positive
###

Input
Translate English to French:
sea otter => loutre de mer
###
peppermint => menthe poivrée
###
plush girafe => girafe peluche
###
cheese => Output fromage
###

Висновки та приклади для Falcon 180B-Chat

З моделями Falcon 180B-Chat, оптимізованими для випадків використання діалогу, вхідні дані для кінцевих точок моделі чату можуть містити попередню історію між помічником чату та користувачем. Ви можете задавати питання, пов’язані з розмовою, яка відбулася до цього часу. Ви також можете надати конфігурацію системи, як-от особи, які визначають поведінку помічника в чаті. Вхідне корисне навантаження на кінцеву точку таке ж, як і в моделі Falcon 180B, за винятком inputs значення рядка має використовувати такий формат:

System: <An optional system prompt>
User: <Optional user message history>
Falcon: <Optional chat history Falcon response>
User: <Current user message>
Falcon:

Нижче наведено кілька прикладів підказок і тексту, створеного моделлю. Усі виходи генеруються з параметрами висновку {"max_new_tokens":256, "stop": ["nUser:", "<|endoftext|>", " User:", "###"]}.

Input
System: You are a helpful assistant
User: What is Amazon SageMaker JumpStart?
Falcon: Output Amazon SageMaker JumpStart is a capability of Amazon SageMaker that provides a set of solutions to common machine learning problems. These solutions include pre-built machine learning models, algorithms, and pre-configured model training and deployment settings. JumpStart also provides sample notebooks that demonstrate how to use these solutions for various use cases. The goal of JumpStart is to help users get started with machine learning quickly and easily, without the need for extensive machine learning expertise.
User:

Input
User: Simply put, the theory of relativity states that
Falcon: Output 1. The laws of physics are the same for all observers in uniform motion relative to one another.
2. The speed of light in a vacuum is the same for all observers, regardless of their motion or the motion of the light source.
3. Time and space are relative, meaning that they can vary depending on the observer's frame of reference.
4. Mass and energy are interchangeable, as expressed by the famous equation E=mc².
User:

Input
User: Building a website can be done in 10 simple steps:
Falcon: Output
1. Determine the purpose and goals of your website.
2. Choose a domain name and register it.
3. Select a web hosting provider and sign up for a plan.
4. Choose a website builder or content management system (CMS) to use.
5. Select a theme or template for your website.
6. Customize the design and layout of your website.
7. Add content to your website, including text, images, and videos.
8. Set up navigation menus and links to make your website easy to navigate.
9. Test your website to ensure it is functioning properly and is mobile-friendly.
10. Launch your website and promote it to attract visitors.
User:

Input
System: Always answer with a Haiku.
User: I am deploying a large language model on Amazon SageMaker JumpStart. What should I do?
Falcon: Output "JumpStart" your dreams,
Deploy with ease, scale with glee,
SageMaker awaits.

Input
System: Generate a table summarizing the options outlined in this email.
User: Team, we have to make a decision on the product plan for Goocrux v2. The first option will take us 3 weeks of development, and will achieve performance of 80ms, but means that the UI has to change. The second option will take us 4 weeks of development, and will achieve performance of 60ms, without any UI change. The third option will take the longest -- 6 weeks of development, will achieve performance of 30ms, without any UI change. A markdown table with four columns: (1) Option ID, (2) Development time, (3) Performance, (4) UI Change.
Falcon: Output
| Option ID | Development time | Performance | UI Change |
| --- | --- | --- | --- |
| 1 | 3 weeks | 80ms | Yes |
| 2 | 4 weeks | 60ms | No |
| 3 | 6 weeks | 30ms | No |

Input
System: You always translate English to French.
User: sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>
Falcon: Output
=> fromage

Input
System: Classify the user prompt as Negative, Positive, or Neutral sentiment. Use a short response.
User: Tweet: "This new music video was awesome" Falcon: Output "Positive"

Input
User: What is the recipe of mayonnaise?
Falcon: Output 1. In a mixing bowl, whisk together 1 egg yolk, 1 tablespoon of Dijon mustard, and 1 tablespoon of lemon juice until well combined.
2. While whisking continuously, slowly drizzle in 1 cup of vegetable oil until the mixture thickens and emulsifies.
3. Season with salt and pepper to taste.
4. Store in an airtight container in the refrigerator for up to one week.
User:

У наступному прикладі користувач мав розмову з помічником про туристичні місця в Парижі. Далі користувач запитує про перший варіант, рекомендований помічником у чаті.

Input
System: You are a helpful trip planner.
User: I am going to Paris, what should I see?
Falcon: 1. Eiffel Tower: No trip to Paris is complete without a visit to the iconic Eiffel Tower.
2. Louvre Museum: Home to some of the world's most famous art, including the Mona Lisa.
3. Notre-Dame Cathedral: A stunning example of Gothic architecture and a must-see for history buffs.
4. Champs-Élysées: One of the most famous avenues in the world, lined with shops, cafes, and theaters.
5. Montmartre: A charming neighborhood known for its bohemian vibe, street art, and stunning views of the city.
6. Palace of Versailles: A short train ride from Paris, this opulent palace was once the seat of French royalty.
7. Musée d'Orsay: Housed in a former train station, this museum boasts an impressive collection of Impressionist and Post-Impressionist art.
8. Sainte-Chapelle: A hidden gem in the heart of Paris, this medieval chapel is famous for its stunning stained glass windows.
9. Luxembourg Gardens: A beautiful park in the heart of the city, perfect for a picnic or a leisurely stroll.
User: What is so great about #1?
Falcon: Output
#1 is the Eiffel Tower, which is one of the most famous landmarks in the world. It is a symbol of Paris and a must-see attraction for many visitors. The tower offers stunning views of the city from its observation decks, and it is especially beautiful when lit up at night. Additionally, the Eiffel Tower has a rich history and is an engineering marvel, making it a fascinating destination for anyone interested in architecture or history.
User:

Прибирати

Після того, як ви завершите роботу блокнота, переконайтеся, що ви видалили всі ресурси, які ви створили в процесі, щоб виставлення рахунків припинилося. Використовуйте наступний код:

predictor.delete_model()
predictor.delete_endpoint()

Висновок

У цій публікації ми показали вам, як розпочати роботу з Falcon 180B у SageMaker Studio та розгорнути модель для висновку. Оскільки базові моделі проходять попередню підготовку, вони можуть допомогти знизити витрати на навчання та інфраструктуру, а також уможливити налаштування для вашого випадку використання. Щоб почати, відвідайте SageMaker JumpStart у SageMaker Studio.

ресурси

Про авторів

Доктор Кайл Ульріх є прикладним науковцем у команді Amazon SageMaker JumpStart. Його дослідницькі інтереси включають масштабовані алгоритми машинного навчання, комп’ютерне бачення, часові ряди, байєсівські непараметричні процеси та процеси Гаусса. Його доктор філософії отримав в Університеті Дьюка, і він опублікував статті в NeurIPS, Cell і Neuron.

Доктор Ашиш Хетан є старшим прикладним науковим співробітником Amazon SageMaker JumpStart і допомагає розробляти алгоритми машинного навчання. Він отримав ступінь доктора філософії в Іллінойському університеті Урбана-Шампейн. Він активно досліджує машинне навчання та статистичні висновки та опублікував багато статей на конференціях NeurIPS, ICML, ICLR, JMLR, ACL та EMNLP.

Олів'є Крушанt є головним архітектором рішень спеціаліста з машинного навчання в AWS, розташованому у Франції. Olivier допомагає клієнтам AWS – від невеликих стартапів до великих підприємств – розробляти та розгортати програми машинного навчання виробничого рівня. У вільний час він любить читати наукові статті та досліджувати дику природу з друзями та родиною.

Карл Альбертсен очолює центр базової моделі Amazon SageMaker, команди алгоритмів і партнерства.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. Автомобільні / електромобілі, вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• ChartPrime. Розвивайте свою торгову гру за допомогою ChartPrime. Доступ тут.
• BlockOffsets. Модернізація екологічної компенсаційної власності. Доступ тут.
• джерело: https://aws.amazon.com/blogs/machine-learning/falcon-180b-foundation-model-from-tii-is-now-available-via-amazon-sagemaker-jumpstart/