Сьогодні ми раді повідомити, що Гемма модель тепер доступна для користувачів Amazon SageMaker JumpStart. Джемма - це сім'я мовні моделі на основі моделей Gemini від Google, навчених до 6 трильйонів токенів тексту. Сімейство Gemma складається з двох розмірів: моделі з 7 мільярдами параметрів і моделі з 2 мільярдами параметрів. Тепер ви можете використовувати моделі Gemma 2B і Gemma 7B, попередньо підготовлені та налаштовані за інструкціями, у межах SageMaker JumpStart. JumpStart — це центр машинного навчання (ML) SageMaker, який надає доступ до основних моделей на додаток до вбудованих алгоритмів і наскрізних шаблонів рішень, щоб допомогти вам швидко розпочати роботу з ML.
У цій публікації ми розповімо, як розгорнути модель Gemma та налаштувати її для ваших випадків використання в SageMaker JumpStart. Повний блокнот доступний на GitHub.
Модель Джемма
Гемма це сімейство легких, найсучасніших Моделі побудований на основі тих самих досліджень і технологій, які використовуються для створення Близнюки моделі. Розроблений Google DeepMind та іншими командами Google, Gemma черпає натхнення з Близнюків. Джемма демонструє сильні здібності широкого вивчення тексту та найсучасніші навички розуміння та міркування в масштабі. Він досягає кращої продуктивності порівняно з іншими загальнодоступними моделями подібного або більшого масштабу в різних сферах, включаючи відповіді на запитання, здоровий глузд, математику та науку, а також кодування. Gemma випустила вагові коефіцієнти моделей, щоб підтримати інновації розробників за допомогою моделей Gemma. Джемма була запущена з новим Responsible Generative AI Toolkit який містить вказівки та основні інструменти для створення безпечніших додатків ШІ за допомогою Gemma.
Моделі основи в SageMaker
JumpStart надає доступ до ряду моделей із популярних центрів моделювання, зокрема Hugging Face, PyTorch Hub і TensorFlow Hub, які ви можете використовувати в процесі розробки ML у SageMaker. Нещодавні досягнення в ML дали початок новому класу моделей, відомих як моделі фундаменту, які зазвичай навчаються на мільярдах параметрів і адаптуються до широкої категорії випадків використання, таких як узагальнення тексту, створення цифрового мистецтва та мовний переклад. Оскільки навчання цих моделей є дорогим, клієнти хочуть використовувати існуючі попередньо навчені базові моделі та налаштовувати їх за потреби, а не навчати ці моделі самостійно. SageMaker надає підібраний список моделей, які можна вибрати на консолі SageMaker.
Тепер ви можете знайти моделі основи від різних постачальників моделей у JumpStart, що дає змогу швидко розпочати роботу з моделями основи. Ви можете знайти основні моделі на основі різних завдань або постачальників моделей, а також переглянути характеристики моделі та умови використання. Ви також можете спробувати ці моделі за допомогою тестового віджета інтерфейсу користувача. Якщо ви хочете використовувати базову модель у великому масштабі, ви можете зробити це, не виходячи з SageMaker, використовуючи попередньо зібрані блокноти від постачальників моделей. Оскільки моделі розміщуються та розгортаються на AWS, ваші дані, незалежно від того, використовуються вони для оцінки моделі чи використовують її в масштабі, ніколи не передаються третім особам.
Давайте дослідимо, як можна використовувати модель Llama Guard у JumpStart.
Дослідіть модель Gemma в Jumpstart
Ви можете отримати доступ до моделей основи Gemma через SageMaker JumpStart в інтерфейсі користувача SageMaker Studio та SageMaker Python SDK. У цьому розділі ми розглянемо, як знайти моделі в SageMaker Studio.
SageMaker Studio — це інтегроване середовище розробки (IDE), яке забезпечує єдиний візуальний веб-інтерфейс, де ви можете отримати доступ до спеціально створених інструментів для виконання всіх етапів розробки ML, від підготовки даних до створення, навчання та розгортання ваших моделей ML. Щоб дізнатися більше про те, як почати роботу та налаштувати SageMaker Studio, див Студія Amazon SageMaker.
У консолі керування AWS для SageMaker Studio перейдіть до SageMaker JumpStart у розділі Готові та автоматизовані рішення. Jumpstart містить попередньо навчені моделі, блокноти та готові рішення.
На цільовій сторінці SageMaker JumpStart ви можете знайти модель Gemma, виконавши пошук Gemma.
Потім ви можете вибрати з безлічі варіантів моделей Gemma, включаючи Gemma 2B, Gemma 7B, Gemma 2B instruct і Gemma 7B instruct.
Виберіть картку моделі, щоб переглянути деталі про модель, наприклад ліцензію, дані, які використовуються для навчання, і як використовувати модель. Ви також знайдете a Розгортання кнопку, яка спрямовує вас на цільову сторінку, де ви можете перевірити висновок за допомогою прикладу корисного навантаження.
Розгорніть Gemma за допомогою SDK SageMaker Python
Ви можете знайти код, що показує розгортання Gemma, на JumpStart і приклад використання розгорнутої моделі в цей блокнот GitHub.
Почніть із вибору ідентифікатора моделі SageMaker Model Hub і версії моделі для використання під час розгортання Gemma.
Виберіть ідентифікатор моделі з наведеної нижче таблиці, де описано параметри конфігурації за замовчуванням для розгортання JumpStart. Через великий словниковий запас у 256 тисяч токенів Gemma 7B може поміститися лише на один графічний процесор A10G, якщо підтримується довжина контексту в 1 тисячу. З цієї причини JumpStart використовує більший екземпляр за замовчуванням для Gemma 7B.
Ідентифікатор моделі | Примірник висновку за замовчуванням | Паралельний ступінь тензора | Підтримувана довжина контексту |
huggingface-llm-gemma-2b | ml.g5.xlarge | 1 | 8k |
huggingface-llm-gemma-2b-instruct | ml.g5.xlarge | 1 | 8k |
huggingface-llm-gemma-7b | мл.g5.12xвеликий | 4 | 8k |
huggingface-llm-gemma-7b-instruct | мл.g5.12xвеликий | 4 | 8k |
Тепер ви можете розгорнути модель за допомогою SageMaker JumpStart. Наступний код використовує екземпляр за замовчуванням ml.g5.12xlarge
для кінцевої точки висновку Ви можете розгорнути модель на інших типах екземплярів, передавши instance_type
в JumpStartModel
клас. Розгортання може зайняти 5-10 хвилин.
Для успішного розгортання необхідно вручну змінити accept_eula
аргумент у методі розгортання моделі True
. Ця модель розгортається за допомогою контейнера глибокого навчання для генерації тексту (TGI).
Виклик кінцевої точки
Ви можете програмно отримати приклади корисних навантажень із JumpStartModel
об'єкт. Це допоможе вам розпочати роботу, дотримуючись попередньо відформатованих інструкцій, які Джемма може отримати.
Перш ніж ми розглянемо конкретні підказки, давайте розглянемо шаблон чату для моделей Gemma Instruct.
Тут ви розміщуєте підказку в [USER_PROMPT]
Місцезнаходження. Немає підтримки системних інструкцій; замість цього ви можете додати бажану інструкцію до підказки користувача. Крім того, якщо у вас багаточергова розмова, підказка моделі може чергуватися між користувачем і помічником за потреби.
Тепер розглянемо кілька прикладів інструкцій. Тут ви просите Джемму написати програму Hello World.
Очікуваний результат:
Далі викличте Джемму для творчого завдання написати вірш.
Ось результат:
Це виглядає досить добре!
Тепер давайте розглянемо порівняльний аналіз продуктивності затримки та пропускної здатності для обслуговування моделі з конфігурацією розгортання JumpStart за замовчуванням. Тут ми показуємо, як може відрізнятися продуктивність моделі для типового робочого навантаження кінцевої точки. У наведених нижче таблицях ви можете помітити, що запити невеликого розміру (256 вхідних слів і 256 вихідних маркерів) є досить продуктивними за великої кількості одночасних користувачів, досягаючи пропускної здатності маркерів порядку тисячі-двох тисяч маркерів на секунду. Однак, коли кількість вхідних слів наближається до максимальної підтримуваної Gemma довжини контексту у вісім тисяч токенів, кінцева точка насичує свою потужність пакетування — кількість одночасних запитів, які можна обробляти одночасно — через обмеження пам’яті екземпляра.
Щоб отримати додаткові відомості про те, як враховувати цю інформацію та налаштувати конфігурації розгортання для конкретного випадку використання, див Тестуйте та оптимізуйте розгортання кінцевої точки в Amazon SageMaker JumpStart.
. | Пропускна здатність (токени/с) | ||||||||||
Одночасні користувачі | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | |||
модель | Тип екземпляра | Вхідні слова | Вихідні жетони | . | . | . | . | . | . | . | . |
gemma-2b-інструкція | ml.g5.xlarge | 256 | 256 | 73 | 137 | 262 | 486 | 829 | 1330 | 1849 | 1834 |
2048 | 256 | 69 | 126 | 227 | 373 | 537 | 704 | 764 | - | ||
7936 | 256 | 60 | 100 | 147 | 195 | 226 | 230 | - | - | ||
gemma-7b-інструкція | мл.g5.12xвеликий | 256 | 256 | 62 | 119 | 227 | 413 | 601 | 811 | 937 | 962 |
2048 | 256 | 56 | 100 | 172 | 245 | 267 | 273 | - | - | ||
7936 | 256 | 44 | 67 | 77 | 77 | 78 | - | - | - |
. | Затримка P50 (мс/токен) | ||||||||||
Одночасні користувачі | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | |||
модель | Тип екземпляра | Вхідні слова | Вихідні жетони | . | . | . | . | . | . | . | . |
gemma-2b-інструкція | ml.g5.xlarge | 256 | 256 | 13 | 14 | 15 | 16 | 19 | 23 | 33 | 49 |
2048 | 256 | 14 | 15 | 17 | 20 | 28 | 43 | 79 | - | ||
7936 | 256 | 16 | 19 | 26 | 39 | 68 | 136 | - | - | ||
Gemma-7b-інструкт | мл.g5.12xвеликий | 256 | 256 | 16 | 16 | 17 | 19 | 26 | 38 | 57 | 110 |
2048 | 256 | 17 | 19 | 23 | 32 | 52 | 119 | - | - | ||
7936 | 256 | 22 | 29 | 45 | 105 | 197 | - | - | - |
Налаштуйте Gemma за допомогою SDK SageMaker Python
Далі ми покажемо вам, як точно налаштувати модель інструкцій Gemma 7B на наборі даних у діалоговому форматі за допомогою QLoRA техніка. Як згадувалося раніше, через великий словниковий запас у 256 тисяч і довжину контексту у 8 тисяч JumpStart пропонує такі стандартні конфігурації для тонкого налаштування QLoRA.
Ідентифікатор моделі | Типовий навчальний екземпляр | Максимальна довжина вхідної послідовності | Розмір навчальної партії для кожного пристрою | Ступені градієнтного накопичення |
huggingface-llm-gemma-2b | мл.g5.2xвеликий | 1024 | 1 | 4 |
huggingface-llm-gemma-2b-instruct | мл.g5.2xвеликий | 1024 | 1 | 4 |
huggingface-llm-gemma-7b | мл.g5.12xвеликий | 2048 | 1 | 4 |
huggingface-llm-gemma-7b-instruct | мл.g5.12xвеликий | 2048 | 1 | 4 |
Давайте завантажимо та обробимо набір даних у розмовному форматі. Прикладом набору даних для цієї демонстрації є ТОП-1 тем розмов OpenAssistant.
Навчальні дані мають бути сформульовані в рядках JSON (.jsonl
), де кожен рядок є словником, що представляє набір розмов. Нижче наведено один приклад у файлі рядків JSON. Докладніше про те, як обробити набір даних, див. у зошиті в GitHub.
В основі навчальних сценаріїв JumpStart використовує HuggingFace SFTTrainer з QLoRA та FlashAttention. Flash Attention забезпечує ефективність масштабування, що призводить до швидшого навчання та висновків. Окрім тонкого налаштування на основі чату, JumpStart також підтримує тонке налаштування інструкцій і адаптації домену за допомогою QLoRA. Детальніше дивіться в зошиті в GitHub.
Після точного налаштування ви можете розгорнути налаштовану модель на кінцевій точці SageMaker.
Ви можете вибрати розгортання моделі, точно налаштованої на даних розмови в кінцевій точці SageMaker Функція API повідомлень HuggingFace як альтернативний підхід. Перевага використання функції Message API полягає в тому, що вона дозволяє користувачам передавати приклади запитів у необробленому форматі, як показано в наведеній нижче таблиці, а chat_template у кінцевій точці перетворює приклади запитів у правильний формат перед надсиланням їх у модель. Додаткову інформацію див. у розділі розгортання після тонкого налаштування в ноутбук.
Після розгортання точно налаштованої моделі в кінцевій точці ви можете порівняти вихідні відповіді від попередньо навчених і точно налаштованих моделей Gemma. Приклади зібрані з тестових даних, які є резервним набором із навчальних даних. Параметри висновку є max_tokens
як 512, top_p
як 0.9, temperature
як 0.4, і top_k
станом на 50 рік.
Як ви бачите за результатами точного налаштування, відповіді агента більш точні.
Щоб глибше оцінити ваші точно налаштовані моделі, ви можете дослідити Оцінка FM за допомогою Amazon SageMaker Clarify щоб побачити ефективність вашої налаштованої моделі порівняно з базовою моделлю.
Витрати | Основна правда | Відповідь від база модель | Відповідь від налаштованої моделі | |
1 |
Користувач: Я хочу попрацювати над своїм словниковим запасом, чи можете ви дати мені кілька простих способів, за допомогою яких я можу знайти нові слова для збільшення різноманітності своїх речень? Помічник: Звичайно! Покращення словникового запасу – це постійний процес, але ось кілька простих способів знайти нові слова та збільшити різноманітність ваших речень: 1. Читайте багато: читання книг, статей і блогів різних жанрів і тем відкриває для вас нові слова та фрази. Занотуйте будь-які незнайомі слова, які вам трапляються, і знайдіть їх значення. 2. Використовуйте тезаурус: щоразу, коли ви пишете або читаєте, використовуйте тезаурус, щоб знайти синоніми для часто вживаних слів. Це не тільки допоможе вам вивчити нові слова, але й покращить ваше розуміння їхніх тонких відмінностей у значенні. 3. Календарі або програми «слово на день». Підпишіться на електронну розсилку «слово на день» або завантажте програму для поповнення словникового запасу. Ці інструменти знайомлять вас із новим словом щодня разом із його значенням, вимовою та прикладами вживання. 4. Приєднайтеся до книжкового клубу чи дискусійної групи: участь у бесідах і обговореннях книг, статей або будь-якої іншої теми відкриває вам різні точки зору та новий словниковий запас. Уважно слухайте інших і намагайтеся використовувати нові слова в контексті. 5. Грайте в словесні ігри: такі ігри, як Scrabble, Boggle і кросворди, перевіряють ваш словниковий запас і допомагають вивчати нові слова в приємний спосіб. 6. Дивіться фільми, телешоу чи документальні фільми: візуальні медіа часто використовують різноманітну мову, сленг і жаргон. Перегляд фільмів, телешоу чи документальних фільмів із субтитрами може допомогти вам краще зрозуміти та запам’ятати нові слова. 7. Потренуйтеся писати: регулярне написання історій, есе чи щоденникових записів заохочує вас використовувати нові слова та фрази. Експериментуйте з різними стилями та жанрами письма, щоб розширити свій словниковий запас. 8. Вивчіть етимологію нового слова: розуміння походження та історії слова може полегшити його запам’ятовування та правильне використання. Дослідження етимології також відкриває вам споріднені слова та поняття. 9. Використовуйте картки або програмне забезпечення для повторення через інтервали: створюйте картки з новими словами, їхніми значеннями та прикладами речень. Регулярно переглядайте їх або використовуйте програмне забезпечення для повторення через інтервали, наприклад Anki, щоб оптимізувати навчання. 10. Встановіть особисті цілі: встановіть досяжні цілі, такі як вивчення п’яти нових слів на тиждень. Слідкуйте за своїм прогресом і винагороджуйте себе за досягнення своїх цілей. Постійно впроваджуючи ці стратегії у свій розпорядок дня, ви поступово створите різноманітний і потужний словниковий запас. Користувач: Хм, мені дуже подобається ідея читання. Чи можете ви порадити мені крутий науково-фантастичний трилер, який я міг би прочитати? |
Помічник: Звичайно! Ось кілька рекомендацій щодо науково-фантастичних трилерів, які можуть вам сподобатися: 1. «Проблема трьох тіл» Лю Цісіня – цей відзначений нагородами роман досліджує перший контакт між людством та інопланетною цивілізацією, а також політичні та особисті наслідки цього. Це захоплююче та спонукає до роздумів читання, яке заглиблюється в глибокі питання про природу існування та Всесвіту. 2. «Знищення» Джеффа Вандерміра. Цей роман розповідає про групу вчених, які вирушають у таємничу територію, відому як «Зона X», де вони стикаються з дивними та тривожними явищами. Коли вони заглиблюються в цю територію, вони починають відкривати темні таємниці про природу реальності та світу навколо них. 3. «Темна матерія» Блейка Крауча – цей роман розповідає про геніального фізика на ім’я Джейсон Дессен, якого викрадають і транспортують до паралельного всесвіту. Коли він намагається знайти шлях назад до власної реальності, він повинен зіткнутися зі своїм власним вибором і наслідками своїх дій. 4. «Штам Андромеди» Майкла Крайтона – цей класичний роман розповідає про команду вчених, які намагаються стримати та вивчити смертоносний позаземний мікроб, який приземлився на Землю. Змагаючись із часом, щоб знайти спосіб нейтралізувати мікроб, їм також доводиться боротися з політичними інтригами та особистими конфліктами. 5. «Перший гравець напоготові» Ернеста Клайна – дія цього роману розгортається в антиутопічному майбутньому, де більшість населення проводить час у світі віртуальної реальності, відомому як OASIS. Коли творець OASIS помирає та залишає завдання знайти заховане пасхальне яйце, молодий герой вирушає на захоплюючий квест, який назавжди змінить його життя. Сподіваюся, одна з цих рекомендацій зацікавить вас! |
Помічник: Текст не містить інформації про ваші читацькі вподобання чи інтереси, тому я не можу надати рекомендації щодо книги. |
Помічник: Звичайно, ось кілька рекомендацій щодо науково-фантастичних трилерів, які можуть вам сподобатися: – «Дюна» Френка Герберта: дія цього епічного науково-фантастичного роману відбувається на пустельній планеті Арракіс, де молодий принц на ім’я Пол Атрейдес має зіткнутися з викликами ворожого оточення та підступного політичного ландшафту. – «Марсіанин» Енді Вейра: цей захоплюючий науково-фантастичний трилер розповідає історію Марка Вотні, астронавта, який опинився на Марсі після пилової бурі, коли він використовує свою винахідливість і винахідливість, щоб вижити і зрештою повернутися на Землю. – «Машина часу» Герберта Уеллса: цей класичний науково-фантастичний роман використовує філософський підхід до концепції подорожей у часі, досліджуючи наслідки зміни минулого та майбутнього. – «Той, що біжить по лезу» Філіпа К. Діка: цей науково-фантастичний роман у стилі неонуар, дія якого відбувається у футуристичному Лос-Анджелесі, досліджує перетин людського та штучного інтелекту та його вплив на суспільство та природу реальності. – «Андроїди» Айзека Азімова: цей науково-фантастичний роман досліджує концепцію штучного інтелекту та його потенційні наслідки, особливо коли люди розробляють вдосконалені андроїди, які кидають виклик традиційним людським цінностям і переконанням. Це лише кілька пропозицій, і зрештою вибір найкращої книги для вас залежатиме від ваших особистих уподобань і того, який досвід ви шукаєте в науково-фантастичному трилері. Але я сподіваюся, що ці рекомендації стануть гарною відправною точкою для вивчення жанру. Будь ласка, дайте мені знати, якщо у вас виникнуть додаткові запитання або якщо я можу чимось вам допомогти. |
2 |
Користувач: Напишіть програму Hello World у VB.NET Помічник: Ось так: «`vbnet Користувач: зробіть так, щоб він вводив дані з $, а потім скажіть «Hello, $» замість «Hello, World!» |
Помічник: публічний модуль HelloWorld Загальнодоступна підосновна() System.Console.WriteLine(“Як вас звати?”) Dim name As String = System.Console.ReadLine() System.Console.WriteLine(“Привіт, ” & name & “!”) End Sub Кінцевий модуль |
Помічник: «`vbnet Загальнодоступний модуль HelloWorld Загальнодоступна підосновна() Dim name As String = Console.ReadLine() Console.WriteLine("Привіт, " & ім'я) End Sub Кінцевий модуль |
Помічник: Звичайно! Ось приклад: «`vbnet |
3 |
Користувач: дайте мені список завдань під час запуску проекту з навчання великої мовної моделі, яка може розуміти людські запитання та відповідати на них Помічник: наведені нижче кроки є скороченим списком кроків, які необхідно виконати, починаючи проект з навчання великої мовної моделі, здатної розуміти людські запити та відповідати на них: 1. Визначте обсяг і цілі проекту, цільову аудиторію. Це повинно дати вам базове уявлення про необхідні кроки. Чи варто детальніше зупинятися на одному з пунктів? Користувач: Ці завдання потрібно детальніше розбити. Не могли б ви надати оновлений список справ із більш детальним розподілом майбутніх завдань |
Помічник: Ось більш детальна розбивка кожного кроку: 1. Встановіть обсяг і цілі проекту: важливо чітко визначити цілі проекту та цільову аудиторію. Це допоможе вам прийняти рішення про те, який тип даних збирати та яка архітектура моделі є прийнятною. 2. Збір і попередня обробка даних: це важливий крок, оскільки якість і різноманітність даних безпосередньо впливатимуть на продуктивність моделі. Попередня обробка може передбачати очищення даних, токенізацію тексту та перетворення слів у числове представлення. 3. Виберіть архітектуру моделі. Існує багато різних типів моделей на вибір, включаючи рекурентні нейронні мережі (RNN), трансформаторні моделі та згорткові нейронні мережі (CNN). Вибір залежатиме від конкретних вимог проекту та обсягу доступних даних. 4. Розділіть набір даних і запровадьте розширення даних: розділення даних на підмножини для навчання, перевірки та тестування є важливим для моніторингу ефективності моделі під час навчання. Розширення даних можна використовувати для штучного збільшення розміру набору даних і підвищення стійкості моделі. 5. Навчання моделі та моніторинг прогресу: цей крок передбачає навчання моделі на навчальних даних із використанням набору перевірки для моніторингу прогресу та коригування гіперпараметрів за потреби. Може знадобитися повторити цей процес кілька разів, доки модель не запрацює належним чином у наборі перевірки. 6. Оцініть модель на тестовому наборі: коли модель навчена, важливо оцінити її продуктивність на окремому тестовому наборі, щоб отримати уявлення про її здатність до узагальнення. Це можна зробити шляхом порівняння прогнозів моделі з фактичними результатами та аналізу помилок. 7. Точне налаштування для конкретних завдань або доменів: цей крок передбачає подальше навчання моделі на даних, що стосуються конкретних завдань, щоб покращити її продуктивність для конкретного домену. Це можна зробити за допомогою трансферного навчання, коли попередньо навчена модель налаштовується на нових даних, або за допомогою тонкого налаштування, коли модель навчається з нуля на нових даних. 8. Створіть інтерфейс для введення користувачами: це передбачає розробку інтерфейсу, який дозволяє користувачам вводити запитання чи запити та отримувати відповіді від моделі. 9. Тестування в контрольованому середовищі: перш ніж розгортати модель у реальному середовищі, важливо перевірити її в контрольованому середовищі та зібрати відгуки від користувачів. Це допоможе виявити будь-які помилки чи упередження в моделі та надасть можливості для вдосконалення. 10. Постійно відстежуйте та вдосконалюйте продуктивність: нарешті, важливо постійно відстежувати продуктивність моделі та за потреби вносити оновлення та вдосконалення. Це може включати перенавчання моделі на нових даних, тонке налаштування гіперпараметрів або оновлення архітектури. |
Помічник: ## Список справ для навчання великої мовної моделі для відповідей на запитання **1. Обсяг і цілі проекту:** * Визначте цілі проекту та бажані функціональні можливості. **2. Збір даних і попередня обробка:** * Визначайте джерела для навчальних даних і збирайте різноманітні текстові дані. **3. Вибір моделі та конфігурація:** * Виберіть відповідну архітектуру моделі на основі складності завдання та бажаної продуктивності. **4. Навчання та оцінка:** * Розділіть навчальні дані на підмножини навчання, перевірки та тестування. **5. Тонка настройка та розробка інтерфейсу:** * Тонке налаштування моделі для конкретних завдань або доменів за допомогою перенесення навчання. **6. Тестування та вдосконалення:** * Перевірте модель у контрольованому середовищі з різними вхідними сценаріями. **Додаткові зауваження:** * Встановіть графік і бюджет для проекту. **Примітка.** Цей список не є вичерпним і може потребувати адаптації відповідно до вимог конкретного проекту. |
Помічник: Звичайно, ось більш детальна розбивка завдань, пов’язаних із навчанням великої мовної моделі розуміти людські запитання та відповідати на них: **1. Встановіть обсяг і цілі проекту** **2. Збір і попередня обробка комплексного/різноманітного набору текстових даних** **3. Виберіть відповідну архітектуру моделі, налаштуйте гіперпараметри для точності/швидкості** **4. Розділіть набір даних на підмножини для навчання, перевірки, тестування, запровадьте розширення даних** **5. Навчання моделі, моніторинг прогресу перевірки, коригування за потреби** **6. Оцініть модель на тестовому наборі, порівняйте з контрольними показниками, проаналізуйте помилки та зміщення** **7. Точна настройка для конкретних завдань або доменів за допомогою трансферного навчання або тонкої настройки** **8. Створення інтерфейсу для введення даних користувача та відповіді моделі** **9. Тестуйте в контрольованому середовищі, збирайте відгуки для покращення** **10. Постійно контролюйте та вдосконалюйте продуктивність шляхом перенавчання та тонкої настройки** Це етапи навчання великої мовної моделі для розуміння людських запитань і відповідей на них. Будь ласка, дайте мені знати, якщо у вас є запитання. |
Прибирати
Після перевірки кінцевих точок видаліть кінцеві точки висновку SageMaker і модель, щоб уникнути стягнення плати.
Висновок
У цій публікації ми показали вам, як розпочати роботу з Gemma в SageMaker Studio та розгорнути модель для висновку. Ми також показали вам, як можна точно налаштувати моделі Gemma на SageMaker Jumpstart.
Оскільки базові моделі проходять попередню підготовку, вони можуть допомогти знизити витрати на навчання та інфраструктуру, а також уможливити налаштування для вашого випадку використання. Щоб почати, відвідайте SageMaker JumpStart у SageMaker Studio.
Ця інструкція призначена лише для інформаційних цілей. Ви все одно повинні провести власну незалежну оцінку та вжити заходів, щоб переконатися, що ви дотримуєтеся своїх власних практик і стандартів контролю якості, а також місцевих правил, законів, постанов, ліцензій і умов використання, які стосуються вас, вашого вмісту та модель стороннього виробника, на яку посилається в цьому посібнику. AWS не контролює та не має повноважень щодо моделі третьої сторони, на яку посилається в цьому посібнику, і не робить жодних заяв чи гарантій, що модель стороннього розробника безпечна, не містить вірусів, працює чи сумісна з вашим робочим середовищем і стандартами. AWS не робить жодних заяв, не гарантує, що будь-яка інформація в цьому посібнику призведе до певного результату.
Про авторів
Доктор Кайл Ульріх є прикладним науковцем з Вбудовані алгоритми Amazon SageMaker команда. Його дослідницькі інтереси включають масштабовані алгоритми машинного навчання, комп’ютерне бачення, часові ряди, байєсівські непараметричні процеси та процеси Гаусса. Його доктор філософії отримав в Університеті Дьюка, і він опублікував статті в NeurIPS, Cell і Neuron.
Доктор Синь Хуан є старшим прикладним науковим співробітником Amazon SageMaker JumpStart і вбудованих алгоритмів Amazon SageMaker. Він зосереджується на розробці масштабованих алгоритмів машинного навчання. Його дослідницькі інтереси стосуються обробки природної мови, пояснюваного глибокого навчання на табличних даних і надійного аналізу непараметричної просторово-часової кластеризації. Він опублікував багато статей на конференціях ACL, ICDM, KDD і Королівського статистичного товариства: серія A.
Рачна Чадха є головним архітектором рішень AI/ML у Strategic Accounts в AWS. Рахна — оптиміст, який вірить, що етичне та відповідальне використання ШІ може покращити суспільство в майбутньому та принести економічне та соціальне процвітання. У вільний час Рачна любить проводити час з сім'єю, гуляти в походах і слухати музику.
Еван Кравіц є інженером-програмістом Amazon Web Services, працює над SageMaker JumpStart. Йому подобається готувати і бігати в Нью-Йорку.
Доктор Ашиш Хетан є старшим прикладним науковим співробітником із вбудованими алгоритмами Amazon SageMaker і допомагає розробляти алгоритми машинного навчання. Він отримав ступінь доктора філософії в Іллінойському університеті Урбана-Шампейн. Він активно досліджує машинне навчання та статистичні висновки та опублікував багато статей на конференціях NeurIPS, ICML, ICLR, JMLR, ACL та EMNLP.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/gemma-is-now-available-in-amazon-sagemaker-jumpstart/
- : має
- :є
- : ні
- :де
- $UP
- 1
- 10
- 100
- 11
- 13
- 135
- 17
- 19
- 1900
- 250
- 28
- 29
- 31
- 39
- 41
- 50
- 7
- 8
- 9
- a
- здатність
- МЕНЮ
- вище
- Прийняти
- доступ
- доступність
- рахунки
- Рахунки
- накопичення
- точність
- точний
- досяжна
- Досягає
- придбання
- через
- дії
- активний
- фактичний
- адаптація
- доповнення
- Додатково
- регулювати
- просунутий
- аванси
- після
- проти
- Агент
- AI
- AI / ML
- літак
- алгоритми
- іноземець
- ВСІ
- дозволяти
- дозволено
- дозволяє
- по
- Також
- альтернатива
- Amazon
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon Web Services
- кількість
- an
- аналіз
- аналізувати
- аналізи
- Аналізуючи
- та
- та інфраструктури
- Андромеда
- -Анджелесі
- Оголосити
- відповідь
- відповідь
- Відповіді
- будь-який
- все
- API
- додаток
- застосування
- прикладної
- Застосовувати
- підхід
- підходи
- відповідний
- додатка
- архітектура
- ЕСТЬ
- ПЛОЩА
- області
- аргумент
- навколо
- Art
- статті
- штучний
- штучний інтелект
- AS
- запитати
- оцінка
- Помічник
- астронавт
- At
- аудиторія
- влада
- Автоматизований
- доступний
- уникнути
- нагородами
- AWS
- Консоль управління AWS
- назад
- збалансований
- база
- заснований
- основний
- дозування
- Байєсівський
- BE
- оскільки
- перед тим
- починати
- за
- буття
- переконанням
- вважає,
- нижче
- бенчмаркінг
- тести
- користь
- крім
- КРАЩЕ
- Краще
- між
- зміщення
- упередження
- Мільярд
- мільярди
- BLADE
- Блокувати
- Блог
- блоги
- Цвісти
- тіло
- книга
- книги
- Пробій
- блискучий
- приносити
- Приведення
- Приносить
- Зламаний
- бюджет
- будувати
- Створюємо
- побудований
- вбудований
- але
- button
- by
- календарі
- call
- званий
- CAN
- не може
- полотно
- можливості
- здатний
- карта
- випадок
- випадків
- Категорія
- обережність
- осередок
- виклик
- проблеми
- зміна
- характеристика
- вантажі
- чат
- Перевірки
- вибір
- вибір
- Вибирати
- Місто
- Цивілізація
- клас
- classic
- очистити
- Очищення
- очевидно
- клацання
- клуб
- Кластеризація
- код
- Кодування
- співробітництво
- приходить
- зазвичай
- порівняти
- порівняний
- порівняння
- порівняння
- сумісний
- повний
- складності
- складність
- дотримуватися
- комп'ютер
- Комп'ютерне бачення
- концепція
- поняття
- одночасно
- конференції
- конфігурація
- Конфлікти
- Наслідки
- Вважати
- міркування
- беручи до уваги
- послідовно
- складається
- Консоль
- постійна
- обмеження
- контакт
- містити
- Контейнер
- містить
- боротися
- зміст
- контекст
- постійно
- контроль
- контроль
- Розмова
- діалоговий
- розмови
- конвертувати
- перетворення
- Прохолодно
- правильно
- витрати
- може
- створювати
- створення
- Креатив
- творець
- кросворд
- Куратор
- цікавий
- Поточний
- Клієнти
- настройка
- щодня
- танець
- темно
- дані
- набори даних
- день
- рішення
- глибокий
- глибоке навчання
- глибше
- Deepmind
- дефолт
- визначати
- Визначає
- заглиблюватися
- заглиблюється
- демонстрація
- залежати
- розгортання
- розгорнути
- розгортання
- розгортання
- БУДУВАТИ
- дизайн
- проектування
- бажаний
- деталь
- докладно
- деталі
- Визначати
- розвивати
- розвиненою
- Розробник
- розвивається
- розробка
- пристрій
- діагностування
- Діалог
- відрізняються
- Відмінності
- різний
- цифровий
- цифрове мистецтво
- безпосередньо
- каталог
- відкрити
- обговорення
- обговорення
- хвороби
- занурення
- Різне
- різноманітність
- ділити
- do
- документ
- документальні фільми
- робить
- домен
- домени
- зроблений
- вниз
- скачати
- два
- Герцог
- герцогський університет
- під час
- Пилу
- дистопія
- кожен
- земля
- легше
- ефективність
- вісім
- Імперія
- включіть
- дозволяє
- дозволяє
- зіткнення
- заохочує
- кінець в кінець
- Кінцева точка
- залучення
- інженер
- Підсилює
- користуватися
- приємний
- забезпечувати
- Навколишнє середовище
- EPIC
- помилки
- істотний
- встановити
- етичний
- оцінювати
- оцінки
- оцінка
- врешті-решт
- Кожен
- приклад
- Приклади
- збуджений
- комплексний
- експонати
- існування
- існуючий
- Розширювати
- очікуваний
- дорогий
- досвід
- експеримент
- experts
- дослідити
- досліджує
- Дослідження
- Face
- справедливість
- false
- сім'я
- швидше
- особливість
- зворотний зв'язок
- ноги
- кілька
- поле
- боротися
- філе
- в кінці кінців
- знайти
- результати
- кінець
- Перший
- перший контакт
- відповідати
- п'ять
- спалах
- політ
- фокусується
- після
- слідує
- для
- назавжди
- формат
- фонд
- Рамки
- відвертий
- від
- функція
- функціональні можливості
- функціональність
- функціонування
- далі
- майбутнє
- футуристичний
- Games
- збирати
- Близнюки
- породжує
- генеративний
- Генеративний ШІ
- жанр
- Жанри
- отримати
- GitHub
- Давати
- даний
- Go
- Цілі
- буде
- добре
- Google,
- є
- GPU
- благодать
- поступово
- великий
- велика сила
- Group
- гарантії
- Охорона
- керівництво
- керівництво
- керівництво
- рука
- збруя
- Мати
- he
- висота
- привіт
- допомога
- допомагає
- її
- тут
- прихований
- його
- історія
- надія
- відбувся
- Як
- How To
- Однак
- HTML
- HTTPS
- Концентратор
- концентратори
- HuggingFace
- людина
- Людство
- Людей
- i
- ID
- ідея
- ідентифікувати
- if
- Іллінойс
- зображень
- Impact
- здійснювати
- реалізація
- імпорт
- важливо
- удосконалювати
- поліпшення
- поліпшення
- поліпшення
- in
- включати
- У тому числі
- включення
- Augmenter
- незалежний
- промисловість
- галузеві стандарти
- вплив
- інформація
- Інформаційний
- Інфраструктура
- винахідливість
- інновація
- вхід
- витрати
- Запити
- розуміння
- натхненний
- екземпляр
- замість
- інтегрувати
- інтегрований
- Інтелект
- намір
- взаємодія
- інтереси
- інтерфейс
- перетин
- в
- вводити
- інтуїтивний
- залучати
- залучений
- включає в себе
- IT
- пунктів
- ЙОГО
- жаргон
- приєднатися
- журнал
- подорож
- JPG
- json
- просто
- тримати
- Дитина
- Знати
- знання
- відомий
- затока
- посадка
- ландшафт
- мова
- великий
- більше
- Затримка
- запущений
- Законодавство
- провідний
- УЧИТЬСЯ
- вивчення
- вчиться
- догляд
- довжина
- дозволяти
- рівень
- Важіль
- ліцензія
- ліцензії
- життя
- блискавка
- Швидкість блискавки
- легкий
- як
- Сподобалося
- Лінія
- ліній
- список
- слухати
- Прослуховування
- слухає
- Лама
- загрузка
- місцевий
- розташування
- подивитися
- шукати
- ВИГЛЯДИ
- в
- Лос-Анджелес
- знизити
- машина
- навчання за допомогою машини
- Більшість
- зробити
- malicious
- управління
- вручну
- багато
- позначити
- березня
- математика
- максимальний
- Може..
- me
- сенс
- значення
- заходи
- Медіа
- медицина
- засідання
- згаданий
- повідомлення
- повідомлення
- метод
- Майкл
- може бути
- mind
- хвилин
- ML
- модель
- Моделі
- Модулі
- монітор
- моніторинг
- більше
- найбільш
- кіно
- музика
- повинен
- my
- таємничий
- ім'я
- Названий
- Природний
- Обробка природних мов
- природа
- необхідно
- Необхідність
- необхідний
- потреби
- мереж
- нервовий
- нейронні мережі
- ніколи
- Нові
- Нью-Йорк
- Нью-Йорк
- ніч
- немає
- увагу
- ноутбук
- роман
- зараз
- номер
- оазис
- об'єкт
- цілей
- спостерігати
- of
- Пропозиції
- часто
- on
- один раз
- ONE
- постійний
- тільки
- оперативний
- Можливості
- оптимізація
- Оптимізувати
- Опції
- or
- порядок
- походження
- OS
- Інше
- інші
- з
- Результат
- Результати
- вихід
- над
- власний
- сторінка
- документи
- Паралельні
- параметр
- параметри
- приватність
- особливо
- Сторони
- проходити
- Проходження
- Минуле
- шлях
- моделі
- Пол
- Люди
- для
- Виконувати
- продуктивність
- виконанні
- виступає
- персонал
- перспективи
- Вчений ступінь
- фрази
- фізик
- пілот
- місце
- планета
- плани
- plato
- Інформація про дані Платона
- PlatoData
- Play
- гравець
- будь ласка
- точка
- точок
- політичний
- популярний
- населення
- пошта
- потенціал
- влада
- практика
- практики
- Прогнози
- Прогноз
- переваги
- підготовка
- досить
- раніше
- Князь
- Головний
- друк
- процес
- Оброблено
- процеси
- обробка
- Production
- програма
- прогрес
- проект
- підказок
- правильний
- процвітання
- забезпечувати
- провайдери
- забезпечує
- громадськість
- публічно
- опублікований
- цілей
- Пазли
- Python
- піторх
- якість
- запити
- запит
- пошук
- питання
- питань
- швидко
- досить
- Гонки
- наслідки
- діапазон
- швидше
- Сировина
- досягнення
- Читати
- читання
- Реальний світ
- Реальність
- насправді
- царство
- причина
- отримати
- останній
- Рекомендація
- рекомендації
- рекомендуючи
- повторювані
- посилання
- посилання на
- Відображає
- регулярно
- правила
- пов'язаний
- випущений
- доречний
- запам'ятати
- повторювати
- представляє
- запитів
- вимагається
- Вимога
- дослідження
- дослідник
- Реагувати
- відповідаючи
- відповідь
- відповіді
- відповідальність
- відповідальний
- результат
- результати
- огляд
- Винагороджувати
- Зростання
- міцний
- стійкість
- Роль
- рутина
- королівський
- Правила
- прогін
- пробіжки
- s
- безпечніше
- мудрець
- Висновок SageMaker
- то ж
- зберегти
- say
- масштабовані
- шкала
- ваги
- Масштабування
- сценарії
- науково-фантастичний
- наука
- вчений
- Вчені
- сфера
- подряпати
- сценарій
- scripts
- Sdk
- безшовні
- Грати короля карти - безкоштовно Nijumi логічна гра гри
- другий
- секрети
- розділ
- безпечний
- побачити
- вибрати
- обраний
- вибирає
- вибір
- відправка
- старший
- окремий
- Послідовність
- Серія
- Серія A
- Послуги
- виступаючої
- Сесія
- комплект
- набори
- установка
- кілька
- загальні
- Повинен
- Показувати
- показав
- показ
- показаний
- Шоу
- сторона
- аналогічний
- простий
- один
- Розмір
- розміри
- навички
- So
- соціальна
- суспільство
- Софтвер
- Інженер-програміст
- рішення
- Рішення
- деякі
- Джерела
- Іскри
- конкретний
- швидкість
- Витрати
- витрачає
- стояти
- стандартів
- почалася
- Починаючи
- стан
- впроваджений
- Заява
- статистичний
- Крок
- заходи
- Як і раніше
- історії
- буря
- Історія
- дивний
- Стратегічний
- стратегії
- рядок
- сильний
- студія
- Вивчення
- підписуватися
- субтитри
- успішний
- такі
- підходящий
- підтримка
- Підтриманий
- Підтримуючий
- Опори
- Переконайтеся
- виживати
- система
- таблиця
- Приймати
- приймає
- розповідь
- Мета
- цілі
- Завдання
- завдання
- команда
- команди
- техніка
- методи
- Технологія
- шаблон
- Шаблони
- тензорний потік
- terms
- тест
- перевірений
- Тестування
- текст
- ніж
- Що
- Команда
- Площа
- Майбутнє
- світ
- їх
- Їх
- самі
- потім
- Там.
- отже
- Ці
- вони
- третій
- треті сторони
- третя сторона
- це
- ті
- думка
- спонукає до роздумів
- тисяча
- захоплюючий
- через
- пропускна здатність
- час
- Часовий ряд
- подорож у часі
- Терміни
- times
- до
- знак
- маркування
- Жетони
- сказав
- інструмент
- інструменти
- тема
- Усього:
- трек
- традиційний
- поїзд
- навчений
- Навчання
- переклад
- Передача
- трансформатор
- Переклад
- подорожувати
- трильйон
- правда
- намагатися
- мелодія
- налаштований
- настройка
- tv
- два
- тип
- Типи
- типовий
- типово
- ui
- Зрештою
- розкрити
- при
- розуміти
- розуміння
- незнайомий
- Всесвіт
- університет
- неперевершений
- до
- відкриття
- оновлений
- Updates
- оновлення
- us
- юзабіліті
- Використання
- використання
- використання випадку
- використовуваний
- користувач
- зручно
- користувачі
- використовує
- використання
- перевірка достовірності
- Цінності
- різноманітність
- різний
- підприємство
- версія
- вид
- Віртуальний
- Віртуальна реальність
- бачення
- візит
- візуальний
- візуальні медіа
- обсяг
- ходити
- хотіти
- гарантії
- було
- годинник
- спостереження
- шлях..
- способи
- we
- Web
- веб-сервіси
- Web-Based
- week
- ДОБРЕ
- Wells
- Що
- Що таке
- коли
- коли б ні
- Чи
- який
- ВООЗ
- широкий
- широко
- віджет
- волі
- мудрість
- з
- в
- без
- слово
- слова
- Work
- робочий
- робочий
- світ
- запис
- лист
- X
- йорк
- Ти
- молодий
- вашу
- себе
- зефірнет