Amazon SageMaker JumpStart це центр машинного навчання (ML), який може допомогти вам прискорити вашу подорож до ML. За допомогою SageMaker JumpStart ви можете виявляти та розгортати загальнодоступні та пропрієтарні моделі основи для виділених Amazon SageMaker екземпляри для ваших генеративних програм ШІ. SageMaker JumpStart дозволяє розгортати базові моделі в ізольованому мережевому середовищі та не передає дані навчання клієнтів і висновків постачальникам моделей.
У цій публікації ми розповідаємо, як розпочати роботу з пропрієтарними моделями від постачальників моделей, таких як AI21, Cohere та LightOn від Студія Amazon SageMaker. SageMaker Studio — це середовище для ноутбуків, у якому клієнти SageMaker, спеціалісти з обробки даних, оцінюють і створюють моделі для своїх наступних генеративних програм ШІ.
Моделі основи в SageMaker
Основні моделі — це великомасштабні моделі ML, які містять мільярди параметрів і попередньо навчені на терабайтах текстових і графічних даних, щоб ви могли виконувати широкий спектр завдань, наприклад підсумовувати статті та генерувати текст, зображення чи відео. Оскільки базові моделі проходять попередню підготовку, вони можуть допомогти знизити витрати на навчання та інфраструктуру, а також уможливити налаштування для вашого випадку використання.
SageMaker JumpStart пропонує два типи моделей основи:
- Власні моделі – Ці моделі надійшли від таких постачальників, як AI21 з моделями Jurassic-2, Cohere з Cohere Command і LightOn з Mini, навченим власним алгоритмам і даним. Ви не можете переглядати такі артефакти моделі, як вага та сценарії, але все одно можете розгортати екземпляри SageMaker для висновків.
- Загальнодоступні моделі – Це з популярних центрів моделей, таких як Hugging Face зі стабільною дифузією, Falcon і FLAN, навчених на загальнодоступних алгоритмах і даних. Для цих моделей користувачі мають доступ до артефактів моделі та можуть точно налаштувати власні дані перед розгортанням для висновку.
Відкрийте для себе моделі
Ви можете отримати доступ до базових моделей через SageMaker JumpStart в інтерфейсі користувача SageMaker Studio та SageMaker Python SDK. У цьому розділі ми розглянемо, як знайти моделі в інтерфейсі SageMaker Studio.
SageMaker Studio — це веб-інтегроване середовище розробки (IDE) для ML, яке дозволяє створювати, навчати, налагоджувати, розгортати та контролювати ваші моделі ML. Докладніше про те, як розпочати роботу та налаштувати SageMaker Studio, див Студія Amazon SageMaker.
Увійшовши в інтерфейс SageMaker Studio, ви можете отримати доступ до SageMaker JumpStart, який містить попередньо навчені моделі, блокноти та готові рішення, у розділі Готові та автоматизовані рішення.
На цільовій сторінці SageMaker JumpStart ви можете переглядати рішення, моделі, блокноти та інші ресурси. На наступному знімку екрана показано приклад цільової сторінки з перерахованими рішеннями та моделями основи.
Кожна модель має картку моделі, як показано на наступному знімку екрана, яка містить назву моделі, якщо її можна точно налаштувати чи ні, назву постачальника та короткий опис моделі. Ви також можете відкрити картку моделі, щоб дізнатися більше про модель і почати навчання чи розгортання.
Підпишіться на AWS Marketplace
Власні моделі в SageMaker JumpStart публікують такі постачальники моделей, як AI21, Cohere та LightOn. Власні моделі можна ідентифікувати за тегом «Proprietary» на картках моделей, як показано на наступному знімку екрана.
Ви можете вибрати Переглянути блокнот на картці моделі, щоб відкрити блокнот у режимі лише для читання, як показано на наступному знімку екрана. Ви можете прочитати блокнот, щоб отримати важливу інформацію щодо попередніх умов та інші інструкції з використання.
Після імпорту блокнота вам потрібно вибрати відповідне середовище блокнота (образ, ядро, тип екземпляра тощо), перш ніж запускати коди. Ви також повинні дотримуватися інструкцій щодо підписки та використання для вибраного ноутбука.
Перш ніж використовувати запатентовану модель, вам потрібно спочатку підписатися на модель від Торговий майданчик AWS:
- Відкрийте сторінку списку моделей в AWS Marketplace.
URL-адресу наведено в Важливий розділ блокнота, або ви можете отримати доступ до нього з Сторінка служби SageMaker JumpStart. Сторінка списку містить огляд, ціни, використання та інформацію про підтримку моделі.
- У списку AWS Marketplace виберіть Продовжуйте підписуватися.
Якщо у вас немає необхідних дозволів для перегляду або підписки на модель, зверніться до свого ІТ-адміністратора або контактної особи з питань закупівель, щоб підписатися на модель. Багато підприємств можуть обмежувати дозволи AWS Marketplace, щоб контролювати дії, які хтось із цими дозволами може виконувати на порталі керування AWS Marketplace.
- на Підпишіться на цю сторінку програмного забезпечення, перегляньте деталі та виберіть Прийміть пропозицію якщо ви та ваша організація згодні з Ліцензійною угодою, цінами та умовами підтримки.
Якщо у вас виникли запитання чи запит на знижку на обсяг, зв’яжіться безпосередньо з постачальником моделі за допомогою електронної адреси служби підтримки, указаної на сторінці інформації, або зв’яжіться зі своєю командою облікового запису AWS.
- Вибирати Продовжити налаштування і виберіть регіон.
Ви побачите, що відображається ARN продукту. Це ARN пакета моделі, який потрібно вказати під час створення розгорнутої моделі за допомогою Boto3.
- Скопіюйте ARN, що відповідає вашому Регіону, і вкажіть його в інструкції клітинки блокнота.
Вибірковий висновок із зразковими підказками
Давайте розглянемо деякі зразки фундаментних моделей від A21 Labs, Cohere та LightOn, які можна знайти за допомогою SageMaker JumpStart у SageMaker Studio. Усі вони мають однакові інструкції щодо підписки на AWS Marketplace, а також імпорту та налаштування ноутбука.
АІ21 Підведіть підсумки
Модель Summarize від A121 Labs звужує довгі тексти до коротких, легких для читання фрагментів, які фактично відповідають джерелу. Модель навчена генерувати резюме, які фіксують ключові ідеї на основі тексту. Це не вимагає жодних підказок. Ви просто вводите текст, який потрібно підсумувати. Ваш вихідний текст може містити до 50,000 10,000 символів, що означає приблизно 40 XNUMX слів або вражаючих XNUMX сторінок.
Зразок блокнота для моделі AI21 Summarize містить важливі передумови, яких потрібно дотримуватися. Наприклад, модель підписана на AWS Marketplace, має відповідні дозволи для ролей IAM і необхідну версію boto3 тощо. Це допоможе вам вибрати пакет моделі, створити кінцеві точки для висновку в реальному часі, а потім очистити.
Вибраний пакет моделі містить зіставлення ARN з регіонами. Це інформація, яку ви зібрали після вибору Продовжити налаштування на сторінці підписки на AWS Marketplace (у розділі Оцініть і підпишіться на Marketplace), а потім виберіть регіон, для якого ви побачите відповідний ARN продукту.
Блокнот може мати вже попередньо заповнений ARN.
Потім ви імпортуєте деякі бібліотеки, необхідні для запуску цього блокнота та інсталяції wikipedia, яка є бібліотекою Python, яка полегшує доступ і аналіз даних з Wikipedia. Блокнот використає це пізніше, щоб продемонструвати, як узагальнити довгий текст із Вікіпедії.
Ноутбук також продовжує установку ai21
Python SDK, який є оболонкою для SageMaker API, наприклад deploy
та invoke endpoint
.
У наступних кількох клітинках блокнота описано наступні кроки:
- Виберіть Регіон і витягніть ARN пакета моделі з карти пакетів моделі
- Створіть свою кінцеву точку висновку, вибравши тип екземпляра (залежно від варіанту використання та підтримуваного екземпляра для моделі; див. Спеціальні моделі для отримання додаткової інформації), щоб запустити модель
- Створіть розгорнуту модель із пакета моделей
Давайте запустимо висновок, щоб створити короткий виклад одного абзацу зі статті новин. Як ви бачите у вихідних даних, узагальнений текст представляється моделлю як вихідні дані.
AI21 Summarize може обробляти введення до 50,000 10,000 символів. Це приблизно 40 XNUMX слів або XNUMX сторінок. Для демонстрації поведінки моделі ми завантажуємо сторінку з Вікіпедії.
Тепер, коли ви виконали висновок у реальному часі для тестування, вам може більше не знадобитися кінцева точка. Ви можете видалити кінцеву точку, щоб уникнути стягнення плати.
Команда Cohere
Cohere Command — це генеративна модель, яка добре реагує на підказки, схожі на інструкції. Ця модель забезпечує компаніям найкращу якість, продуктивність і точність у всіх генеративних завданнях. Ви можете використовувати командну модель Cohere, щоб активізувати роботу з копірайтингу, розпізнавання іменованих об’єктів, перефразування чи узагальнення та вивести їх на наступний рівень.
Зразок блокнота для моделі Cohere Command містить важливі передумови, яких потрібно дотримуватися. Наприклад, модель підписана на AWS Marketplace, має відповідні дозволи для ролей IAM і необхідну версію boto3 тощо. Це допоможе вам вибрати пакет моделі, створити кінцеві точки для висновку в реальному часі, а потім очистити.
Деякі із завдань подібні до тих, що описані в попередньому прикладі блокнота, як-от встановлення Boto3, встановлення cohere-sagemaker
(пакет забезпечує функціональність, розроблену для спрощення взаємодії з моделлю Cohere), а також отримання сеансу та регіону.
Давайте дослідимо створення кінцевої точки. Ви надаєте ARN пакета моделі, назву кінцевої точки, тип екземпляра, який буде використано, і кількість екземплярів. Після створення кінцева точка з’явиться у вашому кінцева точка розділ SageMaker.
Тепер давайте виконаємо логічний висновок, щоб побачити деякі вихідні дані моделі Command.
На наступному знімку екрана показано зразок створення оголошення про роботу та його результат. Як бачите, модель згенерувала допис із заданого підказки.
Тепер розглянемо наступні приклади:
- Створіть опис товару
- Створіть основний абзац допису в блозі
- Створіть електронний лист для контактів
Як бачите, модель Cohere Command згенерувала текст для різних генеративних завдань.
Тепер, коли ви виконали висновок у реальному часі для тестування, вам може більше не знадобитися кінцева точка. Ви можете видалити кінцеву точку, щоб уникнути стягнення плати.
LightOn Міні-інструкція
Mini-instruct, модель штучного інтелекту з 40 мільярдами мільярдів параметрів, створена LightOn, є потужною багатомовною системою штучного інтелекту, яка була навчена з використанням високоякісних даних з багатьох джерел. Він створений для розуміння природної мови та реагування на команди, які відповідають вашим потребам. Він чудово працює в споживчих продуктах, таких як голосові помічники, чат-боти та розумні пристрої. Він також має широкий спектр бізнес-додатків, включаючи допомогу агентам і створення природної мови для автоматизованого обслуговування клієнтів.
Зразок блокнота для моделі LightOn Mini-instruct містить важливі передумови, яких необхідно дотримуватися. Наприклад, модель підписана на AWS Marketplace, має відповідні дозволи для ролей IAM і необхідну версію boto3 тощо. Це допоможе вам вибрати пакет моделі, створити кінцеві точки для висновку в реальному часі, а потім очистити.
Деякі із завдань подібні до тих, що описані в попередньому прикладі блокнота, як-от встановлення Boto3 і отримання регіону сеансу.
Давайте розглянемо створення кінцевої точки. По-перше, надайте ARN пакета моделі, назву кінцевої точки, тип екземпляра, який буде використано, і кількість екземплярів. Після створення кінцева точка з’являється у вашому розділі кінцевої точки SageMaker.
Тепер давайте спробуємо зробити висновок про модель, попросивши її створити список ідей для статей на тему, в даному випадку акварель.
Як бачите, модель міні-інструкцій LightOn змогла надати згенерований текст на основі заданого підказки.
Прибирати
Після того, як ви перевірили моделі та створили кінцеві точки вище для прикладів пропрієтарних моделей Foundation, переконайтеся, що ви видалили кінцеві точки висновку SageMaker і видалили моделі, щоб уникнути стягнення плати.
Висновок
У цій публікації ми показали вам, як розпочати роботу з пропрієтарними моделями від таких постачальників моделей, як AI21, Cohere та LightOn у SageMaker Studio. Клієнти можуть відкривати та використовувати власну базову модель у SageMaker JumpStart від Studio, SDK SageMaker і консолі SageMaker. Завдяки цьому вони мають доступ до великомасштабних моделей ML, які містять мільярди параметрів і попередньо навчені на терабайтах текстових і графічних даних, щоб клієнти могли виконувати широкий спектр завдань, таких як узагальнення статей і генерація тексту, зображень або відео. Оскільки базові моделі попередньо навчені, вони також можуть допомогти знизити витрати на навчання та інфраструктуру, а також уможливити налаштування для вашого випадку використання.
ресурси
Про авторів
Джун Вон є менеджером із продуктів SageMaker JumpStart. Він зосереджується на тому, щоб базові моделі легко знаходити та використовувати, щоб допомогти клієнтам створювати генеративні додатки ШІ.
Мані Хануджа є спеціалістом із штучного інтелекту та машинного навчання SA в Amazon Web Services (AWS). Вона допомагає клієнтам, які використовують машинне навчання, щоб вирішувати їхні бізнес-задачі за допомогою AWS. Вона проводить більшу частину свого часу, глибоко занурюючись і навчаючи клієнтів проектам AI/ML, пов’язаним з комп’ютерним баченням, обробкою природної мови, прогнозуванням, машинним навчанням на межі тощо. Вона захоплюється ML at edge, тому вона створила власну лабораторію з автономним комплектом і виробничою лінією для виробництва прототипів, де проводить багато свого вільного часу.
Нітін Євсевій є старшим архітектором корпоративних рішень в AWS з досвідом розробки програмного забезпечення, корпоративної архітектури та AI/ML. Він працює з клієнтами, допомагаючи їм створювати добре архітектурні програми на платформі AWS. Він захоплений вирішенням технологічних завдань і допомогою клієнтам у їхній хмарній подорожі.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. Автомобільні / електромобілі, вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- BlockOffsets. Модернізація екологічної компенсаційної власності. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/use-proprietary-foundation-models-from-amazon-sagemaker-jumpstart-in-amazon-sagemaker-studio/
- : має
- :є
- : ні
- :де
- $UP
- 000
- 10
- 100
- 40
- 50
- 500
- 7
- 87
- a
- Здатний
- МЕНЮ
- вище
- прискорювати
- доступ
- рахунки
- точність
- дії
- адмін
- після
- Агент
- AI
- AI / ML
- алгоритми
- ВСІ
- дозволяє
- вже
- Також
- Amazon
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Студія Amazon SageMaker
- Amazon Web Services
- Веб-служби Amazon (AWS)
- an
- та
- та інфраструктури
- будь-який
- більше
- Інтерфейси
- з'являється
- техніка
- застосування
- відповідний
- архітектура
- ЕСТЬ
- навколо
- стаття
- статті
- штучний
- штучний інтелект
- Штучний інтелект і машинне навчання
- AS
- Допомога
- помічники
- At
- Автоматизований
- доступний
- уникнути
- AWS
- Торговий майданчик AWS
- заснований
- BE
- оскільки
- було
- перед тим
- буття
- КРАЩЕ
- Мільярд
- мільярди
- Блог
- тіло
- будувати
- побудований
- бізнес
- Бізнес-додатки
- підприємства
- але
- by
- CAN
- захоплення
- захоплений
- карта
- Cards
- який
- випадок
- Клітини
- проблеми
- символи
- стягується
- вантажі
- chatbots
- Вибирати
- Вибираючи
- хмара
- Коди
- комп'ютер
- Комп'ютерне бачення
- послідовний
- Консоль
- споживач
- Споживчі товари
- контакт
- містити
- містить
- контроль
- Копірайтинг
- Відповідний
- витрати
- покритий
- створювати
- створений
- створення
- клієнт
- Клієнти
- настройка
- дані
- вчений даних
- присвячених
- глибокий
- Залежно
- розгортання
- розгортання
- розгортання
- description
- деталь
- деталі
- розвиненою
- розробка
- радіомовлення
- безпосередньо
- Знижка
- відкрити
- displayed
- Ні
- Не знаю
- легко
- легко
- край
- зусилля
- включіть
- Кінцева точка
- Машинобудування
- підприємство
- підприємств
- суб'єкта
- Навколишнє середовище
- і т.д.
- оцінювати
- приклад
- Приклади
- досвід
- дослідити
- Face
- кілька
- Перший
- фокусується
- стежити
- потім
- після
- для
- фонд
- Безкоштовна
- від
- функціональність
- породжувати
- генерується
- породжує
- покоління
- генеративний
- Генеративний ШІ
- отримати
- отримання
- даний
- Go
- обробляти
- Мати
- he
- допомога
- допомогу
- допомагає
- її
- високоякісний
- Як
- How To
- HTML
- HTTPS
- Концентратор
- ідеї
- ідентифікувати
- if
- зображення
- імпорт
- важливо
- імпорт
- вражаючий
- in
- У тому числі
- інформація
- Інфраструктура
- вхід
- витрати
- встановлювати
- установка
- екземпляр
- інструкції
- інтегрований
- Інтелект
- в
- ізольований
- IT
- ЙОГО
- робота
- подорож
- JPG
- ключ
- lab
- Labs
- посадка
- мова
- масштабний
- пізніше
- УЧИТЬСЯ
- вивчення
- дозволяє
- рівень
- libraries
- бібліотека
- як
- МЕЖА
- Лінія
- список
- Перераховані
- список
- загрузка
- Довго
- подивитися
- серія
- знизити
- машина
- навчання за допомогою машини
- зробити
- РОБОТИ
- Робить
- управління
- менеджер
- виробництво
- багато
- відображення
- ринку
- Може..
- ML
- режим
- модель
- Моделі
- монітор
- більше
- найбільш
- ім'я
- Названий
- Природний
- Обробка природних мов
- необхідно
- Необхідність
- потреби
- мережу
- новини
- наступний
- ноутбук
- номер
- численний
- of
- on
- один раз
- відкрити
- or
- організація
- Інше
- з
- вихід
- пропаганда
- над
- огляд
- власний
- пакет
- сторінка
- параметри
- пристрасний
- Виконувати
- продуктивність
- виконується
- виступає
- Дозволи
- платформа
- plato
- Інформація про дані Платона
- PlatoData
- точка
- популярний
- Портал
- пошта
- потужний
- передумови
- представлений
- попередній
- ціни без прихованих комісій
- попередній
- надходження
- обробка
- придбання
- Product
- менеджер по продукції
- Production
- Продукти
- проектів
- власником
- прототип
- забезпечувати
- за умови
- Постачальник
- провайдери
- забезпечує
- публічно
- опублікований
- Python
- якість
- питань
- діапазон
- досягати
- Реагувати
- Читати
- Режим лише для читання
- реального часу
- визнання
- про
- регіон
- райони
- пов'язаний
- залишатися
- запросити
- вимагати
- вимагається
- ресурси
- огляд
- ролі
- грубо
- прогін
- біг
- SA
- мудрець
- Висновок SageMaker
- то ж
- вчений
- scripts
- Sdk
- розділ
- побачити
- обраний
- вибирає
- самостійне водіння
- обслуговування
- Послуги
- Сесія
- комплект
- Поділитись
- вона
- Короткий
- Повинен
- демонстрації
- показав
- показаний
- Шоу
- аналогічний
- спростити
- просто
- один
- розумний
- So
- Софтвер
- розробка програмного забезпечення
- Рішення
- ВИРІШИТИ
- Розв’язування
- деякі
- Хтось
- Source
- Джерела
- спеціаліст
- конкретний
- стабільний
- старт
- почалася
- заходи
- Як і раніше
- студія
- підписуватися
- передплата
- такі
- підсумовувати
- РЕЗЮМЕ
- підтримка
- Підтриманий
- система
- TAG
- Приймати
- прийняті
- завдання
- Навчання
- команда
- Технологія
- terms
- перевірений
- Тестування
- Що
- Команда
- інформація
- Джерело
- їх
- Їх
- потім
- отже
- Ці
- вони
- це
- ті
- через
- час
- до
- тема
- поїзд
- навчений
- Навчання
- намагатися
- два
- тип
- Типи
- ui
- при
- розуміти
- URL
- корисний
- Використання
- використання
- використання випадку
- використовуваний
- користувачі
- використовує
- використання
- різний
- версія
- через
- Відео
- вид
- бачення
- Голос
- обсяг
- було
- we
- Web
- веб-сервіси
- Web-Based
- вага
- ДОБРЕ
- який
- в той час як
- широкий
- Широкий діапазон
- Вікіпедія
- волі
- з
- слова
- працює
- Ти
- вашу
- зефірнет