Модель LightOn Lyra-fr тепер доступна на Amazon SageMaker

Ми раді повідомити про доступність моделі основи LightOn Lyra-fr для клієнтів, які використовують Amazon SageMaker. LightOn є лідером у створенні базових моделей, що спеціалізується на європейських мовах. Lyra-fr — це найсучасніша французька мовна модель, яку можна використовувати для створення розмовного ШІ, інструментів копірайтингу, текстових класифікаторів, семантичного пошуку тощо. Ви можете легко випробувати цю модель і використовувати її з Amazon SageMaker JumpStart. JumpStart — це центр машинного навчання (ML) SageMaker, який надає доступ до основних моделей на додаток до вбудованих алгоритмів і наскрізних шаблонів рішень, щоб допомогти вам швидко розпочати роботу з ML.

У цьому блозі ми продемонструємо, як використовувати модель Lyra-fr у SageMaker.

Моделі фундаменту

Основні моделі, як правило, навчаються на мільярдах параметрів і адаптуються до широкої категорії випадків використання. Найвідоміші сьогодні моделі основи використовуються для підсумовування статей, створення цифрового мистецтва та створення коду з простих текстових інструкцій. Ці моделі є дорогими для навчання, тому клієнти хочуть використовувати існуючі попередньо навчені базові моделі та налаштовувати їх за потреби, а не навчати ці моделі самостійно. SageMaker надає підібраний список моделей, які можна вибрати на консолі SageMaker. Ви можете протестувати ці моделі безпосередньо у веб-інтерфейсі. Якщо ви хочете використовувати базову модель у великому масштабі, ви можете зробити це легко, не виходячи з SageMaker, використовуючи попередньо зібрані блокноти від постачальників моделей. Оскільки моделі розміщуються та розгортаються на AWS, ви можете бути впевнені, що ваші дані, незалежно від того, чи використовуються вони для оцінки чи використання моделі в масштабі, ніколи не передаються третім особам.

Lyra-fr — це найбільша модель французької мови, доступна сьогодні на ринку. Це модель із 10 мільярдами параметрів, навчена та доступна LightOn. Lyra-fr навчався на великому корпусі французьких кураторських даних, і він здатний писати людський текст і розв’язувати складні завдання, такі як класифікація, відповіді на запитання та резюмування. Усе це при збереженні розумної швидкості виведення, в діапазоні 1–2 секунд для середнього запиту. Ви можете просто описати завдання, яке хочете виконати, природною мовою, і Lyra-fr згенерує відповіді рівня носія французької мови. Lyra-fr пропонує готові для бізнесу примітиви інтелекту, такі як керована генерація та класифікація тексту, лише в кількох рядках коду. Для більш складних завдань продуктивність можна покращити в режимі навчання «кілька кадрів», надавши у підказці кілька прикладів введення-виведення.

Використання Lyra-fr на SageMaker

Ми розповімо вам, як використовувати модель Lyra-fr у 3 прості кроки:

• Відкрийте для себе – Знайдіть модель Lyra-fr на консолі керування AWS для SageMaker.
• Тест – Перевірте модель за допомогою веб-інтерфейсу.
• Розгортання – Використовуйте ноутбук для розгортання та тестування розширених можливостей моделі.

Відкрийте для себе

Щоб полегшити пошук таких моделей фундаментів, як Lyra-fr, ми зібрали всі моделі фундаментів в одному місці. Щоб знайти модель Lyra-fr:

1. Увійдіть у Консоль керування AWS для SageMaker.
2. На лівій панелі навігації ви повинні побачити розділ під назвою Поштовх з Моделі фундаменту під ним. Надішліть запит на доступ до цієї функції, якщо у вас його ще немає.
3. Коли ваш обліковий запис буде внесено в білий список, ви побачите список моделей праворуч. Тут ви знайдете модель Lyra-fr 10B.
   
4. Натискання на Переглянути модель покаже повну картку моделі з додатковими параметрами.
   

Тест

Звичайним випадком використання є запуск спеціальних тестів, щоб переконатися, що модель відповідає вашим потребам. Ви можете протестувати модель Lyra-fr безпосередньо з консолі SageMaker. У цьому прикладі ми використаємо просту текстову підказку, попросивши модель створити список ідей статей на тему «акварель» або «l'aquarelle» французькою мовою.

1. З картки моделі, показаної в попередньому розділі, виберіть Спробуйте модель. Відкриється нова вкладка з тестовим інтерфейсом.
2. У цьому інтерфейсі введіть текст, який ви хочете передати моделі. Ви також можете налаштувати будь-які потрібні параметри за допомогою повзунків праворуч. Коли ви будете задоволені, виберіть Згенерувати текст.
   

Зауважте, що базові моделі та їхній результат надходять від постачальника моделей, і AWS не несе відповідальності за їхній вміст або точність.

Розгортання

Моделі генерації тексту працюють найкраще, коли ви надаєте приклади інформації, яку хочете надати моделі. Це називається малократним навчанням. Ми продемонструємо цю можливість на прикладі блокнота Lyra-fr. Зразок блокнота розповідає про те, як розгорнути модель Lyra-fr на SageMaker, як узагальнювати та генерувати текст, а також короткочасне навчання.

Він також містить приклади створення запитів на висновок безпосередньо за допомогою JSON або за допомогою Lyra Python SDK. Lyra Python SDK піклується про форматування вхідних даних, виклик кінцевої точки та розпакування вихідних даних. Існує один клас для кожної кінцевої точки: Create, Analyze, Select, Embed, Compare та Tokenize. Зауважте, що в цьому прикладі використовується екземпляр ml.p4d.24xlarge. Якщо стандартним лімітом для вашого облікового запису AWS є 0, вам потрібно подати запит на збільшення ліміту для цього екземпляра GPU.

SageMaker пропонує керований ноутбук через SageMaker Studio. Докладніше про те, як налаштувати SageMaker Studio, див Посібник розробника Amazon SageMaker. У цій демонстрації ми збираємося клонувати це репозиторій GitHub у SageMaker Studio, але ноутбук також працюватиме в інших середовищах.

Давайте розглянемо, як запустити блокнот:

1. Перейдіть до картки моделі в розділі «Відкрити» в цій публікації блогу та виберіть Переглянути блокнот. Ви повинні побачити нову вкладку, відкриту в GitHub із записником Lyra-fr.
2. У GitHub виберіть lightonmuse-sagemaker-sdk; це приведе вас до репо. Виберіть код і скопіюйте URL-адресу HTTPS.
   
3. Відкрийте SageMaker Studio. Виберіть Клонуйте репозиторій а потім вставте URL-адресу, скопійовану вище.
   
4. Перейдіть до ноутбука Lyra-fr за допомогою браузера файлів ліворуч.
5. Цей блокнот працює наскрізно без додаткових вводів, а також очищає створені ним ресурси. Ми можемо поглянути на приклад «використання Create для аналізу настроїв». У цьому прикладі використовується Lyra Python SDK і демонструється невелике навчання шляхом навчання моделі кількома прикладами того, який текст слід класифікувати як позитивний (positifs), негативний (négatifs) або змішаний (mitigés).
6. Ви бачите, що з Lyra Python SDK все, що вам потрібно зробити, це вказати назву кінцевої точки SageMaker і вхідні дані. SDK обробляє весь аналіз, форматування та налаштування за вас.
   
7. Запуск цього запиту повертає, що останній оператор є позитивним.
   

Прибирати

Після перевірки кінцевої точки переконайтеся, що ви видалили кінцеву точку висновку SageMaker і видаліть модель, щоб уникнути стягнення плати.

Висновок

У цій публікації ми показали вам, як виявити, протестувати та розгорнути модель Lyra-fr за допомогою Amazon SageMaker. Запит на доступ до спробуйте модель основи у SageMaker сьогодні, і повідомте нам ваші відгуки!

---

Про авторів

Якопо Полі є технічним директором LightOn, відповідальним за стратегічний технічний вибір компанії щодо створення дуже великих мовних моделей і пропонування їх громадськості. Він захоплений демократизацією машинного навчання за допомогою інтуїтивно зрозумілих інтерфейсів. У вільний час він любить шукати найкращі ресторани Парижа.

Алан Тан є старшим менеджером із продуктів у SageMaker, керуючи зусиллями з виведення великих моделей. Він захоплений застосуванням машинного навчання в галузі аналітики. Поза роботою він любить прогулянки на природі.