Інститут технологічних інновацій тренує найсучаснішу модель фундаменту Falcon LLM 40B на Amazon SageMaker | Веб-сервіси Amazon

Цю публікацію в блозі написано спільно з доктором Ебтесамом Алмазруеї, виконавчим директором та виконувачем обов’язків головного дослідника AI-Cross Center Unit і керівником проектів LLM в TII.

Об'єднані Арабські Емірати (ОАЕ) Інститут технологічних інновацій (TII), стовп прикладних досліджень Абу-Дабі Дослідницька рада передових технологій, запустила Falcon LLM, фундаментальну модель великої мови (LLM) із 40 мільярдами параметрів. TII є провідним світовим дослідницьким центром, який займається розширенням кордонів знань. Команда вчених, дослідників та інженерів TII працює над впровадженням наукових відкриттів і трансформаційних технологій. Робота TII зосереджена на проривах, які забезпечать майбутнє нашого суспільства. Навчений на 1 трильйон токенів, TII Falcon LLM може похвалитися першокласною продуктивністю, залишаючись при цьому неймовірно економічно ефективним. Falcon-40B відповідає продуктивності інших високопродуктивних LLM і є найпопулярнішою моделлю з відкритим кодом у громадськості Таблиця лідерів Hugging Face Open LLM. Він доступний із відкритим вихідним кодом у двох різних розмірах – Falcon-40B і Falcon-7B і був створений з нуля за допомогою попередньої обробки даних і завдань навчання моделі, заснованих на Amazon SageMaker. Falcon 40B із відкритим кодом дає змогу користувачам створювати та налаштовувати інструменти штучного інтелекту, які задовольняють унікальні потреби користувачів, сприяючи бездоганній інтеграції та забезпечуючи довгострокове збереження активів даних. Ваги моделі доступні для завантаження, перевірки та розгортання будь-де.

Починаючи з 7 червня, обидва Falcon LLM також будуть доступні в Amazon SageMaker JumpStart, центрі машинного навчання (ML) SageMaker, який пропонує попередньо підготовлені моделі, вбудовані алгоритми та готові шаблони рішень, які допоможуть вам швидко розпочати роботу з ML. Ви можете розгорнути та використовувати Falcon LLM за допомогою кількох клацань миші Студія SageMaker або програмно через SageMaker Python SDK. Щоб розгорнути та виконати висновок щодо Falcon LLM, зверніться до Вступ до SageMaker JumpStart – генерація тексту за допомогою Falcon LLM зразок зошита.

Доктор Ебтесам Алмазроуей, виконавчий директор – виконуючий обов’язки головного дослідника AI-Cross Center Unit і керівник проекту для LLM-проектів у TII, ділиться:

«Ми з гордістю оголошуємо про офіційний випуск Falcon-40B з відкритим вихідним кодом, найпопулярнішої у світі мовної моделі з відкритим кодом. Falcon-40B — це виняткова модель із відкритим вихідним кодом із параметрами 40B, спеціально розроблена як модель лише для причинного декодера. Його було навчено на величезному наборі даних із 1,000 млрд токенів, включаючи RefinedWeb, доповнений кураторськими корпусами. Модель доступна за ліцензією Apache 2.0, що забезпечує її доступність і зручність використання. Falcon-40B перевершив такі відомі моделі, як LLaMA-65B, StableLM і MPT, у публічній таблиці лідерів, яку підтримує Hugging Face. Архітектура Falcon-40B оптимізована для висновків, включаючи FlashAttention і багатозапитові методи».

«Цей крок відображає нашу відданість розширенню меж інновацій ШІ та рівня готовності технологій до залучення спільноти, навчання, реальних додатків і співпраці. Продовжує доктор Ебтесам. «Випускаючи Falcon-40B як модель з відкритим вихідним кодом, ми надаємо дослідникам, підприємцям і організаціям можливість використовувати його виняткові можливості та сприяти розвитку рішень на основі штучного інтелекту від охорони здоров’я до космосу, фінансів, виробництва та біотехнологій; можливості для рішень на основі ШІ безмежні. Щоб отримати доступ до Falcon-40B і дослідити його надзвичайний потенціал, відвідайте FalconLLM.tii.ae. Приєднуйтесь до нас у використанні потужності Falcon-40B для формування майбутнього штучного інтелекту та революції в галузях».

У цій публікації ми детально поговоримо з доктором Алмазруеї про навчання Falcon LLM із SageMaker, контроль даних, оптимізацію, продуктивність і наступні кроки.

Нове покоління LLMs

LLM — це програмні алгоритми, навчені завершувати природні текстові послідовності. Завдяки своєму розміру та об’єму навчальних даних, з якими вони взаємодіють, LLM мають вражаючі можливості обробки тексту, включаючи резюмування, відповіді на запитання, навчання в контексті тощо.

На початку 2020 року дослідницькі організації по всьому світу зробили акцент на розмірі моделі, спостерігаючи, що точність корелює з кількістю параметрів. Наприклад, GPT-3 (2020) і BLOOM (2022) мають близько 175 мільярдів параметрів, Gopher (2021) має 230 мільярдів параметрів, а MT-NLG (2021) 530 мільярдів параметрів. У 2022 році Гофман та ін. помітили, що поточний баланс обчислень між параметрами моделі та розміром набору даних є неоптимальним, і опублікували емпіричні закони масштабування, які припускають, що збалансування бюджету обчислень для менших моделей, навчених на більшій кількості даних, може призвести до кращих моделей. Вони реалізували свої рекомендації в моделі параметрів 70B Chinchilla (2022), яка перевершила набагато більші моделі.

Навчання LLM на SageMaker

SageMaker — це набір керованих API для розробки, навчання, налаштування та розміщення моделей машинного навчання (ML), включаючи LLM. Численні клієнти покладаються на SageMaker для виконання своїх завдань LLM, наприклад Стабільність ШІ, Лабораторії AI21, Обіймати обличчя та LG AI. Навчання SageMaker положення обчислювальних кластерів із визначеною користувачем апаратною конфігурацією та кодом. Обчислювальні завдання виставляються за виконання, пропорційно до секунди, що означає, що з користувачів не стягується плата за потужність GPU, коли вони не користуються послугою. TII використовував перехідні кластери, надані SageMaker Training API, для навчання Falcon LLM, до 48 екземплярів ml.p4d.24xlarge, накопичених у 384 графічних процесорах NVIDIA A100. Зараз TII навчає наступного Falcon LLM і розширив навчання до 3,136 GPU A100 (392 екземпляри ml.p4d).

Безпрецедентна кількість спеціальних інновацій увійшла в усі рівні проекту, щоб підняти планку якості науки та швидкості навчання. У наступних розділах ми описуємо оптимізацію TII, проведену на всіх рівнях системи навчання глибокого навчання (DL).

Масштабована система контролю даних

LLM останнього покоління отримують перевагу від розміру та якості навчальних даних. Команда приділила особливу увагу розробці високоякісного набору даних у трильйони токенів. Кілька завдань CPU SageMaker Training перетворили петабайти дешевих, масштабованих веб-даних у підібраний безпечний набір навчальних даних. Автоматизовані системи фільтрували та дедуплікували дані; наприклад, класифікатори ML використовувалися для фільтрації ненормативної лексики. Завдання ЦП, які виконуються на ml.c5.18xlarge (72 vCPU, 144 ГБ оперативної пам’яті), були створені за допомогою кількох викликів API через SageMaker Training для виконання завдань перетворення даних. Команда використовувала завдання процесора з одним і кількома екземплярами для різних випадків використання. Деякі з цих завдань використовували сотні завдань паралельної архітектури без спільного використання (SNA), кожне на одній машині, а для завдань, які вимагали синхронізації між робочими групами, команда запустила багатоекземплярні завдання, накопичуючись у десятках екземплярів і тисячах vCPU. Несподіванкою є те, що під час виконання завдання з підготовки набору даних команда піднялася до 257 ml.c5.18xlarge в одній навчальній роботі SageMaker, що склало 18,504 37 vCPU і XNUMX ТБ пам’яті.

Максимальна продуктивність навчання

Щоб мінімізувати витрати на навчання та час виходу на ринок, команда досліджувала кілька напрямків оптимізації, щоб прискорити швидкість навчання, пропорційну кількості тренувальних токенів, що обробляються за секунду та вимірюються в TFLOPs/GPU. Команда використовувала повністю налаштовану 3D-паралельну навчальну структуру LLM, що містить спеціальні оптимізовані шари, написані в скомпільованому коді GPU. Команда пішла настільки далеко, що написала власну реалізацію множення матриць, щоб збільшити швидкість! Команда також розробила логіку, яка адаптує паралельний зв’язок до базової топології мережі. Під час початкових експериментів з масштабування TII вдалося досягти 166 TFLOPs/GPU на моделі 147B на 256 GPU та 173 TFLOPs/GPU на моделі 13B на 16 GPU. Наскільки нам відомо, це найшвидша відома модель TFLOP, досягнута в хмарі за час випробування в кінці 2022 року.

Безсерверне сховище

Навчання LLM вимагає інтенсивного зберігання; кілька терабайт навчальних даних необхідно направити до навчального кластера, а кілька терабайт контрольних точок моделі регулярно повертаються з кластера в постійне сховище. Контрольно-пропускні пункти також повинні досягти навчального кластера якомога швидше у разі перезапуску роботи. У традиційних високопродуктивних обчисленнях (HPC) обчислювальні вузли підключені до розподілених файлових систем, які забезпечують високопродуктивний ввід-вивід і пропускну здатність через POSIX-подібний інтерфейс. В AWS клієнти регулярно використовують Amazon FSx для Luster файлова система для цієї мети (додаткову інформацію див Прискоріть навчання на Amazon SageMaker за допомогою файлових систем Amazon FSx for Lustre та Amazon EFS), а також ми задокументували самокероване використання BeeGFS у приклад розподіленого комп’ютерного зору. Через свою увагу до витрат і простоти експлуатації команда вирішила не впроваджувати та не експлуатувати сервери файлових систем, а натомість взялася за побудову виключно на безсерверному сховищі об’єктів. Служба простого зберігання Amazon (Amazon S3). Спеціальний клас набору даних S3 був створений за допомогою AWS SDK для Python (Boto3) і забезпечив задовільну продуктивність, дозволяючи вченим автономно виконувати інженерні розробки вводу-виводу та наукові моделі в межах однієї кодової бази.

Інновації на стороні клієнта

Проект LLM рідко складається з однієї навчальної роботи; необхідні численні роботи для проведення початкових тестів і досвіду. Під час основного виробничого навчання кілька завдань можуть бути пов’язані, наприклад, для оновлення конфігурації або версій програмного забезпечення, розгортання виправлень або відновлення після збоїв. Вчені з TII провели значні розробки для створення користувацьких клієнтів, адаптованих до навчання LLM. Клієнт програми запуску було побудовано на основі SageMaker Training SDK, щоб об’єднати кілька функціональних можливостей в одній команді, наприклад керування версіями коду, створення образу Docker і запуск завдання. Крім того, ан AWS Lambda Функція безсерверного обчислення була розроблена для спостереження, моніторингу та втручання в роботу за потреби.

Використання ботів Slack для перевірки якості висновків

Ближче до кінця навчання команда розгорнула модель на внутрішній Кінцева точка GPU хостингу SageMaker для взаємодії в реальному часі. Команда пішла так далеко, що створила бота Slack для діалогу, щоб отримати реалістичні відгуки та провести якісний аудит якості моделі.

Навчання та моніторинг ефективності

Навчання LLM вимагає великої кількості обчислювальних ресурсів, включаючи процесор, графічний процесор і ресурси пам'яті. Таким чином, TII потрібно було контролювати продуктивність і час простою навчального завдання, щоб забезпечити оптимальне використання обчислювальних ресурсів і їх економічну ефективність.

Для створення автоматизованого моніторингового рішення використовувався TII Amazon CloudWatch сигнали тривоги для моніторингу використання GPU, CPU та пам’яті для навчальних завдань. CloudWatch збирає необроблені дані та обробляє їх у читабельні показники майже в реальному часі з базових екземплярів контейнерів, які використовуються в роботі SageMaker Training. Після цього ми встановлюємо порогові значення для кожного з цих показників, і якщо будь-який показник падає нижче порогового значення, спрацьовує тривога. Цей сигнал сповіщає команду TII про низьке використання ресурсів, дозволяючи їм вжити коригувальні дії для усунення обмежень щодо використання ресурсів.

На додаток до моніторингу використання ресурсів, TII може також контролювати час простою ресурсів навчального завдання. Якщо ресурси навчального завдання не використовувалися протягом тривалого періоду часу, це може вказувати на вузьке місце на будь-якому етапі циклу навчання та вимагати ручного дослідження. У деяких випадках використання ресурсів все ще було відносно оптимальним, але сам процес навчання не просувався. Для цих випадків TII інтегрував сигнали тривоги CloudWatch із функціями Lambda, щоб запитувати та читати згенеровані журнали навчання, а потім виконувати автоматичні дії на основі згенерованої помилки або простою процесу створення журналу (кластер зупиняється). Сигнал тривоги ініціює дію для зупинки навчального завдання, що гарантує, що TII не несе непотрібних витрат, коли ресурси не використовуються.

Висновок

Використовуючи SageMaker у поєднанні з власними інноваціями на замовлення, TII вдалося навчити модель, яка є найсучаснішою в багатьох вимірах: технологічний прорив, наукова якість, швидкість навчання, а також простота експлуатації.

«Випуск Falcon 40B в ОАЕ, найкращої у світі моделі штучного інтелекту з відкритим кодом, демонструє технологічне лідерство та відкриває шлях для інновацій на базі штучного інтелекту в регіоні.іон» вказує д-р Ebtesam Almazrouei; додавши, що "ми демонструємо нашу відданість цілям, викладеним у Національній стратегії штучного інтелекту до 2031 року. Наша активна участь у глобальному технологічному прогресі, представленому Falcon-40B, відіграє вирішальну роль у нашому прагненні до економіки, заснованої на знаннях. Завдяки інвестиціям і розробці рішень штучного інтелекту ми прагнемо створити нові можливості для економічного зростання, соціального прогресу та розвитку освіти.

«Природа Falcon-40B з відкритим кодом відображає нашу відданість співпраці, прозорості, інноваціям і дослідженням у сфері ШІ. Ми віримо в демократизацію передових технологій штучного інтелекту, що робить Falcon-40B доступним для дослідників і організацій у всьому світі».

«Дивлячись на майбутнє, ми продовжуватимемо робити свій внесок у розвиток штучного інтелекту та технологій, будучи в розробці майбутніх моделей. Крім того, ми будемо активно сприяти впровадженню передових технологій ШІ в організаціях і підприємствах нашої країни, сприяючи зростанню та процвітанню відповідно до наших стратегічних цілей».

– Доктор Алмазруей

Щоб дізнатися більше про Falcon LLM, відвідайте веб-сайт FalconLLM.tii.ae та  картка моделі на Hugging Face!

---

Про авторів

Доктор Ебтесам Алмазруей є виконавчим директором, виконуючим обов’язки головного дослідника штучного інтелекту та засновником підрозділу Al-Cross Center в Інституті технологічних інновацій (TII). Як засновник підрозділу Al-Cross Center в Інституті технологічних інновацій (TII), д-р Алмазруей відіграв ключову роль у формуванні можливостей ШІ TII. Її стратегічне бачення та досвід у сфері штучного інтелекту та машинного навчання дозволили їй очолити новаторські дослідницькі ініціативи та сприяти міжфункціональній співпраці, що призвело до впровадження інноваційних рішень ШІ в багатьох галузях.

Одним із помітних досягнень д-ра Алмазруей є її важлива роль у розробці Falcon 40B, передового LLM, який отримав світове визнання. Завдяки винятковій продуктивності Falcon 40B у травні 2023 року Falcon 2022B став лідером LLM у світі в таблиці лідерів Hugging Face. Крім того, вона очолила розробку Noor, найбільшої у світі арабської великомовної моделі (LLM), випущеної у квітні XNUMX року.

Доктор Алмазруей визнана в усьому світі за свій внесок у штучний інтелект та була включена до списку провідних жінок світу зі штучним інтелектом у 2023 році разом з іншими видатними жінками в цій галузі. Вона також є прихильником ініціатив сталого розвитку та AI for Good, а також головою Abu Dhabi AI Connect і головою TPC багатьох міжнародних конференцій IEEE.

Її внесок виходить за рамки її роботи в TII, де вона очолює підкомітет експертів з великих даних Ради ОАЕ з штучного інтелекту та блокчейну та є членом всесвітньої керівної ради Всесвітнього дослідницького форуму бездротового зв’язку (WWRF). Вона є науковим автором, патентним винахідником, підприємцем і відомим доповідачем, відома своїми основними промовами на престижних самітах, таких як Саміт штучного інтелекту в Лондоні, Всесвітній Каннський фестиваль ШІ та технічні саміти.

Вілл Бадр є старшим менеджером AI/ML Solutions Architects, який працює в Дубаї (ОАЕ) і працює як частина глобальної команди Amazon Machine Learning. Вілл із захопленням використовує технології інноваційними способами для позитивного впливу на суспільство. У вільний час він любить займатися дайвінгом, грати у футбол і досліджувати острови Тихого океану.

Олів'є Крюшан є спеціалістом з машинного навчання архітектором рішень у AWS, що базується у Франції. Олів’є допомагає клієнтам AWS – від невеликих стартапів до великих підприємств – розробляти та впроваджувати програми машинного навчання виробничого рівня. У вільний час він любить читати наукові роботи та досліджувати пустелю з друзями та родиною.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• EVM Фінанси. Уніфікований інтерфейс для децентралізованих фінансів. Доступ тут.
• Quantum Media Group. ІЧ/ПР посилений. Доступ тут.
• PlatoAiStream. Web3 Data Intelligence. Розширення знань. Доступ тут.
• джерело: https://aws.amazon.com/blogs/machine-learning/technology-innovation-institute-trains-the-state-of-the-art-falcon-llm-40b-foundation-model-on-amazon-sagemaker/