Институт технологических инноваций обучает современную базовую модель Falcon LLM 40B на Amazon SageMaker | Веб-сервисы Амазонки

Этот пост в блоге написан в соавторстве с доктором Эбтесамом Алмазроуэем, исполнительным директором и исполняющим обязанности главного исследователя искусственного интеллекта подразделения AI-Cross Center и руководителем проектов LLM в TII.

Объединенные Арабские Эмираты (ОАЭ) Институт технологических инноваций (ТИИ), столп прикладных исследований Абу-Даби Совет по исследованиям передовых технологий, запустила Falcon LLM, базовую модель большого языка (LLM) с 40 миллиардами параметров. TII — ведущий мировой исследовательский центр, стремящийся расширить границы знаний. Команда ученых, исследователей и инженеров TII работает над созданием научных открытий и трансформационных технологий. Работа TII сосредоточена на прорывах, которые обеспечат будущее нашему обществу. Обучился на 1 трлн токенов, ТИИ Сокол ЛЛМ может похвастаться первоклассной производительностью, оставаясь при этом невероятно экономичным. Falcon-40B не уступает по производительности другим высокопроизводительным LLM и является общедоступной моделью с открытым исходным кодом. Таблица лидеров Hugging Face Open LLM. Он доступен с открытым исходным кодом в двух разных размерах — Falcon-40B и Falcon-7B и был создан с нуля с использованием предварительной обработки данных и заданий по обучению моделей, основанных на Создатель мудреца Амазонки. Falcon 40B с открытым исходным кодом позволяет пользователям создавать и настраивать инструменты искусственного интеллекта, которые удовлетворяют уникальные потребности пользователей, облегчая интеграцию и обеспечивая долгосрочное сохранение активов данных. Вес модели доступен для загрузки, проверки и развертывания в любом месте.

С 7 июня оба Falcon LLM также будут доступны в Amazon SageMaker JumpStart, центре машинного обучения (ML) SageMaker, который предлагает предварительно обученные модели, встроенные алгоритмы и готовые шаблоны решений, которые помогут вам быстро приступить к работе с ML. Вы можете развернуть и использовать Falcon LLM несколькими щелчками мыши в Студия SageMaker или программно через SDK для SageMaker Python. Чтобы развернуть и выполнить вывод относительно Falcon LLM, см. Введение в SageMaker JumpStart — генерация текста с помощью Falcon LLM пример блокнота.

Д-р Эбтесам Алмазроуи, исполнительный директор и исполняющий обязанности главного исследователя искусственного интеллекта подразделения AI-Cross Center и руководитель проектов LLM в TII, делится:

«Мы с гордостью объявляем об официальном выпуске Falcon-40B с открытым исходным кодом, самой популярной в мире языковой модели с открытым исходным кодом. Falcon-40B — исключительная модель с открытым исходным кодом и параметрами 40B, специально разработанная как модель только для каузального декодера. Он был обучен на обширном наборе данных из 1,000 миллиардов токенов, включая RefinedWeb, дополненный тщательно отобранными корпусами. Модель доступна под лицензией Apache 2.0, что обеспечивает ее доступность и удобство использования. Falcon-40B превзошел известные модели, такие как LLaMA-65B, StableLM и MPT, в общедоступной таблице лидеров, которую ведет Hugging Face. Архитектура Falcon-40B оптимизирована для логических выводов, включая технологии FlashAttention и множественных запросов».

«Этот шаг отражает нашу приверженность расширению границ инноваций в области искусственного интеллекта и уровня готовности технологий для взаимодействия с сообществом, образования, реальных приложений и совместной работы. Продолжает доктор Эбтесам. «Выпуская Falcon-40B в качестве модели с открытым исходным кодом, мы предоставляем исследователям, предпринимателям и организациям возможность использовать его исключительные возможности и продвигать решения на основе ИИ от здравоохранения до космоса, финансов, производства и биотехнологий; возможности для решений на основе ИИ безграничны. Чтобы получить доступ к Falcon-40B и изучить его замечательный потенциал, посетите FalconLLM.tii.ae. Присоединяйтесь к нам, чтобы использовать возможности Falcon-40B, чтобы формировать будущее ИИ и революционизировать отрасли».

В этом посте мы с доктором Алмазроуи подробно расскажем об обучении Falcon LLM работе с SageMaker, обработке данных, оптимизации, производительности и дальнейших шагах.

LLM нового поколения

LLM — это программные алгоритмы, обученные завершать естественные текстовые последовательности. Из-за своего размера и объема обучающих данных, с которыми они взаимодействуют, LLM обладают впечатляющими возможностями обработки текста, включая обобщение, ответы на вопросы, обучение в контексте и многое другое.

В начале 2020 года исследовательские организации по всему миру сделали упор на размер модели, отметив, что точность коррелирует с количеством параметров. Например, GPT-3 (2020 г.) и BLOOM (2022 г.) содержат около 175 миллиардов параметров, Gopher (2021 г.) — 230 миллиардов параметров, а MT-NLG (2021 г.) — 530 миллиардов параметров. В 2022 году Хоффман и др. заметили, что текущий баланс вычислений между параметрами модели и размером набора данных был субоптимальным, и опубликовали эмпирические законы масштабирования, предполагающие, что балансирование бюджета вычислений в пользу меньших моделей, обученных на большем количестве данных, может привести к повышению производительности моделей. Они реализовали свое руководство в модели Chinchilla с параметром 70B (2022 г.), которая превзошла гораздо более крупные модели.

Обучение LLM по SageMaker

SageMaker — это набор управляемых API для разработки, обучения, настройки и размещения моделей машинного обучения (ML), включая LLM. Многочисленные клиенты полагаются на SageMaker для своих рабочих нагрузок LLM, таких как Стабильность ИИ, Лаборатория AI21, Обнимая лицои LG ИИ. Обучение SageMaker выделяет вычислительные кластеры с определяемой пользователем аппаратной конфигурацией и кодом. Плата за вычислительные задания выставляется за каждый запуск пропорционально секунде, что означает, что с пользователей не взимается плата за мощность графического процессора, когда служба не используется. TII использовала временные кластеры, предоставляемые SageMaker Training API, для обучения Falcon LLM, до 48 экземпляров ml.p4d.24xlarge, что в сумме составляет 384 графических процессора NVIDIA A100. Теперь TII обучает следующий Falcon LLM и масштабирует их обучение до 3,136 графических процессоров A100 (392 экземпляра ml.p4d).

Беспрецедентное количество нестандартных нововведений вошло во все слои проекта, чтобы поднять планку качества науки и скорости обучения. В следующих разделах мы опишем оптимизации TII, проведенные на всех уровнях системы обучения глубокому обучению (DL).

Масштабируемое хранение данных

Сила LLM последнего поколения заключается в размере и качестве обучающих данных. Команда уделила особое внимание созданию высококачественного набора данных на триллион токенов. Несколько заданий ЦП SageMaker Training преобразовали петабайты дешевых масштабируемых веб-данных в проверенный безопасный набор данных для обучения. Автоматизированные системы фильтруют и дедуплицируют данные; например, классификаторы машинного обучения использовались для фильтрации ненормативной лексики. Задания ЦП, запущенные на ml.c5.18xlarge (72 виртуальных ЦП, 144 ГБ ОЗУ), были созданы в нескольких вызовах API через SageMaker Training для выполнения задач преобразования данных. Команда использовала как одноэкземплярные, так и многоэкземплярные задания ЦП для различных вариантов использования. В некоторых из этих заданий использовались сотни параллельных заданий архитектуры без совместного использования ресурсов (SNA), каждое из которых выполнялось на одном компьютере, а для задач, требующих синхронизации между рабочими, команда запускала многоэкземплярные задания, объединяя десятки экземпляров и тысячи виртуальных ЦП. Как ни странно, в задаче подготовки последующего набора данных команда увеличила до 257 ml.c5.18xlarge в одном задании SageMaker Training, что в сумме составляет 18,504 37 виртуальных ЦП и XNUMX ТБ памяти.

Максимальная производительность обучения

Чтобы свести к минимуму как затраты на обучение, так и время выхода на рынок, команда использовала несколько направлений оптимизации для увеличения скорости обучения, пропорциональной обучающим токенам, обрабатываемым в секунду и измеряемым в TFLOP/GPU. Команда использовала полностью настраиваемую 3D-параллельную среду обучения LLM с пользовательскими оптимизированными слоями, написанными в скомпилированном коде графического процессора. Команда дошла до того, что написала свою собственную реализацию умножения матриц, чтобы увеличить скорость! Команда также разработала логику, которая адаптирует параллельную связь к базовой топологии сети. Во время своих первоначальных экспериментов по масштабированию компания TII смогла достичь 166 терафлопс/ГП на модели 147 байт на 256 графических процессорах и 173 терафлопс/ГП на модели 13 байт на 16 графических процессорах. время испытаний в конце 2022 года.

Бессерверное хранилище

Обучение LLM требует интенсивного хранения; несколько терабайт обучающих данных необходимо направить в обучающий кластер, а несколько терабайт контрольных точек модели регулярно возвращаются из кластера в постоянное хранилище. Контрольные точки также должны как можно быстрее достигать учебного кластера в случае перезапуска задания. В традиционных высокопроизводительных вычислениях (HPC) вычислительные узлы подключаются к распределенным файловым системам, которые обеспечивают высокопроизводительный ввод-вывод и пропускную способность через POSIX-подобный интерфейс. В AWS клиенты регулярно используют Amazon FSx для блеска файловая система для этой цели (подробнее см. Ускорьте обучение в Amazon SageMaker, используя Amazon FSx для файловых систем Lustre и Amazon EFS), и мы также задокументировали самостоятельное использование BeeGFS в тематическое исследование распределенного компьютерного зрения. Из-за их внимания к затратам и простоте эксплуатации команда решила не внедрять и не эксплуатировать серверы файловой системы, а вместо этого взялась за создание исключительно поверх бессерверного объектного хранилища. Простой сервис хранения Amazon (Амазон С3). Пользовательский класс набора данных S3 был создан с использованием AWS SDK для Python (Boto3) и обеспечил удовлетворительную производительность, позволив ученым автономно выполнять итерации при проектировании ввода-вывода и моделировании в рамках одной кодовой базы.

Инновации на стороне клиента

Проект LLM редко состоит из одной учебной работы; многочисленные рабочие места необходимы для проведения первоначальных испытаний и опытов. В ходе основного производственного обучения несколько задач могут быть объединены в цепочку, например, для обновления конфигурации или версий программного обеспечения, развертывания исправлений или восстановления после сбоев. Ученые из TII провели значительный инжиниринг для создания пользовательских клиентов, адаптированных для обучения LLM. Клиент запуска был создан на основе SageMaker Training SDK, чтобы объединить несколько функций в одной команде, например управление версиями кода, создание образа Docker и запуск задания. Кроме того, AWS Lambda Функция бессерверных вычислений была разработана для наблюдения, контроля и вмешательства в работу по мере необходимости.

Использование ботов Slack для аудита качества логического вывода

Ближе к концу обучения команда развернула модель на внутреннем Конечная точка SageMaker Hosting GPU для взаимодействия в реальном времени. Команда дошла до того, что создала бота Slack для диалога, получения реалистичной обратной связи и проведения качественного аудита модели.

Обучение и мониторинг производительности

Для обучения LLM требуется большое количество вычислительных ресурсов, включая ресурсы ЦП, ГП и памяти. Поэтому TII необходимо было контролировать производительность и время простоя обучающего задания, чтобы обеспечить оптимальное использование вычислительных ресурсов и их рентабельность.

Для создания автоматизированного решения для мониторинга компания TII использовала Amazon CloudWatch аварийные сигналы для мониторинга использования графического процессора, процессора и памяти для заданий обучения. CloudWatch собирает необработанные данные и преобразует их в удобочитаемые метрики практически в реальном времени из базовых экземпляров контейнеров, используемых в задании SageMaker Training. После этого мы устанавливаем пороги для каждой из этих метрик, и если какая-либо метрика падает ниже порога, срабатывает тревога. Этот аварийный сигнал уведомляет группу TII о низком уровне использования ресурсов, позволяя им предпринять корректирующие действия для устранения ограничений использования ресурсов.

В дополнение к мониторингу использования ресурсов TII может также отслеживать время простоя ресурсов учебных заданий. Если ресурсы задания обучения простаивали в течение длительного периода времени, это может указывать на узкое место на любом этапе цикла обучения и требует ручного исследования. В некоторых случаях использование ресурсов все еще было относительно оптимальным, но сам процесс обучения не развивался. В таких случаях TII интегрировала оповещения CloudWatch с функциями Lambda, чтобы запрашивать и читать сгенерированные журналы обучения, а затем выполнять автоматические действия в зависимости от сгенерированной ошибки или бездействия процесса создания журнала (кластер останавливается). Аварийный сигнал инициирует действие по остановке задания обучения, что гарантирует, что TII не понесет ненужных затрат, когда ресурсы не используются.

Заключение

Используя SageMaker в сочетании с запатентованными, индивидуальными инновациями, TII смогла обучить модель, которая является современной по многим параметрам: технологический прорыв, научное качество, скорость обучения, а также простота эксплуатации.

«Выпуск Falcon 40B в ОАЭ, лучшей в мире модели искусственного интеллекта с открытым исходным кодом, иллюстрирует технологическое лидерство и прокладывает путь к инновациям на основе искусственного интеллекта вion» указывает на доктора Эбтесама Алмазруи; добавив, что «мы демонстрируем нашу приверженность целям, изложенным в Национальной стратегии искусственного интеллекта до 2031 года. Наше активное участие в глобальных технологических достижениях, представленное Falcon-40B, играет решающую роль в нашем стремлении к экономике, основанной на знаниях. Благодаря инвестициям и разработке решений в области искусственного интеллекта мы стремимся создавать новые возможности для экономического роста, социального прогресса и достижений в области образования.

«Открытый исходный код Falcon-40B отражает нашу приверженность сотрудничеству, прозрачности, инновациям и исследованиям в области ИИ. Мы верим в демократизацию возможностей передовых технологий искусственного интеллекта, делая Falcon-40B доступным для исследователей и организаций по всему миру».

«Заглядывая в будущее, мы продолжим вносить свой вклад в ИИ и технологические достижения, разрабатывая новые модели. Более того, мы будем активно продвигать внедрение передовых технологий искусственного интеллекта в организациях и предприятиях нашей страны, способствуя росту и процветанию в соответствии с нашими стратегическими целями».

- Доктор Алмазроуи

Чтобы узнать больше о Falcon LLM, посетите веб-сайт FalconLLM.tii.ae и карточка модели на Hugging Face!

---

Об авторах

Доктор Эбтесам Алмазруи является исполнительным директором и исполняющим обязанности главного исследователя искусственного интеллекта и основателем подразделения Al-Cross Center в Институте технологических инноваций (TII). Как основатель подразделения Al-Cross Center в Институте технологических инноваций (TII), д-р Алмазруи сыграл ключевую роль в формировании возможностей искусственного интеллекта TII. Ее стратегическое видение и опыт в области искусственного интеллекта и машинного обучения позволили ей возглавить новаторские исследовательские инициативы и способствовать межфункциональному сотрудничеству, что привело к внедрению инновационных решений в области искусственного интеллекта в различных отраслях.

Одним из заметных достижений доктора Алмазруи является ее важная роль в разработке Falcon 40B, передового LLM, получившего всемирное признание. Исключительная производительность Falcon 40B поставила его на первое место в мире по LLM в таблице лидеров Hugging Face в мае 2023 года. Кроме того, она руководила разработкой Noor, крупнейшей в мире арабской широкоязычной модели (LLM), выпущенной в апреле 2022 года.

Доктор Алмазроуи получила всемирное признание за свой вклад в развитие ИИ и была включена в список «Ведущие ИИ-женщины мира в 2023 году» наряду с другими выдающимися женщинами в этой области. Она также является сторонником устойчивого развития и инициатив AI for Good, а также генеральным председателем Abu Dhabi AI Connect и председателем TPC на многих международных конференциях IEEE.

Ее вклад выходит за рамки ее работы в TII, где она возглавляет подкомитет экспертов по большим данным Совета ОАЭ по искусственному интеллекту и блокчейну и является членом всемирного руководящего совета Всемирного исследовательского форума беспроводной связи (WWRF). Она является научным автором, изобретателем патента, предпринимателем и известным оратором, известна своими программными выступлениями на престижных саммитах, таких как AI Summit в Лондоне, Всемирный Каннский фестиваль AI и технические саммиты.

Уилл Бадр является старшим менеджером AI/ML Solutions Architects в Дубае, ОАЭ, и работает в составе глобальной команды Amazon Machine Learning. Уилл увлечен использованием технологий инновационными способами, чтобы положительно влиять на сообщество. В свободное время он любит заниматься дайвингом, играть в футбол и исследовать острова Тихого океана.

Оливье Крючан является специалистом по машинному обучению и архитектором решений в AWS, базирующейся во Франции. Оливье помогает клиентам AWS — от небольших стартапов до крупных предприятий — разрабатывать и развертывать приложения машинного обучения производственного уровня. В свободное время он любит читать исследовательские работы и исследовать пустыню с друзьями и семьей.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• ЭВМ Финанс. Единый интерфейс для децентрализованных финансов. Доступ здесь.
• Квантум Медиа Групп. ИК/PR усиление. Доступ здесь.
• ПлатонАйСтрим. Анализ данных Web3. Расширение знаний. Доступ здесь.
• Источник: https://aws.amazon.com/blogs/machine-learning/technology-innovation-institute-trains-the-state-of-the-art-falcon-llm-40b-foundation-model-on-amazon-sagemaker/