Сегодня мы рады сообщить, что Модель DBRX, открытая модель большого языка общего назначения (LLM), разработанная Databricks, доступен для клиентов через Amazon SageMaker JumpStart развернуть одним щелчком мыши для выполнения вывода. DBRX LLM использует детальную архитектуру смешанных экспертов (MoE), предварительно обученную на 12 триллионах токенов тщательно отобранных данных и максимальную длину контекста 32,000 XNUMX токенов.
Вы можете опробовать эту модель с помощью SageMaker JumpStart, центра машинного обучения (ML), который предоставляет доступ к алгоритмам и моделям, чтобы вы могли быстро приступить к работе с ML. В этом посте мы расскажем, как обнаружить и развернуть модель DBRX.
Что такое модель DBRX
DBRX — это сложный LLM, предназначенный только для декодера, построенный на архитектуре преобразователя. Он использует детальную архитектуру MoE, включающую в общей сложности 132 миллиарда параметров, причем 36 миллиардов из этих параметров активны для любого заданного ввода.
Модель прошла предварительное обучение с использованием набора данных, состоящего из 12 триллионов токенов текста и кода. В отличие от других открытых моделей MoE, таких как Mixtral и Grok-1, DBRX использует детальный подход, используя большее количество более мелких экспертов для оптимизации производительности. По сравнению с другими моделями МЧС, в DBRX работают 16 экспертов, а из них выбираются 4.
Модель доступна по лицензии Databricks Open Model для использования без ограничений.
Что такое SageMaker JumpStart
SageMaker JumpStart — это полностью управляемая платформа, предлагающая современные базовые модели для различных вариантов использования, таких как написание контента, генерация кода, ответы на вопросы, копирайтинг, обобщение, классификация и поиск информации. Он предоставляет коллекцию предварительно обученных моделей, которые можно быстро и легко развернуть, ускоряя разработку и развертывание приложений машинного обучения. Одним из ключевых компонентов SageMaker JumpStart является Model Hub, который предлагает обширный каталог предварительно обученных моделей, таких как DBRX, для различных задач.
Теперь вы можете обнаруживать и развертывать модели DBRX несколькими щелчками мыши. Студия Amazon SageMaker или программно через SageMaker Python SDK, что позволяет получить производительность модели и элементы управления MLOps с помощью Создатель мудреца Амазонки такие функции, как Конвейеры Amazon SageMaker, Amazon SageMaker Отладчикили журналы контейнера. Модель развертывается в безопасной среде AWS и под контролем вашего VPC, что помогает обеспечить безопасность данных.
Откройте для себя модели в SageMaker JumpStart
Доступ к модели DBRX можно получить через SageMaker JumpStart в пользовательском интерфейсе SageMaker Studio и SageMaker Python SDK. В этом разделе мы рассмотрим, как находить модели в SageMaker Studio.
SageMaker Studio — это интегрированная среда разработки (IDE), которая предоставляет единый визуальный веб-интерфейс, где вы можете получить доступ к специально созданным инструментам для выполнения всех этапов разработки машинного обучения, от подготовки данных до создания, обучения и развертывания моделей машинного обучения. Дополнительные сведения о том, как начать работу и настроить SageMaker Studio, см. Студия Amazon SageMaker.
В SageMaker Studio вы можете получить доступ к SageMaker JumpStart, выбрав Толчок в навигационной панели.
На целевой странице SageMaker JumpStart вы можете выполнить поиск «DBRX» в поле поиска. В результатах поиска будут перечислены Инструкция DBRX и База DBRX.
Вы можете выбрать карточку модели, чтобы просмотреть сведения о модели, такие как лицензия, данные, используемые для обучения, и способы использования модели. Вы также найдете Развертывание кнопку, чтобы развернуть модель и создать конечную точку.
Разверните модель в SageMaker JumpStart.
Развертывание начинается, когда вы выбираете Развертывание кнопка. После завершения развертывания вы увидите, что конечная точка создана. Вы можете протестировать конечную точку, передав образец полезных данных запроса вывода или выбрав вариант тестирования с помощью SDK. Когда вы выберете вариант использования SDK, вы увидите пример кода, который можно использовать в выбранном вами редакторе блокнотов в SageMaker Studio.
База DBRX
Чтобы развернуть с помощью SDK, мы начинаем с выбора базовой модели DBRX, указанной в model_id
со значением Huggingface-llm-dbrx-base. Вы можете развернуть любую из выбранных моделей в SageMaker с помощью следующего кода. Аналогичным образом вы можете развернуть DBRX Instruct, используя собственный идентификатор модели.
При этом модель развертывается в SageMaker с конфигурациями по умолчанию, включая тип экземпляра по умолчанию и конфигурации VPC по умолчанию. Вы можете изменить эти конфигурации, указав значения, отличные от значений по умолчанию, в JumpStartМодель. Значение Eula должно быть явно определено как True, чтобы принять лицензионное соглашение с конечным пользователем (EULA). Также убедитесь, что у вас есть лимит службы на уровне учетной записи для использования ml.p4d.24xlarge или ml.pde.24xlarge для использования конечной точки в качестве одного или нескольких экземпляров. Вы можете следовать инструкциям здесь для запроса увеличения квоты на обслуживание.
После развертывания вы можете выполнить логический вывод для развернутой конечной точки с помощью предиктора SageMaker:
Пример подсказки
Вы можете взаимодействовать с базовой моделью DBRX, как с любой стандартной моделью генерации текста, где модель обрабатывает входную последовательность и выводит предсказанные следующие слова в последовательности. В этом разделе мы приводим несколько примеров подсказок и примеров вывода.
Генерация кода
Используя предыдущий пример, мы можем использовать подсказки для генерации кода следующим образом:
Ниже приводится вывод:
Анализ настроений
Вы можете выполнить анализ настроений, используя в DBRX следующую подсказку:
Ниже приводится вывод:
Ответ на вопрос
В DBRX вы можете использовать подсказку для ответа на вопросы, как показано ниже:
Ниже приводится вывод:
Инструкция DBRX
Версия DBRX, настроенная на инструкции, принимает форматированные инструкции, в которых роли диалога должны начинаться с приглашения пользователя и чередоваться между инструкциями пользователя и помощником (инструкция DBRX). Формат инструкций должен строго соблюдаться, иначе модель будет генерировать неоптимальные результаты. Шаблон для создания приглашения для модели Instruct определяется следующим образом:
<|im_start|>
и <|im_end|>
— это специальные токены для начала строки (BOS) и конца строки (EOS). Модель может содержать несколько вариантов разговора между системой, пользователем и помощником, что позволяет включать несколько примеров для улучшения ответов модели.
Следующий код показывает, как можно отформатировать приглашение в формате инструкции:
Поиск знаний
Для получения знаний можно использовать следующую подсказку:
Ниже приводится вывод:
Генерация кода
Модели DBRX демонстрируют проверенные преимущества для задач кодирования. Например, см. следующий код:
Ниже приводится вывод:
Математика и рассуждения
Модели DBRX также демонстрируют высокую математическую точность. Например, см. следующий код:
DBRX может обеспечить понимание, как показано в следующем выводе, с математической логикой:
Убирать
После завершения работы с блокнотом обязательно удалите все ресурсы, созданные в процессе, чтобы прекратить выставление счетов. Используйте следующий код:
Заключение
В этом посте мы показали вам, как начать работу с DBRX в SageMaker Studio и развернуть модель для вывода. Поскольку базовые модели предварительно обучены, они могут помочь снизить затраты на обучение и инфраструктуру, а также обеспечить настройку для вашего варианта использования. Чтобы начать работу, посетите SageMaker JumpStart в SageMaker Studio прямо сейчас.
Полезные ресурсы
Об авторах
Шихар Кватра — специалист по архитектуре решений AI/ML в Amazon Web Services, работающий с ведущим глобальным системным интегратором. Он заслужил звание одного из самых молодых индийских мастеров-изобретателей, имея более 400 патентов в областях искусственного интеллекта, машинного обучения и Интернета вещей. У него более 8 лет опыта работы в отрасли: от стартапов до крупных предприятий: от инженера-исследователя Интернета вещей, специалиста по данным до архитектора данных и искусственного интеллекта. Шикхар помогает в проектировании, создании и обслуживании экономичных масштабируемых облачных сред для организаций и поддерживает партнеров GSI в создании стратегической отрасли.
Ниитийн Виджеасваран — архитектор решений в AWS. Его сферой деятельности являются генеративный искусственный интеллект и ускорители искусственного интеллекта AWS. Он имеет степень бакалавра в области компьютерных наук и биоинформатики. Ниитийн тесно сотрудничает с командой Generative AI GTM, чтобы предоставить клиентам AWS возможности по нескольким направлениям и ускорить внедрение ими генеративного ИИ. Он страстный поклонник команды «Даллас Маверикс» и любит коллекционировать кроссовки.
Себастьян Бустильо — архитектор решений в AWS. Он специализируется на технологиях искусственного интеллекта и машинного обучения и питает глубокую страсть к генеративному искусственному интеллекту и ускорителям вычислений. В AWS он помогает клиентам раскрыть ценность бизнеса с помощью генеративного искусственного интеллекта. Когда он не на работе, ему нравится заваривать идеальную чашку фирменного кофе и исследовать мир вместе со своей женой.
Армандо Диас — архитектор решений в AWS. Он специализируется на генеративном искусственном интеллекте, искусственном интеллекте и машинном обучении и анализе данных. В AWS Армандо помогает клиентам интегрировать передовые возможности генеративного искусственного интеллекта в свои системы, способствуя инновациям и конкурентным преимуществам. Когда он не на работе, ему нравится проводить время с женой и семьей, ходить в походы и путешествовать по миру.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/databricks-dbrx-is-now-available-in-amazon-sagemaker-jumpstart/
- :имеет
- :является
- :нет
- :куда
- $UP
- 000
- 1
- 10
- 100
- 11
- 12
- 15%
- 16
- 19
- 1M
- 20
- 22
- 225
- 25
- 250
- 27
- 30
- 32
- 36
- 400
- 50
- 7
- 700
- 8
- a
- в состоянии
- О нас
- выше
- абсолютно
- ускорять
- ускоряющий
- ускорители
- Принять
- Принимает
- доступ
- По
- соответственно
- Учетная запись
- точность
- достижение
- активный
- активно
- Добавить
- регулировать
- Принятие
- плюс
- совет
- После
- против
- ДОГОВОР
- AI
- AI / ML
- помощь
- пособие
- алгоритмы
- Все
- разрешено
- Позволяющий
- причислены
- am
- Amazon
- Создатель мудреца Амазонки
- Amazon SageMaker JumpStart
- Amazon Web Services
- an
- анализ
- аналитика
- и
- и инфраструктура
- анонсировать
- Другой
- ответ
- ответ
- любой
- Apple
- Приложения
- подхода
- архитектура
- МЫ
- ПЛОЩАДЬ
- около
- AS
- помощник
- At
- доступен
- AWS
- Банан
- Использование темпера с изогнутым основанием
- основанный
- основной
- BE
- , так как:
- говяжий
- до
- начало
- не являетесь
- протестированные
- между
- биллинг
- миллиард
- булавка
- изоферменты печени
- Коробка
- Ломать
- коричневый
- строить
- Строительство
- построенный
- бизнес
- by
- вычислять
- расчет
- CAN
- возможности
- автомобиль
- карта
- осторожно
- случаев
- случаев
- каталог
- изменение
- расходы
- выбор
- выбор
- Выберите
- выбирает
- Выбирая
- классификация
- нажмите на
- Закрыть
- тесно
- закрытие
- облако
- код
- Кодирование
- Кофе
- Сбор
- лыжных шлемов
- Column
- Колонки
- Компания
- сравненный
- конкурентоспособный
- компоненты
- Вычисление
- компьютер
- Информатика
- понятия
- Состоящий из
- консультироваться
- содержать
- Container
- содержание
- Написание контента
- контекст
- контраст
- контрольная
- Разговор
- Копирайтинг
- правильно
- Цена
- Расходы
- может
- Создайте
- создали
- Создающий
- решающее значение
- культурный
- культуры
- чашка
- Куратор
- Текущий
- Клиенты
- настройка
- передовой
- ежедневно
- Dallas
- Dallas Mavericks
- данным
- Анализ данных
- ученый данных
- безопасность данных
- Время
- день
- Дней
- По умолчанию
- определенный
- Степень
- демонстрировать
- развертывание
- развернуть
- развертывание
- развертывание
- развертывает
- выводить
- подробнее
- развитый
- Развитие
- ДИКТ
- DID
- Диета
- различный
- обнаружить
- Дисплей
- Документация
- приносит
- доменов
- сделанный
- вниз
- управляемый
- вождение
- заработанный
- простота
- легко
- редактор
- эффект
- эффективно
- яйца
- или
- еще
- работает
- включить
- позволяет
- конец
- Конечная точка
- энергетика
- инженер
- повышать
- достаточно
- предприятий
- Окружающая среда
- средах
- EOS
- НИКОГДА
- все члены
- пример
- Примеры
- обмена
- возбужденный
- Упражнение
- опыт
- эксперту
- эксперты
- объяснениями
- эксплицитно
- Исследование
- облегчается
- семья
- вентилятор
- Особенности
- несколько
- Файл
- Файлы
- окончательный
- в заключение
- Найдите
- First
- фитнес
- фиксированной
- Фокус
- фокусируется
- следовать
- после
- следующим образом
- питание
- продукты
- Что касается
- формат
- содействие
- Год основания
- от
- полностью
- функция
- общее назначение
- порождать
- поколение
- генеративный
- Генеративный ИИ
- получить
- данный
- Отдаете
- Глобальный
- мировая торговля
- Go
- цель
- Цели
- хорошо
- товары
- большой
- большой
- греческий
- Рост
- было
- счастливый
- Есть
- he
- Медицина
- здравоохранение
- помощь
- помощь
- помогает
- здесь
- High
- высший
- его
- история
- имеет
- Как
- How To
- HTML
- HTTPS
- хаб
- i
- ID
- идея
- идеи
- if
- Влияние
- влияние
- Воздействие
- Импортировать
- важную
- in
- включает в себя
- В том числе
- включения
- Увеличение
- повышение
- Индийская кухня
- промышленность
- информация
- Инфраструктура
- Инновации
- вход
- затраты
- размышления
- пример
- инструкции
- интегрированный
- Интегрируя
- взаимодействовать
- интерактивный
- Интерфейс
- в
- Изобретатели
- включает в себя
- КАТО
- IT
- ЕГО
- JPG
- всего
- Основные
- Вид
- знания
- посадка
- язык
- Языки
- большой
- крупномасштабный
- ведущий
- опираться
- изучение
- привело
- Длина
- позволять
- Библиотека
- Лицензия
- стиль жизни
- такое как
- ОГРАНИЧЕНИЯ
- Список
- ll
- LLM
- загрузка
- грузы
- логика
- логический
- посмотреть
- выглядит как
- любят
- ниже
- машина
- обучение с помощью машины
- сделанный
- Сохранение
- сделать
- управляемого
- Манипуляция
- Масса
- мастер
- математике
- математический
- математика
- Matplotlib
- максимальный
- Май..
- me
- мили
- смешанный
- ML
- млн операций в секунду
- модель
- Модели
- БОЛЕЕ
- самых
- двигаться
- кино
- с разными
- мышца
- должен
- my
- Названный
- имена
- Навигация
- Необходимость
- потребности
- отрицательный
- Нейтральные
- Новые
- следующий
- Ничто
- в своих размышлениях
- ноутбук
- сейчас
- номер
- питательный
- of
- Предложения
- on
- ONE
- открытый
- оптимизированный
- Опция
- or
- заказ
- организации
- Другое
- в противном случае
- внешний
- контур
- выходной
- выходы
- за
- общий
- собственный
- страница
- панд
- хлеб
- параметры
- особенно
- партнеры
- части
- Прохождение
- страсть
- Патенты
- путь
- Люди
- для
- ИДЕАЛЬНОЕ
- Выполнять
- производительность
- Персонализированные
- план
- Планы
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Много
- участок
- плюс
- Популярное
- часть
- положительный
- возможное
- После
- мощный
- практиками
- предшествующий
- предсказанный
- Predictor
- предпочтения
- подготовка
- представлены
- цена
- Цены
- Проблема
- решение проблем
- процесс
- Процессы
- профессиональный
- глубокий
- FitPartner™
- Программирование
- языки программирования
- наводящие
- Белкове продукты
- обеспечивать
- при условии
- приводит
- Питон
- количество
- вопрос
- быстро
- повышение
- Обменный курс
- Читать
- рекомендовать
- выздоровление
- относиться
- зарегистрированный
- регулярный
- Связанный
- помнить
- замещать
- отчету
- представлять
- запросить
- Требования
- исследованиям
- Полезные ресурсы
- уважаемый
- Реагируйте
- ответ
- ответы
- ресторан
- Ограничения
- Итоги
- поиск
- возвращают
- Рис
- Роли
- роли
- Run
- Бег
- s
- sagemaker
- образец
- видел
- масштабируемые
- Наука
- Ученый
- черпать
- скрипт
- SDK
- Поиск
- Раздел
- безопасный
- безопасность
- посмотреть
- выберите
- выбранный
- выбор
- настроение
- Последовательность
- обслуживание
- Услуги
- набор
- должен
- показывать
- показал
- показанный
- Шоу
- значительный
- Аналогичным образом
- просто
- одинарной
- Размер
- Размеры
- спать
- меньше
- Кроссовки
- So
- Software
- разработка программного обеспечения
- Решения
- некоторые
- сложный
- Источники
- особый
- специалист
- Специальные
- конкретный
- указанный
- указав
- Расходы
- Спорт
- стандарт
- Начало
- и политические лидеры
- Начало
- начинается
- Стартапы
- современное состояние
- статический
- оставаться
- Шаги
- акции
- остановившийся
- Стратегический
- прочность
- сильные
- строка
- структур
- студия
- неоптимальным
- такие
- достаточный
- поддержка
- Поддержка
- Убедитесь
- система
- системы
- с
- задачи
- команда
- снижения вреда
- технологии
- шаблон
- ужасный
- тестXNUMX
- Тестирование
- текст
- чем
- который
- Ассоциация
- мир
- их
- тогда
- Эти
- они
- этой
- Через
- по всему
- время
- Название
- в
- сегодня
- Лексемы
- инструментом
- инструменты
- Всего
- торговать
- трафик
- Train
- Обучение
- трансформатор
- трансфер
- путешествовать
- Путешествие
- Триллион
- правда
- стараться
- пытается
- ОЧЕРЕДЬ
- Получается
- Tweet
- напишите
- ui
- под
- Прошел
- отпереть
- Применение
- использование
- прецедент
- используемый
- Информация о пользователе
- использования
- через
- ценностное
- Наши ценности
- переменная
- разнообразие
- различный
- Огромная
- Ve
- Овощи
- версия
- Вид
- Войти
- визуальный
- от
- хотеть
- законопроект
- Вода
- Путь..
- способы
- we
- Погода
- Web
- веб-сервисы
- Web-Based
- были
- Что
- когда
- который
- все
- зачем
- жена
- будете
- без
- слова
- Работа
- работает
- работает
- Мир
- бы
- записывать
- письмо
- лет
- Ты
- Самый молодой
- ВАШЕ
- зефирнет