Сегодня мы рады сообщить, что модели фундаментов Code Llama, разработанные Meta, доступны для клиентов через Amazon SageMaker JumpStart развернуть одним щелчком мыши для выполнения вывода. Code Llama — это современная модель большого языка (LLM), способная генерировать код и естественный язык кода как из кода, так и из подсказок на естественном языке. Вы можете опробовать эту модель с помощью SageMaker JumpStart, центра машинного обучения (ML), который предоставляет доступ к алгоритмам, моделям и решениям ML, чтобы вы могли быстро приступить к работе с ML. В этом посте мы расскажем, как обнаружить и развернуть модель Code Llama с помощью SageMaker JumpStart.
Код Ламы
Code Llama — модель, выпущенная компанией Мета который построен на основе Llama 2. Эта современная модель предназначена для повышения производительности задач программирования для разработчиков, помогая им создавать высококачественный, хорошо документированный код. Модели превосходно работают с Python, C++, Java, PHP, C#, TypeScript и Bash и могут сэкономить время разработчиков и сделать рабочие процессы программного обеспечения более эффективными.
Он поставляется в трех вариантах, разработанных для широкого спектра приложений: базовая модель (Code Llama), специализированная модель Python (Code Llama Python) и модель следования инструкциям для понимания инструкций на естественном языке (Code Llama Instruct). Все варианты Code Llama выпускаются в четырех размерах: параметры 7B, 13B, 34B и 70B. Базовые варианты 7B и 13B и инструкции поддерживают заполнение на основе окружающего контента, что делает их идеальными для приложений-помощников по написанию кода. Модели были разработаны с использованием Llama 2 в качестве основы, а затем обучены на 500 миллиардах токенов кодовых данных, а специализированная версия Python обучена на дополнительных 100 миллиардах токенов. Модели Code Llama обеспечивают стабильные генерации с до 100,000 16,000 токенов контекста. Все модели обучаются на последовательностях из 100,000 XNUMX токенов и демонстрируют улучшения на входных данных при использовании до XNUMX XNUMX токенов.
Модель доступна под той же общественная лицензия как Llama 2.
Базовые модели в SageMaker
SageMaker JumpStart предоставляет доступ к ряду моделей из популярных центров моделей, включая Hugging Face, PyTorch Hub и TensorFlow Hub, которые вы можете использовать в рабочем процессе разработки машинного обучения в SageMaker. Недавние достижения в области машинного обучения привели к появлению нового класса моделей, известных как модели фундамента, которые обычно обучаются на миллиардах параметров и адаптируются к широкой категории случаев использования, таких как обобщение текста, создание цифровых изображений и языковой перевод. Поскольку обучение этих моделей обходится дорого, клиенты хотят использовать существующие предварительно обученные базовые модели и настраивать их по мере необходимости, а не обучать эти модели самостоятельно. SageMaker предоставляет тщательно подобранный список моделей, из которых вы можете выбирать на консоли SageMaker.
Вы можете найти модели фундамента от разных поставщиков моделей в SageMaker JumpStart, что позволит вам быстро приступить к работе с моделями фундамента. Вы можете найти базовые модели, основанные на различных задачах или поставщиках моделей, а также легко просмотреть характеристики моделей и условия использования. Вы также можете опробовать эти модели, используя тестовый виджет пользовательского интерфейса. Если вы хотите использовать базовую модель в большом масштабе, вы можете сделать это, не выходя из SageMaker, используя готовые блокноты от поставщиков моделей. Поскольку модели размещаются и развертываются на AWS, вы можете быть уверены, что ваши данные, независимо от того, используются ли они для оценки или масштабного использования модели, никогда не будут переданы третьим лицам.
Откройте для себя модель Code Llama в SageMaker JumpStart
Чтобы развернуть модель Code Llama 70B, выполните следующие шаги в Студия Amazon SageMaker:
- На домашней странице SageMaker Studio выберите Толчок в навигационной панели.
- Найдите модели Code Llama и выберите модель Code Llama 70B из представленного списка моделей.
Более подробную информацию о модели можно найти в карточке модели Code Llama 70B.
На следующем снимке экрана показаны настройки конечной точки. Вы можете изменить параметры или использовать параметры по умолчанию.
- Примите лицензионное соглашение с конечным пользователем (EULA) и выберите Развертывание.
Это запустит процесс развертывания конечной точки, как показано на следующем снимке экрана.
Разверните модель с помощью SageMaker Python SDK.
Альтернативно вы можете выполнить развертывание с помощью примера записной книжки, выбрав Открыть блокнот на странице сведений о модели Classic Studio. В примере записной книжки представлены комплексные инструкции по развертыванию модели для вывода и очистки ресурсов.
Чтобы развернуть с помощью блокнота, мы начинаем с выбора соответствующей модели, указанной в model_id
. Вы можете развернуть любую из выбранных моделей в SageMaker с помощью следующего кода:
При этом модель развертывается в SageMaker с конфигурациями по умолчанию, включая тип экземпляра по умолчанию и конфигурации VPC по умолчанию. Вы можете изменить эти конфигурации, указав значения не по умолчанию в JumpStartМодель. Обратите внимание, что по умолчанию accept_eula
на False
. Вам нужно установить accept_eula=True
для успешного развертывания конечной точки. Поступая так, вы принимаете пользовательское лицензионное соглашение и политику допустимого использования, как упоминалось ранее. Вы также можете скачать лицензионное соглашение.
Вызвать конечную точку SageMaker
После развертывания конечной точки вы можете выполнить логический вывод с помощью Boto3 или SageMaker Python SDK. В следующем коде мы используем SageMaker Python SDK для вызова модели для вывода и печати ответа:
Функция print_response
принимает полезную нагрузку, состоящую из полезной нагрузки и ответа модели, и печатает выходные данные. Code Llama поддерживает множество параметров при выполнении вывода:
- максимальная длина – Модель генерирует текст до тех пор, пока длина вывода (включая длину входного контекста) не достигнет
max_length
. Если указано, это должно быть положительное целое число. - max_new_tokens – Модель генерирует текст до тех пор, пока длина вывода (исключая длину входного контекста) не достигнет
max_new_tokens
. Если указано, это должно быть положительное целое число. - num_beams – Определяет количество лучей, используемых при жадном поиске. Если указано, оно должно быть целым числом, большим или равным
num_return_sequences
. - no_repeat_ngram_size – Модель гарантирует, что последовательность слов
no_repeat_ngram_size
не повторяется в выходной последовательности. Если указано, это должно быть положительное целое число больше 1. - температура – Это контролирует случайность вывода. Выше
temperature
приводит к выходной последовательности со словами с низкой вероятностью и меньшимиtemperature
приводит к выходной последовательности со словами с высокой вероятностью. Еслиtemperature
равно 0, это приводит к жадному декодированию. Если указано, это должно быть положительное число с плавающей запятой. - ранняя_остановка - Если
True
генерация текста завершается, когда все гипотезы луча достигают конца токена предложения. Если указано, оно должно быть логическим. - do_sample - Если
True
, модель выбирает следующее слово в соответствии с вероятностью. Если указано, оно должно быть логическим. - топ_к – На каждом этапе генерации текста модель отбирает только
top_k
скорее всего слова. Если указано, это должно быть положительное целое число. - топ_р – На каждом этапе генерации текста модель выбирает наименьший возможный набор слов с кумулятивной вероятностью.
top_p
. Если указано, это должно быть число с плавающей точкой от 0 до 1. - return_full_text - Если
True
, входной текст будет частью выходного сгенерированного текста. Если указано, оно должно быть логическим. Значение по умолчанию для негоFalse
. - остановить – Если указано, это должен быть список строк. Генерация текста прекращается, если генерируется одна из указанных строк.
Вы можете указать любое подмножество этих параметров при вызове конечной точки. Далее мы покажем пример того, как вызвать конечную точку с этими аргументами.
Завершение кода
В следующих примерах показано, как выполнить завершение кода, когда ожидаемый ответ конечной точки является естественным продолжением приглашения.
Сначала мы запускаем следующий код:
Получаем такой вывод:
В нашем следующем примере мы запускаем следующий код:
Получаем такой вывод:
Генерация кода
В следующих примерах показана генерация кода Python с использованием Code Llama.
Сначала мы запускаем следующий код:
Получаем такой вывод:
В нашем следующем примере мы запускаем следующий код:
Получаем такой вывод:
Вот некоторые примеры задач, связанных с кодом, с использованием Code Llama 70B. Вы можете использовать модель для создания еще более сложного кода. Мы рекомендуем вам попробовать его, используя свои собственные варианты использования и примеры, связанные с кодом!
Убирать
После тестирования конечных точек обязательно удалите конечные точки вывода SageMaker и модель, чтобы избежать дополнительных расходов. Используйте следующий код:
Заключение
В этом посте мы представили Code Llama 70B в SageMaker JumpStart. Code Llama 70B — это современная модель для генерации кода из подсказок на естественном языке, а также из кода. Вы можете развернуть модель, выполнив несколько простых шагов в SageMaker JumpStart, а затем использовать ее для выполнения задач, связанных с кодом, таких как генерация кода и заполнение кода. В качестве следующего шага попробуйте использовать модель со своими собственными вариантами использования и данными, связанными с кодом.
Об авторах
Доктор Кайл Ульрих — ученый-прикладник в команде Amazon SageMaker JumpStart. Его исследовательские интересы включают масштабируемые алгоритмы машинного обучения, компьютерное зрение, временные ряды, байесовские непараметрические и гауссовские процессы. Его докторская степень получена в Университете Дьюка, и он опубликовал статьи в NeurIPS, Cell и Neuron.
Доктор Фарук Сабир является старшим специалистом по искусственному интеллекту и машинному обучению, архитектором решений в AWS. Он имеет степень доктора философии и магистра электротехники Техасского университета в Остине и степень магистра компьютерных наук Технологического института Джорджии. Он имеет более чем 15-летний опыт работы, а также любит учить и наставлять студентов колледжей. В AWS он помогает клиентам формулировать и решать их бизнес-задачи в области науки о данных, машинного обучения, компьютерного зрения, искусственного интеллекта, численной оптимизации и смежных областях. Живя в Далласе, штат Техас, он и его семья любят путешествовать и совершать длительные поездки.
июнь выиграл является менеджером по продукту в SageMaker JumpStart. Он фокусируется на том, чтобы сделать базовые модели легко обнаруживаемыми и пригодными для использования, чтобы помочь клиентам создавать генеративные приложения ИИ. Его опыт работы в Amazon также включает мобильное приложение для покупок и доставку последней мили.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/code-llama-70b-is-now-available-in-amazon-sagemaker-jumpstart/
- :имеет
- :является
- :нет
- :куда
- $UP
- 000
- 1
- 10
- 100
- 11
- 12
- 13
- 14
- 15 лет
- 15%
- 16
- 22
- 25
- 500
- 7
- 80
- 9
- a
- О нас
- Принять
- приемлемый
- принятие
- доступ
- авансы
- ДОГОВОР
- AI
- алгоритмы
- Все
- причислены
- Amazon
- Создатель мудреца Амазонки
- Amazon SageMaker JumpStart
- Amazon Web Services
- an
- и
- анонсировать
- любой
- Применение
- Приложения
- прикладной
- соответствующий
- МЫ
- Аргументы
- Искусство
- искусственный
- искусственный интеллект
- Искусственный интеллект и машинное обучение
- AS
- помощник
- уверил
- At
- Остин
- доступен
- избежать
- AWS
- Использование темпера с изогнутым основанием
- основанный
- колотить
- байесовский
- BE
- Ширина
- , так как:
- между
- миллиард
- Миллиард токенов
- миллиарды
- изоферменты печени
- пузырь
- строить
- построенный
- бизнес
- by
- C + +
- призывают
- CAN
- способный
- карта
- нести
- случаев
- Категории
- ячейка
- изменение
- характеристика
- расходы
- Выберите
- Выбирая
- класс
- классический
- чистым
- нажмите на
- код
- Колледж
- как
- выходит
- полный
- завершение
- сложный
- компьютер
- Информатика
- Компьютерное зрение
- Состоящий из
- Консоли
- содержание
- контекст
- продолжение
- контрольная
- чехол для варгана
- Создайте
- Куратор
- Клиенты
- Dallas
- данным
- наука о данных
- Декодирование
- По умолчанию
- поставка
- демонстрировать
- развертывание
- развернуть
- развертывание
- развертывает
- предназначенный
- подробность
- развитый
- застройщиков
- Развитие
- различный
- Интернет
- цифровое искусство
- обнаружить
- do
- дело
- доменов
- Герцог
- Университет Дюка
- каждый
- Ранее
- легко
- эффективный
- позволяет
- поощрять
- конец
- впритык
- Конечная точка
- инженерии
- Проект и
- обеспечивает
- равный
- ошибка
- оценки
- Даже
- пример
- Примеры
- Excel
- Кроме
- возбужденный
- без учета
- существующий
- ожидаемый
- дорогим
- опыт
- экспоненциальный
- Face
- семья
- несколько
- Найдите
- Во-первых,
- Поплавок
- фокусируется
- после
- Что касается
- Год основания
- основополагающий
- 4
- от
- функция
- порождать
- генерируется
- генерирует
- порождающий
- поколение
- поколения
- генеративный
- Генеративный ИИ
- ГРУЗИИ
- получить
- данный
- Go
- большой
- Жадный
- руководство
- Есть
- he
- помощь
- помощь
- помогает
- высококачественный
- высший
- его
- имеет
- Главная
- кашель
- состоялся
- Как
- How To
- HTTPS
- хаб
- концентраторы
- i
- идеальный
- if
- Импортировать
- улучшать
- улучшение
- in
- включают
- включает в себя
- В том числе
- дополнительный
- информация
- вход
- затраты
- пример
- Институт
- инструкции
- Интеллекта
- интересы
- выпустили
- IT
- Java
- JPG
- известный
- залив
- язык
- большой
- Фамилия
- изучение
- уход
- Длина
- Лицензия
- вероятность
- Вероятно
- нравится
- Список
- Лама
- LLM
- Длинное
- любят
- ниже
- машина
- обучение с помощью машины
- сделанный
- сделать
- Создание
- менеджер
- многих
- упомянутый
- наставник
- Мета
- мили
- ML
- Мобильный телефон
- модель
- Модели
- БОЛЕЕ
- более эффективным
- самых
- MS
- должен
- натуральный
- Навигация
- Необходимость
- необходимый
- никогда
- Новые
- следующий
- в своих размышлениях
- ноутбук
- сейчас
- номер
- of
- on
- ONE
- те,
- только
- оптимизация
- Опции
- or
- наши
- внешний
- выходной
- за
- собственный
- страница
- хлеб
- бумага
- параметры
- часть
- Стороны
- для
- Выполнять
- выполнения
- кандидат наук
- PHP
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- политика
- Популярное
- положительный
- возможное
- После
- потенциал
- Predictor
- Печать / PDF
- печать
- проблемам
- процесс
- Процессы
- Продукт
- Менеджер по продукции
- производительность
- Программирование
- наводящие
- обеспечивать
- поставщики
- приводит
- опубликованный
- Питон
- pytorch
- быстро
- хаотичность
- ассортимент
- скорее
- достигать
- доходит до
- последний
- Связанный
- выпустил
- повторный
- исследованиям
- Полезные ресурсы
- ответ
- ОТДЫХ
- Итоги
- возвращают
- обратный
- обзоре
- Рост
- Дорога
- Run
- Бег
- sagemaker
- Вывод SageMaker
- то же
- Сохранить
- масштабируемые
- Шкала
- Наука
- Ученый
- SDK
- Поиск
- выбранный
- выбор
- старший
- предложение
- Последовательность
- Серии
- Услуги
- набор
- настройки
- общие
- Шоппинг
- показывать
- показанный
- Шоу
- просто
- Размеры
- So
- Software
- Решения
- РЕШАТЬ
- некоторые
- специалист
- специализированный
- указанный
- указав
- стабильный
- Начало
- и политические лидеры
- современное состояние
- Шаг
- Шаги
- Останавливает
- строка
- Студенты
- студия
- Успешно
- такие
- поддержка
- Поддержка
- Убедитесь
- окружающих
- принимает
- задачи
- команда
- Технологии
- tensorflow
- terms
- тестXNUMX
- проверенный
- Техас
- текст
- чем
- который
- Ассоциация
- их
- Их
- сами
- тогда
- Эти
- В третьих
- третье лицо
- этой
- три
- Через
- время
- Временные ряды
- в
- знак
- Лексемы
- топ
- Train
- специалистов
- Переводы
- путешествовать
- траверс
- правда
- стараться
- напишите
- Машинопись
- типично
- ui
- под
- понимание
- Университет
- до
- годный к употреблению
- Применение
- использование
- используемый
- Информация о пользователе
- через
- ценностное
- Наши ценности
- разнообразие
- версия
- с помощью
- видение
- от
- хотеть
- we
- Web
- веб-сервисы
- ЧТО Ж
- были
- когда
- будь то
- который
- в то время как
- широкий
- виджет
- будете
- в
- без
- Word
- слова
- Работа
- рабочий
- Рабочие процессы
- записывать
- лет
- Ты
- ВАШЕ
- зефирнет