Точная настройка Llama 2 для генерации текста на Amazon SageMaker JumpStart | Веб-сервисы Amazon

Сегодня мы рады объявить о возможности точной настройки моделей Llama 2 с помощью Meta. Amazon SageMaker JumpStart. Семейство больших языковых моделей (LLM) Llama 2 представляет собой набор предварительно обученных и точно настроенных генеративных текстовых моделей с масштабом от 7 до 70 миллиардов параметров. Точно настроенные LLM, называемые Llama-2-chat, оптимизированы для сценариев использования диалога. Вы можете легко опробовать эти модели и использовать их с SageMaker JumpStart — центром машинного обучения (ML), предоставляющим доступ к алгоритмам, моделям и решениям ML, чтобы вы могли быстро приступить к работе с ML. Теперь вы также можете точно настроить модели генерации текста Llama 7 с 13 миллиардами, 70 миллиардами и 2 миллиардами параметров в SageMaker JumpStart с помощью Студия Amazon SageMaker Пользовательский интерфейс в несколько кликов или с помощью SageMaker Python SDK.

Базовые модели генеративного искусственного интеллекта уже более года находятся в центре внимания большинства исследований и сценариев использования машинного обучения и искусственного интеллекта. Эти базовые модели очень хорошо справляются с генеративными задачами, такими как генерация текста, обобщение, ответы на вопросы, создание изображений и видео и т. д., из-за их большого размера, а также потому, что они обучены на нескольких больших наборах данных и сотнях задач. Несмотря на большие возможности обобщения этих моделей, часто существуют варианты использования, которые имеют очень специфические данные предметной области (например, здравоохранение или финансовые услуги), из-за чего эти модели могут быть не в состоянии обеспечить хорошие результаты для этих вариантов использования. Это приводит к необходимости дальнейшей тонкой настройки этих генеративных моделей ИИ на основе данных, специфичных для конкретных вариантов использования и предметной области.

В этом посте мы расскажем, как точно настроить предварительно обученные модели генерации текста Llama 2 с помощью SageMaker JumpStart.

Что такое Лама 2

Llama 2 — это авторегрессивная языковая модель, использующая оптимизированную архитектуру преобразователя. Llama 2 предназначена для коммерческого и исследовательского использования на английском языке. Он поставляется с различными размерами параметров — 7 миллиардов, 13 миллиардов и 70 миллиардов — а также с предварительно обученными и точно настроенными вариантами. По словам Меты, в настроенных версиях используется контролируемая точная настройка (SFT) и обучение с подкреплением с обратной связью с человеком (RLHF), чтобы соответствовать предпочтениям человека в отношении полезности и безопасности. Llama 2 был предварительно обучен на 2 триллионах токенов данных из общедоступных источников. Настроенные модели предназначены для чата, похожего на помощника, тогда как предварительно обученные модели могут быть адаптированы для различных задач генерации естественного языка. Независимо от того, какую версию модели использует разработчик, руководство по ответственному использованию от Meta может помочь в проведении дополнительной тонкой настройки, которая может потребоваться для настройки и оптимизации моделей с соответствующими мерами безопасности.

На данный момент Llama 2 доступен в следующих регионах:

• Развертывание предварительно обученной модели доступно: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• Точная настройка и развертывание точно настроенной модели: “us-east-1”, “us-west-2”,“eu-west-1”

Что такое SageMaker JumpStart

С помощью SageMaker JumpStart специалисты по машинному обучению могут выбирать из широкого набора общедоступных базовых моделей. Практики машинного обучения могут развертывать базовые модели в выделенных Создатель мудреца Амазонки экземпляры из сетевой изолированной среды и настраивайте модели с помощью SageMaker для обучения и развертывания моделей. Теперь вы можете обнаружить и развернуть Llama 2 несколькими щелчками мыши в SageMaker Studio или программно с помощью SageMaker Python SDK, что позволит вам получить производительность модели и элементы управления MLOps с помощью таких функций SageMaker, как Конвейеры Amazon SageMaker, Amazon SageMaker Отладчикили журналы контейнера. Модель развертывается в безопасной среде AWS и под контролем вашего VPC, что помогает обеспечить безопасность данных. Кроме того, вы можете точно настроить модели генерации предварительно обученного текста Llama2 7B, 13B и 70B с помощью SageMaker JumpStart.

Точная настройка моделей Llama2

Вы можете точно настроить модели с помощью пользовательского интерфейса SageMaker Studio или SageMaker Python SDK. В этом разделе мы обсудим оба метода.

Точная настройка без кода с помощью пользовательского интерфейса SageMaker Studio.

В SageMaker Studio вы можете получить доступ к моделям Llama 2 через SageMaker JumpStart в разделе Модели, ноутбуки и решения, как показано на следующем скриншоте.

Если вы не видите модели Llama 2, обновите версию SageMaker Studio, выключив и перезапустив программу. Дополнительные сведения об обновлениях версий см. Завершение работы и обновление приложений Studio.

Вы также можете найти другие четыре варианта модели, выбрав Исследуйте все модели генерации текста или введите слово «лама» в поле поиска.

На этой странице вы можете указать Простой сервис хранения Amazon (Amazon S3) Корзина, содержащая наборы данных обучения и проверки для точной настройки. Кроме того, вы можете настроить конфигурацию развертывания, гиперпараметры и параметры безопасности для более точной настройки. Затем вы можете выбрать Train чтобы начать задание обучения на экземпляре SageMaker ML. На предыдущем снимке экрана показана страница тонкой настройки модели Llama-2 7B; однако вы можете точно настроить модели генерации текста Llama 13 70B и 2B, используя соответствующие страницы моделей аналогичным образом. Чтобы использовать модели Llama 2, вам необходимо принять Лицензионное соглашение с конечным пользователем (EULA). Он появится, когда вы, когда вы выберете Train, как показано на следующем снимке экрана. Выбирать Я прочитал и принимаю лицензионное соглашение EULA и AUP. чтобы начать работу по тонкой настройке.

Развернуть модель

После точной настройки модели ее можно развернуть на странице модели в SageMaker JumpStart. Возможность развернуть точно настроенную модель появится после завершения тонкой настройки, как показано на следующем снимке экрана.

Точная настройка с помощью SageMaker Python SDK

Вы также можете точно настроить модели Llama 2 с помощью SageMaker Python SDK. Ниже приведен пример кода для точной настройки Llama 2 7B в вашем наборе данных:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

Вы можете развернуть точно настроенную модель непосредственно из оценщика:

finetuned_predictor = estimator.deploy()

Вы также можете найти код в Точная настройка моделей LLaMA 2 в SageMaker JumpStart. Он включает в себя подготовку набора данных, обучение работе с вашим пользовательским набором данных и развертывание точно настроенной модели. Он демонстрирует точную настройку подмножества набора данных Dolly с примерами из задачи суммирования. Ниже приведен пример входных данных с ответами от точно настроенных и неточно настроенных, а также основной ответ:

Вход в модель:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Ответ Основной Истины:

Felix Luna died on November 5th, 2009

Ответ модели без точной настройки:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

Ответ от точно настроенной модели:

Félix Luna died on November 5th, 2009.nn

Для сравнительного анализа производительности различных моделей в наборе данных Dolly и Dialogsum см. Сравнительный анализ производительности раздел в приложении в конце этого поста.

Техника тонкой настройки

Языковые модели, такие как Llama, имеют размер более 10 ГБ или даже 100 ГБ. Для точной настройки таких больших моделей требуются экземпляры со значительно большим объемом памяти CUDA. Кроме того, обучение этих моделей может быть очень медленным из-за размера модели. Поэтому для эффективной тонкой настройки мы используем следующие оптимизации:

• Адаптация низкого ранга (LoRA) – Это тип эффективной точной настройки параметров (PEFT) для эффективной точной настройки больших моделей. При этом мы замораживаем всю модель и добавляем в нее только небольшой набор настраиваемых параметров или слоев. Например, вместо обучения всех 7 миллиардов параметров для Llama 2 7B мы можем точно настроить менее 1% параметров. Это помогает значительно снизить требования к памяти, поскольку нам нужно хранить градиенты, состояния оптимизатора и другую информацию, связанную с обучением, только для 1% параметров. Кроме того, это помогает сократить время обучения, а также стоимость. Более подробную информацию об этом методе см. LoRA: низкоранговая адаптация больших языковых моделей.
• Квантование Int8 – Даже с такими оптимизациями, как LoRA, такие модели, как Llama 70B, все еще слишком велики для обучения. Чтобы уменьшить объем памяти во время обучения, мы можем использовать квантование Int8 во время обучения. Квантование обычно снижает точность типов данных с плавающей запятой. Хотя это уменьшает объем памяти, необходимой для хранения весов модели, но снижает производительность из-за потери информации. Квантование Int8 использует только четверть точности, но не приводит к снижению производительности, поскольку не просто отбрасывает биты. Он округляет данные из одного типа в другой. Чтобы узнать о квантовании Int8, обратитесь к LLM.int8(): 8-битное умножение матриц для трансформаторов в масштабе.
• Полностью сегментированный параллелизм данных (FSDP) – Это тип алгоритма параллельного обучения, который распределяет параметры модели между исполнителями параллельных данных и может при необходимости переложить часть обучающих вычислений на центральные процессоры. Хотя параметры распределяются по разным графическим процессорам, вычисление каждого микропакета выполняется локально для работника графического процессора. Он распределяет параметры более равномерно и обеспечивает оптимальную производительность за счет перекрытия связи и вычислений во время обучения.

В следующей таблице сравниваются различные методы с тремя моделями Llama 2.

Обратите внимание, что точная настройка моделей Llama основана на сценариях, предоставленных следующими Репо GitHub.

Формат набора обучающих данных

SageMaker JumpStart в настоящее время поддерживает наборы данных как в формате адаптации предметной области, так и в формате настройки инструкций. В этом разделе мы указываем пример набора данных в обоих форматах. Для получения более подробной информации см. Форматирование набора данных раздел в приложении.

Формат адаптации домена

Модель генерации текста Llama 2 можно точно настроить для любого набора данных, специфичного для конкретной предметной области. Ожидается, что после точной настройки на наборе данных, специфичном для конкретной области, модель будет генерировать текст для конкретной области и решать различные задачи НЛП в этой конкретной области с помощью нескольких подсказок. В этом наборе данных входные данные состоят из файла CSV, JSON или TXT. Например, входными данными могут быть документы SEC Amazon в виде текстового файла:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Формат настройки инструкции

При точной настройке инструкций модель настраивается для набора задач обработки естественного языка (NLP), описываемых с помощью инструкций. Это помогает повысить производительность модели при выполнении невидимых задач с помощью подсказок с нулевым результатом. В формате набора данных настройки инструкций вы указываете template.json файл, описывающий форматы ввода и вывода. Например, каждая строка в файле train.jsonl выглядит так:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

Дополнительный файл template.json выглядит так:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Поддерживаемые гиперпараметры для обучения

Точная настройка Llama 2 поддерживает ряд гиперпараметров, каждый из которых может влиять на требования к памяти, скорость обучения и производительность точно настроенной модели:

• эпоха – Количество проходов, которые алгоритм тонкой настройки выполняет через набор обучающих данных. Должно быть целое число больше 1. Значение по умолчанию — 5.
• Learning_rate – Скорость обновления весов модели после обработки каждой серии обучающих примеров. Должно быть положительное число с плавающей запятой больше 0. Значение по умолчанию — 1e-4.
• инструкция_tuned – Следует ли обучать модель инструкции или нет. Должно быть 'True' или 'False'. По умолчанию 'False».
• per_device_train_batch_size – Размер пакета на ядро ​​графического процессора/ЦП для обучения. Должно быть положительным целым числом. По умолчанию — 4.
• per_device_eval_batch_size – Размер пакета на ядро ​​графического процессора/ЦП для оценки. Должно быть положительным целым числом. По умолчанию — 1.
• max_train_samples – В целях отладки или более быстрого обучения сократите количество обучающих примеров до этого значения. Значение -1 означает использование всех обучающих выборок. Должно быть положительным целым числом или -1. По умолчанию – -1.
• max_val_samples – В целях отладки или более быстрого обучения сократите количество примеров проверки до этого значения. Значение -1 означает использование всех проверочных образцов. Должно быть положительным целым числом или -1. По умолчанию – -1.
• max_input_length – Максимальная общая длина входной последовательности после токенизации. Последовательности длиннее этого значения будут обрезаны. Если -1, max_input_length установлено минимальное значение 1024 и максимальная длина модели, определенная токенизатором. Если установлено положительное значение, max_input_length установлено минимальное из предоставленного значения, а model_max_length определяется токенизатором. Должно быть положительным целым числом или -1. По умолчанию – -1.
• validation_split_ratio – Если канал проверки none, соотношение разделения проверки поезда из данных поезда должно находиться в диапазоне 0–1. По умолчанию — 0.2.
• train_data_split_seed – Если данные проверки отсутствуют, это фиксирует случайное разделение входных данных обучения на данные обучения и проверки, используемые алгоритмом. Должно быть целое число. По умолчанию — 0.
• preprocessing_num_workers – Количество процессов, используемых для предварительной обработки. Если None, основной процесс используется для предварительной обработки. По умолчанию None.
• лора_р – Лора Р. Должно быть положительным целым числом. По умолчанию — 8.
• лора_альфа – Лора Альфа. Должно быть положительным целым числом. По умолчанию – 32.
• lora_dropout – Лора Дропаут. должно быть положительным плавающим числом от 0 до 1. Значение по умолчанию — 0.05.
• int8_quantization - Если True, модель загружается с 8-битной точностью для обучения. По умолчанию для 7B и 13B: False. По умолчанию для 70B True.
• Enable_fsdp - Если True, обучение использует FSDP. По умолчанию для 7B и 13B: True. По умолчанию для 70B False, Обратите внимание, что int8_quantization не поддерживается FSDP.

Типы экземпляров и совместимые гиперпараметры

Требования к памяти во время тонкой настройки могут различаться в зависимости от нескольких факторов:

• Тип модели – Модель 7B требует наименьших требований к памяти графического процессора, а модель 70B имеет наибольшую потребность в памяти.
• Максимальная входная длина – Более высокое значение входной длины приводит к одновременной обработке большего количества токенов и, как следствие, требует больше памяти CUDA.
• Размер партии – Больший размер пакета требует большего объема памяти CUDA и, следовательно, требует более крупных типов экземпляров.
• Квантование Int8 – При использовании квантования Int8 модель загружается с низкой точностью и поэтому требует меньше памяти CUDA.

Чтобы помочь вам начать работу, мы предоставляем набор комбинаций различных типов экземпляров, гиперпараметров и типов моделей, которые можно успешно настроить. Вы можете выбрать конфигурацию в соответствии с вашими требованиями и доступностью типов инстансов. Мы настраиваем все три модели с различными настройками, используя три эпохи в подмножестве набора данных Долли с примерами обобщения.

Модель 7Б

В следующей таблице приведены параметры тонкой настройки модели 7B.

13B

В следующей таблице приведены параметры тонкой настройки модели 13B.

70B

В следующей таблице приведены параметры тонкой настройки модели 70B.

Рекомендации по типам экземпляров и гиперпараметрам

При точной настройке точности модели имейте в виду следующее:

• Более крупные модели, такие как 70B, обеспечивают лучшую производительность, чем 7B.
• Производительность без квантования Int8 выше, чем производительность с квантованием INT8.

Обратите внимание на следующее время обучения и требования к памяти CUDA:

• настройка int8_quantization=True уменьшает потребность в памяти и приводит к более быстрому обучению.
• Убывающий per_device_train_batch_size и max_input_length уменьшает требования к памяти и, следовательно, может запускаться на небольших экземплярах. Однако установка очень низких значений может увеличить время обучения.
• Если вы не используете квантование Int8 (int8_quantization=False), используйте ФСДП (enable_fsdp=True) для более быстрого и эффективного обучения.

При выборе типа экземпляра учитывайте следующее:

• Инстансы G5 обеспечивают наиболее эффективное обучение среди поддерживаемых типов инстансов. Поэтому, если у вас есть доступные экземпляры G5, вам следует использовать их.
• Время обучения во многом зависит от количества доступных графических процессоров и памяти CUDA. Поэтому обучение на инстансах с одинаковым количеством графических процессоров (например, ml.g5.2xlarge и ml.g5.4xlarge) примерно одинаковое. Поэтому для обучения можно использовать более дешевый экземпляр (ml.g5.2xlarge).
• При использовании экземпляров p3 обучение будет выполняться с 32-битной точностью, поскольку bfloat16 в этих экземплярах не поддерживается. Таким образом, задание обучения будет потреблять вдвое больше памяти CUDA при обучении на экземплярах p3 по сравнению с экземплярами g5.

Информацию о стоимости обучения за один экземпляр см. Amazon EC2 G5 Экземпляры.

Если набор данных имеет формат настройки инструкций и последовательности ввода+завершения малы (например, 50–100 слов), то высокое значение max_input_length приводит к очень плохой производительности. Значение этого параметра по умолчанию — -1, что соответствует max_input_length 2048 года для моделей Llama. Поэтому мы рекомендуем, если ваш набор данных содержит небольшие выборки, используйте небольшое значение для max_input_length (например, 200–400).

Наконец, из-за высокого спроса на инстансы G5 вы можете столкнуться с недоступностью этих инстансов в вашем регионе с ошибкой. “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” Если вы столкнулись с этой ошибкой, повторите задание обучения или попробуйте другой регион.

Проблемы при точной настройке очень больших моделей

В этом разделе мы обсудим две проблемы при точной настройке очень больших моделей.

Отключить сжатие вывода

По умолчанию результатом задания обучения является обученная модель, которая сжимается в формате .tar.gz перед загрузкой в ​​Amazon S3. Однако из-за большого размера модели этот шаг может занять много времени. Например, сжатие и загрузка модели 70B может занять более 4 часов. Чтобы избежать этой проблемы, вы можете использовать функцию отключения сжатия вывода, поддерживаемую учебной платформой SageMaker. В этом случае модель загружается без какого-либо сжатия, что в дальнейшем используется для развертывания:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

Проблема с тайм-аутом ядра SageMaker Studio

Из-за размера модели Llama 70B задание по обучению может занять несколько часов, и ядро ​​SageMaker Studio может выйти из строя на этапе обучения. Однако в это время обучение в SageMaker все еще продолжается. В этом случае вы все равно можете развернуть конечную точку, используя имя задания обучения, используя следующий код:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

Чтобы найти название задания обучения, перейдите в консоль SageMaker и в разделе Обучение на панели навигации выберите Работа по обучению. Определите имя задания обучения и замените его в приведенном выше коде.

Заключение

В этом посте мы обсудили тонкую настройку моделей Llama 2 от Meta с помощью SageMaker JumpStart. Мы показали, что вы можете использовать консоль SageMaker JumpStart в SageMaker Studio или SageMaker Python SDK для точной настройки и развертывания этих моделей. Мы также обсудили технику тонкой настройки, типы экземпляров и поддерживаемые гиперпараметры. Кроме того, мы изложили рекомендации по оптимизации тренировок на основе различных проведенных нами тестов. Результаты тонкой настройки трех моделей по двум наборам данных показаны в приложении в конце этого поста. Как мы видим из этих результатов, точная настройка улучшает суммирование по сравнению с моделями без точной настройки. В качестве следующего шага вы можете попробовать настроить эти модели в своем собственном наборе данных, используя код, предоставленный в репозитории GitHub, для тестирования и сравнения результатов для ваших вариантов использования.

Авторы хотели бы выразить признательность за технический вклад Кристоферу Уиттену, Синь Хуангу, Кайлу Ульриху, Сифэю ​​Ли, Эми Ю, Адаму Коздровичу, Эвану Кравицу, Бенджамину Крэбтри, Хаотяну Ану, Манан Шаху, Тони Крузу, Эрневу Шарме, Джонатану Гинегану и Джун. Выиграл.

Об авторах

Доктор Вивек Мадан — ученый-прикладник в команде Amazon SageMaker JumpStart. Он получил докторскую степень в Университете Иллинойса в Урбана-Шампейн и был постдокторантом в Технологическом институте Джорджии. Он является активным исследователем в области машинного обучения и разработки алгоритмов и публиковал статьи на конференциях EMNLP, ICLR, COLT, FOCS и SODA.

Доктор Фарук Сабир является старшим специалистом по искусственному интеллекту и машинному обучению, архитектором решений в AWS. Он имеет степень доктора философии и магистра электротехники Техасского университета в Остине и степень магистра компьютерных наук Технологического института Джорджии. Он имеет более чем 15-летний опыт работы, а также любит учить и наставлять студентов колледжей. В AWS он помогает клиентам формулировать и решать их бизнес-задачи в области науки о данных, машинного обучения, компьютерного зрения, искусственного интеллекта, численной оптимизации и смежных областях. Живя в Далласе, штат Техас, он и его семья любят путешествовать и совершать длительные поездки.

Доктор Ашиш Хетан является старшим научным сотрудником Amazon SageMaker JumpStart и помогает разрабатывать алгоритмы машинного обучения. Он получил докторскую степень в Университете Иллинойса в Урбане-Шампейне. Он является активным исследователем в области машинного обучения и статистических выводов и опубликовал множество статей на конференциях NeurIPS, ICML, ICLR, JMLR, ACL и EMNLP.

Приложение

В этом приложении представлена ​​дополнительная информация о сравнительном тестировании производительности и форматировании наборов данных.

Сравнительный анализ производительности

В этом разделе мы приводим результаты тонкой настройки трех моделей Llama 2 (7B, 13B и 70B) на двух разных наборах данных: Долли и Диалогсумма. Для набора данных Dolly наша задача — обобщить абзац текста, тогда как для Dialogsum мы настраиваем модель для обобщения обсуждения между двумя людьми. В следующих таблицах мы показываем входные данные модели (подсказку и инструкции), основную информацию (сводку), ответ предварительно обученной модели Llama 2 и ответ точно настроенной модели Llama 2 для каждого из трех Llama. 2 модели. Мы показываем результаты вывода для пяти точек данных. Из следующих таблиц вы можете заметить, что сводные данные улучшаются для обоих наборов данных после точной настройки моделей.

• Результаты тонкой настройки модели генерации текста Llama 2 7B на наборе данных Dolly:

• Результаты тонкой настройки модели генерации текста Llama 2 13B на наборе данных Dolly:

• Результаты тонкой настройки модели генерации текста Llama 2 70B на наборе данных Dolly:

• Результаты тонкой настройки модели генерации текста Llama 2 7B на наборе данных Dialogsum:

• Результаты тонкой настройки модели Llama-2 13B на наборе данных Dialogsum:

• Результаты тонкой настройки модели Llama 2 70B на наборе данных Dialogsum:

Форматирование набора данных

В настоящее время мы предлагаем два типа тонкой настройки: тонкую настройку инструкций и тонкую настройку адаптации предметной области. Вы можете легко переключиться на один из методов обучения, указав параметр instruction_tuned в виде 'True' или 'False».

Формат адаптации домена

Модель генерации текста также можно точно настроить для любого набора данных, специфичного для предметной области. Ожидается, что после точной настройки на наборе данных, специфичном для конкретной области, модель будет генерировать текст для конкретной области и решать различные задачи НЛП в этой конкретной области с помощью нескольких подсказок.

Для входных данных в модель используйте каталог обучения и необязательной проверки. Каждый каталог содержит файл CSV, JSON или TXT. Для файлов CSV и JSON данные обучения или проверки используются из столбца с именем text или первого столбца, если ни один столбец не называется. text найден. Количество файлов, находящихся на обучении и проверке (если предусмотрено), должно быть равно 1 соответственно.

Результатом является обученная модель, которую можно использовать для вывода.

Ниже приведен пример файла TXT для точной настройки модели генерации текста. Файл TXT представляет собой отчеты Amazon по ценным бумагам и биржам США за 2021–2022 годы:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

Инструкция тонкой настройки

Модель генерации текста может быть настроена с помощью инструкций для любых текстовых данных при условии, что данные имеют ожидаемый формат. Модель, настроенную на основе инструкций, может быть дополнительно использована для вывода.

Для ввода используйте каталог обучения и необязательной проверки. Каталоги поезда и проверки должны содержать одну или несколько файлов в формате строк JSON (.jsonl). В частности, каталог поезда также может содержать дополнительный файл *.json, описывающий форматы ввода и вывода.

Лучшая модель выбирается в соответствии с потерями при проверке, рассчитанными в конце каждой эпохи. Если набор проверки не указан, (регулируемый) процент обучающих данных автоматически разделяется и используется для проверки.

Данные обучения должны быть отформатированы в формате строк JSON (.jsonl), где каждая строка представляет собой словарь, представляющий один образец данных. Все данные обучения должны находиться в одной папке; однако его можно сохранить в нескольких файлах .jsonl. Расширение файла .jsonl является обязательным. Папка обучения также может содержать template.json файл, описывающий форматы ввода и вывода. Если файл шаблона не указан, будет использоваться следующий шаблон:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

В этом случае данные в записях строк JSON должны включать prompt и completion поля. Если предоставляется собственный шаблон, он также должен использовать prompt и completion клавиши для определения шаблонов ввода и вывода. Ниже приведен пример пользовательского шаблона:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

Здесь данные в записях строк JSON должны включать question, contextи answer полей.

Результатом является обученная модель, которую можно использовать для вывода.

Мы предоставляем подмножество данных отчетности SEC Amazon. Скачивается из общедоступного EDGAR. Инструкции по доступу к данным см. Доступ к данным EDGAR.

Лицензия: Лицензия Creative Commons Attribution-ShareAlike (CC BY-SA 4.0)

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Автомобили / электромобили, Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• ЧартПрайм. Улучшите свою торговую игру с ChartPrime. Доступ здесь.
• Смещения блоков. Модернизация права собственности на экологические компенсации. Доступ здесь.
• Источник: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/