Адаптация предметной области Точная настройка базовых моделей в Amazon SageMaker JumpStart для финансовых данных

Большие языковые модели (LLM) с миллиардами параметров в настоящее время находятся на переднем крае обработки естественного языка (NLP). Эти модели потрясают мир своими невероятными способностями генерировать текст, анализировать настроения, переводить языки и многое другое. Имея доступ к огромным объемам данных, LLM могут революционизировать то, как мы взаимодействуем с языком. Хотя LLM способны выполнять различные задачи НЛП, они считаются универсалами, а не специалистами. Чтобы обучить LLM, чтобы он стал экспертом в определенной области, обычно требуется тонкая настройка.

Одной из основных проблем при обучении и развертывании LLM с миллиардами параметров является их размер, который может затруднить их размещение в отдельных графических процессорах, которые обычно используются для глубокого обучения. Огромный масштаб этих моделей требует высокопроизводительных вычислительных ресурсов, таких как специализированные графические процессоры с большим объемом памяти. Кроме того, размер этих моделей может сделать их вычислительно затратными, что может значительно увеличить время обучения и вывода.

В этом посте мы покажем, как мы можем использовать Amazon SageMaker JumpStart чтобы легко настроить модель генерации текста на большом языке в наборе данных, специфичном для предметной области, так же, как вы обучаете и развертываете любую модель на Создатель мудреца Амазонки. В частности, мы покажем, как можно точно настроить языковую модель GPT-J 6B для создания финансовых текстов, используя как JumpStart SDK, так и Студия Amazon SageMaker Пользовательский интерфейс в общедоступном наборе данных документов SEC.

JumpStart помогает быстро и легко начать работу с машинным обучением (ML) и предоставляет набор решений для наиболее распространенных вариантов использования, которые можно легко обучить и развернуть всего за несколько шагов. Все шаги в этой демонстрации доступны в прилагаемой записной книжке. Точная настройка модели генерации текста GPT-J 6B для набора данных, специфичного для предметной области..

Обзор решения

В следующих разделах мы представляем пошаговую демонстрацию тонкой настройки LLM для задач генерации текста с помощью пользовательского интерфейса JumpStart Studio и Python SDK. В частности, мы обсуждаем следующие темы:

• Обзор данных подачи SEC в финансовой области, на которых модель точно настроена.
• Обзор модели LLM GPT-J 6B, которую мы выбрали для тонкой настройки
• Демонстрация двух разных способов точной настройки LLM с помощью JumpStart:
  • Программное использование JumpStart с SageMaker Python SDK
  • Доступ к JumpStart с помощью пользовательского интерфейса Studio
• Оценка настроенной модели путем сравнения ее с предварительно обученной моделью без тонкой настройки.

Тонкая настройка относится к процессу использования предварительно обученной языковой модели и ее обучения другой, но связанной задаче с использованием конкретных данных. Этот подход также известен как трансферное обучение, который включает в себя перенос знаний, полученных от одной задачи, к другой. LLM, такие как GPT-J 6B, обучаются на больших объемах немаркированных данных и могут быть настроены на меньших наборах данных, что позволяет модели работать лучше в конкретной области.

В качестве примера того, как улучшается производительность при точной настройке модели, задайте ей следующий вопрос:

«Что способствует росту продаж в Amazon?»

Без тонкой настройки ответ будет таким:

«Amazon — крупнейший в мире интернет-магазин. Это также крупнейший в мире онлайн-рынок. Это тоже мир»

При точной настройке ответ будет таким:

«Рост продаж в Amazon обусловлен, прежде всего, увеличением числа клиентов, в том числе расширением выбора, снижением цен и повышением удобства, а также увеличением продаж других продавцов на наших веб-сайтах».

Улучшение от тонкой настройки очевидно.

Мы используем финансовый текст из документов SEC, чтобы настроить GPT-J 6B LLM для финансовых приложений. В следующих разделах мы представим данные и LLM, которые будут тонко настроены.

Набор данных для подачи в SEC

Заявки SEC имеют решающее значение для регулирования и раскрытия информации в финансовой сфере. Заявки уведомляют сообщество инвесторов об условиях бизнеса компаний и перспективах компаний на будущее. Текст в документах SEC охватывает всю гамму операций компании и условий ведения бизнеса. Из-за их потенциальной прогностической ценности эти документы являются хорошими источниками информации для инвесторов. Хотя эти документы SEC общедоступной для всех загрузка проанализированных файлов и создание чистого набора данных с добавленными функциями отнимает много времени. Мы делаем это возможным с помощью нескольких вызовов API в JumpStart. Отраслевой SDK.

С помощью SageMaker API мы скачивали годовые отчеты (10-К заявок; увидеть Как читать 10-К для получения дополнительной информации) для большого количества компаний. Мы выбрали отчеты Amazon по SEC за 2021–2022 годы в качестве обучающих данных для точной настройки модели GPT-J 6B. В частности, мы объединяем отчеты компании, подаваемые в SEC за разные годы, в один текстовый файл, за исключением раздела «Обсуждение и анализ руководства», который содержит прогнозные заявления руководства компании и используется в качестве данных проверки.

Ожидается, что после точной настройки модели генерации текста GPT-J 6B для финансовых документов SEC модель сможет генерировать проницательный текстовый вывод, связанный с финансами, и, следовательно, может использоваться для решения нескольких задач НЛП, специфичных для предметной области.

Модель GPT-J 6B с большим числом языков

ГПТ-ДЖ 6Б — это модель с 6 миллиардами параметров с открытым исходным кодом, выпущенная Eleuther AI. GPT-J 6B был обучен на большом массиве текстовых данных и способен выполнять различные задачи НЛП, такие как генерация текста, классификация текста и суммирование текста. Хотя эта модель впечатляет для ряда задач NLP без необходимости какой-либо тонкой настройки, во многих случаях вам потребуется настроить модель для определенного набора данных и задач NLP, которые вы пытаетесь решить. Варианты использования включают настраиваемых чат-ботов, генерацию идей, извлечение сущностей, классификацию и анализ настроений.

Доступ к LLM на SageMaker

Теперь, когда мы определили набор данных и модель, которую собираемся настроить, JumpStart предлагает два способа начать работу с тонкой настройкой генерации текста: SageMaker SDK и Studio.

Программное использование JumpStart с SageMaker SDK

Теперь мы рассмотрим пример того, как вы можете использовать SageMaker JumpStart SDK для доступа к LLM (GPT-J 6B) и его точной настройки в наборе данных SEC. По завершении тонкой настройки мы развернем настроенную модель и сделаем на ее основе вывод. Все шаги в этом посте доступны в прилагаемой записной книжке: Точная настройка модели генерации текста GPT-J 6B для набора данных, специфичного для предметной области..

В этом примере JumpStart использует Контейнер глубокого обучения SageMaker Hugging Face (DLC) и Глубокая скорость библиотека для тонкой настройки модели. Библиотека DeepSpeed ​​предназначена для снижения вычислительной мощности и использования памяти, а также для обучения больших распределенных моделей с лучшим параллелизмом на существующем компьютерном оборудовании. Он поддерживает распределенное обучение с одним узлом, используя контрольные точки градиента и параллелизм моделей для обучения больших моделей на одном учебном экземпляре SageMaker с несколькими графическими процессорами. В JumpStart мы интегрируем для вас библиотеку DeepSpeed ​​с DLC SageMaker Hugging Face и позаботимся обо всем, что находится под капотом. Вы можете легко настроить модель в наборе данных для конкретной предметной области, не настраивая ее вручную.

Точная настройка предварительно обученной модели на предметно-ориентированных данных

Чтобы настроить выбранную модель, нам нужно получить URI этой модели, а также сценарий обучения и образ контейнера, используемый для обучения. Для простоты эти три входа зависят исключительно от названия модели, версии (список доступных моделей см. Встроенные алгоритмы с предварительно обученной таблицей моделей) и тип экземпляра, на котором вы хотите тренироваться. Это демонстрируется в следующем фрагменте кода:

from sagemaker import image_uris, model_uris, script_uris, hyperparameters model_id, model_version = "huggingface-textgeneration1-gpt-j-6b", "*"
training_instance_type = "ml.g5.12xlarge" # Retrieve the docker image
train_image_uri = image_uris.retrieve( region=None, framework=None, model_id=model_id, model_version=model_version, image_scope="training", instance_type=training_instance_type,
) # Retrieve the training script
train_source_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="training"
) # Retrieve the pre-trained model tarball to further fine-tune
train_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="training"
)

Мы извлекаем model_id соответствующие той же модели, которую мы хотим использовать. В этом случае мы корректируем huggingface-textgeneration1-gpt-j-6b.

Определение гиперпараметров включает в себя установку значений различных параметров, используемых в процессе обучения модели машинного обучения. Эти параметры могут повлиять на производительность и точность модели. На следующем шаге мы устанавливаем гиперпараметры, используя настройки по умолчанию и указав пользовательские значения для таких параметров, как epochs и learning_rate:

from sagemaker import hyperparameters # Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) # [Optional] Override default hyperparameters with custom values
hyperparameters["epochs"] = "6" hyperparameters["learning_rate"] = "2e-04"
print(hyperparameters)

JumpStart предоставляет обширный список гиперпараметров, доступных для настройки. В следующем списке представлен обзор части ключевых гиперпараметров, используемых при тонкой настройке модели. Полный список гиперпараметров смотрите в блокноте Точная настройка модели генерации текста GPT-J 6B для набора данных, специфичного для предметной области..

• эпохи – Указывает не более, сколько эпох исходного набора данных будет повторяться.
• Learning_rate – Управляет размером шага или скоростью обучения алгоритма оптимизации во время обучения.
• eval_steps – Указывает, сколько шагов нужно выполнить перед оценкой модели на проверочном наборе во время обучения. Набор проверки — это подмножество данных, которое не используется для обучения, а вместо этого используется для проверки производительности модели на невидимых данных.
• вес_распад – Контролирует силу регуляризации во время обучения модели. Регуляризация — это метод, который помогает предотвратить чрезмерную подгонку модели к обучающим данным, что может привести к повышению производительности на невидимых данных.
• fp16 – Управляет использованием 16-битного (смешанного) точного обучения fp16 вместо 32-битного обучения.
• оценка_стратегия – Стратегия оценки, используемая во время обучения.
• градиент_накопление_шаги – Количество шагов обновления для накопления градиентов перед выполнением прохода назад/обновления.

Для получения дополнительной информации о гиперпараметрах обратитесь к официальному Документация Hugging Face Trainer.

Теперь вы можете точно настроить эту модель JumpStart для своего собственного пользовательского набора данных с помощью SageMaker SDK. Мы используем данные регистрации SEC, которые мы описали ранее. Данные обучения и проверки размещены в train_dataset_s3_path и validation_dataset_s3_path. Поддерживаемый формат данных включает CSV, JSON и TXT. Для данных CSV и JSON используются текстовые данные из столбца с именем text или первый столбец, если столбец с именем text не найден. Поскольку это делается для точной настройки генерации текста, метки истинности не требуются. Следующий код является примером SDK для точной настройки модели:

from sagemaker.estimator import Estimator
from sagemaker.utils import name_from_base
from sagemaker.tuner import HyperparameterTuner
from sagemaker.huggingface import HuggingFace train_dataset_s3_path = "s3://jumpstart-cache-prod-us-west-2/training-datasets/tc/data.csv"
validation_dataset_s3_path = "s3://jumpstart-cache-prod-us-west-2/training-datasets/tc/data.csv" training_job_name = name_from_base(f"jumpstart-example-{model_id}") metric_definitions=[ {'Name': 'train:loss', 'Regex': "'loss': ([0-9]+.[0-9]+)"}, {'Name': 'eval:loss', 'Regex': "'eval_loss': ([0-9]+.[0-9]+)"}, {'Name': 'eval:runtime', 'Regex': "'eval_runtime': ([0-9]+.[0-9]+)"}, {'Name': 'eval:samples_per_second', 'Regex': "'eval_samples_per_second': ([0-9]+.[0-9]+)"}, {'Name': 'eval:eval_steps_per_second', 'Regex': "'eval_steps_per_second': ([0-9]+.[0-9]+)"},
] # # Create SageMaker Estimator instance
tg_estimator = Estimator( role=aws_role, image_uri=train_image_uri, source_dir=train_source_uri, model_uri=train_model_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, hyperparameters=hyperparameters, output_path=s3_output_location, base_job_name=training_job_name, enable_network_isolation=True, metric_definitions=metric_definitions
) # Launch a SageMaker Training job by passing s3 path of the training data
tg_estimator.fit({"train": train_dataset_s3_path, "validation": validation_dataset_s3_path}, logs=True)

После настройки SageMaker Estimator с необходимыми гиперпараметрами мы создаем экземпляр SageMaker Estimator и вызываем метод .fit метод, чтобы начать тонкую настройку нашей модели, передав ей Простой сервис хранения Amazon (Amazon S3) URI для наших обучающих данных. Как видите, entry_point предоставленный сценарий называется transfer_learning.py (то же самое для других задач и моделей), а канал входных данных перешел к .fit должны быть названы train и validation.

JumpStart также поддерживает оптимизацию гиперпараметров с помощью SageMaker автоматическая настройка модели. Подробности смотрите в примере ноутбук.

Разверните доработанную модель

Когда обучение завершено, вы можете развернуть свою точно настроенную модель. Для этого все, что нам нужно получить, — это URI сценария вывода (код, который определяет, как модель используется для вывода после развертывания) и URI образа контейнера вывода, который включает соответствующий сервер модели для размещения выбранной нами модели. См. следующий код:

from sagemaker.predictor import Predictor
from sagemaker import image_uris
from sagemaker.utils import name_from_base
import boto3 sagemaker_session = sagemaker.Session(boto_session=boto3.Session(region_name="us-west-2")) #Retrieve the inference docker container uri
deploy_image_uri = image_uris.retrieve( region=None, framework=None, image_scope="inference", model_id=model_id, model_version=model_version, instance_type=inference_instance_type,
) endpoint_name = name_from_base(f"jumpstart-example-{model_id}") # Use the estimator from the previous step to deploy to a SageMaker endpoint
finetuned_predictor = tg_estimator.deploy( initial_instance_count=1, instance_type="ml.g5.12xlarge", image_uri=image_uri, endpoint_name=endpoint_name,
)

Через несколько минут наша модель развернута, и мы можем получать от нее прогнозы в режиме реального времени!

Доступ к JumpStart через пользовательский интерфейс Studio

Еще один способ тонкой настройки и развертывания моделей JumpStart — через пользовательский интерфейс Studio. Этот пользовательский интерфейс предоставляет решение с минимальным кодом или без кода для точной настройки LLM.

На консоли Studio выберите Модели, ноутбуки, решения под SageMaker JumpStart в навигационной панели.

В строке поиска найдите модель, которую хотите настроить и развернуть.

В нашем случае мы выбрали карту модели GPT-J 6B. Здесь мы можем напрямую настроить или развернуть LLM.

Оценка модели

При оценке LLM мы можем использовать недоумение (PPL). PPL — это обычная мера того, насколько хорошо языковая модель способна предсказать следующее слово в последовательности. Проще говоря, это способ измерить, насколько хорошо модель может понимать и генерировать человекоподобный язык.

Более низкий показатель недоумения означает, что модель лучше предсказывает следующее слово. С практической точки зрения, мы можем использовать недоумение для сравнения различных языковых моделей и определения того, какая из них лучше справляется с данной задачей. Мы также можем использовать его для отслеживания производительности одной модели с течением времени. Для получения более подробной информации см. Недоумение моделей фиксированной длины.

Мы оцениваем производительность модели путем сравнения ее производительности до и после тонкой настройки. PPL выдается в учебном задании Amazon CloudWatch журналы. Кроме того, мы смотрим на выходные данные, сгенерированные моделью в ответ на определенные тестовые запросы.

Повышение производительности модели демонстрируют два эксперимента:

• Генерация текста - Мы показываем, что на выходе точно настроенный GPT-J генерирует текст, который имеет сходство с набором данных SEC, что указывает на то, что он научился эмулировать языковые шаблоны и соглашения области финансового регулирования.
• Безупречное обучение – Мы демонстрируем, что точно настроенный GPT-J показывает значительно лучшую производительность, чем не настроенный GPT-J, при ответах на вопросы с нулевым шансом.

Для эксперимента по генерации текста мы используем следующие параметры вывода для достижения наших результатов: max_length из 400 (количество возвращенных токенов), num_return_sequences из 1 (количество примеров текста ответа), top_k из 250 (выберите одно из 250 возможных продолжений), top_p 0.8 (выбирать только из продолжений с вероятностью не менее 80%), do_sample is True (выборка) и temperature 1 (высокая температура – ​​большая хаотичность в ответах). Для получения более подробной информации о параметрах см. Конфигурация поколения. В следующей таблице сравнивается GPT-J с тонкой настройкой и GPT-J без тонкой настройки в задаче завершения текста.

Для второго эксперимента с нулевым ответом на вопрос мы установили max_length быть другим значением (40, 200 и 40 соответственно) в зависимости от результатов, которые мы ожидаем от каждого вопроса. Параметры top_k, top_p, do_sample, temperature установлены как 250, 0.8, Falseи 0 соответственно. Мы установили температуру близкой к 0, чтобы контролировать случайность вывода, тогда как в задаче генерации текста мы установили ее близкой к 1, чтобы сделать модель более творческой. В следующей таблице сравниваются результаты. Для каждого вопроса вывод тонко настроенного GPT-J более точен, чем нетонко настроенный.

Убирать

Чтобы избежать текущих расходов, удалите конечные точки логического вывода SageMaker. Вы можете удалить конечные точки через консоль SageMaker или из ноутбука, используя следующие команды:

# Delete the SageMaker endpoint and the attached resources
finetuned_predictor.delete_model()
finetuned_predictor.delete_endpoint()

Заключение

JumpStart — это функция SageMaker, позволяющая быстро приступить к работе с машинным обучением. JumpStart использует предварительно обученные модели с открытым исходным кодом для решения распространенных проблем машинного обучения, таких как классификация изображений, обнаружение объектов, классификация текста, классификация пар предложений и ответы на вопросы.

В этом посте мы показали вам, как настроить и развернуть предварительно обученный LLM (GPT-J 6B) для генерации текста на основе набора данных заполнения SEC. Мы продемонстрировали, как модель трансформировалась в эксперта в области финансов, пройдя процесс тонкой настройки всего на двух годовых отчетах компании. Эта тонкая настройка позволила модели генерировать контент с пониманием финансовых тем и большей точностью. Попробуйте решение самостоятельно и сообщите нам, как оно работает, в комментариях.

Важно: этот пост предназначен только для демонстрационных целей. Это не финансовый совет, и на него нельзя полагаться как на финансовый или инвестиционный совет. В посте использовались модели, предварительно обученные на данных, полученных из базы данных SEC EDGAR. Вы несете ответственность за соблюдение условий доступа EDGAR, если используете данные SEC.

Чтобы узнать больше о JumpStart, ознакомьтесь со следующими сообщениями:

Об авторах

Доктор Синь Хуан — старший научный сотрудник Amazon SageMaker JumpStart и встроенных алгоритмов Amazon SageMaker. Он занимается разработкой масштабируемых алгоритмов машинного обучения. Его исследовательские интересы лежат в области обработки естественного языка, объяснимого глубокого обучения на табличных данных и надежного анализа непараметрической пространственно-временной кластеризации. Он опубликовал множество статей на конференциях ACL, ICDM, KDD и в Королевском статистическом обществе: серия A.

Марк Карп является архитектором машинного обучения в команде Amazon SageMaker Service. Он фокусируется на помощи клиентам в проектировании, развертывании и управлении рабочими нагрузками машинного обучения в любом масштабе. В свободное время он любит путешествовать и исследовать новые места.

Доктор Санджив Дас является стипендиатом Amazon и профессором финансов и науки о данных Терри в Университете Санта-Клары. Он имеет ученую степень в области финансов (магистр философии и доктор философии Нью-Йоркского университета) и компьютерных наук (магистратура Калифорнийского университета в Беркли), а также степень магистра делового администрирования Индийского института менеджмента в Ахмадабаде. Прежде чем стать академиком, он работал в сфере деривативов в Азиатско-Тихоокеанском регионе в качестве вице-президента Citibank. Он работает над мультимодальным машинным обучением в области финансовых приложений.

Арун Кумар Локанатха является старшим архитектором решений машинного обучения в команде Amazon SageMaker Service. Он помогает клиентам создавать, обучать и переносить производственные рабочие нагрузки машинного обучения в SageMaker в нужном масштабе. Он специализируется на глубоком обучении, особенно в области НЛП и CV. Вне работы он любит бегать и ходить в походы.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Чеканка будущего с Эдриенн Эшли. Доступ здесь.
• Источник: https://aws.amazon.com/blogs/machine-learning/domain-adaptation-fine-tuning-of-foundation-models-in-amazon-sagemaker-jumpstart-on-financial-data/