В 2021, Фармацевтическая промышленность принесла в США доход в $550 млрд.. Фармацевтические компании продают на рынке множество различных, часто новых, лекарств, при которых иногда могут возникнуть непреднамеренные, но серьезные побочные эффекты.
Об этих событиях можно сообщать где угодно, из больниц или дома, и их необходимо ответственно и эффективно отслеживать. Традиционная ручная обработка нежелательных явлений усложняется из-за растущего объема медицинских данных и затрат. В целом к 384 году прогнозируемые затраты на деятельность по фармаконадзору для всей отрасли здравоохранения составят 2022 миллиарда долларов. Для поддержки всеобъемлющей деятельности по фармаконадзору наши фармацевтические клиенты хотят использовать возможности машинного обучения (МО) для автоматизации обнаружения нежелательных явлений из различных источников данных. , такие как ленты социальных сетей, телефонные звонки, электронные письма и рукописные заметки, и запускать соответствующие действия.
В этом посте мы покажем, как разработать решение на основе машинного обучения с использованием Создатель мудреца Амазонки для выявления нежелательных явлений с использованием общедоступного набора данных о побочных реакциях на лекарства на Hugging Face. В этом решении мы настраиваем различные модели Hugging Face, предварительно обученные на медицинских данных, и используем модель BioBERT, предварительно обученную на Опубликованный набор данных и показывает лучшие результаты из опробованных.
Мы реализовали решение с помощью Комплект для разработки облачных сервисов AWS (AWS CDK). Однако в этом посте мы не рассматриваем особенности построения решения. Дополнительную информацию о реализации этого решения см. Создайте систему для выявления нежелательных явлений в режиме реального времени с помощью Amazon SageMaker и Amazon QuickSight..
Этот пост посвящен нескольким ключевым областям, обеспечивая всестороннее исследование следующих тем:
- Проблемы с данными, с которыми сталкиваются профессиональные сервисы AWS
- Ландшафт и применение больших языковых моделей (LLM):
- Трансформаторы, BERT и GPT
- Обнимая лицо
- Точно настроенное решение LLM и его компоненты:
- Подготовка данных
- Модельное обучение
Проблема с данными
Неравномерность данных часто является проблемой при решении задач классификации. В идеале вам хотелось бы иметь сбалансированный набор данных, и этот вариант использования не является исключением.
Мы устраняем этот перекос с помощью генеративный ИИ модели (Falcon-7B и Falcon-40B), которым предлагалось генерировать выборки событий на основе пяти примеров из обучающего набора для повышения семантического разнообразия и увеличения размера выборки помеченных нежелательных явлений. Нам выгодно использовать здесь модели Falcon, потому что, в отличие от некоторых LLM на Hugging Face, Falcon предоставляет вам набор обучающих данных, которые они используют, поэтому вы можете быть уверены, что ни один из ваших примеров тестового набора не содержится в обучающем наборе Falcon, и избегайте данных. загрязнение.
Другая проблема с данными для клиентов здравоохранения — это требования соответствия HIPAA. Для удовлетворения этих требований в решение должно быть включено шифрование при хранении и передаче.
Трансформаторы, BERT и GPT
Архитектура преобразователя — это архитектура нейронной сети, которая используется для задач обработки естественного языка (NLP). Впервые он был представлен в статье «Внимание - все, что вам нужно» Васвани и др. (2017). Архитектура преобразователя основана на механизме внимания, который позволяет модели изучать долгосрочные зависимости между словами. Трансформаторы, как указано в оригинальной статье, состоят из двух основных компонентов: кодера и декодера. Кодер принимает входную последовательность в качестве входных данных и создает последовательность скрытых состояний. Затем декодер принимает эти скрытые состояния в качестве входных данных и создает выходную последовательность. Механизм внимания используется как в кодере, так и в декодере. Механизм внимания позволяет модели обращать внимание на определенные слова во входной последовательности при создании выходной последовательности. Это позволяет модели изучать долгосрочные зависимости между словами, что важно для многих задач НЛП, таких как машинный перевод и обобщение текста.
Одна из наиболее популярных и полезных архитектур преобразователей, двунаправленные представления кодировщиков из трансформаторов (BERT), представляет собой модель языкового представления, которая была представлен в 2018 году. BERT обучается на последовательностях, в которых некоторые слова в предложении замаскированы, и ему приходится заполнять эти слова, принимая во внимание слова до и после замаскированных слов. BERT можно настроить для различных задач НЛП, включая ответы на вопросы, вывод на естественном языке и анализ настроений.
Другая популярная архитектура трансформаторов, покорившая мир, — это генеративный предварительно обученный трансформатор (GPT). Первая модель GPT была представлен OpenAI в 2018 году. Он работает, обучаясь строго предсказывать следующее слово в последовательности, зная только контекст перед словом. Модели GPT обучаются на огромном наборе данных текста и кода, и их можно точно настроить для ряда задач НЛП, включая генерацию текста, ответы на вопросы и обобщение.
В целом BERT лучше справляется с задачами, требующими более глубокого понимания контекста слов, тогда как GPT лучше подходит для задач, требующих создания текста..
Обнимая лицо
Hugging Face — компания искусственного интеллекта, специализирующаяся на НЛП. Он предоставляет платформу с инструментами и ресурсами, которые позволяют разработчикам создавать, обучать и развертывать модели машинного обучения, ориентированные на задачи НЛП. Одним из ключевых предложений Hugging Face является его библиотека. Трансформаторы, который включает предварительно обученные модели, которые можно настроить для различных языковых задач, таких как классификация текста, перевод, обобщение и ответы на вопросы.
Hugging Face легко интегрируется с SageMaker — полностью управляемым сервисом, который позволяет разработчикам и специалистам по обработке данных создавать, обучать и развертывать модели машинного обучения в любом масштабе. Эта синергия приносит пользу пользователям, предоставляя надежную и масштабируемую инфраструктуру для решения задач НЛП с помощью самых современных моделей, которые предлагает Hugging Face, в сочетании с мощными и гибкими сервисами машинного обучения от AWS. Вы также можете получить доступ к моделям Hugging Face непосредственно из Amazon SageMaker JumpStart, что позволяет удобно начинать с готовых решений.
Обзор решения
Мы использовали библиотеку Hugging Face Transformers для точной настройки моделей трансформаторов в SageMaker для классификации неблагоприятных событий. Учебное задание создается с использованием оценщика SageMaker PyTorch. SageMaker JumpStart также имеет несколько дополнительных интеграций с Hugging Face, которые упрощает внедрение. В этом разделе мы описываем основные этапы подготовки данных и обучения модели.
Подготовка данных
Мы использовали данные о побочных реакциях на лекарства (ade_corpus_v2) в наборе данных Hugging Face с разделением обучения/тестирования 80/20. Требуемая структура данных для обучения и вывода нашей модели имеет два столбца:
- Один столбец для текстового содержимого в качестве входных данных модели.
- Еще один столбец для класса меток. У нас есть два возможных класса текста:
Not_AE
иAdverse_Event
.
Обучение модели и экспериментирование
Чтобы эффективно изучить пространство возможных моделей «Обнимающего лица» для точной настройки наших объединенных данных о нежелательных явлениях, мы создали задание по оптимизации гиперпараметров (HPO) SageMaker и передали различные модели «Обнимающего лица» в качестве гиперпараметра вместе с другими важными гиперпараметрами. такие как размер обучающего пакета, длина последовательности, модели и скорость обучения. В заданиях обучения использовался экземпляр ml.p3dn.24xlarge, и каждое задание с этим типом экземпляра занимало в среднем 30 минут. Показатели обучения были зафиксированы, хотя Эксперименты с Amazon SageMaker инструмент, и каждое обучающее задание длилось 10 эпох.
В нашем коде мы указываем следующее:
- Размер обучающего пакета – Количество выборок, которые обрабатываются вместе перед обновлением весов модели.
- Длина последовательности – Максимальная длина входной последовательности, которую может обработать BERT.
- Скорость обучения – Как быстро модель обновляет свои веса во время тренировки
- Модели - Предварительно обученные модели Hugging Face
Итоги
В нашем случае лучше всего показала себя модель monologg/biobert_v1.1_pubmed
Модель размещена на Hugging Face, которая представляет собой версию архитектуры BERT, предварительно обученную на наборе данных Pubmed, состоящем из 19,717 XNUMX научных публикаций. Предварительное обучение BERT на этом наборе данных дает этой модели дополнительные знания, когда дело доходит до определения контекста вокруг научных терминов, связанных с медициной. Это повышает производительность модели при решении задачи обнаружения нежелательных явлений, поскольку она предварительно обучена специальному медицинскому синтаксису, который часто встречается в нашем наборе данных.
В следующей таблице приведены наши показатели оценки.
Модель | Точность | Вспоминать | F1 |
Базовый БЕРТ | 0.87 | 0.95 | 0.91 |
БиоБерт | 0.89 | 0.95 | 0.92 |
БиоБЕРТ с ГПО | 0.89 | 0.96 | 0.929 |
BioBERT с HPO и синтетически сгенерированными нежелательными явлениями | 0.90 | 0.96 | 0.933 |
Хотя это относительно небольшие и постепенные улучшения по сравнению с базовой моделью BERT, тем не менее, они демонстрируют некоторые жизнеспособные стратегии повышения производительности модели с помощью этих методов. Генерация синтетических данных с помощью Falcon, по-видимому, имеет многообещающий потенциал для повышения производительности, особенно с учетом того, что эти генеративные модели искусственного интеллекта со временем становятся лучше.
Убирать
Чтобы избежать будущих расходов, удалите все ресурсы, созданные как модель, и конечные точки модели, созданные вами с помощью следующего кода:
Заключение
Многие фармацевтические компании сегодня хотели бы систематически автоматизировать процесс выявления нежелательных явлений при взаимодействии с клиентами, чтобы повысить безопасность клиентов и улучшить результаты. Как мы показали в этом посте, точно настроенный LLM BioBERT с синтетически сгенерированными нежелательными явлениями, добавленными к данным, классифицирует нежелательные явления с высокими показателями F1 и может использоваться для создания решения, соответствующего требованиям HIPAA, для наших клиентов.
Как всегда, AWS будет рад вашим отзывам. Пожалуйста, оставляйте свои мысли и вопросы в разделе комментариев.
Об авторах
Зак Петерсон — специалист по данным в AWS Professional Services. Он уже много лет занимается предоставлением клиентам решений в области машинного обучения и имеет степень магистра экономики.
Доктор Адевале Акинфадерин — старший специалист по данным в отделе здравоохранения и биологических наук в AWS. Его опыт заключается в воспроизводимых и комплексных методах искусственного интеллекта и машинного обучения, их практическом внедрении и оказании помощи клиентам здравоохранения по всему миру в формулировании и разработке масштабируемых решений междисциплинарных проблем. Имеет две ученые степени по физике и степень доктора технических наук.
Экта Валия Бхуллар, доктор философии, старший консультант по искусственному интеллекту и машинному обучению в бизнес-подразделении профессиональных услуг AWS в сфере здравоохранения и биологических наук (HCLS). Она имеет обширный опыт применения ИИ/МО в сфере здравоохранения, особенно в радиологии. Вне работы, когда она не обсуждает искусственный интеллект в радиологии, она любит бегать и ходить в походы.
Хан Ман — старший менеджер по обработке данных и машинному обучению в компании AWS Professional Services в Сан-Диего, Калифорния. Он получил степень доктора технических наук в Северо-Западном университете и имеет несколько лет опыта работы консультантом по управлению, консультируя клиентов в сфере производства, финансовых услуг и энергетики. Сегодня он увлеченно работает с ключевыми клиентами из различных отраслей промышленности над разработкой и внедрением решений машинного обучения и генеративного искусственного интеллекта на AWS.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/deploy-large-language-models-for-a-healthtech-use-case-on-amazon-sagemaker/
- :имеет
- :является
- :нет
- :куда
- $UP
- 1
- 10
- 100
- 16
- 19
- 2017
- 2018
- 2021
- 2022
- 30
- 32
- 7
- a
- доступ
- Учетная запись
- ACM
- действия
- активно
- добавленный
- адрес
- выгодный
- неблагоприятный
- консультирование
- После
- AI
- AI модели
- AI / ML
- AL
- Все
- позволяет
- вдоль
- причислены
- всегда
- Amazon
- Создатель мудреца Амазонки
- Amazon Web Services
- количество
- an
- анализ
- и
- ответ
- любой
- откуда угодно
- Применение
- соответствующий
- архитектура
- архитектуры
- МЫ
- области
- около
- искусственный
- искусственный интеллект
- AS
- At
- посещать
- внимание
- автоматизировать
- доступен
- в среднем
- избежать
- знать
- AWS
- Профессиональные услуги AWS
- balanced
- Использование темпера с изогнутым основанием
- основанный
- BE
- , так как:
- было
- до
- не являетесь
- Преимущества
- ЛУЧШЕЕ
- Лучшая
- между
- двунаправленный
- миллиард
- форсирует
- изоферменты печени
- Границы
- строить
- Строительство
- построенный
- бизнес
- но
- by
- CA
- Объявления
- CAN
- захваченный
- случаев
- вызов
- проблемы
- сложные
- расходы
- класс
- классов
- классификация
- клиентов
- облако
- код
- Column
- Колонки
- сочетании
- выходит
- приход
- Комментарии
- Компании
- Компания
- дополнительный
- Соответствие закону
- компоненты
- комплексный
- состоит
- построенный
- консультант
- содержащегося
- содержание
- контекст
- Удобно
- Цена
- Расходы
- чехол для варгана
- Создайте
- создали
- клиент
- Клиенты
- данным
- Подготовка данных
- наука о данных
- ученый данных
- Структура данных
- более глубокий
- определять
- Степень
- доставки
- копается
- демонстрирует
- Зависимости
- развертывание
- описывать
- обнаружение
- развивать
- застройщиков
- Развитие
- Диего
- различный
- непосредственно
- обсуждающий
- Разнообразие
- домен
- Dont
- наркотик
- Наркотики
- в течение
- Е & Т
- каждый
- Экономика
- эффективно
- Писем
- включить
- позволяет
- шифрование
- впритык
- энергетика
- Проект и
- эпохи
- особенно
- существенный
- оценка
- События
- События
- Примеры
- исключение
- опыт
- опыта
- исследование
- Больше
- обширный
- Богатый опыт
- дополнительно
- f1
- Face
- Обратная связь
- заполнять
- финансовый
- финансовые услуги
- Во-первых,
- 5
- гибкого
- внимание
- после
- Что касается
- от
- полностью
- будущее
- Общие
- порождать
- генерируется
- порождающий
- поколение
- генеративный
- Генеративный ИИ
- получить
- дает
- Глобальный
- выпускник
- обрабатывать
- Руки
- Есть
- he
- Медицина
- здравоохранение
- медицинской отрасли
- Медицинские технологии
- помощь
- помощь
- здесь
- Скрытый
- High
- Поход
- его
- держать
- Главная
- больницы
- состоялся
- Как
- How To
- Однако
- HTTPS
- Оптимизация гиперпараметра
- Идеально
- идентифицирующий
- осуществлять
- реализация
- реализации
- в XNUMX году
- Импортировать
- важную
- улучшать
- улучшение
- in
- включает в себя
- В том числе
- включенный
- Увеличение
- повышение
- дополнительный
- промышленность
- информация
- Инфраструктура
- вход
- пример
- Интегрируется
- интеграций
- Интеллекта
- взаимодействие
- в
- выпустили
- вовлеченный
- IT
- ЕГО
- работа
- Джобс
- JPG
- Основные
- Ключевые области
- этикетка
- заложены
- пейзаж
- язык
- большой
- УЧИТЬСЯ
- изучение
- Оставлять
- Длина
- Библиотека
- ЖИЗНЬЮ
- Медико-биологическая промышленность
- такое как
- нравится
- LLM
- серия
- машина
- обучение с помощью машины
- сделанный
- Главная
- основной
- ДЕЛАЕТ
- Создание
- человек
- управляемого
- управление
- менеджер
- руководство
- производство
- многих
- рынок
- массивный
- магистра
- Максимизировать
- максимальный
- механизм
- Медиа
- основным медицинским
- медицинские данные
- Встречайте
- методы
- Метрика
- Минут
- ML
- модель
- Модели
- контролируемый
- БОЛЕЕ
- должен
- имя
- натуральный
- Обработка естественного языка
- сеть
- нервный
- нейронной сети
- Тем не менее
- следующий
- НЛП
- нет
- Ничто
- Заметки
- роман
- номер
- происходить
- of
- Предложения
- Предложения
- .
- on
- ONE
- только
- оптимизация
- or
- заказ
- оригинал
- Другое
- наши
- внешний
- Результаты
- выходной
- внешнюю
- за
- общий
- Всеобъемлющая
- бумага & картон
- Прошло
- для
- производительность
- выполнены
- выполняет
- в Фармацевтической отрасли
- кандидат наук
- Телефон
- телефонные звонки
- Физика
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- пожалуйста
- Популярное
- возможное
- После
- потенциал
- мощностью
- мощный
- практическое
- предсказывать
- подготовка
- Проблема
- проблемам
- процесс
- Обработанный
- обработка
- производит
- профессиональный
- прогнозируемых
- обещание
- приводит
- обеспечение
- публикациям
- публично
- pytorch
- вопрос
- Вопросы
- быстро
- ассортимент
- Обменный курс
- реакция
- реального времени
- относиться
- регулярное выражение
- Связанный
- относительно
- Сообщается
- представление
- требовать
- обязательный
- Требования
- Полезные ресурсы
- ответственно
- ОТДЫХ
- надежный
- Run
- Сохранность
- sagemaker
- образец
- Сан -
- Сан Диего
- масштабируемые
- Шкала
- Наука
- НАУКА
- научный
- Ученый
- Ученые
- легко
- Раздел
- кажется
- продаем
- семантический
- старший
- предложение
- настроение
- Последовательность
- серьезный
- обслуживание
- Услуги
- набор
- несколько
- она
- показывать
- показал
- Шоу
- Размер
- скос
- небольшой
- So
- Соцсети
- социальные сети
- Решение
- Решения
- некоторые
- иногда
- Источники
- Space
- специализируется
- конкретный
- конкретика
- раскол
- Начало
- современное состояние
- Области
- Шаги
- буря
- простой
- стратегий
- Структура
- такие
- поддержка
- Убедитесь
- взаимодействие
- синтаксис
- синтетический
- синтетические данные
- синтетически
- система
- ТАБЛИЦЫ
- приняты
- принимает
- с
- Сложность задачи
- задачи
- terms
- тестXNUMX
- текст
- Классификация текста
- который
- Ассоциация
- мир
- их
- тогда
- Эти
- они
- этой
- те
- хоть?
- Через
- время
- в
- сегодня
- вместе
- приняли
- инструментом
- инструменты
- Темы
- традиционный
- Train
- специалистов
- Обучение
- трансформатор
- трансформеры
- транзит
- Переводы
- пыталась
- вызвать
- два
- напишите
- понимание
- Ед. изм
- Университет
- В отличие от
- Updates
- us
- использование
- прецедент
- используемый
- полезный
- пользователей
- через
- разнообразие
- различный
- версия
- вертикалей
- жизнеспособный
- хотеть
- законопроект
- Путь..
- we
- Web
- веб-сервисы
- приветствует
- были
- когда
- в то время как
- , которые
- в
- Word
- слова
- Работа
- работает
- работает
- Мир
- бы
- лет
- Ты
- ВАШЕ
- зефирнет