Автоматично створюйте покази на основі результатів радіологічних звітів за допомогою генеративного штучного інтелекту на AWS | Веб-сервіси Amazon

Рентгенологічні звіти — це вичерпні, довгі документи, які описують та інтерпретують результати рентгенологічного обстеження. У типовому робочому процесі радіолог контролює, читає та інтерпретує зображення, а потім коротко підсумовує ключові результати. Підведення підсумків (або враження) є найважливішою частиною звіту, оскільки вона допомагає клініцистам і пацієнтам зосередитися на важливому вмісті звіту, який містить інформацію для прийняття клінічних рішень. Створення чіткого та вражаючого враження потребує набагато більше зусиль, ніж просто повторення висновків. Тому весь процес є трудомістким, трудомістким і схильним до помилок. Часто на це потрібні роки навчання щоб лікарі накопичили достатній досвід у написанні стислого та інформативного резюме радіологічного звіту, ще більше підкреслюючи важливість автоматизації процесу. Крім того, автоматичне формування підсумків звіту має вирішальне значення для радіологічного звіту. Це дає змогу перекладати звіти на зрозумілу людині мову, тим самим полегшуючи пацієнтам тягар читання довгих і незрозумілих звітів.

Щоб вирішити цю проблему, ми пропонуємо використовувати генеративний штучний інтелект, тип штучного інтелекту, який може створювати новий контент та ідеї, зокрема розмови, історії, зображення, відео та музику. Генеративний штучний інтелект базується на моделях машинного навчання (ML) — дуже великих моделях, попередньо навчених на величезних обсягах даних, які зазвичай називають базовими моделями (FM). Нещодавні досягнення в ML (зокрема, винахід архітектури нейронної мережі на основі трансформатора) призвели до появи моделей, які містять мільярди параметрів або змінних. Рішення, запропоноване в цій публікації, використовує тонке налаштування попередньо підготовлених великих мовних моделей (LLM), щоб допомогти генерувати підсумки на основі результатів радіологічних звітів.

У цьому дописі демонструється стратегія тонкого налаштування загальнодоступних LLM для завдання узагальнення радіологічного звіту за допомогою сервісів AWS. LLMs продемонстрували надзвичайні можливості в розумінні та створенні природної мови, слугуючи базовими моделями, які можна адаптувати до різних областей і завдань. Використання попередньо навченої моделі має значні переваги. Це зменшує витрати на обчислення, зменшує викиди вуглецю та дозволяє використовувати найсучасніші моделі без необхідності навчання з нуля.

Наше рішення використовує FLAN-T5 XL FM, використовуючи Amazon SageMaker JumpStart, який є центром ML, що пропонує алгоритми, моделі та рішення ML. Ми демонструємо, як це зробити за допомогою блокнота в Студія Amazon SageMaker. Тонке налаштування попередньо навченої моделі передбачає подальше навчання конкретних даних для покращення продуктивності в іншому, але пов’язаному завданні. Це рішення передбачає точне налаштування моделі FLAN-T5 XL, яка є вдосконаленою версією T5 (Text-to-Text Transfer Transformer) LLM загального призначення. T5 перетворює завдання обробки природної мови (NLP) в уніфікований формат тексту в текст, на відміну від БЕРТмоделі стилю, які можуть виводити лише мітку класу або діапазон вхідних даних. Його точно налаштовано для виконання завдання підсумовування 91,544 XNUMX довільних текстових радіологічних звітів, отриманих від Набір даних MIMIC-CXR.

Огляд рішення

У цьому розділі ми обговорюємо ключові компоненти нашого рішення: вибір стратегії для завдання, точне налаштування LLM та оцінка результатів. Ми також проілюструємо архітектуру рішення та етапи впровадження рішення.

Визначте стратегію виконання завдання

Існують різні стратегії підходу до завдання автоматизації узагальнення клінічних звітів. Наприклад, ми могли б використовувати спеціалізовану мовну модель, попередньо навчену клінічним звітам з нуля. Крім того, ми могли б безпосередньо налаштувати загальнодоступну мовну модель загального призначення для виконання клінічного завдання. Використання точно налаштованої агностичної моделі домену може знадобитися в умовах, де навчання a модель мови з нуля занадто дорого. У цьому рішенні ми демонструємо останній підхід до використання моделі FLAN -T5 XL, яку ми налаштовуємо для клінічного завдання узагальнення радіологічних звітів. Наступна діаграма ілюструє робочий процес моделі.

Типовий радіологічний звіт добре організований і стислий. Такі звіти часто мають три ключові розділи:

• фон – Надає загальну інформацію про демографічні дані пацієнта з важливою інформацією про пацієнта, історію хвороби, відповідну історію хвороби та подробиці процедур обстеження
• Результати – Представляє детальний діагноз і результати обстеження
• друк – Коротко підсумовує найбільш помітні результати або інтерпретацію результатів з оцінкою значущості та потенційним діагнозом на основі спостережуваних аномалій

Використовуючи розділ висновків у радіологічних звітах, рішення генерує розділ відбитків, який відповідає резюме лікарів. Наступний малюнок є прикладом рентгенологічного звіту.

Тонко налаштуйте LLM загального призначення для клінічного завдання

У цьому рішенні ми налаштовуємо модель FLAN-T5 XL (налаштовуємо всі параметри моделі та оптимізуємо їх для завдання). Ми налаштовуємо модель за допомогою набору даних клінічної області МІМІК-CXR, який є загальнодоступним набором даних рентгенограм грудної клітки. Для точного налаштування цієї моделі за допомогою SageMaker Jumpstart потрібно надати приклади з мітками у формі пар {prompt, completion}. У цьому випадку ми використовуємо пари {Findings, Impression} з оригінальних звітів у наборі даних MIMIC-CXR. Для висновку ми використовуємо підказку, як показано в наступному прикладі:

Модель налаштована на прискорені обчислення ml.p3.16xlarge екземпляр із 64 віртуальними процесорами та 488 ГіБ пам’яті. Для перевірки 5% набору даних було обрано випадковим чином. Час виконання навчального завдання SageMaker із тонким налаштуванням становив 38,468 11 секунд (приблизно XNUMX годин).

Оцініть результати

Коли навчання завершено, дуже важливо оцінити результати. Для кількісного аналізу сформованого враження ми використовуємо ЧЕРВОНИЙ (Recall-Oriented Understudy for Gisting Evaluation), найбільш часто використовуваний показник для оцінки підсумовування. Цей показник порівнює автоматично створене резюме з посиланням або набором посилань (створених людиною) резюме чи перекладу. ROUGE1 стосується перекриття уніграми (кожне слово) між кандидатом (вихідні дані моделі) і довідковими резюме. ROUGE2 стосується перекриття біграми (два слова) між кандидатським і опорним резюме. ROUGEL — це метрика рівня речення, яка стосується найдовшої спільної підпослідовності (LCS) між двома частинами тексту. Він ігнорує нові рядки в тексті. ROUGELsum — це метрика підсумкового рівня. Для цього показника нові рядки в тексті не ігноруються, але інтерпретуються як межі речень. Потім обчислюється LCS між кожною парою посилань і речень-кандидатів, а потім обчислюється об’єднання LCS. Для агрегування цих балів за даним набором еталонних і потенційних речень обчислюється середнє значення.

Проходження та архітектура

Загальна архітектура рішення, як показано на наступному малюнку, в основному складається із середовища розробки моделі, яке використовує SageMaker Studio, розгортання моделі з кінцевою точкою SageMaker і панелі звітів за допомогою Amazon QuickSight.

У наступних розділах ми демонструємо точне налаштування LLM, доступного на SageMaker JumpStart, для узагальнення предметно-спеціального завдання за допомогою SDK SageMaker Python. Зокрема, обговорюємо такі теми:

• Етапи налаштування середовища розробки
• Огляд наборів даних радіологічних звітів, на основі яких налаштовується та оцінюється модель
• Демонстрація точного налаштування моделі FLAN-T5 XL за допомогою програми SageMaker JumpStart із SDK SageMaker Python
• Виведення та оцінка попередньо навчених і налаштованих моделей
• Порівняння результатів попередньо навченої моделі та точно налаштованих моделей

Рішення доступне в Створення вражень радіологічного звіту за допомогою генеративного ШІ з моделлю великої мови на AWS GitHub репо.

Передумови

Щоб почати, вам потрібен Обліковий запис AWS в якому можна використовувати SageMaker Studio. Вам потрібно буде створити профіль користувача для SageMaker Studio, якщо ви його ще не маєте.

Тип навчального екземпляра, який використовується в цій публікації, – ml.p3.16xlarge. Зауважте, що тип екземпляра p3 вимагає збільшення ліміту послуг.

Команда Набір даних MIMIC CXR можна отримати доступ через угоду про використання даних, яка вимагає реєстрації користувача та завершення процесу ідентифікації.

Налаштуйте середовище розробки

Щоб налаштувати середовище розробки, ви створюєте сегмент S3, налаштовуєте блокнот, створюєте кінцеві точки та розгортаєте моделі, а також створюєте інформаційну панель QuickSight.

Створіть відро S3

Створіть відро S3 званий llm-radiology-bucket для розміщення наборів даних для навчання та оцінювання. Це також використовуватиметься для зберігання артефакту моделі під час розробки моделі.

Налаштувати блокнот

Виконайте такі дії:

1. Запустіть SageMaker Studio з консолі SageMaker або з Інтерфейс командного рядка AWS (AWS CLI).

Додаткову інформацію про підключення до домену див На борту до домену Amazon SageMaker.

2. Створіть новий Блокнот SageMaker Studio для очищення даних звіту та точного налаштування моделі. Ми використовуємо примірник ноутбука ml.t3.medium 2vCPU+4GiB з ядром Python 3.

3. У блокноті встановіть відповідні пакети, наприклад nest-asyncio, IPyWidgets (для інтерактивних віджетів для ноутбука Jupyter) і SageMaker Python SDK:

!pip install nest-asyncio==1.5.5 --quiet !pip install ipywidgets==8.0.4 --quiet !pip install sagemaker==2.148.0 --quiet

Для виведення попередньо підготовлених і точно налаштованих моделей, створити кінцеву точку та розгорнути кожну модель у зошиті наступним чином:

1. Створіть об’єкт моделі з класу Model, який можна розгорнути на кінцевій точці HTTPS.
2. Створіть кінцеву точку HTTPS із попередньо створеним об’єктом моделі deploy() метод:

from sagemaker import model_uris, script_uris
from sagemaker.model import Model
from sagemaker.predictor import Predictor
from sagemaker.utils import name_from_base # Retrieve the URI of the pre-trained model
pre_trained_model_uri =model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="inference") large_model_env = {"SAGEMAKER_MODEL_SERVER_WORKERS": "1", "TS_DEFAULT_WORKERS_PER_MODEL": "1"} pre_trained_name = name_from_base(f"jumpstart-demo-pre-trained-{model_id}") # Create the SageMaker model instance of the pre-trained model
if ("small" in model_id) or ("base" in model_id): deploy_source_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="inference" ) pre_trained_model = Model( image_uri=deploy_image_uri, source_dir=deploy_source_uri, entry_point="inference.py", model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, )
else: # For those large models, we already repack the inference script and model # artifacts for you, so the `source_dir` argument to Model is not required. pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

Створіть інформаційну панель QuickSight

Створити Інформаційна панель QuickSight із джерелом даних Athena з результатами висновку Служба простого зберігання Amazon (Amazon S3), щоб порівняти результати висновків із основною правдою. На наступному знімку екрана показано приклад панелі інструментів.

Набори даних радіологічного звіту

Тепер модель налаштована, усі параметри моделі налаштовані на 91,544 XNUMX звіти, завантажені з Набір даних MIMIC-CXR v2.0. Оскільки ми використовували лише текстові дані радіологічного звіту, ми завантажили лише один стиснутий файл звіту (mimic-cxr-reports.zip) з веб-сайту MIMIC-CXR. Зараз ми оцінюємо налаштовану модель на основі 2,000 звітів (іменованих як dev1 набір даних) з окрем тримав підмножину цього набору даних. Ми використовуємо ще 2,000 радіологічних звітів (іменовані як dev2) для оцінки точно налаштованої моделі з колекції рентгенівських знімків грудної клітки від Мережа лікарень університету Індіани. Усі набори даних зчитуються як файли JSON і завантажуються в щойно створений сегмент S3 llm-radiology-bucket. Зауважте, що всі набори даних за замовчуванням не містять жодної захищеної медичної інформації (PHI); уся конфіденційна інформація замінюється трьома послідовними символами підкреслення (___) постачальниками.

Точне налаштування за допомогою SDK SageMaker Python

Для точного налаштування model_id вказано як huggingface-text2text-flan-t5-xl зі списку моделей SageMaker JumpStart. The training_instance_type встановлено як ml.p3.16xlarge і inference_instance_type як ml.g5.2xlarge. Навчальні дані у форматі JSON зчитуються з відра S3. Наступним кроком є ​​використання вибраного model_id для отримання URI ресурсів SageMaker JumpStart, включно з image_uri ( Реєстр контейнерів Amazon Elastic (Amazon ECR) URI для зображення Docker), model_uri (попередньо навчений артефакт моделі Amazon S3 URI) і script_uri (сценарій навчання):

from sagemaker import image_uris, model_uris, script_uris # Training instance will use this image
train_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="training", instance_type=training_instance_type,
) # Pre-trained model
train_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="training"
) # Script to execute on the training instance
train_script_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="training"
) output_location = f"s3://{output_bucket}/demo-llm-rad-fine-tune-flan-t5/"

Крім того, місце виведення встановлюється як папка в сегменті S3.

Лише один гіперпараметр, епохи, змінено на 3, а решта встановлено за замовчуванням:

from sagemaker import hyperparameters # Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) # We will override some default hyperparameters with custom values
hyperparameters["epochs"] = "3"
print(hyperparameters)

Такі показники навчання, як eval_loss (для втрати підтвердження), loss (за втрату навчання), і epoch для відстеження визначено та перераховано:

from sagemaker.estimator import Estimator
from sagemaker.utils import name_from_base model_name = "-".join(model_id.split("-")[2:]) # get the most informative part of ID
training_job_name = name_from_base(f"js-demo-{model_name}-{hyperparameters['epochs']}")
print(f"{bold}job name:{unbold} {training_job_name}") training_metric_definitions = [ {"Name": "val_loss", "Regex": "'eval_loss': ([0-9.]+)"}, {"Name": "train_loss", "Regex": "'loss': ([0-9.]+)"}, {"Name": "epoch", "Regex": "'epoch': ([0-9.]+)"},
]

Ми використовуємо URI ресурсів SageMaker JumpStart (image_uri, model_uri, script_uri), визначені раніше, щоб створити оцінювач і точно налаштувати його на навчальному наборі даних, вказавши шлях S3 набору даних. Для класу Estimator потрібен entry_point параметр. У цьому випадку JumpStart використовує transfer_learning.py. Завдання навчання не запускається, якщо це значення не встановлено.

# Create SageMaker Estimator instance
sm_estimator = Estimator( role=aws_role, image_uri=train_image_uri, model_uri=train_model_uri, source_dir=train_script_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, volume_size=300, max_run=360000, hyperparameters=hyperparameters, output_path=output_location, metric_definitions=training_metric_definitions,
) # Launch a SageMaker training job over data located in the given S3 path
# Training jobs can take hours, it is recommended to set wait=False,
# and monitor job status through SageMaker console
sm_estimator.fit({"training": train_data_location}, job_name=training_job_name, wait=True)

На виконання цієї навчальної роботи можуть знадобитися години; отже, рекомендовано встановити для параметра очікування значення False і відстежувати стан навчального завдання на консолі SageMaker. Використовувати TrainingJobAnalytics функція для відстеження показників навчання в різних часових мітках:

from sagemaker import TrainingJobAnalytics # Wait for a couple of minutes for the job to start before running this cell
# This can be called while the job is still running
df = TrainingJobAnalytics(training_job_name=training_job_name).dataframe()

Розгорнути кінцеві точки висновку

Щоб проводити порівняння, ми розгортаємо кінцеві точки висновків як для попередньо навчених, так і для точно налаштованих моделей.

Спочатку отримайте URI зображення Docker для висновку за допомогою model_idі використовуйте цей URI для створення екземпляра моделі SageMaker попередньо навченої моделі. Розгорніть попередньо навчену модель, створивши кінцеву точку HTTPS із попередньо створеним об’єктом моделі deploy() метод. Щоб запустити висновок через SageMaker API, обов’язково передайте клас Predictor.

from sagemaker import image_uris
# Retrieve the inference docker image URI. This is the base HuggingFace container image
deploy_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="inference", instance_type=inference_instance_type,
) # Retrieve the URI of the pre-trained model
pre_trained_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="inference"
) pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

Повторіть попередній крок, щоб створити екземпляр моделі SageMaker налаштованої моделі та створити кінцеву точку для розгортання моделі.

Оцініть моделі

Спочатку встановіть довжину короткого тексту, кількість вихідних даних моделі (має бути більше 1, якщо необхідно створити декілька підсумків) і кількість променів для променевий пошук.

Створіть запит на висновок як корисне навантаження JSON і використовуйте його для запиту кінцевих точок для попередньо навчених і налаштованих моделей.

Обчислити агрегований РУЖ забиває (ROUGE1, ROUGE2, ROUGEL, ROUGELsum), як описано раніше.

Порівняйте результати

У таблиці нижче наведено результати оцінки для dev1 та dev2 набори даних. Результат оцінювання на dev1 (2,000 результатів із радіологічного звіту MIMIC CXR) показує приблизно 38 процентних пунктів покращення у сукупному середньому ROUGE1 і ROUGE2 бали порівняно з попередньо навченою моделлю. Для dev2 показники ROUGE31 і ROUGE25 покращилися на 1 відсотковий пункт і 2 відсоткових пунктів. Загалом, точне налаштування призвело до покращення на 38.2 відсоткових пунктів і 31.3 відсоткових пунктів у балах ROUGELsum для dev1 та dev2 набори даних відповідно.

Наступні графіки зображають розподіл балів ROUGE для dev1 та dev2 набори даних, оцінені за допомогою точно налаштованої моделі.

(а): dev1	(б): dev2

У наведеній нижче таблиці показано, що показники ROUGE для наборів даних оцінювання мають приблизно однакові медіану та середнє значення, а отже, розподілені симетрично.

Прибирати

Щоб уникнути майбутніх витрат, видаліть ресурси, створені за допомогою такого коду:

# Delete resources
pre_trained_predictor.delete_model()
pre_trained_predictor.delete_endpoint()
fine_tuned_predictor.delete_model()
fine_tuned_predictor.delete_endpoint()

Висновок

У цьому дописі ми продемонстрували, як точно налаштувати модель FLAN-T5 XL для задачі узагальнення, що стосується конкретної клінічної області, за допомогою SageMaker Studio. Щоб підвищити впевненість, ми порівняли прогнози з базовою правдою та оцінили результати за допомогою показників ROUGE. Ми продемонстрували, що модель, налаштована на конкретне завдання, дає кращі результати, ніж модель, попередньо навчена на загальне завдання НЛП. Ми хотіли б зазначити, що точне налаштування LLM загального призначення повністю усуває витрати на попереднє навчання.

Хоча представлена ​​тут робота зосереджена на звітах про рентген грудної клітки, її можна розширити до більших наборів даних із різними анатоміями та модальностями, такими як МРТ і КТ, для яких радіологічні звіти можуть бути складнішими з кількома результатами. У таких випадках радіологи можуть створити враження в порядку критичності та включити рекомендації щодо подальшого спостереження. Крім того, налаштування циклу зворотного зв’язку для цього додатка дозволить радіологам з часом покращити продуктивність моделі.

Як ми показали в цій публікації, точно налаштована модель генерує покази для радіологічних звітів із високими оцінками ROUGE. Ви можете спробувати налаштувати LLM на інших медичних звітах із різних відділів, що стосуються конкретного домену.

Про авторів

Доктор Адевале Акінфадерін є старшим спеціалістом із обробки даних у сфері охорони здоров’я та наук про життя в AWS. Його досвід полягає у відтворюваних і наскрізних методах AI/ML, практичних реалізаціях і допомозі глобальним клієнтам охорони здоров’я формулювати та розробляти масштабовані рішення для міждисциплінарних проблем. Він має два дипломи з фізики та ступінь доктора інженерії.

Прія Падате є старшим архітектором партнерських рішень із великим досвідом у сфері охорони здоров’я та наук про життя в AWS. Priya разом із партнерами розробляє стратегії виходу на ринок і сприяє розробці рішень для прискорення розробки на основі ШІ/ML. Вона захоплена використанням технологій для трансформації галузі охорони здоров’я, щоб досягти кращих результатів лікування пацієнтів.

Екта Валія Бхуллар, PhD, є старшим консультантом зі штучного інтелекту та ML бізнес-підрозділу професійних послуг AWS Healthcare and Life Sciences (HCLS). Вона має значний досвід застосування ШІ/ML ​​у сфері охорони здоров’я, особливо в радіології. Поза роботою, коли не обговорюють ШІ в радіології, вона любить бігати та піти в походи.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. Автомобільні / електромобілі, вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• ChartPrime. Розвивайте свою торгову гру за допомогою ChartPrime. Доступ тут.
• BlockOffsets. Модернізація екологічної компенсаційної власності. Доступ тут.
• джерело: https://aws.amazon.com/blogs/machine-learning/automatically-generate-impressions-from-findings-in-radiology-reports-using-generative-ai-on-aws/