Genere automáticamente impresiones a partir de hallazgos en informes de radiología utilizando IA generativa en AWS | Servicios web de Amazon

Los informes de radiología son documentos completos y extensos que describen e interpretan los resultados de un examen de imágenes radiológicas. En un flujo de trabajo típico, el radiólogo supervisa, lee e interpreta las imágenes y luego resume de manera concisa los hallazgos clave. El resumen (o impresión) es la parte más importante del informe porque ayuda a los médicos y pacientes a centrarse en los contenidos críticos del informe que contienen información para la toma de decisiones clínicas. Crear una impresión clara e impactante implica mucho más esfuerzo que simplemente reformular los hallazgos. Por lo tanto, todo el proceso es laborioso, requiere mucho tiempo y es propenso a errores. A menudo se necesitan años de la formación para que los médicos acumulen suficiente experiencia en la redacción de resúmenes de informes de radiología concisos e informativos, lo que resalta aún más la importancia de automatizar el proceso. Además, generación automática de resumen de resultados de informes. es fundamental para los informes radiológicos. Permite la traducción de informes a un lenguaje legible por humanos, aliviando así la carga de lectura de los pacientes a través de informes largos y oscuros.

Para resolver este problema, proponemos el uso de IA generativa, un tipo de IA que puede crear nuevos contenidos e ideas, incluidas conversaciones, historias, imágenes, vídeos y música. La IA generativa funciona con modelos de aprendizaje automático (ML), modelos muy grandes que están previamente entrenados con grandes cantidades de datos y comúnmente se denominan modelos básicos (FM). Los avances recientes en ML (específicamente la invención de la arquitectura de red neuronal basada en transformadores) han llevado al surgimiento de modelos que contienen miles de millones de parámetros o variables. La solución propuesta en esta publicación utiliza el ajuste de modelos de lenguaje grande (LLM) previamente entrenados para ayudar a generar resúmenes basados ​​en los hallazgos de los informes de radiología.

Esta publicación demuestra una estrategia para ajustar los LLM disponibles públicamente para la tarea de resumir informes de radiología utilizando los servicios de AWS. Los LLM han demostrado capacidades notables en la comprensión y generación del lenguaje natural, sirviendo como modelos básicos que pueden adaptarse a diversos dominios y tareas. Existen importantes beneficios al utilizar un modelo previamente entrenado. Reduce los costos de cálculo, reduce la huella de carbono y le permite utilizar modelos de última generación sin tener que entrenar uno desde cero.

Nuestra solución utiliza el FLAN-T5XL FM, usando JumpStart de Amazon SageMaker, que es un centro de ML que ofrece algoritmos, modelos y soluciones de ML. Demostramos cómo lograr esto usando un cuaderno en Estudio Amazon SageMaker. El ajuste de un modelo previamente entrenado implica entrenamiento adicional sobre datos específicos para mejorar el rendimiento en una tarea diferente pero relacionada. Esta solución implica ajustar el modelo FLAN-T5 XL, que es una versión mejorada de T5 (Transformador de transferencia de texto a texto) LLM de uso general. T5 reformula las tareas de procesamiento del lenguaje natural (PNL) en un formato unificado de texto a texto, en contraste con BERTIModelos de estilo que solo pueden generar una etiqueta de clase o un intervalo de la entrada. Está optimizado para una tarea de resumen de 91,544 informes de radiología de texto libre obtenidos del Conjunto de datos MIMIC-CXR.

Resumen de la solución

En esta sección, analizamos los componentes clave de nuestra solución: elegir la estrategia para la tarea, ajustar un LLM y evaluar los resultados. También ilustramos la arquitectura de la solución y los pasos para implementar la solución.

Identificar la estrategia para la tarea.

Existen varias estrategias para abordar la tarea de automatizar el resumen de informes clínicos. Por ejemplo, podríamos utilizar un modelo de lenguaje especializado previamente entrenado en informes clínicos desde cero. Alternativamente, podríamos ajustar directamente un modelo de lenguaje de propósito general disponible públicamente para realizar la tarea clínica. El uso de un modelo agnóstico de dominio ajustado puede ser necesario en entornos donde se entrena a un modelo de lenguaje desde cero es demasiado costoso. En esta solución, demostramos el último enfoque de utilizar un modelo FLAN -T5 XL, que ajustamos para la tarea clínica de resumir informes de radiología. El siguiente diagrama ilustra el flujo de trabajo del modelo.

Un informe radiológico típico está bien organizado y es conciso. Estos informes suelen tener tres secciones clave:

• Antecedentes – Proporciona información general sobre la demografía del paciente con información esencial sobre el paciente, historial clínico e historial médico relevante y detalles de los procedimientos de examen.
• Hallazgos – Presenta diagnósticos y resultados detallados del examen.
• impresión – Resume de manera concisa los hallazgos o la interpretación más destacados de los hallazgos con una evaluación de la importancia y el diagnóstico potencial basado en las anomalías observadas.

Utilizando la sección de hallazgos en los informes de radiología, la solución genera la sección de impresión, que corresponde al resumen de los médicos. La siguiente figura es un ejemplo de un informe radiológico.

Ajustar un LLM de propósito general para una tarea clínica

En esta solución, ajustamos un modelo FLAN-T5 XL (ajustando todos los parámetros del modelo y optimizándolos para la tarea). Ajustamos el modelo utilizando el conjunto de datos del dominio clínico. MIMIC-CXR, que es un conjunto de datos de radiografías de tórax disponible públicamente. Para ajustar este modelo a través de SageMaker Jumpstart, se deben proporcionar ejemplos etiquetados en forma de pares {prompt, complete}. En este caso, utilizamos pares de {Hallazgos, Impresión} de los informes originales en el conjunto de datos MIMIC-CXR. Para inferir, utilizamos un mensaje como se muestra en el siguiente ejemplo:

El modelo está afinado en una computación acelerada. ml.p3.16xgrande instancia con 64 CPU virtuales y 488 GiB de memoria. Para la validación, se seleccionó aleatoriamente el 5% del conjunto de datos. El tiempo transcurrido del trabajo de capacitación de SageMaker con ajuste fino fue de 38,468 segundos (aproximadamente 11 horas).

Evaluar los resultados

Cuando se completa la capacitación, es fundamental evaluar los resultados. Para un análisis cuantitativo de la impresión generada, utilizamos ROUGE (Suplente orientado a la recuperación para la evaluación de Gisting), la métrica más utilizada para evaluar el resumen. Esta métrica compara un resumen producido automáticamente con una referencia o un conjunto de resumen o traducción de referencias (producidas por humanos). ROUGE1 se refiere a la superposición de unigramas (cada palabra) entre el candidato (el resultado del modelo) y los resúmenes de referencia. ROUGE2 se refiere a la superposición de bigramas (dos palabras) entre el candidato y los resúmenes de referencia. ROUGEL es una métrica a nivel de oración y se refiere a la subsecuencia común más larga (LCS) entre dos fragmentos de texto. Ignora las nuevas líneas en el texto. ROUGELsum es una métrica a nivel de resumen. Para esta métrica, las nuevas líneas en el texto no se ignoran, sino que se interpretan como límites de oraciones. Luego se calcula el LCS entre cada par de oraciones de referencia y candidatas, y luego se calcula el LCS de unión. Para la agregación de estas puntuaciones sobre un conjunto dado de oraciones de referencia y candidatas, se calcula el promedio.

Tutorial y arquitectura.

La arquitectura general de la solución, como se muestra en la siguiente figura, consta principalmente de un entorno de desarrollo de modelos que utiliza SageMaker Studio, una implementación de modelos con un punto final de SageMaker y un panel de informes que utiliza Amazon QuickSight.

En las siguientes secciones, demostramos cómo ajustar un LLM disponible en SageMaker JumpStart para resumir una tarea específica de un dominio a través del SDK de SageMaker Python. En particular, discutimos los siguientes temas:

• Pasos para configurar el entorno de desarrollo
• Una descripción general de los conjuntos de datos de informes de radiología en los que se ajusta y evalúa el modelo
• Una demostración del ajuste del modelo FLAN-T5 XL usando SageMaker JumpStart mediante programación con SageMaker Python SDK
• Inferencia y evaluación de los modelos previamente entrenados y ajustados.
• Comparación de resultados de modelos previamente entrenados y modelos ajustados

La solución está disponible en el Generación de impresiones de informes de radiología mediante IA generativa con modelo de lenguaje grande en AWS Repositorio GitHub.

Requisitos previos

Para empezar, necesitas un Cuenta de AWS en el que puedes utilizar SageMaker Studio. Deberá crear un perfil de usuario para SageMaker Studio si aún no tiene uno.

El tipo de instancia de capacitación utilizado en esta publicación es ml.p3.16xlarge. Tenga en cuenta que el tipo de instancia p3 requiere un aumento del límite de cuota de servicio.

La Conjunto de datos MIMIC CXR Se puede acceder a través de un acuerdo de uso de datos, que requiere el registro del usuario y la finalización de un proceso de acreditación.

Configurar el entorno de desarrollo

Para configurar su entorno de desarrollo, crea un depósito S3, configura una computadora portátil, crea puntos finales e implementa los modelos, y crea un panel QuickSight.

Crea un cubo S3

Crea un cubo S3 , que son llm-radiology-bucket para albergar los conjuntos de datos de capacitación y evaluación. Esto también se utilizará para almacenar el artefacto del modelo durante el desarrollo del modelo.

Configurar un cuaderno

Complete los siguientes pasos:

1. Inicie SageMaker Studio desde la consola de SageMaker o desde Interfaz de línea de comandos de AWS (CLI de AWS).

Para obtener más información sobre la incorporación a un dominio, consulte Incorporación al dominio de Amazon SageMaker.

2. Crear un nuevo Cuaderno SageMaker Studio para limpiar los datos del informe y ajustar el modelo. Usamos una instancia de notebook ml.t3.medium 2vCPU+4GiB con un kernel Python 3.

3. Dentro del cuaderno, instale los paquetes relevantes, como nest-asyncio, IPyWidgets (para widgets interactivos para el cuaderno Jupyter) y el SDK de SageMaker Python:

!pip install nest-asyncio==1.5.5 --quiet !pip install ipywidgets==8.0.4 --quiet !pip install sagemaker==2.148.0 --quiet

Para inferir los modelos previamente entrenados y ajustados, crear un punto final e implementar cada modelo en el cuaderno de la siguiente manera:

1. Cree un objeto modelo a partir de la clase Modelo que se pueda implementar en un punto final HTTPS.
2. Cree un punto final HTTPS con el objeto modelo prediseñado deploy() método:

from sagemaker import model_uris, script_uris
from sagemaker.model import Model
from sagemaker.predictor import Predictor
from sagemaker.utils import name_from_base # Retrieve the URI of the pre-trained model
pre_trained_model_uri =model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="inference") large_model_env = {"SAGEMAKER_MODEL_SERVER_WORKERS": "1", "TS_DEFAULT_WORKERS_PER_MODEL": "1"} pre_trained_name = name_from_base(f"jumpstart-demo-pre-trained-{model_id}") # Create the SageMaker model instance of the pre-trained model
if ("small" in model_id) or ("base" in model_id): deploy_source_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="inference" ) pre_trained_model = Model( image_uri=deploy_image_uri, source_dir=deploy_source_uri, entry_point="inference.py", model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, )
else: # For those large models, we already repack the inference script and model # artifacts for you, so the `source_dir` argument to Model is not required. pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

Cree un panel de QuickSight

Créar un Panel QuickSight con una fuente de datos Athena con inferencia se obtiene Servicio de almacenamiento simple de Amazon (Amazon S3) para comparar los resultados de la inferencia con la verdad fundamental. La siguiente captura de pantalla muestra nuestro panel de ejemplo.

Conjuntos de datos de informes de radiología

El modelo ahora está ajustado, todos los parámetros del modelo están ajustados en 91,544 informes descargados del Conjunto de datos MIMIC-CXR v2.0. Debido a que utilizamos solo los datos de texto del informe de radiología, descargamos solo un archivo de informe comprimido (mimic-cxr-reports.zip) del sitio web de MIMIC-CXR. Ahora evaluamos el modelo ajustado en 2,000 informes (conocido como el dev1 conjunto de datos) del separado subconjunto extendido de este conjunto de datos. Utilizamos otros 2,000 informes de radiología (denominados dev2) para evaluar el modelo ajustado de la colección de radiografías de tórax del Red de hospitales de la Universidad de Indiana. Todos los conjuntos de datos se leen como archivos JSON y se cargan en el depósito S3 recién creado. llm-radiology-bucket. Tenga en cuenta que, de forma predeterminada, todos los conjuntos de datos no contienen ninguna información de salud protegida (PHI); toda la información confidencial se reemplaza con tres guiones bajos consecutivos (___) por los proveedores.

Ajuste con el SDK de SageMaker Python

Para un ajuste fino, el model_id se especifica como huggingface-text2text-flan-t5-xl de la lista de modelos SageMaker JumpStart. El training_instance_type está configurado como ml.p3.16xlarge y el inference_instance_type como ml.g5.2xlarge. Los datos de entrenamiento en formato JSON se leen desde el depósito S3. El siguiente paso es utilizar el model_id seleccionado para extraer los URI de recursos de SageMaker JumpStart, incluidos image_uri (la Registro de contenedores elásticos de Amazon (Amazon ECR) URI para la imagen de Docker), model_uri (el artefacto del modelo previamente entrenado Amazon S3 URI), y script_uri (el guión de entrenamiento):

from sagemaker import image_uris, model_uris, script_uris # Training instance will use this image
train_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="training", instance_type=training_instance_type,
) # Pre-trained model
train_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="training"
) # Script to execute on the training instance
train_script_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="training"
) output_location = f"s3://{output_bucket}/demo-llm-rad-fine-tune-flan-t5/"

Además, se configura una ubicación de salida como una carpeta dentro del depósito de S3.

Solo un hiperparámetro, las épocas, se cambia a 3, y el resto se configura como predeterminado:

from sagemaker import hyperparameters # Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) # We will override some default hyperparameters with custom values
hyperparameters["epochs"] = "3"
print(hyperparameters)

Las métricas de entrenamiento como eval_loss (por pérdida de validación), loss (por pérdida de entrenamiento), y epoch a ser rastreados están definidos y listados:

from sagemaker.estimator import Estimator
from sagemaker.utils import name_from_base model_name = "-".join(model_id.split("-")[2:]) # get the most informative part of ID
training_job_name = name_from_base(f"js-demo-{model_name}-{hyperparameters['epochs']}")
print(f"{bold}job name:{unbold} {training_job_name}") training_metric_definitions = [ {"Name": "val_loss", "Regex": "'eval_loss': ([0-9.]+)"}, {"Name": "train_loss", "Regex": "'loss': ([0-9.]+)"}, {"Name": "epoch", "Regex": "'epoch': ([0-9.]+)"},
]

Usamos los URI de recursos de SageMaker JumpStart (image_uri, model_uri, script_uri) identificado anteriormente para crear un estimador y ajustarlo en el conjunto de datos de entrenamiento especificando la ruta S3 del conjunto de datos. La clase Estimador requiere un entry_point parámetro. En este caso, JumpStart utiliza transfer_learning.py. El trabajo de entrenamiento no se puede ejecutar si no se establece este valor.

# Create SageMaker Estimator instance
sm_estimator = Estimator( role=aws_role, image_uri=train_image_uri, model_uri=train_model_uri, source_dir=train_script_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, volume_size=300, max_run=360000, hyperparameters=hyperparameters, output_path=output_location, metric_definitions=training_metric_definitions,
) # Launch a SageMaker training job over data located in the given S3 path
# Training jobs can take hours, it is recommended to set wait=False,
# and monitor job status through SageMaker console
sm_estimator.fit({"training": train_data_location}, job_name=training_job_name, wait=True)

Este trabajo de capacitación puede tardar horas en completarse; por lo tanto, se recomienda establecer el parámetro de espera en Falso y monitorear el estado del trabajo de capacitación en la consola de SageMaker. Utilizar el TrainingJobAnalytics función para realizar un seguimiento de las métricas de entrenamiento en varias marcas de tiempo:

from sagemaker import TrainingJobAnalytics # Wait for a couple of minutes for the job to start before running this cell
# This can be called while the job is still running
df = TrainingJobAnalytics(training_job_name=training_job_name).dataframe()

Implementar puntos finales de inferencia

Para realizar comparaciones, implementamos puntos finales de inferencia tanto para los modelos previamente entrenados como para los ajustados.

Primero, recupere el URI de la imagen de Docker de inferencia usando model_idy utilice este URI para crear una instancia de modelo SageMaker del modelo previamente entrenado. Implemente el modelo previamente entrenado creando un punto final HTTPS con el objeto de modelo prediseñado. deploy() método. Para ejecutar la inferencia a través de la API de SageMaker, asegúrese de pasar la clase Predictor.

from sagemaker import image_uris
# Retrieve the inference docker image URI. This is the base HuggingFace container image
deploy_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="inference", instance_type=inference_instance_type,
) # Retrieve the URI of the pre-trained model
pre_trained_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="inference"
) pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

Repita el paso anterior para crear una instancia de modelo de SageMaker del modelo ajustado y cree un punto final para implementar el modelo.

Evaluar los modelos

Primero, establezca la longitud del texto resumido, el número de resultados del modelo (debe ser mayor que 1 si es necesario generar varios resúmenes) y el número de haces para búsqueda de haz.

Construya la solicitud de inferencia como una carga útil JSON y utilícela para consultar los puntos finales de los modelos previamente entrenados y ajustados.

Calcular el agregado puntuaciones de colorete (ROUGE1, ROUGE2, ROUGEL, ROUGELsum) como se describió anteriormente.

Comparar los resultados

La siguiente tabla muestra los resultados de la evaluación de la dev1 y dev2 conjuntos de datos. El resultado de la evaluación en dev1 (2,000 hallazgos del Informe de Radiología MIMIC CXR) muestra una mejora de aproximadamente 38 puntos porcentuales en el promedio agregado ROJO1 y ROJO2 puntuaciones en comparación con el modelo previamente entrenado. Para dev2, se observa una mejora de 31 puntos porcentuales y 25 puntos porcentuales en las puntuaciones de ROUGE1 y ROUGE2. En general, el ajuste condujo a una mejora de 38.2 puntos porcentuales y 31.3 puntos porcentuales en las puntuaciones de ROUGELsum para el dev1 y dev2 conjuntos de datos, respectivamente.

Los siguientes diagramas de caja representan la distribución de las puntuaciones de ROUGE para el dev1 y dev2 conjuntos de datos evaluados utilizando el modelo ajustado.

(un): dev1	(B): dev2

La siguiente tabla muestra que las puntuaciones de ROUGE para los conjuntos de datos de evaluación tienen aproximadamente la misma mediana y media y, por lo tanto, están distribuidas simétricamente.

Limpiar

Para evitar incurrir en cargos futuros, elimine los recursos que creó con el siguiente código:

# Delete resources
pre_trained_predictor.delete_model()
pre_trained_predictor.delete_endpoint()
fine_tuned_predictor.delete_model()
fine_tuned_predictor.delete_endpoint()

Conclusión

En esta publicación, demostramos cómo ajustar un modelo FLAN-T5 XL para una tarea de resumen de dominio clínico específico usando SageMaker Studio. Para aumentar la confianza, comparamos las predicciones con la verdad básica y evaluamos los resultados utilizando métricas de ROUGE. Demostramos que un modelo ajustado para una tarea específica arroja mejores resultados que un modelo previamente entrenado en una tarea genérica de PNL. Nos gustaría señalar que perfeccionar un LLM de propósito general elimina por completo el costo de la capacitación previa.

Aunque el trabajo presentado aquí se centra en informes de radiografías de tórax, tiene el potencial de ampliarse a conjuntos de datos más grandes con anatomías y modalidades variadas, como resonancia magnética y tomografía computarizada, para las cuales los informes de radiología pueden ser más complejos con múltiples hallazgos. En tales casos, los radiólogos podrían generar impresiones en orden de importancia e incluir recomendaciones de seguimiento. Además, establecer un circuito de retroalimentación para esta aplicación permitiría a los radiólogos mejorar el rendimiento del modelo con el tiempo.

Como mostramos en esta publicación, el modelo optimizado genera impresiones para informes de radiología con puntuaciones ROUGE altas. Puede intentar ajustar los LLM en otros informes médicos específicos de dominio de diferentes departamentos.

Sobre los autores

Dr. Adewale Akinfaderin es científico de datos senior en atención médica y ciencias biológicas en AWS. Su experiencia se centra en métodos de IA/ML reproducibles y de extremo a extremo, implementaciones prácticas y ayuda a clientes de atención médica globales a formular y desarrollar soluciones escalables para problemas interdisciplinarios. Tiene dos títulos de Posgrado en Física y un Doctorado en Ingeniería.

Priya Padate es un arquitecto de soluciones asociado senior con amplia experiencia en atención médica y ciencias biológicas en AWS. Priya impulsa estrategias de comercialización con socios e impulsa el desarrollo de soluciones para acelerar el desarrollo basado en IA/ML. Le apasiona utilizar la tecnología para transformar la industria de la salud y lograr mejores resultados en la atención al paciente.

Ekta Walia Bhullar, PhD, es consultor senior de IA/ML en la unidad de negocios de servicios profesionales de AWS Healthcare and Life Sciences (HCLS). Tiene una amplia experiencia en la aplicación de IA/ML en el ámbito sanitario, especialmente en radiología. Fuera del trabajo, cuando no habla de IA en radiología, le gusta correr y caminar.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Automoción / vehículos eléctricos, Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• ChartPrime. Eleve su juego comercial con ChartPrime. Accede Aquí.
• Desplazamientos de bloque. Modernización de la propiedad de compensaciones ambientales. Accede Aquí.
• Fuente: https://aws.amazon.com/blogs/machine-learning/automatically-generate-impressions-from-findings-in-radiology-reports-using-generative-ai-on-aws/