AWS에서 생성 AI를 사용하여 방사선학 보고서의 결과에서 자동으로 인상 생성 | 아마존 웹 서비스

AWS에서 생성 AI를 사용하여 방사선학 보고서의 결과에서 자동으로 인상 생성 | 아마존 웹 서비스

방사선 보고서는 방사선 영상 검사 결과를 설명하고 해석하는 포괄적이고 긴 문서입니다. 일반적인 작업 흐름에서 방사선 전문의는 이미지를 감독하고 판독하고 해석한 다음 주요 결과를 간결하게 요약합니다. 요약(또는 인상)은 임상 의사와 환자가 임상 의사 결정을 위한 정보가 포함된 보고서의 중요한 내용에 집중할 수 있도록 돕기 때문에 보고서에서 가장 중요한 부분입니다. 명확하고 영향력 있는 인상을 남기려면 단순히 결과를 다시 설명하는 것보다 훨씬 더 많은 노력이 필요합니다. 따라서 전체 프로세스는 힘들고 시간이 많이 걸리며 오류가 발생하기 쉽습니다. 종종 수년이 소요됩니다. 훈련 의사가 간결하고 유익한 방사선 보고서 요약을 작성하는 데 충분한 전문 지식을 축적하고 프로세스 자동화의 중요성을 더욱 강조할 수 있습니다. 또한 보고서 결과 요약 자동 생성 방사선학 보고에 매우 중요합니다.. 보고서를 사람이 읽을 수 있는 언어로 번역할 수 있어 길고 모호한 보고서를 읽어야 하는 환자의 부담을 덜어줍니다.

이러한 문제를 해결하기 위해 우리는 대화, 스토리, 이미지, 영상, 음악 등 새로운 콘텐츠와 아이디어를 창출할 수 있는 AI의 일종인 생성 AI(Generative AI)의 활용을 제안합니다. Generative AI는 기계 학습(ML) 모델, 즉 방대한 양의 데이터에 대해 사전 훈련되고 일반적으로 기초 모델(FM)이라고 불리는 매우 큰 모델을 기반으로 합니다. 최근 ML의 발전(특히 변환기 기반 신경망 아키텍처의 발명)으로 인해 수십억 개의 매개변수 또는 변수가 포함된 모델이 등장했습니다. 이 게시물에서 제안된 솔루션은 사전 훈련된 LLM(대형 언어 모델)의 미세 조정을 사용하여 방사선학 보고서의 결과를 기반으로 요약을 생성하는 데 도움을 줍니다.

이 게시물은 AWS 서비스를 사용하여 방사선학 보고서 요약 작업을 위해 공개적으로 사용 가능한 LLM을 미세 조정하는 전략을 보여줍니다. LLM은 자연어 이해 및 생성 분야에서 놀라운 능력을 입증했으며 다양한 영역과 작업에 적용할 수 있는 기초 모델 역할을 합니다. 사전 학습된 모델을 사용하면 상당한 이점이 있습니다. 계산 비용을 절감하고, 탄소 배출량을 줄이며, 처음부터 학습하지 않고도 최첨단 모델을 사용할 수 있습니다.

우리의 솔루션은 FLAN-T5 XL FM, 사용 Amazon SageMaker 점프스타트는 알고리즘, 모델, ML 솔루션을 제공하는 ML 허브입니다. 우리는 노트북을 사용하여 이를 수행하는 방법을 보여줍니다. 아마존 세이지 메이커 스튜디오. 사전 훈련된 모델을 미세 조정하려면 다르지만 관련된 작업의 성능을 향상시키기 위해 특정 데이터에 대한 추가 훈련이 필요합니다. 이 솔루션에는 향상된 버전인 FLAN-T5 XL 모델을 미세 조정하는 작업이 포함됩니다. T5 (텍스트-텍스트 전송 변환기) 범용 LLM. T5는 자연어 처리(NLP) 작업을 통합된 텍스트 대 텍스트 형식으로 재구성합니다. BERT- 클래스 라벨이나 입력 범위 중 하나만 출력할 수 있는 스타일 모델입니다. 이는 에서 얻은 91,544개의 자유 텍스트 방사선 보고서에 대한 요약 작업을 위해 미세 조정되었습니다. MIMIC-CXR 데이터세트.

솔루션 개요

이 섹션에서는 작업 전략 선택, LLM 미세 조정, 결과 평가 등 솔루션의 주요 구성 요소에 대해 설명합니다. 또한 솔루션 아키텍처와 솔루션 구현 단계를 설명합니다.

작업에 대한 전략 식별

임상 보고서 요약을 자동화하는 작업에 접근하는 다양한 전략이 있습니다. 예를 들어, 처음부터 임상 보고서에 대해 사전 훈련된 특수 언어 모델을 사용할 수 있습니다. 또는 공개적으로 사용 가능한 범용 언어 모델을 직접 미세 조정하여 임상 작업을 수행할 수도 있습니다. 도메인에 구애받지 않는 미세 조정 모델을 사용하는 것은 다음을 교육하는 설정에서 필요할 수 있습니다. 처음부터 언어 모델 비용이 너무 많이 듭니다. 이 솔루션에서는 FLAN -T5 XL 모델을 사용하는 후자의 접근 방식을 시연합니다. 이 모델은 방사선 보고서 요약이라는 임상 작업을 위해 미세 조정됩니다. 다음 다이어그램은 모델 워크플로를 보여줍니다.

AWS에서 생성 AI를 사용하여 방사선학 보고서의 결과에서 자동으로 인상 생성 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

일반적인 방사선 보고서는 체계적이고 간결합니다. 이러한 보고서에는 대개 세 가지 주요 섹션이 있습니다.

  • 배경 – 환자의 인구통계에 관한 일반정보와 환자의 필수정보, 임상병력, 관련 병력, 검사절차 등의 내용을 제공합니다.
  • 조사 결과 – 상세한 검사 진단 및 결과 제시
  • 인쇄 – 관찰된 이상을 기반으로 중요성 평가 및 잠재적 진단을 통해 가장 두드러진 결과 또는 결과 해석을 간결하게 요약합니다.

방사선 보고서의 결과 섹션을 사용하여 솔루션은 의사의 요약에 해당하는 인상 섹션을 생성합니다. 다음 그림은 방사선 보고서의 예입니다.

AWS에서 생성 AI를 사용하여 방사선학 보고서의 결과에서 자동으로 인상 생성 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

임상 작업을 위한 범용 LLM 미세 조정

이 솔루션에서는 FLAN-T5 XL 모델을 미세 조정합니다(모델의 모든 매개변수를 조정하고 작업에 맞게 최적화). 임상 도메인 데이터 세트를 사용하여 모델을 미세 조정합니다. 미믹-CXR이는 공개적으로 이용 가능한 흉부 방사선 사진 데이터 세트입니다. SageMaker Jumpstart를 통해 이 모델을 미세 조정하려면 레이블이 지정된 예가 {prompt, 완성} 쌍 형식으로 제공되어야 합니다. 이 경우 MIMIC-CXR 데이터 세트의 원본 보고서에서 {Findings, Impression} 쌍을 사용합니다. 추론을 위해 다음 예와 같이 프롬프트를 사용합니다.

AWS에서 생성 AI를 사용하여 방사선학 보고서의 결과에서 자동으로 인상 생성 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

모델은 가속 컴퓨팅을 통해 미세 조정됩니다. ml.p3.16xlarge 64개의 가상 CPU와 488GiB 메모리를 갖춘 인스턴스입니다. 검증을 위해 데이터 세트의 5%가 무작위로 선택되었습니다. 미세 조정이 포함된 SageMaker 훈련 작업의 경과 시간은 38,468초(약 11시간)였습니다.

결과 평가

훈련이 완료되면 결과를 평가하는 것이 중요합니다. 생성된 노출의 정량적 분석을 위해 우리는 다음을 사용합니다. RED (Recall-Oriented Understudy for Gisting Evaluation)은 요약 평가에 가장 일반적으로 사용되는 측정항목입니다. 이 측정항목은 자동으로 생성된 요약을 참조 또는 참조 집합(사람이 생성한) 요약 또는 번역과 비교합니다. ROUGE1은 유니그램 (각 단어) 후보(모델의 출력)와 참조 요약 사이. ROUGE2는 바이그램 (두 단어) 후보와 참고 요약 사이. ROUGEL은 문장 수준 메트릭으로 두 텍스트 사이의 가장 긴 공통 부분 시퀀스(LCS)를 나타냅니다. 텍스트의 개행 문자를 무시합니다. ROUGELsum은 요약 수준 측정항목입니다. 이 측정항목의 경우 텍스트의 줄 바꿈은 무시되지 않지만 문장 경계로 해석됩니다. 그런 다음 각 참조문과 후보문 쌍 사이에서 LCS가 계산된 다음 결합-LCS가 계산됩니다. 주어진 참조 및 후보 문장 세트에 대해 이러한 점수를 집계하기 위해 평균이 계산됩니다.

연습 및 아키텍처

다음 그림에 표시된 전체 솔루션 아키텍처는 주로 SageMaker Studio를 사용하는 모델 개발 환경, SageMaker 엔드포인트를 사용한 모델 배포 및 다음을 사용하는 보고 대시보드로 구성됩니다. 아마존 퀵 사이트.

AWS에서 생성 AI를 사용하여 방사선학 보고서의 결과에서 자동으로 인상 생성 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

다음 섹션에서는 SageMaker Python SDK를 통해 도메인별 작업을 요약하기 위해 SageMaker JumpStart에서 사용할 수 있는 LLM을 미세 조정하는 방법을 보여줍니다. 특히 다음과 같은 주제를 논의합니다.

  • 개발 환경을 설정하는 단계
  • 모델이 미세 조정되고 평가되는 방사선학 보고서 데이터 세트의 개요
  • SageMaker Python SDK를 사용하여 프로그래밍 방식으로 SageMaker JumpStart를 사용하여 FLAN-T5 XL 모델을 미세 조정하는 시연
  • 사전 훈련되고 미세 조정된 모델의 추론 및 평가
  • 사전 학습된 모델과 미세 조정된 모델의 결과 비교

솔루션은 다음에서 사용할 수 있습니다. AWS에서 대규모 언어 모델이 포함된 생성 AI를 사용하여 방사선학 보고서 노출 생성 GitHub 레포.

사전 조건

시작하려면 AWS 계정 SageMaker Studio를 사용할 수 있습니다. SageMaker Studio용 사용자 프로필이 아직 없는 경우 생성해야 합니다.

이 게시물에 사용된 교육 인스턴스 유형은 ml.p3.16xlarge입니다. p3 인스턴스 유형은 서비스 할당량 한도 증가가 필요합니다.

XNUMXD덴탈의 MIMIC CXR 데이터세트 데이터 사용 계약을 통해 액세스할 수 있으며, 이를 위해서는 사용자 등록 및 자격 증명 프로세스 완료가 필요합니다.

개발 환경 설정

개발 환경을 설정하려면 S3 버킷을 생성하고, 노트북을 구성하고, 엔드포인트를 생성하고 모델을 배포하고, QuickSight 대시보드를 생성합니다.

S3 버킷 생성

S3 버킷 생성 라는 llm-radiology-bucket 훈련 및 평가 데이터 세트를 호스팅합니다. 이는 모델 개발 중에 모델 아티팩트를 저장하는 데에도 사용됩니다.

노트북 구성

다음 단계를 완료하십시오.

  1. SageMaker 콘솔이나 AWS 명령 줄 인터페이스 (AWS CLI).

도메인 온보딩에 대한 자세한 내용은 다음을 참조하세요. Amazon SageMaker 도메인에 온보딩.

  1. 새 항목 만들기 SageMaker Studio 노트북 보고서 데이터를 정리하고 모델을 미세 조정하는 데 사용됩니다. 우리는 Python 3 커널과 함께 ml.t2.medium 4vCPU+3GiB 노트북 인스턴스를 사용합니다.
  1. 노트북 내에서 다음과 같은 관련 패키지를 설치하십시오. nest-asyncio, IPyWidgets (Jupyter 노트북용 대화형 위젯용) 및 SageMaker Python SDK:
!pip install nest-asyncio==1.5.5 --quiet !pip install ipywidgets==8.0.4 --quiet !pip install sagemaker==2.148.0 --quiet

엔드포인트 생성 및 추론을 위한 모델 배포

사전 훈련되고 미세 조정된 모델을 추론하기 위해 엔드포인트 생성 및 각 모델 배포 노트북에 다음과 같이

  1. HTTPS 끝점에 배포할 수 있는 모델 클래스에서 모델 개체를 만듭니다.
  2. 모델 객체의 사전 구축된 엔드포인트를 사용하여 HTTPS 엔드포인트를 생성합니다. deploy() 방법:
from sagemaker import model_uris, script_uris
from sagemaker.model import Model
from sagemaker.predictor import Predictor
from sagemaker.utils import name_from_base # Retrieve the URI of the pre-trained model
pre_trained_model_uri =model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="inference") large_model_env = {"SAGEMAKER_MODEL_SERVER_WORKERS": "1", "TS_DEFAULT_WORKERS_PER_MODEL": "1"} pre_trained_name = name_from_base(f"jumpstart-demo-pre-trained-{model_id}") # Create the SageMaker model instance of the pre-trained model
if ("small" in model_id) or ("base" in model_id): deploy_source_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="inference" ) pre_trained_model = Model( image_uri=deploy_image_uri, source_dir=deploy_source_uri, entry_point="inference.py", model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, )
else: # For those large models, we already repack the inference script and model # artifacts for you, so the `source_dir` argument to Model is not required. pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

QuickSight 대시보드 만들기

만들기 Athena 데이터 소스가 포함된 QuickSight 대시보드 추론 결과로 아마존 단순 스토리지 서비스 (Amazon S3) 추론 결과를 실제와 비교합니다. 다음 스크린샷은 예제 대시보드를 보여줍니다. AWS에서 생성 AI를 사용하여 방사선학 보고서의 결과에서 자동으로 인상 생성 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

방사선학 보고서 데이터세트

이제 모델이 미세 조정되었으며 모든 모델 매개변수는 MIMIC-CXR v2.0 데이터 세트. 방사선 보고서 텍스트 데이터만 사용했기 때문에 압축된 보고서 파일(mimic-cxr-reports.zip) MIMIC-CXR 웹사이트에서. 이제 우리는 2,000개의 보고서에 대해 미세 조정된 모델을 평가합니다( dev1 데이터 세트) 별도의 이 데이터 세트의 하위 집합을 보유했습니다.. 우리는 또 다른 2,000개의 방사선 보고서(라고 함)를 사용합니다. dev2) 흉부 X선 수집을 통해 미세 조정된 모델을 평가하기 위해 인디애나 대학 병원 네트워크. 모든 데이터 세트는 JSON 파일로 읽혀지고 새로 생성된 S3 버킷에 업로드됩니다. llm-radiology-bucket. 기본적으로 모든 데이터 세트에는 보호 건강 정보(PHI)가 포함되어 있지 않습니다. 모든 중요한 정보는 세 개의 연속 밑줄(___) 공급자가 제공합니다.

SageMaker Python SDK를 사용하여 미세 조정

미세 조정을 위해서는 model_id 다음과 같이 지정됩니다. huggingface-text2text-flan-t5-xl SageMaker JumpStart 모델 목록에서. 그만큼 training_instance_type ml.p3.16xlarge로 설정되어 있으며 inference_instance_type ml.g5.2xlarge로. JSON 형식의 훈련 데이터는 S3 버킷에서 읽혀집니다. 다음 단계는 선택한 model_id를 사용하여 다음을 포함한 SageMaker JumpStart 리소스 URI를 추출하는 것입니다. image_uri ( Amazon Elastic Container Registry (Amazon ECR) Docker 이미지용 URI), model_uri (사전 훈련된 모델 아티팩트 Amazon S3 URI) 및 script_uri (훈련 스크립트):

from sagemaker import image_uris, model_uris, script_uris # Training instance will use this image
train_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="training", instance_type=training_instance_type,
) # Pre-trained model
train_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="training"
) # Script to execute on the training instance
train_script_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="training"
) output_location = f"s3://{output_bucket}/demo-llm-rad-fine-tune-flan-t5/"

또한 출력 위치는 S3 버킷 내의 폴더로 설정됩니다.

하나의 하이퍼파라미터인 epochs만 3으로 변경되고 나머지는 모두 기본값으로 설정됩니다.

from sagemaker import hyperparameters # Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) # We will override some default hyperparameters with custom values
hyperparameters["epochs"] = "3"
print(hyperparameters)

다음과 같은 훈련 지표 eval_loss (검증 손실의 경우) loss (훈련 손실의 경우) 및 epoch 추적 대상이 정의되고 나열됩니다.

from sagemaker.estimator import Estimator
from sagemaker.utils import name_from_base model_name = "-".join(model_id.split("-")[2:]) # get the most informative part of ID
training_job_name = name_from_base(f"js-demo-{model_name}-{hyperparameters['epochs']}")
print(f"{bold}job name:{unbold} {training_job_name}") training_metric_definitions = [ {"Name": "val_loss", "Regex": "'eval_loss': ([0-9.]+)"}, {"Name": "train_loss", "Regex": "'loss': ([0-9.]+)"}, {"Name": "epoch", "Regex": "'epoch': ([0-9.]+)"},
]

우리는 SageMaker JumpStart 리소스 URI(image_uri, model_uri, script_uri) 추정기를 생성하고 데이터세트의 S3 경로를 지정하여 훈련 데이터세트에서 이를 미세 조정하기 위해 앞서 식별한 것입니다. Estimator 클래스에는 entry_point 매개변수. 이 경우 JumpStart는 다음을 사용합니다. transfer_learning.py. 이 값이 설정되지 않으면 훈련 작업이 실행되지 않습니다.

# Create SageMaker Estimator instance
sm_estimator = Estimator( role=aws_role, image_uri=train_image_uri, model_uri=train_model_uri, source_dir=train_script_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, volume_size=300, max_run=360000, hyperparameters=hyperparameters, output_path=output_location, metric_definitions=training_metric_definitions,
) # Launch a SageMaker training job over data located in the given S3 path
# Training jobs can take hours, it is recommended to set wait=False,
# and monitor job status through SageMaker console
sm_estimator.fit({"training": train_data_location}, job_name=training_job_name, wait=True)

이 훈련 작업을 완료하는 데 몇 시간이 걸릴 수 있습니다. 따라서 대기 매개변수를 False로 설정하고 SageMaker 콘솔에서 훈련 작업 상태를 모니터링하는 것이 좋습니다. 사용 TrainingJobAnalytics 다양한 타임스탬프에서 훈련 지표를 추적하는 기능:

from sagemaker import TrainingJobAnalytics # Wait for a couple of minutes for the job to start before running this cell
# This can be called while the job is still running
df = TrainingJobAnalytics(training_job_name=training_job_name).dataframe()

추론 엔드포인트 배포

비교를 위해 사전 훈련된 모델과 미세 조정된 모델 모두에 대해 추론 엔드포인트를 배포합니다.

먼저 다음을 사용하여 추론 Docker 이미지 URI를 검색합니다. model_id, 이 URI를 사용하여 사전 교육된 모델의 SageMaker 모델 인스턴스를 생성합니다. 모델 객체의 사전 구축된 엔드포인트를 사용하여 HTTPS 엔드포인트를 생성하여 사전 학습된 모델을 배포합니다. deploy() 방법. SageMaker API를 통해 추론을 실행하려면 Predictor 클래스를 전달해야 합니다.

from sagemaker import image_uris
# Retrieve the inference docker image URI. This is the base HuggingFace container image
deploy_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="inference", instance_type=inference_instance_type,
) # Retrieve the URI of the pre-trained model
pre_trained_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="inference"
) pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

이전 단계를 반복하여 미세 조정된 모델의 SageMaker 모델 인스턴스를 생성하고 모델을 배포할 엔드포인트를 생성합니다.

모델 평가

먼저, 요약된 텍스트의 길이, 모델 출력 수(여러 요약을 생성해야 하는 경우 1보다 커야 함) 및 빔 수를 설정합니다. 빔 검색.

추론 요청을 JSON 페이로드로 구성하고 이를 사용하여 사전 훈련되고 미세 조정된 모델에 대한 엔드포인트를 쿼리합니다.

집계된 계산 루즈 점수 (ROUGE1, ROUGE2, ROUGEL, ROUGELsum)은 앞서 설명한 대로입니다.

결과 비교

다음 표는 에 대한 평가 결과를 나타냅니다. dev1dev2 데이터 세트. 에 대한 평가 결과 dev1 (MIMIC CXR Radiology Report의 2,000개 결과)는 총 평균에서 약 38% 포인트 개선된 것으로 나타났습니다. 루즈1과 루즈2 사전 훈련된 모델과 점수를 비교합니다. dev2의 경우 ROUGE31 및 ROUGE25 점수에서 1% 포인트, 2% 포인트의 개선이 관찰되었습니다. 전체적으로 미세 조정을 통해 ROUGELsum 점수가 38.2% 포인트, 31.3% 포인트 향상되었습니다. dev1dev2 각각 데이터 세트.

평가

데이터 세트

사전 훈련된 모델 미세 조정된 모델
루즈1 루즈2 루젤 ROUGELsum 루즈1 루즈2 루젤 ROUGELsum
dev1 0.2239 0.1134 0.1891 0.1891 0.6040 0.4800 0.5705 0.5708
dev2 0.1583 0.0599 0.1391 0.1393 0.4660 0.3125 0.4525 0.4525

다음 상자 그림은 ROUGE 점수의 분포를 나타냅니다. dev1dev2 미세 조정 모델을 사용하여 평가된 데이터 세트입니다.

AWS에서 생성 AI를 사용하여 방사선학 보고서의 결과에서 자동으로 인상 생성 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함. AWS에서 생성 AI를 사용하여 방사선학 보고서의 결과에서 자동으로 인상 생성 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.
(ㅏ): dev1 (비): dev2

다음 표는 평가 데이터 세트의 ROUGE 점수가 중앙값과 평균이 거의 동일하므로 대칭적으로 분포되어 있음을 보여줍니다.

데이터 세트 악보 카운트 Mean 표준 편차 최저한의 25% 백분위수 50% 백분위수 75% 백분위수 최고
dev1 루즈1 2000.00 0.6038 0.3065 0.0000 0.3653 0.6000 0.9384 1.0000
루즈 2 2000.00 0.4798 0.3578 0.0000 0.1818 0.4000 0.8571 1.0000
루즈 L 2000.00 0.5706 0.3194 0.0000 0.3000 0.5345 0.9101 1.0000
ROUGELsum 2000.00 0.5706 0.3194 0.0000 0.3000 0.5345 0.9101 1.0000
dev2 루즈 1 2000.00 0.4659 0.2525 0.0000 0.2500 0.5000 0.7500 1.0000
루즈 2 2000.00 0.3123 0.2645 0.0000 0.0664 0.2857 0.5610 1.0000
루즈 L 2000.00 0.4529 0.2554 0.0000 0.2349 0.4615 0.7500 1.0000
루즈 름숨 2000.00 0.4529 0.2554 0.0000 0.2349 0.4615 0.7500 1.0000

정리

향후 요금이 발생하지 않도록 하려면 다음 코드를 사용하여 생성한 리소스를 삭제하세요.

# Delete resources
pre_trained_predictor.delete_model()
pre_trained_predictor.delete_endpoint()
fine_tuned_predictor.delete_model()
fine_tuned_predictor.delete_endpoint()

결론

이 게시물에서는 SageMaker Studio를 사용하여 임상 도메인별 요약 작업을 위해 FLAN-T5 XL 모델을 미세 조정하는 방법을 시연했습니다. 신뢰도를 높이기 위해 예측을 실제와 비교하고 ROUGE 측정항목을 사용하여 결과를 평가했습니다. 우리는 특정 작업에 맞게 미세 조정된 모델이 일반적인 NLP 작업에 대해 사전 훈련된 모델보다 더 나은 결과를 반환한다는 것을 입증했습니다. 범용 LLM을 미세 조정하면 사전 훈련 비용이 완전히 제거된다는 점을 지적하고 싶습니다.

여기에 제시된 작업은 흉부 X선 보고서에 중점을 두고 있지만 MRI 및 CT와 같이 다양한 해부학 및 양식을 갖춘 더 큰 데이터 세트로 확장될 가능성이 있으며 방사선 보고서는 여러 결과로 인해 더 복잡해질 수 있습니다. 이러한 경우 방사선 전문의는 중요도 순으로 인상을 생성하고 후속 조치 권장 사항을 포함할 수 있습니다. 또한 이 애플리케이션에 대한 피드백 루프를 설정하면 방사선 전문의가 시간이 지남에 따라 모델 성능을 향상할 수 있습니다.

이 게시물에서 살펴본 것처럼 미세 조정된 모델은 ROUGE 점수가 높은 방사선학 보고서에 대한 인상을 생성합니다. 다양한 부서의 다른 도메인별 의료 보고서에 대한 LLM을 미세 조정할 수 있습니다.


저자 소개

AWS에서 생성 AI를 사용하여 방사선학 보고서의 결과에서 자동으로 인상 생성 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.아데웨일 아킨파데린 박사 AWS의 의료 및 생명과학 부문 수석 데이터 과학자입니다. 그의 전문 분야는 재현 가능한 엔드투엔드 AI/ML 방법, 실제 구현, 글로벌 의료 고객이 학제 간 문제에 대한 확장 가능한 솔루션을 공식화하고 개발하도록 지원하는 것입니다. 그는 물리학 분야에서 두 개의 대학원 학위와 공학 분야의 박사 학위를 보유하고 있습니다.

AWS에서 생성 AI를 사용하여 방사선학 보고서의 결과에서 자동으로 인상 생성 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.프리야 파다테 그는 AWS의 의료 및 생명 과학에 대한 광범위한 전문 지식을 갖춘 수석 파트너 솔루션 설계자입니다. Priya는 파트너와 함께 시장 진출 전략을 추진하고 솔루션 개발을 추진하여 AI/ML 기반 개발을 가속화합니다. 그녀는 더 나은 환자 치료 결과를 도출하기 위해 의료 산업을 변화시키는 기술을 사용하는 데 열정을 갖고 있습니다.

AWS에서 생성 AI를 사용하여 방사선학 보고서의 결과에서 자동으로 인상 생성 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.엑타 왈리아 불라르, PhD는 AWS Healthcare and Life Sciences(HCLS) 전문 서비스 사업부의 수석 AI/ML 컨설턴트입니다. 그녀는 의료 분야, 특히 방사선학 분야에서 AI/ML 적용에 대한 광범위한 경험을 보유하고 있습니다. 업무 외 방사선학 분야의 AI에 관해 논의하지 않을 때는 달리기와 하이킹을 좋아합니다.

타임 스탬프 :

더보기 AWS 기계 학습