Tự động tạo số lần hiển thị từ các phát hiện trong báo cáo X quang bằng cách sử dụng AI tổng hợp trên AWS | Dịch vụ web của Amazon

Báo cáo X quang là tài liệu dài, toàn diện mô tả và giải thích kết quả kiểm tra hình ảnh X quang. Trong quy trình làm việc điển hình, bác sĩ X quang sẽ giám sát, đọc và giải thích các hình ảnh, sau đó tóm tắt chính xác những phát hiện chính. Tóm tắt (hoặc ấn tượng) là phần quan trọng nhất của báo cáo vì nó giúp bác sĩ lâm sàng và bệnh nhân tập trung vào nội dung quan trọng của báo cáo chứa thông tin phục vụ việc ra quyết định lâm sàng. Việc tạo ra một ấn tượng rõ ràng và có tác động đòi hỏi nhiều nỗ lực hơn là chỉ trình bày lại những phát hiện. Do đó, toàn bộ quá trình tốn nhiều công sức, tốn thời gian và dễ xảy ra sai sót. Thường phải mất nhiều năm đào tạo để các bác sĩ tích lũy đủ kiến ​​thức chuyên môn trong việc viết bản tóm tắt báo cáo X quang ngắn gọn và giàu thông tin, làm nổi bật hơn nữa tầm quan trọng của việc tự động hóa quy trình. Ngoài ra, việc tạo bản tóm tắt kết quả báo cáo tự động rất quan trọng cho việc báo cáo X quang. Nó cho phép dịch các báo cáo sang ngôn ngữ mà con người có thể đọc được, từ đó giảm bớt gánh nặng cho bệnh nhân khi đọc các báo cáo dài và khó hiểu.

Để giải quyết vấn đề này, chúng tôi đề xuất sử dụng Generative AI, một loại AI có thể tạo ra nội dung và ý tưởng mới, bao gồm các cuộc trò chuyện, câu chuyện, hình ảnh, video và âm nhạc. AI sáng tạo được hỗ trợ bởi các mô hình học máy (ML)—các mô hình rất lớn được đào tạo trước về lượng dữ liệu khổng lồ và thường được gọi là mô hình nền tảng (FM). Những tiến bộ gần đây trong ML (đặc biệt là việc phát minh ra kiến ​​trúc mạng thần kinh dựa trên máy biến áp) đã dẫn đến sự gia tăng của các mô hình chứa hàng tỷ tham số hoặc biến số. Giải pháp được đề xuất trong bài đăng này sử dụng tinh chỉnh các mô hình ngôn ngữ lớn (LLM) được đào tạo trước để giúp tạo ra các bản tóm tắt dựa trên những phát hiện trong báo cáo X quang.

Bài đăng này trình bày chiến lược tinh chỉnh LLM có sẵn công khai cho nhiệm vụ tóm tắt báo cáo X quang bằng dịch vụ AWS. LLM đã chứng tỏ khả năng vượt trội trong việc hiểu và tạo ngôn ngữ tự nhiên, đóng vai trò là mô hình nền tảng có thể thích ứng với nhiều lĩnh vực và nhiệm vụ khác nhau. Có những lợi ích đáng kể khi sử dụng mô hình được đào tạo trước. Nó giảm chi phí tính toán, giảm lượng khí thải carbon và cho phép bạn sử dụng các mô hình hiện đại mà không cần phải đào tạo mô hình từ đầu.

Giải pháp của chúng tôi sử dụng FLAN-T5 XL FM, sử dụng Khởi động Amazon SageMaker, là trung tâm ML cung cấp các thuật toán, mô hình và giải pháp ML. Chúng tôi trình bày cách thực hiện điều này bằng cách sử dụng sổ ghi chép trong Xưởng sản xuất Amazon SageMaker. Tinh chỉnh một mô hình được đào tạo trước bao gồm việc đào tạo thêm về dữ liệu cụ thể để cải thiện hiệu suất của một nhiệm vụ khác nhưng có liên quan. Giải pháp này liên quan đến việc tinh chỉnh mẫu FLAN-T5 XL, đây là phiên bản nâng cao của T5 LLM mục đích chung (Biến đổi chuyển văn bản thành văn bản). T5 điều chỉnh các tác vụ xử lý ngôn ngữ tự nhiên (NLP) thành định dạng chuyển văn bản thành văn bản thống nhất, trái ngược với Chứng nhận- mô hình kiểu chỉ có thể xuất ra nhãn lớp hoặc một khoảng đầu vào. Nó được tinh chỉnh cho nhiệm vụ tóm tắt trên 91,544 báo cáo X quang văn bản tự do thu được từ Bộ dữ liệu MIMIC-CXR.

Tổng quan về giải pháp

Trong phần này, chúng tôi thảo luận về các thành phần chính trong giải pháp của mình: chọn chiến lược cho nhiệm vụ, tinh chỉnh LLM và đánh giá kết quả. Chúng tôi cũng minh họa kiến ​​trúc giải pháp và các bước triển khai giải pháp.

Xác định chiến lược cho nhiệm vụ

Có nhiều chiến lược khác nhau để tiếp cận nhiệm vụ tự động hóa tóm tắt báo cáo lâm sàng. Ví dụ: chúng ta có thể sử dụng mô hình ngôn ngữ chuyên biệt được đào tạo trước về các báo cáo lâm sàng từ đầu. Ngoài ra, chúng tôi có thể trực tiếp tinh chỉnh mô hình ngôn ngữ có mục đích chung có sẵn công khai để thực hiện nhiệm vụ lâm sàng. Việc sử dụng mô hình bất khả tri miền được tinh chỉnh có thể cần thiết trong các cài đặt nơi đào tạo mô hình ngôn ngữ từ đầu là quá tốn kém. Trong giải pháp này, chúng tôi chứng minh cách tiếp cận thứ hai là sử dụng mô hình FLAN -T5 XL mà chúng tôi tinh chỉnh cho nhiệm vụ lâm sàng là tóm tắt các báo cáo X quang. Sơ đồ sau đây minh họa quy trình làm việc của mô hình.

Một báo cáo X quang điển hình được tổ chức tốt và cô đọng. Những báo cáo như vậy thường có ba phần chính:

• Tiểu sử – Cung cấp thông tin chung về nhân khẩu học của bệnh nhân với các thông tin cần thiết về bệnh nhân, tiền sử lâm sàng, tiền sử bệnh lý liên quan cũng như chi tiết về quy trình khám
• Những phát hiện – Trình bày chẩn đoán và kết quả khám chi tiết
• in ấn – Tóm tắt ngắn gọn những phát hiện hoặc giải thích nổi bật nhất về những phát hiện đó kèm theo đánh giá về tầm quan trọng và khả năng chẩn đoán dựa trên những bất thường quan sát được

Sử dụng phần phát hiện trong báo cáo X quang, giải pháp tạo ra phần lấy dấu tương ứng với phần tóm tắt của bác sĩ. Hình dưới đây là ví dụ về báo cáo X quang.

Tinh chỉnh LLM có mục đích chung cho nhiệm vụ lâm sàng

Trong giải pháp này, chúng tôi tinh chỉnh mô hình FLAN-T5 XL (điều chỉnh tất cả các thông số của mô hình và tối ưu hóa chúng cho nhiệm vụ). Chúng tôi tinh chỉnh mô hình bằng cách sử dụng bộ dữ liệu miền lâm sàng MIMIC-CXR, đây là bộ dữ liệu có sẵn công khai về chụp X quang ngực. Để tinh chỉnh mô hình này thông qua SageMaker Jumpstart, các ví dụ được gắn nhãn phải được cung cấp dưới dạng cặp {prompt,complete}. Trong trường hợp này, chúng tôi sử dụng cặp {Findings, Impression} từ các báo cáo gốc trong tập dữ liệu MIMIC-CXR. Để suy luận, chúng tôi sử dụng lời nhắc như trong ví dụ sau:

Mô hình được tinh chỉnh trên máy tính tăng tốc ml.p3.16xlarge instance với 64 CPU ảo và bộ nhớ 488 GiB. Để xác thực, 5% tập dữ liệu được chọn ngẫu nhiên. Thời gian trôi qua của công việc đào tạo SageMaker có tinh chỉnh là 38,468 giây (khoảng 11 giờ).

Đánh giá kết quả

Khi quá trình đào tạo hoàn tất, việc đánh giá kết quả là rất quan trọng. Để phân tích định lượng ấn tượng được tạo ra, chúng tôi sử dụng ĐỎ (Nghiên cứu theo định hướng thu hồi để đánh giá Gisting), thước đo được sử dụng phổ biến nhất để đánh giá tóm tắt. Số liệu này so sánh một bản tóm tắt được tạo tự động với một bản tóm tắt hoặc bản dịch tham chiếu hoặc một tập hợp các tài liệu tham khảo (do con người tạo ra). ROUGE1 đề cập đến sự chồng chéo của unigram (mỗi từ) giữa ứng viên (đầu ra của mô hình) và tóm tắt tham chiếu. ROUGE2 đề cập đến sự chồng chéo của bigram (hai từ) giữa bản tóm tắt ứng viên và bản tóm tắt tài liệu tham khảo. ROUGEL là thước đo ở cấp độ câu và đề cập đến chuỗi con chung dài nhất (LCS) giữa hai đoạn văn bản. Nó bỏ qua các dòng mới trong văn bản. ROUGELsum là số liệu ở mức tóm tắt. Đối với số liệu này, các dòng mới trong văn bản không bị bỏ qua mà được hiểu là ranh giới của câu. LCS sau đó được tính toán giữa mỗi cặp câu tham chiếu và câu ứng viên, sau đó LCS hợp được tính toán. Để tổng hợp các điểm này trên một tập hợp các câu tham khảo và câu ứng viên nhất định, mức trung bình sẽ được tính toán.

Hướng dẫn và kiến ​​trúc

Kiến trúc giải pháp tổng thể như minh họa trong hình dưới đây chủ yếu bao gồm môi trường phát triển mô hình sử dụng SageMaker Studio, triển khai mô hình với điểm cuối SageMaker và bảng thông tin báo cáo sử dụng Amazon QuickSight.

Trong các phần sau, chúng tôi sẽ trình bày cách tinh chỉnh LLM có sẵn trên SageMaker JumpStart để tóm tắt tác vụ theo miền cụ thể thông qua SageMaker Python SDK. Đặc biệt, chúng tôi thảo luận về các chủ đề sau:

• Các bước thiết lập môi trường phát triển
• Tổng quan về bộ dữ liệu báo cáo X quang mà mô hình được tinh chỉnh và đánh giá trên đó
• Minh họa cách tinh chỉnh mô hình FLAN-T5 XL bằng cách sử dụng SageMaker JumpStart theo chương trình với SageMaker Python SDK
• Suy luận và đánh giá các mô hình được đào tạo trước và tinh chỉnh
• So sánh kết quả từ mô hình được đào tạo trước và mô hình tinh chỉnh

Giải pháp có sẵn trong Tạo hiển thị báo cáo X quang bằng cách sử dụng AI tổng hợp với Mô hình ngôn ngữ lớn trên AWS Repo GitHub.

Điều kiện tiên quyết

Để bắt đầu, bạn cần một Tài khoản AWS trong đó bạn có thể sử dụng SageMaker Studio. Bạn sẽ cần tạo hồ sơ người dùng cho SageMaker Studio nếu chưa có.

Loại phiên bản đào tạo được sử dụng trong bài đăng này là ml.p3.16xlarge. Lưu ý rằng loại phiên bản p3 yêu cầu tăng giới hạn hạn ngạch dịch vụ.

Sản phẩm Bộ dữ liệu MIMIC CXR có thể được truy cập thông qua thỏa thuận sử dụng dữ liệu, yêu cầu đăng ký người dùng và hoàn thành quy trình xác thực.

Thiết lập môi trường phát triển

Để thiết lập môi trường phát triển của mình, bạn tạo nhóm S3, đặt cấu hình sổ ghi chép, tạo điểm cuối và triển khai mô hình cũng như tạo bảng thông tin QuickSight.

Tạo một thùng S3

Tạo một thùng S3 gọi là llm-radiology-bucket để lưu trữ các tập dữ liệu đào tạo và đánh giá. Điều này cũng sẽ được sử dụng để lưu trữ tạo phẩm mô hình trong quá trình phát triển mô hình.

Định cấu hình sổ ghi chép

Hoàn thành các bước sau:

1. Khởi chạy SageMaker Studio từ bảng điều khiển SageMaker hoặc Giao diện dòng lệnh AWS (AWS CLI).

Để biết thêm thông tin về việc giới thiệu một miền, hãy xem Tích hợp vào Miền Amazon SageMaker.

2. Tạo một cái mới Sổ ghi chép SageMaker Studio để làm sạch dữ liệu báo cáo và tinh chỉnh mô hình. Chúng tôi sử dụng phiên bản máy tính xách tay ml.t3.medium 2vCPU+4GiB với nhân Python 3.

3. Trong sổ ghi chép, cài đặt các gói có liên quan như nest-asyncio, IPyWidgets (dành cho các tiện ích tương tác dành cho sổ ghi chép Jupyter) và SageMaker Python SDK:

!pip install nest-asyncio==1.5.5 --quiet !pip install ipywidgets==8.0.4 --quiet !pip install sagemaker==2.148.0 --quiet

Để suy luận các mô hình được đào tạo trước và tinh chỉnh, tạo điểm cuối và triển khai từng mô hình vào sổ như sau:

1. Tạo một đối tượng mô hình từ lớp Model có thể được triển khai đến điểm cuối HTTPS.
2. Tạo điểm cuối HTTPS bằng đối tượng mô hình được tạo sẵn deploy() phương pháp:

from sagemaker import model_uris, script_uris
from sagemaker.model import Model
from sagemaker.predictor import Predictor
from sagemaker.utils import name_from_base # Retrieve the URI of the pre-trained model
pre_trained_model_uri =model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="inference") large_model_env = {"SAGEMAKER_MODEL_SERVER_WORKERS": "1", "TS_DEFAULT_WORKERS_PER_MODEL": "1"} pre_trained_name = name_from_base(f"jumpstart-demo-pre-trained-{model_id}") # Create the SageMaker model instance of the pre-trained model
if ("small" in model_id) or ("base" in model_id): deploy_source_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="inference" ) pre_trained_model = Model( image_uri=deploy_image_uri, source_dir=deploy_source_uri, entry_point="inference.py", model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, )
else: # For those large models, we already repack the inference script and model # artifacts for you, so the `source_dir` argument to Model is not required. pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

Tạo bảng điều khiển QuickSight

Tạo ra một Bảng thông tin QuickSight với nguồn dữ liệu Athena với kết quả suy luận là Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) để so sánh kết quả suy luận với thực tế. Ảnh chụp màn hình sau đây hiển thị bảng điều khiển mẫu của chúng tôi.

Bộ dữ liệu báo cáo X quang

Mô hình hiện đã được tinh chỉnh, tất cả các tham số của mô hình được điều chỉnh trên 91,544 báo cáo được tải xuống từ Bộ dữ liệu MIMIC-CXR v2.0. Bởi vì chúng tôi chỉ sử dụng dữ liệu văn bản báo cáo X quang nên chúng tôi chỉ tải xuống một tệp báo cáo nén (mimic-cxr-reports.zip) từ trang web MIMIC-CXR. Bây giờ chúng tôi đánh giá mô hình đã tinh chỉnh trên 2,000 báo cáo (được gọi là dev1 tập dữ liệu) từ riêng biệt tập hợp con của tập dữ liệu này. Chúng tôi sử dụng 2,000 báo cáo X quang khác (gọi tắt là dev2) để đánh giá mô hình tinh chỉnh từ bộ sưu tập X-quang ngực từ Mạng lưới bệnh viện Đại học Indiana. Tất cả các tập dữ liệu được đọc dưới dạng tệp JSON và được tải lên nhóm S3 mới được tạo llm-radiology-bucket. Lưu ý rằng tất cả các tập dữ liệu theo mặc định không chứa bất kỳ Thông tin sức khỏe được bảo vệ (PHI) nào; tất cả thông tin nhạy cảm được thay thế bằng ba dấu gạch dưới liên tiếp (___) của các nhà cung cấp.

Tinh chỉnh với SDK Python của SageMaker

Để tinh chỉnh, model_id được chỉ định là huggingface-text2text-flan-t5-xl từ danh sách các mô hình SageMaker JumpStart. Các training_instance_type được đặt là ml.p3.16xlarge và inference_instance_type dưới dạng ml.g5.2xlarge. Dữ liệu huấn luyện ở định dạng JSON được đọc từ bộ chứa S3. Bước tiếp theo là sử dụng model_id đã chọn để trích xuất các URI tài nguyên SageMaker JumpStart, bao gồm image_uri (Các Đăng ký container đàn hồi Amazon (Amazon ECR) URI cho hình ảnh Docker), model_uri (tạo phẩm mô hình được đào tạo trước Amazon S3 URI) và script_uri (kịch bản đào tạo):

from sagemaker import image_uris, model_uris, script_uris # Training instance will use this image
train_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="training", instance_type=training_instance_type,
) # Pre-trained model
train_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="training"
) # Script to execute on the training instance
train_script_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="training"
) output_location = f"s3://{output_bucket}/demo-llm-rad-fine-tune-flan-t5/"

Ngoài ra, vị trí đầu ra được thiết lập dưới dạng thư mục trong nhóm S3.

Chỉ có một siêu tham số, kỷ nguyên, được thay đổi thành 3 và tất cả phần còn lại được đặt làm mặc định:

from sagemaker import hyperparameters # Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) # We will override some default hyperparameters with custom values
hyperparameters["epochs"] = "3"
print(hyperparameters)

Các chỉ số đào tạo như eval_loss (đối với mất xác nhận), loss (đối với việc mất đào tạo), và epoch được theo dõi được xác định và liệt kê:

from sagemaker.estimator import Estimator
from sagemaker.utils import name_from_base model_name = "-".join(model_id.split("-")[2:]) # get the most informative part of ID
training_job_name = name_from_base(f"js-demo-{model_name}-{hyperparameters['epochs']}")
print(f"{bold}job name:{unbold} {training_job_name}") training_metric_definitions = [ {"Name": "val_loss", "Regex": "'eval_loss': ([0-9.]+)"}, {"Name": "train_loss", "Regex": "'loss': ([0-9.]+)"}, {"Name": "epoch", "Regex": "'epoch': ([0-9.]+)"},
]

Chúng tôi sử dụng URI tài nguyên SageMaker JumpStart (image_uri, model_uri, script_uri) được xác định trước đó để tạo một công cụ ước tính và tinh chỉnh nó trên tập dữ liệu huấn luyện bằng cách chỉ định đường dẫn S3 của tập dữ liệu. Lớp Công cụ ước tính yêu cầu một entry_point tham số. Trong trường hợp này, JumpStart sử dụng transfer_learning.py. Công việc đào tạo không chạy được nếu giá trị này không được đặt.

# Create SageMaker Estimator instance
sm_estimator = Estimator( role=aws_role, image_uri=train_image_uri, model_uri=train_model_uri, source_dir=train_script_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, volume_size=300, max_run=360000, hyperparameters=hyperparameters, output_path=output_location, metric_definitions=training_metric_definitions,
) # Launch a SageMaker training job over data located in the given S3 path
# Training jobs can take hours, it is recommended to set wait=False,
# and monitor job status through SageMaker console
sm_estimator.fit({"training": train_data_location}, job_name=training_job_name, wait=True)

Công việc đào tạo này có thể mất hàng giờ để hoàn thành; do đó, bạn nên đặt tham số chờ thành Sai và theo dõi trạng thái công việc đào tạo trên bảng điều khiển SageMaker. Sử dụng TrainingJobAnalytics chức năng theo dõi các số liệu đào tạo ở các dấu thời gian khác nhau:

from sagemaker import TrainingJobAnalytics # Wait for a couple of minutes for the job to start before running this cell
# This can be called while the job is still running
df = TrainingJobAnalytics(training_job_name=training_job_name).dataframe()

Triển khai các điểm cuối suy luận

Để đưa ra so sánh, chúng tôi triển khai các điểm cuối suy luận cho cả mô hình được đào tạo trước và mô hình tinh chỉnh.

Đầu tiên, truy xuất URI hình ảnh Docker suy luận bằng cách sử dụng model_idvà sử dụng URI này để tạo phiên bản mô hình SageMaker của mô hình được đào tạo trước. Triển khai mô hình được đào tạo trước bằng cách tạo điểm cuối HTTPS với đối tượng mô hình được tạo sẵn deploy() phương pháp. Để chạy suy luận thông qua API SageMaker, hãy đảm bảo vượt qua lớp Dự đoán.

from sagemaker import image_uris
# Retrieve the inference docker image URI. This is the base HuggingFace container image
deploy_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="inference", instance_type=inference_instance_type,
) # Retrieve the URI of the pre-trained model
pre_trained_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="inference"
) pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

Lặp lại bước trước để tạo phiên bản mô hình SageMaker của mô hình đã tinh chỉnh và tạo điểm cuối để triển khai mô hình.

Đánh giá các mô hình

Đầu tiên, đặt độ dài của văn bản tóm tắt, số lượng đầu ra mô hình (phải lớn hơn 1 nếu cần tạo nhiều bản tóm tắt) và số lượng tia cho tìm kiếm chùm tia.

Xây dựng yêu cầu suy luận dưới dạng tải trọng JSON và sử dụng nó để truy vấn điểm cuối cho các mô hình được đào tạo trước và tinh chỉnh.

Tính tổng hợp điểm số ROUGE (ROUGE1, ROUGE2, ROUGEL, ROUGELsum) như được mô tả trước đó.

So sánh kết quả

Bảng dưới đây mô tả kết quả đánh giá của dev1 và dev2 bộ dữ liệu. Kết quả đánh giá về dev1 (2,000 phát hiện từ Báo cáo X quang MIMIC CXR) cho thấy mức cải thiện trung bình tổng hợp khoảng 38 điểm phần trăm ROUGE1 và ROUGE2 điểm so với mô hình được huấn luyện trước. Đối với dev2, điểm số ROUGE31 và ROUGE25 được cải thiện 1 điểm phần trăm và 2 điểm phần trăm. Nhìn chung, việc tinh chỉnh đã dẫn đến sự cải thiện 38.2 điểm phần trăm và 31.3 điểm phần trăm trong điểm ROUGELsum cho dev1 và dev2 các tập dữ liệu tương ứng.

Các sơ đồ hình hộp sau đây mô tả sự phân bổ điểm ROUGE cho dev1 và dev2 tập dữ liệu được đánh giá bằng cách sử dụng mô hình tinh chỉnh.

(một): dev1	(b): dev2

Bảng sau đây cho thấy điểm ROUGE cho các tập dữ liệu đánh giá có giá trị trung bình và trung vị gần như giống nhau và do đó được phân bổ đối xứng.

Làm sạch

Để tránh phát sinh phí trong tương lai, hãy xóa tài nguyên bạn đã tạo bằng mã sau:

# Delete resources
pre_trained_predictor.delete_model()
pre_trained_predictor.delete_endpoint()
fine_tuned_predictor.delete_model()
fine_tuned_predictor.delete_endpoint()

Kết luận

Trong bài đăng này, chúng tôi đã trình bày cách tinh chỉnh mô hình FLAN-T5 XL cho tác vụ tóm tắt theo miền cụ thể lâm sàng bằng SageMaker Studio. Để tăng độ tin cậy, chúng tôi đã so sánh các dự đoán với thực tế thực tế và đánh giá kết quả bằng cách sử dụng số liệu ROUGE. Chúng tôi đã chứng minh rằng một mô hình được tinh chỉnh cho một nhiệm vụ cụ thể sẽ trả lại kết quả tốt hơn so với mô hình được đào tạo trước về một nhiệm vụ NLP chung. Chúng tôi muốn chỉ ra rằng việc tinh chỉnh LLM có mục đích chung sẽ loại bỏ hoàn toàn chi phí đào tạo trước.

Mặc dù công việc được trình bày ở đây tập trung vào các báo cáo X-quang ngực, nhưng nó có khả năng được mở rộng sang các bộ dữ liệu lớn hơn với các giải phẫu và phương thức khác nhau, chẳng hạn như MRI và CT, trong đó các báo cáo X quang có thể phức tạp hơn với nhiều phát hiện. Trong những trường hợp như vậy, bác sĩ X quang có thể tạo ra các dấu vết theo thứ tự quan trọng và đưa ra các khuyến nghị tiếp theo. Hơn nữa, việc thiết lập vòng phản hồi cho ứng dụng này sẽ cho phép các bác sĩ X quang cải thiện hiệu suất của mô hình theo thời gian.

Như chúng tôi đã trình bày trong bài đăng này, mô hình tinh chỉnh tạo ra số lần hiển thị cho các báo cáo X quang có điểm ROUGE cao. Bạn có thể thử tinh chỉnh LLM trên các báo cáo y tế theo miền cụ thể khác từ các phòng ban khác nhau.

Giới thiệu về tác giả

Tiến sĩ Adewale Akinfaderin là Nhà khoa học dữ liệu cấp cao về Chăm sóc sức khỏe và Khoa học đời sống tại AWS. Chuyên môn của ông là về các phương pháp AI/ML có thể tái tạo và từ đầu đến cuối, triển khai thực tế và giúp khách hàng chăm sóc sức khỏe toàn cầu xây dựng và phát triển các giải pháp có thể mở rộng cho các vấn đề liên ngành. Ông có hai bằng tốt nghiệp Vật lý và bằng Tiến sĩ Kỹ thuật.

Priya Padate là Kiến trúc sư giải pháp đối tác cấp cao có chuyên môn sâu rộng về Chăm sóc sức khỏe và Khoa học đời sống tại AWS. Priya thúc đẩy các chiến lược tiếp cận thị trường với các đối tác và thúc đẩy phát triển giải pháp để đẩy nhanh quá trình phát triển dựa trên AI/ML. Cô đam mê sử dụng công nghệ để chuyển đổi ngành chăm sóc sức khỏe nhằm mang lại kết quả chăm sóc bệnh nhân tốt hơn.

Ekta Walia BhullarTiến sĩ, là cố vấn AI/ML cấp cao của đơn vị kinh doanh dịch vụ chuyên nghiệp AWS Healthcare và Life Sciences (HCLS). Cô có nhiều kinh nghiệm trong việc ứng dụng AI/ML trong lĩnh vực chăm sóc sức khỏe, đặc biệt là trong lĩnh vực X quang. Ngoài công việc, khi không thảo luận về AI trong lĩnh vực X quang, cô ấy thích chạy bộ và đi bộ đường dài.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Ô tô / Xe điện, Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• ChartPrime. Nâng cao trò chơi giao dịch của bạn với ChartPrime. Truy cập Tại đây.
• BlockOffsets. Hiện đại hóa quyền sở hữu bù đắp môi trường. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/machine-learning/automatically-generate-impressions-from-findings-in-radiology-reports-using-generative-ai-on-aws/