AWS'de üretken yapay zekayı kullanarak radyoloji raporlarındaki bulgulardan otomatik olarak gösterimler oluşturun | Amazon Web Hizmetleri

AWS'de üretken yapay zekayı kullanarak radyoloji raporlarındaki bulgulardan otomatik olarak gösterimler oluşturun | Amazon Web Hizmetleri

Radyoloji raporları, radyolojik görüntüleme incelemesinin sonuçlarını açıklayan ve yorumlayan kapsamlı, uzun belgelerdir. Tipik bir iş akışında radyolog görüntüleri denetler, okur ve yorumlar ve ardından önemli bulguları kısaca özetler. Özetleme (veya izlenim) raporun en önemli parçasıdır çünkü klinisyenlerin ve hastaların klinik karar verme için bilgi içeren raporun kritik içeriklerine odaklanmasına yardımcı olur. Açık ve etkili bir izlenim yaratmak, bulguları basitçe yeniden ifade etmekten çok daha fazla çaba gerektirir. Bu nedenle tüm süreç zahmetli, zaman alıcı ve hataya açıktır. Çoğu zaman yıllar alır Eğitim Doktorların kısa ve bilgilendirici radyoloji raporu özetleri yazma konusunda yeterli uzmanlığa sahip olmaları, sürecin otomatikleştirilmesinin önemini daha da vurguluyor. Ayrıca rapor bulgu özetlerinin otomatik oluşturulması radyoloji raporlaması için kritik öneme sahiptir. Raporların insanların okuyabileceği dile çevrilmesini sağlayarak hastaların uzun ve anlaşılması güç raporları okuma yükünü hafifletir.

Bu sorunu çözmek için, konuşmalar, hikayeler, resimler, videolar ve müzik dahil olmak üzere yeni içerik ve fikirler yaratabilen bir tür yapay zeka olan üretken yapay zekanın kullanılmasını öneriyoruz. Üretken yapay zeka, çok büyük miktarda veri üzerinde önceden eğitilen ve genellikle temel modeller (FM) olarak adlandırılan çok büyük modeller olan makine öğrenimi (ML) modelleri tarafından desteklenmektedir. ML'deki son gelişmeler (özellikle transformatör tabanlı sinir ağı mimarisinin icadı), milyarlarca parametre veya değişken içeren modellerin yükselişine yol açtı. Bu yazıda önerilen çözüm, radyoloji raporlarındaki bulgulara dayalı özetler oluşturmaya yardımcı olmak için önceden eğitilmiş büyük dil modellerinin (LLM'ler) ince ayarını kullanıyor.

Bu gönderi, AWS hizmetlerini kullanarak radyoloji raporu özetleme görevi için kamuya açık Yüksek Lisans'larda ince ayar yapılmasına yönelik bir stratejiyi göstermektedir. Yüksek Lisans'lar, çeşitli alanlara ve görevlere uyarlanabilecek temel modeller olarak hizmet ederek, doğal dil anlama ve oluşturma konusunda olağanüstü yetenekler sergilemiştir. Önceden eğitilmiş bir model kullanmanın önemli faydaları vardır. Hesaplama maliyetlerini azaltır, karbon ayak izlerini azaltır ve sıfırdan eğitim almanıza gerek kalmadan en son teknolojiye sahip modelleri kullanmanıza olanak tanır.

Bizim çözümümüz şunları kullanır: FLAN-T5 XL FM kullanarak Amazon SageMaker Hızlı Başlangıçalgoritmalar, modeller ve makine öğrenimi çözümleri sunan bir makine öğrenimi merkezidir. Bunu bir not defteri kullanarak nasıl başaracağımızı gösteriyoruz. Amazon SageMaker Stüdyosu. Önceden eğitilmiş bir modele ince ayar yapmak, farklı ancak ilgili bir görevdeki performansı artırmak için belirli veriler üzerinde daha fazla eğitim almayı içerir. Bu çözüm, gelişmiş bir versiyon olan FLAN-T5 XL modeline ince ayar yapılmasını içerir. T5 (Metinden Metne Aktarım Transformatörü) genel amaçlı LLM'ler. T5, doğal dil işleme (NLP) görevlerini birleşik bir metinden metne dönüştürme biçimine yeniden çerçevelendirir. BertYalnızca bir sınıf etiketi veya giriş aralığının çıktısını alabilen stil modelleri. Buradan elde edilen 91,544 serbest metinli radyoloji raporu üzerinde bir özetleme görevi için ince ayar yapılmıştır. MIMIC-CXR veri kümesi.

Çözüme genel bakış

Bu bölümde çözümümüzün temel bileşenlerini tartışıyoruz: göreve yönelik stratejiyi seçmek, bir LLM'ye ince ayar yapmak ve sonuçları değerlendirmek. Ayrıca çözüm mimarisini ve çözümü uygulama adımlarını da gösteriyoruz.

Görevin stratejisini tanımlayın

Klinik rapor özetlemeyi otomatikleştirme görevine yaklaşmak için çeşitli stratejiler vardır. Örneğin, klinik raporlara sıfırdan önceden eğitilmiş özel bir dil modeli kullanabiliriz. Alternatif olarak, klinik görevi gerçekleştirmek için kamuya açık genel amaçlı bir dil modeline doğrudan ince ayar yapabiliriz. Eğitimin verildiği ortamlarda ince ayarlı etki alanından bağımsız bir modelin kullanılması gerekli olabilir. sıfırdan dil modeli çok maliyetli. Bu çözümde, radyoloji raporlarının özetlenmesine yönelik klinik görev için ince ayar yaptığımız FLAN -T5 XL modelinin kullanıldığı ikinci yaklaşımı gösteriyoruz. Aşağıdaki diyagram model iş akışını göstermektedir.

AWS'de üretken yapay zekayı kullanarak radyoloji raporlarındaki bulgulardan otomatik olarak gösterimler oluşturun | Amazon Web Hizmetleri PlatoBlockchain Veri Zekası. Dikey Arama. Ai.

Tipik bir radyoloji raporu iyi organize edilmiş ve kısa ve özdür. Bu tür raporlarda genellikle üç temel bölüm bulunur:

  • Olayın Arka Planı – Hasta, klinik geçmişi ve ilgili tıbbi geçmişi ve muayene prosedürlerinin ayrıntıları hakkında temel bilgilerle birlikte hastanın demografik özellikleri hakkında genel bilgi sağlar
  • Bulgular – Ayrıntılı muayene teşhisini ve sonuçlarını sunar
  • baskı – En göze çarpan bulguları veya bulguların yorumunu, gözlemlenen anormalliklere dayalı olarak önem ve potansiyel tanı değerlendirmesiyle özetler

Çözüm, radyoloji raporlarındaki bulgular bölümünü kullanarak doktorların özetlemesine karşılık gelen izlenim bölümünü oluşturur. Aşağıdaki şekil bir radyoloji raporu örneğidir.

AWS'de üretken yapay zekayı kullanarak radyoloji raporlarındaki bulgulardan otomatik olarak gösterimler oluşturun | Amazon Web Hizmetleri PlatoBlockchain Veri Zekası. Dikey Arama. Ai.

Klinik bir görev için genel amaçlı bir LLM'ye ince ayar yapın

Bu çözümde, bir FLAN-T5 XL modeline ince ayar yapıyoruz (modelin tüm parametrelerini ayarlıyor ve bunları göreve göre optimize ediyoruz). Klinik etki alanı veri kümesini kullanarak modele ince ayar yapıyoruz MIMIC-CXRgöğüs radyografilerinin halka açık bir veri kümesidir. Bu modele SageMaker Jumpstart aracılığıyla ince ayar yapmak için etiketli örneklerin {istem, tamamlama} çiftleri biçiminde sağlanması gerekir. Bu durumda, MIMIC-CXR veri kümesindeki orijinal raporlardan {Bulgular, Gösterim} çiftlerini kullanırız. Çıkarım yapmak için aşağıdaki örnekte gösterildiği gibi bir bilgi istemi kullanırız:

AWS'de üretken yapay zekayı kullanarak radyoloji raporlarındaki bulgulardan otomatik olarak gösterimler oluşturun | Amazon Web Hizmetleri PlatoBlockchain Veri Zekası. Dikey Arama. Ai.

Model, hızlandırılmış bilgi işlem teknolojisine göre ince ayarlanmıştır ml.p3.16xlarge 64 sanal CPU ve 488 GiB belleğe sahip örnek. Doğrulama için veri kümesinin %5'i rastgele seçildi. SageMaker eğitim işinin ince ayar ile geçen süresi 38,468 saniyeydi (yaklaşık 11 saat).

Sonuçları değerlendirin

Eğitim tamamlandığında sonuçların değerlendirilmesi kritik önem taşır. Oluşturulan gösterimin niceliksel analizi için şunu kullanırız: ROUGE (Gisting Evaluation için Geri Çağırma Odaklı Yedek Çalışma), özetlemeyi değerlendirmek için en yaygın kullanılan ölçüm. Bu ölçüm, otomatik olarak üretilen bir özeti bir referansla veya bir dizi referansla (insan yapımı) özet veya çeviriyle karşılaştırır. ROUGE1 örtüşmeyi ifade eder unigramlar (her kelime) aday (modelin çıktısı) ile referans özetleri arasında. ROUGE2 örtüşmeyi ifade eder bigram (iki kelime) aday ve referans özetleri arasında. ROUGEL, cümle düzeyinde bir ölçümdür ve iki metin parçası arasındaki en uzun ortak alt diziyi (LCS) ifade eder. Metindeki yeni satırları yok sayar. ROUGELsum özet düzeyinde bir metriktir. Bu ölçüm için metindeki yeni satırlar göz ardı edilmez ancak cümle sınırları olarak yorumlanır. Daha sonra her bir referans ve aday cümle çifti arasında LCS hesaplanır ve daha sonra birleşim-LCS hesaplanır. Bu puanların belirli bir referans ve aday cümle seti üzerinden toplanması için ortalama hesaplanır.

İzlenecek yol ve mimari

Aşağıdaki şekilde gösterildiği gibi genel çözüm mimarisi, öncelikle SageMaker Studio'yu kullanan bir model geliştirme ortamından, SageMaker uç noktasıyla model dağıtımından ve SageMaker uç noktasını kullanan bir raporlama panosundan oluşur. Amazon QuickSight.

AWS'de üretken yapay zekayı kullanarak radyoloji raporlarındaki bulgulardan otomatik olarak gösterimler oluşturun | Amazon Web Hizmetleri PlatoBlockchain Veri Zekası. Dikey Arama. Ai.

Aşağıdaki bölümlerde, SageMaker Python SDK aracılığıyla alana özgü bir görevin özetlenmesi için SageMaker JumpStart'ta bulunan bir LLM'ye ince ayar yapmayı gösteriyoruz. Özellikle aşağıdaki konuları tartışıyoruz:

  • Geliştirme ortamını ayarlama adımları
  • Modelin ince ayarlandığı ve değerlendirildiği radyoloji raporu veri kümelerine genel bakış
  • SageMaker Python SDK ile programlı olarak SageMaker JumpStart kullanılarak FLAN-T5 XL modeline ince ayar yapılmasının gösterimi
  • Önceden eğitilmiş ve ince ayarlı modellerin çıkarımı ve değerlendirilmesi
  • Önceden eğitilmiş model ve ince ayarlı modellerden elde edilen sonuçların karşılaştırılması

Çözüm şurada mevcut AWS'de Büyük Dil Modeli ile üretken yapay zeka kullanarak Radyoloji Raporu Gösterimi Oluşturma GitHub repo.

Önkoşullar

Başlamak için bir AWS hesabı SageMaker Studio'yu kullanabileceğiniz yer. Henüz bir kullanıcı profiliniz yoksa SageMaker Studio için bir kullanıcı profili oluşturmanız gerekecektir.

Bu gönderide kullanılan eğitim bulut sunucusu türü ml.p3.16xlarge'dir. p3 bulut sunucusu tipinin hizmet kotası limitinin artırılmasını gerektirir.

The MIMIC CXR veri kümesi Kullanıcı kaydını ve kimlik doğrulama sürecinin tamamlanmasını gerektiren bir veri kullanım sözleşmesi aracılığıyla erişilebilir.

Geliştirme ortamını ayarlayın

Geliştirme ortamınızı kurmak için bir S3 grubu oluşturursunuz, bir dizüstü bilgisayarı yapılandırırsınız, uç noktalar oluşturup modelleri dağıtırsınız ve bir QuickSight kontrol paneli oluşturursunuz.

S3 grubu oluşturma

S3 grubu oluşturma denilen llm-radiology-bucket eğitim ve değerlendirme veri kümelerini barındırmak. Bu aynı zamanda model geliştirme sırasında model yapıtını depolamak için de kullanılacaktır.

Bir not defterini yapılandırma

Aşağıdaki adımları tamamlayın:

  1. SageMaker Studio'yu SageMaker konsolundan veya AWS Komut Satırı Arayüzü (AWS CLI'si).

Bir etki alanına katılım hakkında daha fazla bilgi için bkz. Amazon SageMaker Etki Alanında Yerleşik.

  1. Yeni bir tane oluştur SageMaker Studio dizüstü bilgisayarı Rapor verilerini temizlemek ve modelde ince ayar yapmak için. Python 3 çekirdeğine sahip ml.t2.medium 4vCPU+3GiB dizüstü bilgisayar örneğini kullanıyoruz.
  1. Dizüstü bilgisayarın içine aşağıdaki gibi ilgili paketleri yükleyin: nest-asyncio, IPyWidgets (Jupyter not defterine yönelik etkileşimli widget'lar için) ve SageMaker Python SDK'sı:
!pip install nest-asyncio==1.5.5 --quiet !pip install ipywidgets==8.0.4 --quiet !pip install sagemaker==2.148.0 --quiet

Çıkarım için uç noktalar oluşturun ve modelleri dağıtın

Önceden eğitilmiş ve ince ayarlı modellerin çıkarımını yapmak için, bir uç nokta oluşturun ve her modeli dağıtın defterde şu şekilde:

  1. Model sınıfından bir HTTPS uç noktasına dağıtılabilecek bir model nesnesi oluşturun.
  2. Model nesnesinin önceden oluşturulmuş yapısıyla bir HTTPS uç noktası oluşturun deploy() yöntem:
from sagemaker import model_uris, script_uris
from sagemaker.model import Model
from sagemaker.predictor import Predictor
from sagemaker.utils import name_from_base # Retrieve the URI of the pre-trained model
pre_trained_model_uri =model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="inference") large_model_env = {"SAGEMAKER_MODEL_SERVER_WORKERS": "1", "TS_DEFAULT_WORKERS_PER_MODEL": "1"} pre_trained_name = name_from_base(f"jumpstart-demo-pre-trained-{model_id}") # Create the SageMaker model instance of the pre-trained model
if ("small" in model_id) or ("base" in model_id): deploy_source_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="inference" ) pre_trained_model = Model( image_uri=deploy_image_uri, source_dir=deploy_source_uri, entry_point="inference.py", model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, )
else: # For those large models, we already repack the inference script and model # artifacts for you, so the `source_dir` argument to Model is not required. pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

QuickSight kontrol paneli oluşturma

Hat için bir Athena veri kaynağına sahip QuickSight kontrol paneli çıkarım sonuçları ile Amazon Basit Depolama Hizmeti (Amazon S3) çıkarım sonuçlarını temel gerçekle karşılaştırmak için. Aşağıdaki ekran görüntüsü örnek kontrol panelimizi göstermektedir. AWS'de üretken yapay zekayı kullanarak radyoloji raporlarındaki bulgulardan otomatik olarak gösterimler oluşturun | Amazon Web Hizmetleri PlatoBlockchain Veri Zekası. Dikey Arama. Ai.

Radyoloji raporu veri kümeleri

Modelin ince ayarı artık yapılmıştır; tüm model parametreleri, MIMIC-CXR v2.0 veri kümesi. Yalnızca radyoloji raporu metin verilerini kullandığımız için yalnızca bir sıkıştırılmış rapor dosyası indirdik (mimic-cxr-reports.zip) MIMIC-CXR web sitesinden. Şimdi ince ayarlı modeli 2,000 rapor üzerinden değerlendiriyoruz (bu rapora dev1 veri kümesi) ayrı bu veri kümesinin alt kümesini uzattı. 2,000 radyoloji raporu daha kullanıyoruz (buna dev2) göğüs röntgeni koleksiyonundan ince ayarlı modeli değerlendirmek için Indiana Üniversitesi hastane ağı. Tüm veri kümeleri JSON dosyaları olarak okunur ve yeni oluşturulan S3 klasörüne yüklenir llm-radiology-bucket. Tüm veri kümelerinin varsayılan olarak herhangi bir Korunan Sağlık Bilgisi (PHI) içermediğini unutmayın; tüm hassas bilgiler ardışık üç alt çizgiyle değiştirilir (___) sağlayıcılar tarafından.

SageMaker Python SDK ile ince ayar yapın

İnce ayar için, model_id olarak belirtilir huggingface-text2text-flan-t5-xl SageMaker JumpStart modelleri listesinden. training_instance_type ml.p3.16xlarge olarak ayarlanır ve inference_instance_type ml.g5.2xlarge olarak. JSON formatındaki eğitim verileri S3 grubundan okunur. Bir sonraki adım, SageMaker JumpStart kaynak URI'lerini çıkarmak için seçilen model_id'yi kullanmaktır. image_uri ( Amazon Elastik Konteyner Kayıt Defteri (Amazon ECR) Docker görüntüsü için URI), model_uri (önceden eğitilmiş model yapısı Amazon S3 URI) ve script_uri (eğitim senaryosu):

from sagemaker import image_uris, model_uris, script_uris # Training instance will use this image
train_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="training", instance_type=training_instance_type,
) # Pre-trained model
train_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="training"
) # Script to execute on the training instance
train_script_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="training"
) output_location = f"s3://{output_bucket}/demo-llm-rad-fine-tune-flan-t5/"

Ayrıca S3 klasöründe bir klasör olarak bir çıkış konumu ayarlanır.

Yalnızca bir hiperparametre olan epochs, 3 olarak değiştirilir ve geri kalanların tümü varsayılan olarak ayarlanır:

from sagemaker import hyperparameters # Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) # We will override some default hyperparameters with custom values
hyperparameters["epochs"] = "3"
print(hyperparameters)

Eğitim metrikleri gibi eval_loss (doğrulama kaybı için), loss (eğitim kaybı için) ve epoch izlenecekler tanımlanmış ve listelenmiştir:

from sagemaker.estimator import Estimator
from sagemaker.utils import name_from_base model_name = "-".join(model_id.split("-")[2:]) # get the most informative part of ID
training_job_name = name_from_base(f"js-demo-{model_name}-{hyperparameters['epochs']}")
print(f"{bold}job name:{unbold} {training_job_name}") training_metric_definitions = [ {"Name": "val_loss", "Regex": "'eval_loss': ([0-9.]+)"}, {"Name": "train_loss", "Regex": "'loss': ([0-9.]+)"}, {"Name": "epoch", "Regex": "'epoch': ([0-9.]+)"},
]

SageMaker JumpStart kaynak URI'lerini kullanıyoruz (image_uri, model_uri, script_uri) bir tahminci oluşturmak ve veri kümesinin S3 yolunu belirterek eğitim veri kümesinde ince ayar yapmak için daha önce tanımlanmıştı. Tahminci sınıfı şunu gerektirir: entry_point parametre. Bu durumda JumpStart şunları kullanır: transfer_learning.py. Bu değer ayarlanmazsa eğitim işi yürütülemez.

# Create SageMaker Estimator instance
sm_estimator = Estimator( role=aws_role, image_uri=train_image_uri, model_uri=train_model_uri, source_dir=train_script_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, volume_size=300, max_run=360000, hyperparameters=hyperparameters, output_path=output_location, metric_definitions=training_metric_definitions,
) # Launch a SageMaker training job over data located in the given S3 path
# Training jobs can take hours, it is recommended to set wait=False,
# and monitor job status through SageMaker console
sm_estimator.fit({"training": train_data_location}, job_name=training_job_name, wait=True)

Bu eğitim işinin tamamlanması saatler sürebilir; bu nedenle bekleme parametresinin False olarak ayarlanması ve SageMaker konsolunda eğitim işi durumunun izlenmesi önerilir. Kullan TrainingJobAnalytics Eğitim metriklerini çeşitli zaman damgalarında takip etme işlevi:

from sagemaker import TrainingJobAnalytics # Wait for a couple of minutes for the job to start before running this cell
# This can be called while the job is still running
df = TrainingJobAnalytics(training_job_name=training_job_name).dataframe()

Çıkarım uç noktalarını dağıtma

Karşılaştırmalar yapabilmek amacıyla hem önceden eğitilmiş hem de ince ayarı yapılmış modeller için çıkarım uç noktalarını devreye alıyoruz.

İlk önce, kullanarak çıkarım Docker görüntü URI'sini alın. model_idve önceden eğitilmiş modelin SageMaker model örneğini oluşturmak için bu URI'yi kullanın. Model nesnesinin önceden oluşturulmuş yapısıyla bir HTTPS uç noktası oluşturarak önceden eğitilmiş modeli dağıtın deploy() yöntem. Çıkarımı SageMaker API aracılığıyla çalıştırmak için Predictor sınıfını geçtiğinizden emin olun.

from sagemaker import image_uris
# Retrieve the inference docker image URI. This is the base HuggingFace container image
deploy_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="inference", instance_type=inference_instance_type,
) # Retrieve the URI of the pre-trained model
pre_trained_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="inference"
) pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

İnce ayarlı modelin SageMaker modeli örneğini oluşturmak ve modeli dağıtmak için bir uç nokta oluşturmak için önceki adımı tekrarlayın.

Modelleri değerlendirin

Öncelikle özetlenen metnin uzunluğunu, model çıktılarının sayısını (birden fazla özetin oluşturulması gerekiyorsa 1'den büyük olmalıdır) ve ışın sayısını ayarlayın. ışın arama.

Çıkarım isteğini bir JSON verisi olarak oluşturun ve bunu, önceden eğitilmiş ve ince ayar yapılmış modellerin uç noktalarını sorgulamak için kullanın.

Toplamı hesapla ROUGE puanları (ROUGE1, ROUGE2, ROUGEL, ROUGELsum) daha önce açıklandığı gibi.

Sonuçları karşılaştırın

Aşağıdaki tabloda değerlendirme sonuçları gösterilmektedir. dev1 ve dev2 veri kümeleri. Değerlendirme sonucu dev1 (MIMIC CXR Radyoloji Raporundan 2,000 bulgu), toplu ortalamada yaklaşık yüzde 38 puanlık bir iyileşme göstermektedir ROUGE1 ve ROUGE2 önceden eğitilmiş modelle karşılaştırıldığında puanlar. dev2 için ROUGE31 ve ROUGE25 puanlarında yüzde 1 puan ve yüzde 2 puanlık bir iyileşme gözlemlendi. Genel olarak ince ayar, ROUGELsum puanlarında yüzde 38.2 ve yüzde 31.3 puanlık bir iyileşmeye yol açtı. dev1 ve dev2 sırasıyla veri kümeleri.

Değerlendirme

Veri kümesi

Önceden eğitilmiş Model İnce ayarlı model
KÜL1 KÜL2 ROUGEL ROUGEL toplamı KÜL1 KÜL2 ROUGEL ROUGEL toplamı
dev1 0.2239 0.1134 0.1891 0.1891 0.6040 0.4800 0.5705 0.5708
dev2 0.1583 0.0599 0.1391 0.1393 0.4660 0.3125 0.4525 0.4525

Aşağıdaki kutu grafikleri ROUGE puanlarının dağılımını göstermektedir. dev1 ve dev2 ince ayarlı model kullanılarak değerlendirilen veri kümeleri.

AWS'de üretken yapay zekayı kullanarak radyoloji raporlarındaki bulgulardan otomatik olarak gösterimler oluşturun | Amazon Web Hizmetleri PlatoBlockchain Veri Zekası. Dikey Arama. Ai. AWS'de üretken yapay zekayı kullanarak radyoloji raporlarındaki bulgulardan otomatik olarak gösterimler oluşturun | Amazon Web Hizmetleri PlatoBlockchain Veri Zekası. Dikey Arama. Ai.
(A): dev1 (B): dev2

Aşağıdaki tablo, değerlendirme veri kümeleri için ROUGE puanlarının yaklaşık olarak aynı medyan ve ortalamaya sahip olduğunu ve bu nedenle simetrik olarak dağıldığını göstermektedir.

Veri Setleri Partisyon saymak Anlamına gelmek Standart Sapma asgari %25 yüzdelik dilim %50 yüzdelik dilim %75 yüzdelik dilim Maksimum
dev1 KÜL1 2000.00 0.6038 0.3065 0.0000 0.3653 0.6000 0.9384 1.0000
KÜL 2 2000.00 0.4798 0.3578 0.0000 0.1818 0.4000 0.8571 1.0000
ROLU L 2000.00 0.5706 0.3194 0.0000 0.3000 0.5345 0.9101 1.0000
ROUGEL toplamı 2000.00 0.5706 0.3194 0.0000 0.3000 0.5345 0.9101 1.0000
dev2 KÜL 1 2000.00 0.4659 0.2525 0.0000 0.2500 0.5000 0.7500 1.0000
KÜL 2 2000.00 0.3123 0.2645 0.0000 0.0664 0.2857 0.5610 1.0000
ROLU L 2000.00 0.4529 0.2554 0.0000 0.2349 0.4615 0.7500 1.0000
ROU Lsum 2000.00 0.4529 0.2554 0.0000 0.2349 0.4615 0.7500 1.0000

Temizlemek

Gelecekte ücret alınmasını önlemek için aşağıdaki kodla oluşturduğunuz kaynakları silin:

# Delete resources
pre_trained_predictor.delete_model()
pre_trained_predictor.delete_endpoint()
fine_tuned_predictor.delete_model()
fine_tuned_predictor.delete_endpoint()

Sonuç

Bu yazıda, SageMaker Studio'yu kullanarak klinik alana özgü bir özetleme görevi için bir FLAN-T5 XL modeline nasıl ince ayar yapılacağını gösterdik. Güveni artırmak için tahminleri temel gerçeklerle karşılaştırdık ve sonuçları ROUGE metriklerini kullanarak değerlendirdik. Belirli bir görev için ince ayarı yapılmış bir modelin, genel bir NLP görevi üzerinde önceden eğitilmiş bir modelden daha iyi sonuçlar verdiğini gösterdik. Genel amaçlı bir LLM'nin ince ayarını yapmanın, ön eğitim maliyetini tamamen ortadan kaldırdığını belirtmek isteriz.

Burada sunulan çalışma göğüs röntgeni raporlarına odaklanmış olsa da, radyoloji raporlarının çoklu bulgular nedeniyle daha karmaşık olabileceği MRI ve BT gibi çeşitli anatomi ve modalitelere sahip daha büyük veri kümelerine genişletilme potansiyeline sahiptir. Bu gibi durumlarda radyologlar, kritiklik sırasına göre izlenimler oluşturabilir ve takip önerilerini dahil edebilir. Ayrıca, bu uygulama için bir geri bildirim döngüsü oluşturmak, radyologların modelin performansını zaman içinde geliştirmesine olanak tanıyacaktır.

Bu yazıda gösterdiğimiz gibi, ince ayarlı model radyoloji raporları için yüksek ROUGE puanlarına sahip gösterimler üretiyor. Farklı departmanlardan gelen diğer alana özgü tıbbi raporlarda Yüksek Lisans'lara ince ayar yapmayı deneyebilirsiniz.


yazarlar hakkında

AWS'de üretken yapay zekayı kullanarak radyoloji raporlarındaki bulgulardan otomatik olarak gösterimler oluşturun | Amazon Web Hizmetleri PlatoBlockchain Veri Zekası. Dikey Arama. Ai.Dr. Adewale Akinfaderin AWS'de Sağlık ve Yaşam Bilimleri alanında Kıdemli Veri Bilimcisidir. Uzmanlığı, tekrarlanabilir ve uçtan uca AI/ML yöntemleri, pratik uygulamalar ve küresel sağlık hizmeti müşterilerinin disiplinler arası sorunlara ölçeklenebilir çözümler formüle etmesine ve geliştirmesine yardımcı olmaktır. Fizik alanında iki yüksek lisans ve Mühendislik alanında doktora derecesine sahiptir.

AWS'de üretken yapay zekayı kullanarak radyoloji raporlarındaki bulgulardan otomatik olarak gösterimler oluşturun | Amazon Web Hizmetleri PlatoBlockchain Veri Zekası. Dikey Arama. Ai.Priya Padate AWS'de Sağlık ve Yaşam Bilimleri alanında kapsamlı uzmanlığa sahip Kıdemli Ortak Çözüm Mimarıdır. Priya, iş ortaklarıyla birlikte pazara açılma stratejilerini destekliyor ve yapay zeka/makine öğrenimi tabanlı geliştirmeyi hızlandırmak için çözüm geliştirmeyi destekliyor. Daha iyi hasta bakımı sonuçları elde etmek amacıyla sağlık sektörünü dönüştürmek için teknolojiyi kullanma konusunda tutkulu.

AWS'de üretken yapay zekayı kullanarak radyoloji raporlarındaki bulgulardan otomatik olarak gösterimler oluşturun | Amazon Web Hizmetleri PlatoBlockchain Veri Zekası. Dikey Arama. Ai.Ekta Walia Bhullar, PhD, AWS Sağlık ve Yaşam Bilimleri (HCLS) profesyonel hizmetler iş biriminde kıdemli bir AI/ML danışmanıdır. Sağlık hizmetleri alanında, özellikle de radyolojide AI/ML'nin uygulanması konusunda geniş deneyime sahiptir. İş dışında radyolojide yapay zekayı tartışmadığı zamanlarda koşmayı ve yürüyüş yapmayı seviyor.

Zaman Damgası:

Den fazla AWS Makine Öğrenimi