Automatycznie generuj wyciski na podstawie ustaleń w raportach radiologicznych, korzystając z generatywnej sztucznej inteligencji w AWS | Usługi internetowe Amazona

Automatycznie generuj wyciski na podstawie ustaleń w raportach radiologicznych, korzystając z generatywnej sztucznej inteligencji w AWS | Usługi internetowe Amazona

Raporty radiologiczne to obszerne, obszerne dokumenty opisujące i interpretujące wyniki badania obrazowego radiologicznego. W typowym przebiegu pracy radiolog nadzoruje, czyta i interpretuje obrazy, a następnie zwięźle podsumowuje najważniejsze ustalenia. Podsumowanie (lub wrażenie) jest najważniejszą częścią raportu, ponieważ pomaga klinicystom i pacjentom skoncentrować się na najważniejszej treści raportu, która zawiera informacje potrzebne do podejmowania decyzji klinicznych. Stworzenie jasnego i wpływowego wrażenia wymaga znacznie więcej wysiłku niż zwykłe powtórzenie ustaleń. Cały proces jest zatem pracochłonny, czasochłonny i podatny na błędy. Często potrzeba lat trening aby lekarze zgromadzili wystarczającą wiedzę specjalistyczną w zakresie pisania zwięzłych i pouczających podsumowań raportów radiologicznych, co dodatkowo podkreśla znaczenie automatyzacji procesu. Dodatkowo automatyczne generowanie podsumowań ustaleń raportu ma kluczowe znaczenie dla raportowania radiologicznego. Umożliwia tłumaczenie raportów na język zrozumiały dla człowieka, odciążając w ten sposób obciążenie pacjentów związane z czytaniem długich i niejasnych raportów.

Aby rozwiązać ten problem, proponujemy zastosowanie generatywnej sztucznej inteligencji, czyli rodzaju sztucznej inteligencji, która może tworzyć nowe treści i pomysły, w tym rozmowy, historie, obrazy, filmy i muzykę. Generatywna sztuczna inteligencja opiera się na modelach uczenia maszynowego (ML) — bardzo dużych modelach, które są wstępnie szkolone na ogromnych ilościach danych i powszechnie określa się je mianem modeli podstawowych (FM). Niedawne postępy w uczeniu maszynowym (w szczególności wynalezienie architektury sieci neuronowej opartej na transformatorach) doprowadziły do ​​powstania modeli zawierających miliardy parametrów lub zmiennych. Rozwiązanie zaproponowane w tym poście wykorzystuje dostrajanie wstępnie wytrenowanych modeli dużego języka (LLM), aby pomóc w generowaniu podsumowań na podstawie wyników badań radiologicznych.

W tym poście przedstawiono strategię dostrajania publicznie dostępnych LLM do zadania podsumowania raportów radiologicznych przy użyciu usług AWS. LLM wykazały niezwykłe zdolności w zakresie rozumienia i generowania języka naturalnego, służąc jako podstawowe modele, które można dostosować do różnych dziedzin i zadań. Korzystanie z wstępnie wytrenowanego modelu wiąże się ze znaczącymi korzyściami. Zmniejsza koszty obliczeń, zmniejsza ślad węglowy i pozwala na korzystanie z najnowocześniejszych modeli bez konieczności szkolenia ich od podstaw.

Nasze rozwiązanie wykorzystuje FLAN-T5 XL FM, za pomocą Amazon SageMaker JumpStart, które jest centrum ML oferującym algorytmy, modele i rozwiązania ML. Pokazujemy, jak to osiągnąć za pomocą notatnika w Studio Amazon SageMaker. Dostrajanie wstępnie wyszkolonego modelu obejmuje dalsze szkolenie na określonych danych w celu poprawy wydajności innego, ale powiązanego zadania. Rozwiązanie to polega na dostrojeniu modelu FLAN-T5 XL, który jest udoskonaloną wersją T5 (Transformator transferu tekstu na tekst) ogólnego przeznaczenia LLM. T5 przekształca zadania przetwarzania języka naturalnego (NLP) w ujednolicony format zamiany tekstu na tekst, w przeciwieństwie do BERTI-style modele, które mogą wyświetlać tylko etykietę klasy lub zakres danych wejściowych. Jest dostosowany do zadań podsumowujących 91,544 XNUMX raportów radiologicznych w postaci dowolnego tekstu uzyskanych z Zbiór danych MIMIC-CXR.

Przegląd rozwiązania

W tej sekcji omawiamy kluczowe elementy naszego rozwiązania: wybór strategii dla zadania, dostrojenie LLM i ocenę wyników. Ilustrujemy również architekturę rozwiązania i kroki wdrożenia rozwiązania.

Określ strategię zadania

Istnieją różne strategie podejścia do zadania automatyzacji podsumowania raportu klinicznego. Na przykład moglibyśmy zastosować model języka specjalistycznego, wstępnie przeszkolony od podstaw na podstawie raportów klinicznych. Alternatywnie moglibyśmy bezpośrednio dostroić publicznie dostępny model języka ogólnego przeznaczenia, aby wykonać zadanie kliniczne. Korzystanie z precyzyjnie dostrojonego modelu niezależnego od domeny może być konieczne w sytuacjach, w których szkolenie: a model języka od zera jest zbyt kosztowne. W tym rozwiązaniu demonstrujemy drugie podejście polegające na wykorzystaniu modelu FLAN -T5 XL, który dostosowujemy do zadania klinicznego polegającego na podsumowywaniu raportów radiologicznych. Poniższy diagram ilustruje przepływ pracy w modelu.

Automatycznie generuj wyciski na podstawie ustaleń w raportach radiologicznych, korzystając z generatywnej sztucznej inteligencji w AWS | Amazon Web Services PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI.

Typowy raport radiologiczny jest dobrze zorganizowany i zwięzły. Takie raporty często składają się z trzech kluczowych sekcji:

  • Tło – Dostarcza ogólnych informacji o demografii pacjenta, wraz z niezbędnymi informacjami o pacjencie, historii klinicznej i istotnej historii choroby oraz szczegółach procedur badawczych
  • Ustalenia – Przedstawia szczegółową diagnozę i wyniki badania
  • druk – Zwięźle podsumowuje najważniejsze ustalenia lub interpretację wyników wraz z oceną znaczenia i potencjalną diagnozą w oparciu o zaobserwowane nieprawidłowości

Korzystając z sekcji wyników w raportach radiologicznych, rozwiązanie generuje sekcję wycisków, która odpowiada podsumowaniu lekarzy. Poniższy rysunek jest przykładem raportu radiologicznego.

Automatycznie generuj wyciski na podstawie ustaleń w raportach radiologicznych, korzystając z generatywnej sztucznej inteligencji w AWS | Amazon Web Services PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI.

Dostosuj LLM ogólnego przeznaczenia do zadania klinicznego

W tym rozwiązaniu dostrajamy model FLAN-T5 XL (dostrajamy wszystkie parametry modelu i optymalizujemy je pod kątem zadania). Dopracowujemy model, korzystając ze zbioru danych domeny klinicznej MIMIC-CXR, który jest publicznie dostępnym zbiorem danych radiogramów klatki piersiowej. Aby dostroić ten model za pomocą narzędzia SageMaker Jumpstart, należy dostarczyć oznaczone przykłady w postaci par {prompt,complete}. W tym przypadku używamy par {Wnioski, Wrażenia} z oryginalnych raportów w zbiorze danych MIMIC-CXR. Do wnioskowania używamy podpowiedzi, jak pokazano w poniższym przykładzie:

Automatycznie generuj wyciski na podstawie ustaleń w raportach radiologicznych, korzystając z generatywnej sztucznej inteligencji w AWS | Amazon Web Services PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI.

Model jest dopracowywany w oparciu o przyspieszone obliczenia ml.p3.16xduże instancja z 64 wirtualnymi procesorami i 488 GiB pamięci. Do walidacji wybrano losowo 5% zbioru danych. Czas zadania szkoleniowego SageMaker z dostrajaniem wyniósł 38,468 11 sekund (około XNUMX godzin).

Oceń wyniki

Po zakończeniu szkolenia bardzo ważna jest ocena jego wyników. Do ilościowej analizy wygenerowanego wrażenia używamy CZERWONA (Recall-Oriented Understudy for Gisting Evaluation), najczęściej używany miernik do oceny podsumowania. Ta metryka porównuje automatycznie utworzone podsumowanie z odniesieniem lub zestawem odniesień (stworzonym przez człowieka), podsumowaniem lub tłumaczeniem. ROUGE1 odnosi się do nakładania się unigramy (każde słowo) pomiędzy kandydatem (wynikiem modelu) a podsumowaniami referencyjnymi. ROUGE2 odnosi się do nakładania się biggramy (dwa słowa) pomiędzy streszczeniem kandydata i referencjami. ROUGEL jest metryką na poziomie zdania i odnosi się do najdłuższego wspólnego podciągu (LCS) pomiędzy dwoma fragmentami tekstu. Ignoruje znaki nowej linii w tekście. ROUGELsum to metryka na poziomie podsumowania. W przypadku tej metryki znaki nowej linii w tekście nie są ignorowane, ale są interpretowane jako granice zdania. Następnie obliczany jest LCS pomiędzy każdą parą zdań referencyjnych i kandydujących, a następnie obliczana jest suma-LCS. W celu zagregowania tych wyników dla danego zestawu zdań referencyjnych i kandydujących obliczana jest średnia.

Opis przejścia i architektura

Ogólna architektura rozwiązania pokazana na poniższym rysunku składa się głównie ze środowiska programistycznego modelu korzystającego z SageMaker Studio, wdrożenia modelu z punktem końcowym SageMaker oraz panelu raportowania wykorzystującego Amazon QuickSight.

Automatycznie generuj wyciski na podstawie ustaleń w raportach radiologicznych, korzystając z generatywnej sztucznej inteligencji w AWS | Amazon Web Services PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI.

W poniższych sekcjach demonstrujemy dostrajanie LLM dostępnego w SageMaker JumpStart w celu podsumowania zadań specyficznych dla domeny za pośrednictwem pakietu SageMaker Python SDK. W szczególności poruszamy następujące tematy:

  • Kroki konfigurowania środowiska programistycznego
  • Przegląd zbiorów danych raportów radiologicznych, na podstawie których model jest dopracowywany i oceniany
  • Demonstracja dostrajania modelu FLAN-T5 XL przy użyciu oprogramowania SageMaker JumpStart i pakietu SageMaker Python SDK
  • Wnioskowanie i ocena wstępnie wyszkolonych i dostrojonych modeli
  • Porównanie wyników z modelu wstępnie wytrenowanego i modelu dostrojonego

Rozwiązanie jest dostępne w Generowanie wycisku raportu radiologicznego przy użyciu generatywnej sztucznej inteligencji z modelem dużego języka w AWS GitHub repo.

Wymagania wstępne

Aby rozpocząć, potrzebujesz Konto AWS w którym możesz korzystać z SageMaker Studio. Będziesz musiał utworzyć profil użytkownika dla SageMaker Studio, jeśli jeszcze go nie masz.

Typ instancji szkoleniowej użyty w tym poście to ml.p3.16xlarge. Należy pamiętać, że typ instancji p3 wymaga zwiększenia limitu usług.

Połączenia Zbiór danych MIMIC CXR można uzyskać dostęp poprzez umowę o korzystaniu z danych, która wymaga rejestracji użytkownika i zakończenia procesu uwierzytelniania.

Skonfiguruj środowisko programistyczne

Aby skonfigurować środowisko programistyczne, utwórz wiadro S3, skonfiguruj notatnik, utwórz punkty końcowe i wdróż modele, a także utwórz pulpit nawigacyjny QuickSight.

Utwórz wiadro S3

Utwórz wiadro S3 nazywa llm-radiology-bucket do przechowywania zbiorów danych dotyczących szkoleń i ocen. Będzie to również wykorzystywane do przechowywania artefaktu modelu podczas jego opracowywania.

Skonfiguruj notatnik

Wykonaj następujące kroki:

  1. Uruchom SageMaker Studio z konsoli SageMaker lub z pliku Interfejs wiersza poleceń AWS (interfejs wiersza poleceń AWS).

Aby uzyskać więcej informacji na temat dołączania do domeny, zobacz Na pokładzie do domeny Amazon SageMaker.

  1. Stwórz nowy Notatnik SageMaker Studio do czyszczenia danych raportu i dostrajania modelu. Używamy instancji notebooka ml.t3.medium 2vCPU+4GiB z jądrem Python 3.
  1. W notebooku zainstaluj odpowiednie pakiety, takie jak nest-asyncio, IPyWidgets (dla interaktywnych widżetów dla notatnika Jupyter) i SDK SageMaker Python:
!pip install nest-asyncio==1.5.5 --quiet !pip install ipywidgets==8.0.4 --quiet !pip install sagemaker==2.148.0 --quiet

Twórz punkty końcowe i wdrażaj modele na potrzeby wnioskowania

Do wnioskowania na temat wstępnie wytrenowanych i dostrojonych modeli utwórz punkt końcowy i wdróż każdy model w notatniku następująco:

  1. Utwórz obiekt modelu z klasy Model, który można wdrożyć w punkcie końcowym HTTPS.
  2. Utwórz punkt końcowy HTTPS za pomocą wstępnie skompilowanego obiektu modelu deploy() metoda:
from sagemaker import model_uris, script_uris
from sagemaker.model import Model
from sagemaker.predictor import Predictor
from sagemaker.utils import name_from_base # Retrieve the URI of the pre-trained model
pre_trained_model_uri =model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="inference") large_model_env = {"SAGEMAKER_MODEL_SERVER_WORKERS": "1", "TS_DEFAULT_WORKERS_PER_MODEL": "1"} pre_trained_name = name_from_base(f"jumpstart-demo-pre-trained-{model_id}") # Create the SageMaker model instance of the pre-trained model
if ("small" in model_id) or ("base" in model_id): deploy_source_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="inference" ) pre_trained_model = Model( image_uri=deploy_image_uri, source_dir=deploy_source_uri, entry_point="inference.py", model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, )
else: # For those large models, we already repack the inference script and model # artifacts for you, so the `source_dir` argument to Model is not required. pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

Utwórz pulpit nawigacyjny QuickSight

Stwórz Panel QuickSight ze źródłem danych Athena z wnioskowaniem skutkuje Usługa Amazon Simple Storage (Amazon S3), aby porównać wyniki wnioskowania z podstawową prawdą. Poniższy zrzut ekranu przedstawia nasz przykładowy dashboard. Automatycznie generuj wyciski na podstawie ustaleń w raportach radiologicznych, korzystając z generatywnej sztucznej inteligencji w AWS | Amazon Web Services PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI.

Zestawy danych raportów radiologicznych

Model jest teraz dostrojony, wszystkie parametry modelu są dostrojone na podstawie 91,544 XNUMX raportów pobranych z witryny Zbiór danych MIMIC-CXR v2.0. Ponieważ korzystaliśmy wyłącznie z danych tekstowych raportu radiologicznego, pobraliśmy tylko jeden skompresowany plik raportu (mimic-cxr-reports.zip) ze strony internetowej MIMIC-CXR. Teraz oceniamy dopracowany model na 2,000 raportów (tzw dev1 zbiór danych) od oddzielnego wystawiony podzbiór tego zbioru danych. Korzystamy z kolejnych 2,000 raportów radiologicznych (tzw dev2) za ocenę dopracowanego modelu z kolekcji zdjęć rentgenowskich klatki piersiowej z Sieć szpitali Uniwersytetu Indiana. Wszystkie zbiory danych są odczytywane jako pliki JSON i przesyłane do nowo utworzonego segmentu S3 llm-radiology-bucket. Należy pamiętać, że wszystkie zbiory danych domyślnie nie zawierają żadnych chronionych informacji zdrowotnych (PHI); wszystkie wrażliwe informacje są zastępowane trzema kolejnymi podkreśleniami (___) przez dostawców.

Dostosuj się dzięki pakietowi SDK SageMaker Python

W celu dokładnego dostrojenia, model_id jest określony jako huggingface-text2text-flan-t5-xl z listy modeli SageMaker JumpStart. The training_instance_type jest ustawiony na ml.p3.16xlarge i inference_instance_type jako ml.g5.2xlarge. Dane szkoleniowe w formacie JSON są odczytywane z segmentu S3. Następnym krokiem jest użycie wybranego model_id do wyodrębnienia identyfikatorów URI zasobów SageMaker JumpStart, w tym image_uri ( Rejestr elastycznego pojemnika Amazon (Amazon ECR) URI dla obrazu Dockera), model_uri (wstępnie wyszkolony artefakt modelu Amazon S3 URI) oraz script_uri (scenariusz szkolenia):

from sagemaker import image_uris, model_uris, script_uris # Training instance will use this image
train_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="training", instance_type=training_instance_type,
) # Pre-trained model
train_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="training"
) # Script to execute on the training instance
train_script_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="training"
) output_location = f"s3://{output_bucket}/demo-llm-rad-fine-tune-flan-t5/"

Ponadto lokalizacja wyjściowa jest konfigurowana jako folder w segmencie S3.

Tylko jeden hiperparametr, epoki, zostaje zmieniony na 3, a pozostałe są ustawione jako domyślne:

from sagemaker import hyperparameters # Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) # We will override some default hyperparameters with custom values
hyperparameters["epochs"] = "3"
print(hyperparameters)

Metryki szkoleniowe, takie jak eval_loss (za utratę walidacji), loss (z tytułu utraty treningu) oraz epoch które mają być śledzone, są zdefiniowane i wymienione:

from sagemaker.estimator import Estimator
from sagemaker.utils import name_from_base model_name = "-".join(model_id.split("-")[2:]) # get the most informative part of ID
training_job_name = name_from_base(f"js-demo-{model_name}-{hyperparameters['epochs']}")
print(f"{bold}job name:{unbold} {training_job_name}") training_metric_definitions = [ {"Name": "val_loss", "Regex": "'eval_loss': ([0-9.]+)"}, {"Name": "train_loss", "Regex": "'loss': ([0-9.]+)"}, {"Name": "epoch", "Regex": "'epoch': ([0-9.]+)"},
]

Używamy identyfikatorów URI zasobów SageMaker JumpStart (image_uri, model_uri, script_uri) zidentyfikowane wcześniej, aby utworzyć estymator i dostroić go na zbiorze danych szkoleniowych, określając ścieżkę S3 zbioru danych. Klasa Estimator wymaga entry_point parametr. W tym przypadku korzysta z JumpStart transfer_learning.py. Zadanie szkoleniowe nie zostanie uruchomione, jeśli ta wartość nie zostanie ustawiona.

# Create SageMaker Estimator instance
sm_estimator = Estimator( role=aws_role, image_uri=train_image_uri, model_uri=train_model_uri, source_dir=train_script_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, volume_size=300, max_run=360000, hyperparameters=hyperparameters, output_path=output_location, metric_definitions=training_metric_definitions,
) # Launch a SageMaker training job over data located in the given S3 path
# Training jobs can take hours, it is recommended to set wait=False,
# and monitor job status through SageMaker console
sm_estimator.fit({"training": train_data_location}, job_name=training_job_name, wait=True)

Ukończenie tego zadania szkoleniowego może zająć wiele godzin; dlatego zaleca się ustawienie parametru Wait na False i monitorowanie statusu zadania szkoleniowego w konsoli SageMaker. Użyj TrainingJobAnalytics funkcja śledzenia metryk szkoleniowych w różnych znacznikach czasu:

from sagemaker import TrainingJobAnalytics # Wait for a couple of minutes for the job to start before running this cell
# This can be called while the job is still running
df = TrainingJobAnalytics(training_job_name=training_job_name).dataframe()

Wdróż punkty końcowe wnioskowania

Aby dokonać porównań, wdrażamy punkty końcowe wnioskowania zarówno dla modeli wstępnie wyszkolonych, jak i dostrojonych.

Najpierw pobierz wnioskowanie URI obrazu platformy Docker za pomocą model_idi użyj tego identyfikatora URI, aby utworzyć instancję modelu SageMaker dla wstępnie wyszkolonego modelu. Wdróż wstępnie wyszkolony model, tworząc punkt końcowy HTTPS z wstępnie skompilowanym obiektem modelu deploy() metoda. Aby uruchomić wnioskowanie poprzez API SageMaker, należy przekazać klasę Predictor.

from sagemaker import image_uris
# Retrieve the inference docker image URI. This is the base HuggingFace container image
deploy_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="inference", instance_type=inference_instance_type,
) # Retrieve the URI of the pre-trained model
pre_trained_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="inference"
) pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

Powtórz poprzedni krok, aby utworzyć instancję modelu SageMaker dla precyzyjnie dostrojonego modelu i utwórz punkt końcowy w celu wdrożenia modelu.

Oceń modele

Najpierw ustaw długość podsumowanego tekstu, liczbę wyników modelu (powinna być większa niż 1, jeśli trzeba wygenerować wiele podsumowań) i liczbę belek dla wyszukiwanie wiązki.

Skonstruuj żądanie wnioskowania jako ładunek JSON i użyj go do wysyłania zapytań do punktów końcowych w celu uzyskania wstępnie wytrenowanych i dostrojonych modeli.

Oblicz zagregowane ROUGE zdobywa punkty (ROUGE1, ROUGE2, ROUGEL, ROUGELsum), jak opisano wcześniej.

Porównaj wyniki

Poniższa tabela przedstawia wyniki oceny dla dev1 i dev2 zbiory danych. Wynik oceny dot dev1 (2,000 ustaleń z raportu radiologicznego MIMIC CXR) pokazuje poprawę zagregowanej średniej o około 38 punktów procentowych ROUGE1 i ROUGE2 wyniki w porównaniu z modelem wstępnie wytrenowanym. W przypadku dev2 zaobserwowano poprawę wyników ROUGE31 i ROUGE25 o 1 punktów procentowych i 2 punktów procentowych. Ogólnie rzecz biorąc, dostrajanie doprowadziło do poprawy wyników ROUGELsum o 38.2 punktu procentowego i 31.3 punktu procentowego dla dev1 i dev2 odpowiednio zbiory danych.

Ocena

Dataset

Wstępnie przeszkolony model Model dopracowany
RÓŻ 1 RÓŻ 2 ROUGEL ROUGEL suma RÓŻ 1 RÓŻ 2 ROUGEL ROUGEL suma
dev1 0.2239 0.1134 0.1891 0.1891 0.6040 0.4800 0.5705 0.5708
dev2 0.1583 0.0599 0.1391 0.1393 0.4660 0.3125 0.4525 0.4525

Poniższe wykresy pudełkowe przedstawiają rozkład wyników ROUGE dla: dev1 i dev2 zbiory danych oceniane przy użyciu dopracowanego modelu.

Automatycznie generuj wyciski na podstawie ustaleń w raportach radiologicznych, korzystając z generatywnej sztucznej inteligencji w AWS | Amazon Web Services PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI. Automatycznie generuj wyciski na podstawie ustaleń w raportach radiologicznych, korzystając z generatywnej sztucznej inteligencji w AWS | Amazon Web Services PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI.
(O): dev1 (B): dev2

Poniższa tabela pokazuje, że wyniki ROUGE dla zbiorów danych oceny mają w przybliżeniu tę samą medianę i średnią, a zatem są rozłożone symetrycznie.

Zbiory danych Partitury Liczyć Oznaczać Odchylenie standardowe Minimum 25% percentyl 50% percentyl 75% percentyl Maksymalny
dev1 RÓŻ 1 2000.00 0.6038 0.3065 0.0000 0.3653 0.6000 0.9384 1.0000
RÓŻ 2 2000.00 0.4798 0.3578 0.0000 0.1818 0.4000 0.8571 1.0000
ROUGE L 2000.00 0.5706 0.3194 0.0000 0.3000 0.5345 0.9101 1.0000
ROUGEL suma 2000.00 0.5706 0.3194 0.0000 0.3000 0.5345 0.9101 1.0000
dev2 RÓŻ 1 2000.00 0.4659 0.2525 0.0000 0.2500 0.5000 0.7500 1.0000
RÓŻ 2 2000.00 0.3123 0.2645 0.0000 0.0664 0.2857 0.5610 1.0000
ROUGE L 2000.00 0.4529 0.2554 0.0000 0.2349 0.4615 0.7500 1.0000
ROUGE Lsum 2000.00 0.4529 0.2554 0.0000 0.2349 0.4615 0.7500 1.0000

Sprzątać

Aby uniknąć przyszłych opłat, usuń utworzone zasoby za pomocą następującego kodu:

# Delete resources
pre_trained_predictor.delete_model()
pre_trained_predictor.delete_endpoint()
fine_tuned_predictor.delete_model()
fine_tuned_predictor.delete_endpoint()

Wnioski

W tym poście zademonstrowaliśmy, jak dostroić model FLAN-T5 XL do zadania podsumowania specyficznego dla domeny klinicznej za pomocą SageMaker Studio. Aby zwiększyć pewność, porównaliśmy przewidywania z prawdą i oceniliśmy wyniki za pomocą wskaźników ROUGE. Pokazaliśmy, że model dostosowany do konkretnego zadania daje lepsze wyniki niż model wstępnie przeszkolony do ogólnego zadania NLP. Chcielibyśmy podkreślić, że dostrojenie LLM ogólnego przeznaczenia całkowicie eliminuje koszty szkolenia wstępnego.

Chociaż prezentowane tutaj prace skupiają się na raportach rentgenowskich klatki piersiowej, można je rozszerzyć na większe zbiory danych o różnej anatomii i modalnościach, takie jak MRI i CT, w przypadku których raporty radiologiczne mogą być bardziej złożone i zawierać wiele wyników. W takich przypadkach radiolodzy mogą pobrać wyciski według stopnia krytyczności i dołączyć zalecenia dotyczące dalszych obserwacji. Ponadto utworzenie pętli sprzężenia zwrotnego dla tej aplikacji umożliwiłoby radiologom poprawę wydajności modelu w miarę upływu czasu.

Jak pokazaliśmy w tym poście, dopracowany model generuje wyciski do raportów radiologicznych z wysokimi wynikami ROUGE. Możesz spróbować dostosować LLM do innych raportów medycznych specyficznych dla domeny z różnych działów.


O autorach

Automatycznie generuj wyciski na podstawie ustaleń w raportach radiologicznych, korzystając z generatywnej sztucznej inteligencji w AWS | Amazon Web Services PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI.Doktor Adewale Akinfaderin jest starszym analitykiem danych w dziedzinie opieki zdrowotnej i nauk przyrodniczych w AWS. Jego wiedza specjalistyczna obejmuje powtarzalne i kompleksowe metody AI/ML, praktyczne wdrożenia oraz pomaganie klientom z branży opieki zdrowotnej na całym świecie w formułowaniu i opracowywaniu skalowalnych rozwiązań problemów interdyscyplinarnych. Posiada dwa stopnie naukowe z fizyki i stopień doktora inżynierii.

Automatycznie generuj wyciski na podstawie ustaleń w raportach radiologicznych, korzystając z generatywnej sztucznej inteligencji w AWS | Amazon Web Services PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI.Priya Padate jest starszym architektem rozwiązań partnerskich z rozległą wiedzą specjalistyczną w zakresie opieki zdrowotnej i nauk przyrodniczych w AWS. Priya wraz z partnerami tworzy strategie wejścia na rynek i wspiera rozwój rozwiązań w celu przyspieszenia rozwoju opartego na sztucznej inteligencji/ML. Jej pasją jest wykorzystywanie technologii do przekształcania branży opieki zdrowotnej w celu poprawy wyników opieki nad pacjentami.

Automatycznie generuj wyciski na podstawie ustaleń w raportach radiologicznych, korzystając z generatywnej sztucznej inteligencji w AWS | Amazon Web Services PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI.Ekta Walia Bhullar, doktor, jest starszym konsultantem AI/ML w jednostce biznesowej usług profesjonalnych AWS Healthcare and Life Sciences (HCLS). Posiada szerokie doświadczenie w stosowaniu AI/ML w służbie zdrowia, zwłaszcza w radiologii. Poza pracą, jeśli nie rozmawia o sztucznej inteligencji w radiologii, lubi biegać i wędrować.

Znak czasu:

Więcej z Uczenie maszynowe AWS