Luo automaattisesti näyttökertoja radiologiaraporttien löydöksistä käyttämällä generatiivista tekoälyä AWS:ssä | Amazon Web Services

Luo automaattisesti näyttökertoja radiologiaraporttien löydöksistä käyttämällä generatiivista tekoälyä AWS:ssä | Amazon Web Services

Radiologian raportit ovat kattavia, pitkiä asiakirjoja, jotka kuvaavat ja tulkitsevat radiologisen kuvantamistutkimuksen tuloksia. Tyypillisessä työnkulussa radiologi valvoo, lukee ja tulkitsee kuvia ja tekee sitten lyhyen yhteenvedon tärkeimmistä havainnoista. Yhteenveto (tai vaikutus) on raportin tärkein osa, koska se auttaa kliinikkoja ja potilaita keskittymään raportin kriittiseen sisältöön, joka sisältää tietoa kliinistä päätöksentekoa varten. Selkeän ja vaikuttavan vaikutelman luominen vaatii paljon enemmän vaivaa kuin pelkkä tulosten toistaminen. Koko prosessi on siksi työläs, aikaa vievä ja virhealtis. Usein siihen menee vuosia koulutus Lääkäreille kertyy riittävästi asiantuntemusta tiiviiden ja informatiivisten radiologian raporttitiivistelmien kirjoittamisesta, mikä korostaa entisestään prosessin automatisoinnin merkitystä. Lisäksi automaattinen raporttilöydösten yhteenvedon luominen on kriittinen radiologian raportoinnissa. Se mahdollistaa raporttien kääntämisen ihmisten luettavalle kielelle, mikä keventää potilaiden taakkaa lukea pitkiä ja epäselviä raportteja.

Tämän ongelman ratkaisemiseksi ehdotamme generatiivisen tekoälyn käyttöä, eräänlaista tekoälyä, joka voi luoda uutta sisältöä ja ideoita, kuten keskusteluja, tarinoita, kuvia, videoita ja musiikkia. Generatiivinen tekoäly perustuu koneoppimismalleihin (ML) – erittäin suuriin malleihin, jotka on valmiiksi koulutettu suurille tietomäärille ja joita kutsutaan yleisesti perusmalleiksi (FM). Viimeaikaiset edistysaskeleet ML:ssä (erityisesti muuntajapohjaisen hermoverkkoarkkitehtuurin keksintö) ovat johtaneet miljardeja parametreja tai muuttujia sisältävien mallien nousuun. Tässä viestissä ehdotettu ratkaisu käyttää valmiiksi koulutettujen suurten kielimallien (LLM) hienosäätöä, joka auttaa luomaan yhteenvetoja radiologiaraporttien havaintojen perusteella.

Tämä viesti esittelee strategian julkisesti saatavilla olevien LLM:ien hienosäätämiseksi radiologiaraporttien yhteenvetotehtävää varten AWS-palveluiden avulla. LLM:t ovat osoittaneet merkittäviä kykyjä luonnollisen kielen ymmärtämisessä ja luomisessa, toimien perusmalleina, joita voidaan mukauttaa erilaisiin alueisiin ja tehtäviin. Esikoulutetun mallin käytöllä on merkittäviä etuja. Se vähentää laskentakustannuksia, pienentää hiilijalanjälkeä ja antaa sinun käyttää huippuluokan malleja ilman, että sinun tarvitsee kouluttaa niitä tyhjästä.

Ratkaisumme käyttää FLAN-T5 XL FM, käytössä Amazon SageMaker JumpStart, joka on ML-keskus, joka tarjoaa algoritmeja, malleja ja ML-ratkaisuja. Näytämme, kuinka tämä tehdään muistikirjan avulla Amazon SageMaker Studio. Valmiiksi koulutetun mallin hienosäätö sisältää lisäkoulutusta tiettyihin tietoihin, jotta voidaan parantaa suorituskykyä erilaisessa mutta liittyvässä tehtävässä. Tämä ratkaisu sisältää FLAN-T5 XL -mallin hienosäädön, joka on paranneltu versio T5 (Text-to-Text Transfer Transformer) yleiskäyttöiset LLM:t. T5 kehystää luonnollisen kielen käsittelyn (NLP) tehtävät yhtenäiseksi tekstistä tekstiksi -muotoon, toisin kuin BERTI-tyyliset mallit, jotka voivat tulostaa vain joko luokkatunnisteen tai syötteen span. Se on hienosäädetty yhteenvetotehtävää varten 91,544 XNUMX vapaan tekstin radiologian raportista, jotka on saatu MIMIC-CXR-tietojoukko.

Katsaus ratkaisuun

Tässä osiossa käsittelemme ratkaisumme avainkomponentteja: tehtävän strategian valintaa, LLM:n hienosäätöä ja tulosten arviointia. Kuvaamme myös ratkaisun arkkitehtuuria ja vaiheet ratkaisun toteuttamiseksi.

Tunnista tehtävän strategia

Kliinisen raportin yhteenvedon automatisointiin on olemassa erilaisia ​​strategioita. Voisimme esimerkiksi käyttää erikoistunutta kielimallia, joka on valmiiksi koulutettu kliinisiin raportteihin tyhjästä. Vaihtoehtoisesti voisimme suoraan hienosäätää julkisesti saatavilla olevan yleiskäyttöisen kielimallin kliinisen tehtävän suorittamiseksi. Hienosäädetyn verkkotunnuksen agnostisen mallin käyttö saattaa olla tarpeen tilanteissa, joissa koulutus a kielimalli tyhjästä on liian kallista. Tässä ratkaisussa esittelemme jälkimmäistä lähestymistapaa, jossa käytetään FLAN -T5 XL -mallia, jonka hienosäädämme radiologiaraporttien yhteenvedon kliinistä tehtävää varten. Seuraava kaavio havainnollistaa mallin työnkulkua.

Luo automaattisesti näyttökertoja radiologiaraporttien löydöksistä käyttämällä generatiivista tekoälyä AWS:ssä | Amazon Web Services PlatoBlockchain Data Intelligence. Pystysuuntainen haku. Ai.

Tyypillinen radiologian raportti on hyvin organisoitu ja ytimekäs. Tällaisissa raporteissa on usein kolme keskeistä osaa:

  • Tausta – Tarjoaa yleistä tietoa potilaan demografisista tiedoista sekä olennaiset tiedot potilaasta, kliinisestä historiasta ja asiaankuuluvasta sairaushistoriasta sekä tutkimusmenettelyjen yksityiskohdista
  • Tulokset – Esittää yksityiskohtaisen tutkimusdiagnoosin ja -tulokset
  • painaminen – Tiivistäen yhteenvedon tärkeimmistä löydöksistä tai löydösten tulkinnoista sekä arvioinnin merkityksestä ja mahdollisesta diagnoosista havaittujen poikkeavuuksien perusteella

Radologiaraporttien löydösosion avulla ratkaisu luo jäljennösosion, joka vastaa lääkäreiden yhteenvetoa. Seuraava kuva on esimerkki radiologian raportista.

Luo automaattisesti näyttökertoja radiologiaraporttien löydöksistä käyttämällä generatiivista tekoälyä AWS:ssä | Amazon Web Services PlatoBlockchain Data Intelligence. Pystysuuntainen haku. Ai.

Hienosäädä yleiskäyttöinen LLM kliinistä tehtävää varten

Tässä ratkaisussa hienosäädämme FLAN-T5 XL -mallia (viritetään kaikki mallin parametrit ja optimoidaan ne tehtävää varten). Hienosäädämme mallia kliinisen alueen tietojoukon avulla MIMIC-CXR, joka on julkisesti saatavilla oleva tietojoukko rintakehän röntgenkuvista. Tämän mallin hienosäätämiseksi SageMaker Jumpstartin avulla on toimitettava merkityt esimerkit {prompt, completion} -parien muodossa. Tässä tapauksessa käytämme MIMIC-CXR-tietojoukon alkuperäisten raporttien pareja {Findings, Impression}. Päätelmien tekemiseen käytämme seuraavassa esimerkissä esitettyä kehotetta:

Luo automaattisesti näyttökertoja radiologiaraporttien löydöksistä käyttämällä generatiivista tekoälyä AWS:ssä | Amazon Web Services PlatoBlockchain Data Intelligence. Pystysuuntainen haku. Ai.

Malli on hienosäädetty kiihdytetyllä tietojenkäsittelyllä ml .p3.16xlarge instanssi, jossa on 64 virtuaalista prosessoria ja 488 GiB muistia. Validointia varten 5 % tietojoukosta valittiin satunnaisesti. SageMaker-harjoitustyön aika hienosäädön kanssa oli 38,468 11 sekuntia (noin XNUMX tuntia).

Arvioi tulokset

Kun koulutus on valmis, on tärkeää arvioida tulokset. Luodun näyttökerran kvantitatiiviseen analyysiin käytämme RED (Recall-Oriented Understudy for Gisting Evaluation), yleisimmin käytetty mittari yhteenvedon arvioinnissa. Tämä mittari vertaa automaattisesti luotua yhteenvetoa viitteeseen tai viitejoukkoon (ihmisen tuottama) yhteenveto tai käännös. ROUGE1 viittaa päällekkäisyyteen unigrammit (jokainen sana) ehdokkaan (mallin tulos) ja referenssitiivistelmien välillä. ROUGE2 viittaa päällekkäisyyteen bigrammit (kaksi sanaa) ehdokkaan ja viitetiivistelmän välillä. ROUGEL on lausetason metriikka ja viittaa pisimpään yhteiseen osasekvenssiin (LCS) kahden tekstin välillä. Se jättää huomioimatta rivinvaihdot tekstissä. ROUGELsum on yhteenvetotason mittari. Tässä mittakaavassa tekstin rivinvaihtoja ei oteta huomioon, vaan ne tulkitaan lauserajoiksi. LCS lasketaan sitten kunkin viite- ja ehdokaslauseparin välillä, ja sitten lasketaan liitto-LCS. Näiden pisteiden yhteenlaskemiseksi tietyn viite- ja ehdokaslauseiden joukosta lasketaan keskiarvo.

Läpikulku ja arkkitehtuuri

Seuraavassa kuvassa esitetty ratkaisun kokonaisarkkitehtuuri koostuu pääasiassa mallinkehitysympäristöstä, joka käyttää SageMaker Studiota, mallin käyttöönotosta SageMaker-päätepisteen kanssa ja raportointikojetaulusta, jossa on Amazon QuickSight.

Luo automaattisesti näyttökertoja radiologiaraporttien löydöksistä käyttämällä generatiivista tekoälyä AWS:ssä | Amazon Web Services PlatoBlockchain Data Intelligence. Pystysuuntainen haku. Ai.

Seuraavissa osissa esittelemme SageMaker JumpStartissa saatavilla olevan LLM:n hienosäätöä verkkotunnuskohtaisen tehtävän yhteenvedon tekemiseksi SageMaker Python SDK:n kautta. Keskustelemme erityisesti seuraavista aiheista:

  • Toimenpiteet kehitysympäristön luomiseksi
  • Yleiskatsaus radiologiaraporttitietosarjoista, joiden perusteella mallia hienosäädetään ja arvioidaan
  • Esittely FLAN-T5 XL -mallin hienosäädöstä SageMaker JumpStart -ohjelmalla SageMaker Python SDK:n kanssa
  • Esikoulutettujen ja hienosäädettyjen mallien päättäminen ja arviointi
  • Esikoulutetun mallin ja hienosäädetyistä malleista saatujen tulosten vertailu

Ratkaisu on saatavilla osoitteessa Radiologiaraporttien näyttökertojen luominen generatiivisella tekoälyllä ja suurella kielimallilla AWS:ssä GitHub repo.

Edellytykset

Aloitaksesi tarvitset AWS-tili jossa voit käyttää SageMaker Studiota. Sinun on luotava käyttäjäprofiili SageMaker Studiolle, jos sinulla ei vielä ole sellaista.

Tässä viestissä käytetty koulutusinstanssityyppi on ml.p3.16xlarge. Huomaa, että p3-instanssityyppi vaatii palvelukiintiön korotuksen.

- MIMIC CXR -tietojoukko pääsee käsiksi tietojen käyttösopimuksen kautta, joka edellyttää käyttäjän rekisteröitymistä ja valtuutusprosessin suorittamista.

Luo kehitysympäristö

Voit määrittää kehitysympäristön luomalla S3-säihön, määrittämällä muistikirjan, luomalla päätepisteitä ja ottamalla käyttöön malleja sekä luomalla QuickSight-hallintapaneelin.

Luo S3-ämpäri

Luo S3-ämpäri nimeltään llm-radiology-bucket isännöidä koulutus- ja arviointitietoaineistoja. Tätä käytetään myös mallin artefaktin tallentamiseen mallin kehittämisen aikana.

Määritä muistikirja

Suorita seuraavat vaiheet:

  1. Käynnistä SageMaker Studio joko SageMaker-konsolista tai AWS-komentoriviliitäntä (AWS CLI).

Lisätietoja verkkotunnukseen liittymisestä on kohdassa Sisääntulo Amazon SageMaker -verkkotunnukseen.

  1. Luoda uusi SageMaker Studio muistikirja raporttitietojen puhdistamiseen ja mallin hienosäätöön. Käytämme ml.t3.medium 2vCPU+4GiB kannettavan ilmentymää Python 3 -ytimellä.
  1. Asenna muistikirjaan tarvittavat paketit, kuten nest-asyncio, IPyWidgets (interaktiivisille widgeteille Jupyter-muistikirjalle) ja SageMaker Python SDK:lle:
!pip install nest-asyncio==1.5.5 --quiet !pip install ipywidgets==8.0.4 --quiet !pip install sagemaker==2.148.0 --quiet

Luo päätepisteitä ja ota mallit käyttöön päätelmiä varten

Esikoulutetuista ja hienosäädetyistä malleista päättelemiseksi, luo päätepiste ja ota jokainen malli käyttöön muistikirjassa seuraavasti:

  1. Luo Model-luokasta malliobjekti, joka voidaan ottaa käyttöön HTTPS-päätepisteeseen.
  2. Luo HTTPS-päätepiste malliobjektin valmiiksi rakennetulla tavalla deploy() menetelmä:
from sagemaker import model_uris, script_uris
from sagemaker.model import Model
from sagemaker.predictor import Predictor
from sagemaker.utils import name_from_base # Retrieve the URI of the pre-trained model
pre_trained_model_uri =model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="inference") large_model_env = {"SAGEMAKER_MODEL_SERVER_WORKERS": "1", "TS_DEFAULT_WORKERS_PER_MODEL": "1"} pre_trained_name = name_from_base(f"jumpstart-demo-pre-trained-{model_id}") # Create the SageMaker model instance of the pre-trained model
if ("small" in model_id) or ("base" in model_id): deploy_source_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="inference" ) pre_trained_model = Model( image_uri=deploy_image_uri, source_dir=deploy_source_uri, entry_point="inference.py", model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, )
else: # For those large models, we already repack the inference script and model # artifacts for you, so the `source_dir` argument to Model is not required. pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

Luo QuickSight -hallintapaneeli

Luo QuickSight-kojelauta Athena-tietolähteellä päätelmien tuloksena Amazonin yksinkertainen tallennuspalvelu (Amazon S3) verrata johtopäätöstuloksia todelliseen totuuteen. Seuraava kuvakaappaus näyttää esimerkkikojelaudan. Luo automaattisesti näyttökertoja radiologiaraporttien löydöksistä käyttämällä generatiivista tekoälyä AWS:ssä | Amazon Web Services PlatoBlockchain Data Intelligence. Pystysuuntainen haku. Ai.

Radiologiaraporttien tietojoukot

Malli on nyt hienosäädetty, kaikki mallin parametrit on viritetty 91,544 XNUMX raportissa, jotka on ladattu MIMIC-CXR v2.0 -tietojoukko. Koska käytimme vain radiologiaraportin tekstitietoja, latasimme vain yhden pakatun raporttitiedoston (mimic-cxr-reports.zip) MIMIC-CXR-verkkosivustolta. Nyt arvioimme hienosäädettyä mallia 2,000 XNUMX raportissa (kutsutaan nimellä dev1 tietojoukko) erillisestä piti tämän tietojoukon osajoukkoa. Käytämme vielä 2,000 XNUMX radiologiaraporttia (kutsutaan nimellä dev2) rintakehän röntgenkokoelmasta hienosäädetyn mallin arvioimiseksi Indianan yliopiston sairaalaverkosto. Kaikki tietojoukot luetaan JSON-tiedostoina ja ladataan äskettäin luotuun S3-alueeseen llm-radiology-bucket. Huomaa, että kaikki tietojoukot eivät oletuksena sisällä suojattuja terveystietoja (PHI). kaikki arkaluonteiset tiedot korvataan kolmella peräkkäisellä alaviivalla (___) tarjoajat.

Hienosäädä SageMaker Python SDK:lla

Hienosäätöä varten model_id on määritelty nimellä huggingface-text2text-flan-t5-xl SageMaker JumpStart -mallien luettelosta. The training_instance_type on asetettu muotoon ml.p3.16xlarge ja inference_instance_type ml.g5.2xlarge. Harjoitustiedot JSON-muodossa luetaan S3-ämpäristä. Seuraava vaihe on käyttää valittua mallitunnusta SageMaker JumpStart -resurssien URI:iden purkamiseen, mukaan lukien image_uri ( Amazonin elastisten säiliörekisteri (Amazon ECR) URI Docker-kuvalle), model_uri (esikoulutettu malliesimerkki Amazon S3 URI) ja script_uri (koulutuksen käsikirjoitus):

from sagemaker import image_uris, model_uris, script_uris # Training instance will use this image
train_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="training", instance_type=training_instance_type,
) # Pre-trained model
train_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="training"
) # Script to execute on the training instance
train_script_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="training"
) output_location = f"s3://{output_bucket}/demo-llm-rad-fine-tune-flan-t5/"

Myös tulostussijainti on asetettu kansioksi S3-ämpäriin.

Vain yksi hyperparametri, epochs, muutetaan arvoon 3, ja loput kaikki asetetaan oletusarvoiksi:

from sagemaker import hyperparameters # Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) # We will override some default hyperparameters with custom values
hyperparameters["epochs"] = "3"
print(hyperparameters)

Harjoittelumittarit mm eval_loss (vahvistuksen menettämisestä), loss (harjoittelun menetyksestä) ja epoch seurattavat määritellään ja luetellaan:

from sagemaker.estimator import Estimator
from sagemaker.utils import name_from_base model_name = "-".join(model_id.split("-")[2:]) # get the most informative part of ID
training_job_name = name_from_base(f"js-demo-{model_name}-{hyperparameters['epochs']}")
print(f"{bold}job name:{unbold} {training_job_name}") training_metric_definitions = [ {"Name": "val_loss", "Regex": "'eval_loss': ([0-9.]+)"}, {"Name": "train_loss", "Regex": "'loss': ([0-9.]+)"}, {"Name": "epoch", "Regex": "'epoch': ([0-9.]+)"},
]

Käytämme SageMaker JumpStart -resurssien URI-tunnisteita (image_uri, model_uri, script_uri) tunnistettu aiemmin luomaan estimaattori ja hienosäätämään sitä harjoitustietojoukossa määrittämällä tietojoukon S3-polun. Estimator-luokka edellyttää entry_point parametri. Tässä tapauksessa JumpStart käyttää transfer_learning.py. Harjoitustyö epäonnistuu, jos tätä arvoa ei ole asetettu.

# Create SageMaker Estimator instance
sm_estimator = Estimator( role=aws_role, image_uri=train_image_uri, model_uri=train_model_uri, source_dir=train_script_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, volume_size=300, max_run=360000, hyperparameters=hyperparameters, output_path=output_location, metric_definitions=training_metric_definitions,
) # Launch a SageMaker training job over data located in the given S3 path
# Training jobs can take hours, it is recommended to set wait=False,
# and monitor job status through SageMaker console
sm_estimator.fit({"training": train_data_location}, job_name=training_job_name, wait=True)

Tämä koulutustyö voi kestää tunteja; siksi on suositeltavaa asettaa odotusparametriksi False ja seurata harjoitustyön tilaa SageMaker-konsolissa. Käytä TrainingJobAnalytics toiminto pitää kirjaa harjoitusmittauksista eri aikaleimoilla:

from sagemaker import TrainingJobAnalytics # Wait for a couple of minutes for the job to start before running this cell
# This can be called while the job is still running
df = TrainingJobAnalytics(training_job_name=training_job_name).dataframe()

Ota käyttöön päätelmäpäätepisteet

Vertailujen tekemiseksi käytämme päättelypäätepisteitä sekä esiopetetuille että hienosäädetyille malleille.

Hae ensin päätelmä Docker-kuvan URI käyttämällä model_idja luo tämän URI:n avulla esiopetetusta mallista SageMaker-mallin ilmentymä. Ota esikoulutettu malli käyttöön luomalla HTTPS-päätepiste malliobjektin valmiiksi rakennetulla tavalla deploy() menetelmä. Jotta voit suorittaa päätelmiä SageMaker API:n kautta, muista läpäistä Predictor-luokka.

from sagemaker import image_uris
# Retrieve the inference docker image URI. This is the base HuggingFace container image
deploy_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="inference", instance_type=inference_instance_type,
) # Retrieve the URI of the pre-trained model
pre_trained_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="inference"
) pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

Toista edellinen vaihe luodaksesi SageMaker-mallin ilmentymä hienosäädetystä mallista ja luo päätepiste mallin käyttöönottoa varten.

Arvioi mallit

Aseta ensin tiivistetyn tekstin pituus, mallin tulosteiden lukumäärä (on oltava suurempi kuin 1, jos useita yhteenvetoja on luotava) ja säteiden lukumäärä säteen haku.

Muodosta päättelypyyntö JSON-hyötykuormana ja käytä sitä esiopetettujen ja hienosäädettyjen mallien päätepisteiden kyselyyn.

Laske aggregoitu ROUGE-pisteet (ROUGE1, ROUGE2, ROUGEL, ROUGELsum) kuten aiemmin on kuvattu.

Vertaa tuloksia

Seuraavassa taulukossa on esitetty arvioinnin tulokset dev1 ja dev2 tietojoukot. Arvioinnin tulos päällä dev1 (2,000 38 löydöstä MIMIC CXR -radiologiaraportista) osoittaa noin XNUMX prosenttiyksikön parannusta aggregoidussa keskiarvossa ROUGE1 ja ROUGE2 pisteet verrattuna esikoulutettuun malliin. Dev2:n ROUGE31- ja ROUGE25-pisteissä havaitaan 1 prosenttiyksikön ja 2 prosenttiyksikön parannus. Kaiken kaikkiaan hienosäätö paransi 38.2 prosenttiyksikköä ja 31.3 prosenttiyksikköä ROUGELsum-pisteissä dev1 ja dev2 tietojoukot, vastaavasti.

Arviointi

aineisto

Valmiiksi koulutettu malli Hienosäädetty malli
ROUGE1 ROUGE2 ROUGEL ROUGELsum ROUGE1 ROUGE2 ROUGEL ROUGELsum
dev1 0.2239 0.1134 0.1891 0.1891 0.6040 0.4800 0.5705 0.5708
dev2 0.1583 0.0599 0.1391 0.1393 0.4660 0.3125 0.4525 0.4525

Seuraavat laatikkokaaviot kuvaavat ROUGE-pisteiden jakautumista dev1 ja dev2 hienosäädetyn mallin avulla arvioidut tietojoukot.

Luo automaattisesti näyttökertoja radiologiaraporttien löydöksistä käyttämällä generatiivista tekoälyä AWS:ssä | Amazon Web Services PlatoBlockchain Data Intelligence. Pystysuuntainen haku. Ai. Luo automaattisesti näyttökertoja radiologiaraporttien löydöksistä käyttämällä generatiivista tekoälyä AWS:ssä | Amazon Web Services PlatoBlockchain Data Intelligence. Pystysuuntainen haku. Ai.
(: dev1 (b): dev2

Seuraava taulukko osoittaa, että arviointitietoaineistojen ROUGE-pisteillä on suunnilleen sama mediaani ja keskiarvo ja siksi ne jakautuvat symmetrisesti.

aineistot Partitur Laskea Mean Vakiopoikkeama vähimmäismäärä 25 % prosenttipiste 50 % prosenttipiste 75 % prosenttipiste Enimmäismäärä
dev1 ROUGE1 2000.00 0.6038 0.3065 0.0000 0.3653 0.6000 0.9384 1.0000
ROUGE 2 2000.00 0.4798 0.3578 0.0000 0.1818 0.4000 0.8571 1.0000
ROUGE L 2000.00 0.5706 0.3194 0.0000 0.3000 0.5345 0.9101 1.0000
ROUGELsum 2000.00 0.5706 0.3194 0.0000 0.3000 0.5345 0.9101 1.0000
dev2 ROUGE 1 2000.00 0.4659 0.2525 0.0000 0.2500 0.5000 0.7500 1.0000
ROUGE 2 2000.00 0.3123 0.2645 0.0000 0.0664 0.2857 0.5610 1.0000
ROUGE L 2000.00 0.4529 0.2554 0.0000 0.2349 0.4615 0.7500 1.0000
ROUGE Lsum 2000.00 0.4529 0.2554 0.0000 0.2349 0.4615 0.7500 1.0000

Puhdistaa

Vältä tulevia maksuja poistamalla resurssit, jotka loit seuraavalla koodilla:

# Delete resources
pre_trained_predictor.delete_model()
pre_trained_predictor.delete_endpoint()
fine_tuned_predictor.delete_model()
fine_tuned_predictor.delete_endpoint()

Yhteenveto

Tässä viestissä osoitimme, kuinka hienosäätää FLAN-T5 XL -malli kliiniseen verkkoaluekohtaiseen yhteenvetotehtävään SageMaker Studion avulla. Varmuuden lisäämiseksi vertasimme ennusteita pohjatotuuteen ja arvioimme tulokset ROUGE-mittareilla. Osoitimme, että tiettyä tehtävää varten hienosäädetty malli tuottaa parempia tuloksia kuin malli, joka on esikoulutettu yleiseen NLP-tehtävään. Haluamme huomauttaa, että yleiskäyttöisen LLM:n hienosäätö eliminoi esikoulutuksen kustannukset kokonaan.

Vaikka tässä esitetty työ keskittyy rintakehän röntgenraportteihin, sitä voidaan laajentaa suurempiin tietokokonaisuuksiin, joissa on erilaisia ​​anatomisia ja menetelmiä, kuten MRI ja CT, joiden radiologiaraportit voivat olla monimutkaisempia, ja niissä on useita löydöksiä. Tällaisissa tapauksissa radiologit voivat luoda vaikutelmia kriittisyyden järjestyksessä ja antaa seurantasuosituksia. Lisäksi palautesilmukan luominen tälle sovellukselle antaisi radiologille mahdollisuuden parantaa mallin suorituskykyä ajan myötä.

Kuten tässä viestissä osoitimme, hienosäädetty malli luo näyttökertoja radiologiaraportteihin, joilla on korkeat ROUGE-pisteet. Voit yrittää hienosäätää LLM:itä muissa toimialuekohtaisissa lääketieteellisissä raporteissa eri osastoilta.


Tietoja kirjoittajista

Luo automaattisesti näyttökertoja radiologiaraporttien löydöksistä käyttämällä generatiivista tekoälyä AWS:ssä | Amazon Web Services PlatoBlockchain Data Intelligence. Pystysuuntainen haku. Ai.Tohtori Adewale Akinfaderin on AWS:n terveydenhuollon ja biotieteiden vanhempi tietotutkija. Hänen asiantuntemuksensa on toistettavissa ja kokonaisvaltaisissa AI/ML-menetelmissä, käytännön toteutuksissa sekä globaalien terveydenhuollon asiakkaiden auttaminen muotoilemaan ja kehittämään skaalautuvia ratkaisuja tieteidenvälisiin ongelmiin. Hänellä on kaksi korkeakoulututkintoa fysiikasta ja tohtorin tutkinto tekniikasta.

Luo automaattisesti näyttökertoja radiologiaraporttien löydöksistä käyttämällä generatiivista tekoälyä AWS:ssä | Amazon Web Services PlatoBlockchain Data Intelligence. Pystysuuntainen haku. Ai.Priya Padate on Senior Partner Solutions -arkkitehti, jolla on laaja asiantuntemus AWS:n terveydenhuollon ja biotieteiden alalta. Priya ajaa markkinoille pääsyn strategioita kumppaneiden kanssa ja ajaa ratkaisukehitystä nopeuttaakseen tekoäly-/ML-pohjaista kehitystä. Hän on intohimoinen teknologian käyttämisestä terveydenhuoltoalan muuttamiseen paremman potilaiden hoitotuloksen saavuttamiseksi.

Luo automaattisesti näyttökertoja radiologiaraporttien löydöksistä käyttämällä generatiivista tekoälyä AWS:ssä | Amazon Web Services PlatoBlockchain Data Intelligence. Pystysuuntainen haku. Ai.Ekta Walia Bhullar, PhD, on vanhempi AI/ML-konsultti AWS Healthcare and Life Sciences (HCLS) -asiantuntijapalveluiden liiketoimintayksikössä. Hänellä on laaja kokemus AI/ML:n soveltamisesta terveydenhuollon alalla, erityisesti radiologiassa. Työn ulkopuolella, kun hän ei keskustele tekoälystä radiologiassa, hän tykkää juosta ja vaeltaa.

Aikaleima:

Lisää aiheesta AWS-koneoppiminen