Looge radioloogiaaruannete leidudest automaatselt muljeid, kasutades generatiivset tehisintellekti AWS |-is Amazoni veebiteenused

Looge radioloogiaaruannete leidudest automaatselt muljeid, kasutades generatiivset tehisintellekti AWS |-is Amazoni veebiteenused

Radioloogiaaruanded on põhjalikud pikad dokumendid, mis kirjeldavad ja tõlgendavad radioloogilise pildiuuringu tulemusi. Tavalise töövoo korral jälgib, loeb ja tõlgendab radioloog pilte ning võtab seejärel lühidalt kokku peamised tulemused. Kokkuvõte (või mulje) on aruande kõige olulisem osa, kuna see aitab arstidel ja patsientidel keskenduda aruande kriitilisele sisule, mis sisaldab teavet kliiniliste otsuste tegemiseks. Selge ja mõjuva mulje loomine nõuab palju rohkem pingutust kui lihtsalt leidude kordamine. Seetõttu on kogu protsess töömahukas, aeganõudev ja tõrgeteta. Sageli kulub selleks aastaid koolitus et arstid saaksid koguda piisavalt teadmisi lühikeste ja informatiivsete radioloogiaaruannete kokkuvõtete kirjutamiseks, rõhutades veelgi protsessi automatiseerimise olulisust. Lisaks aruannete tulemuste kokkuvõtte automaatne genereerimine on radioloogilise aruandluse jaoks ülioluline. See võimaldab tõlkida aruandeid inimloetavasse keelde, leevendades seeläbi patsientide koormust pikkade ja ebaselgete aruannete lugemisel.

Selle probleemi lahendamiseks teeme ettepaneku kasutada generatiivset tehisintellekti – AI tüüpi, mis võib luua uut sisu ja ideid, sealhulgas vestlusi, lugusid, pilte, videoid ja muusikat. Generatiivset AI-d toidavad masinõppe (ML) mudelid – väga suured mudelid, mis on eelkoolitatud suure hulga andmemahtude jaoks ja mida tavaliselt nimetatakse alusmudeliteks (FM). Hiljutised edusammud ML-is (täpsemalt trafopõhise närvivõrgu arhitektuuri leiutamine) on toonud kaasa miljardeid parameetreid või muutujaid sisaldavate mudelite tõusu. Selles postituses pakutud lahendus kasutab eelkoolitatud suurte keelemudelite (LLM) peenhäälestamist, et aidata koostada kokkuvõtteid radioloogiaaruannete leidude põhjal.

See postitus näitab strateegiat avalikult kättesaadavate LLM-ide viimistlemiseks radioloogiaaruannete kokkuvõtte tegemiseks AWS-i teenuste abil. LLM-id on näidanud märkimisväärseid võimeid loomuliku keele mõistmisel ja genereerimisel, toimides alusmudelitena, mida saab kohandada erinevate valdkondade ja ülesannetega. Eelkoolitatud mudeli kasutamisel on olulisi eeliseid. See vähendab arvutuskulusid, vähendab süsiniku jalajälge ja võimaldab teil kasutada tipptasemel mudeleid, ilma et peaksite neid nullist koolitama.

Meie lahendus kasutab FLAN-T5 XL FM, kasutades Amazon SageMaker JumpStart, mis on ML-jaotur, mis pakub algoritme, mudeleid ja ML-lahendusi. Näitame, kuidas seda sülearvuti abil saavutada Amazon SageMaker Studio. Eelkoolitatud mudeli peenhäälestus hõlmab konkreetsete andmete täiendavat koolitust, et parandada jõudlust erineva, kuid seotud ülesande täitmisel. See lahendus hõlmab mudeli FLAN-T5 XL peenhäälestamist, mis on täiustatud versioon T5 (Tekst-teksti edastustransformer) üldotstarbelised LLM-id. T5 raamib loomuliku keele töötlemise (NLP) ülesanded ümber ühtseks teksti-teksti vorminguks, erinevalt BERT-stiilis mudelid, mis suudavad väljastada ainult klassisildi või sisendi ulatuse. See on peenhäälestatud kokkuvõtlikuks ülesandeks 91,544 XNUMX vabatekstilise radioloogiaaruande jaoks, mis on saadud MIMIC-CXR andmestik.

Ülevaade lahendusest

Selles jaotises käsitleme meie lahenduse põhikomponente: ülesande strateegia valimine, LLM-i peenhäälestus ja tulemuste hindamine. Samuti illustreerime lahenduse arhitektuuri ja samme lahenduse rakendamiseks.

Tehke kindlaks ülesande strateegia

Kliiniliste aruannete kokkuvõtte automatiseerimiseks on erinevaid strateegiaid. Näiteks võiksime kasutada spetsiaalset keelemudelit, mis on eelnevalt kliiniliste aruannete põhjal nullist välja õpetatud. Teise võimalusena võiksime kliinilise ülesande täitmiseks avalikult kättesaadavat üldotstarbelist keelemudelit otse peenhäälestada. Peenhäälestatud domeeniagnostilise mudeli kasutamine võib olla vajalik seadetes, kus treenitakse a keelemudel nullist on liiga kulukas. Selles lahenduses demonstreerime viimast lähenemist FLAN -T5 XL mudeli kasutamisele, mida me täpsustame radioloogiaaruannete kokkuvõtte kliinilise ülesande jaoks. Järgmine diagramm illustreerib mudeli töövoogu.

Looge radioloogiaaruannete leidudest automaatselt muljeid, kasutades generatiivset tehisintellekti AWS |-is Amazon Web Services PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.

Tüüpiline radioloogiaaruanne on hästi organiseeritud ja sisutihe. Sellistel aruannetel on sageli kolm peamist osa:

  • Taust - Annab üldist teavet patsiendi demograafilise teabe kohta, olulist teavet patsiendi, kliinilise ajaloo ja asjakohase haigusloo kohta ning üksikasju uuringuprotseduuride kohta
  • Järeldused - Esitab üksikasjaliku eksami diagnoosi ja tulemused
  • trükkimine – võtab lühidalt kokku kõige silmapaistvamad leiud või leidude tõlgendused koos olulisuse hinnangu ja võimaliku diagnoosiga, mis põhineb täheldatud kõrvalekalletel

Kasutades radioloogiaaruannete leidude jaotist, genereerib lahendus jäljendiosa, mis vastab arstide kokkuvõttele. Järgmine joonis on radioloogiaaruande näide.

Looge radioloogiaaruannete leidudest automaatselt muljeid, kasutades generatiivset tehisintellekti AWS |-is Amazon Web Services PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.

Täpsustage üldotstarbelist LLM-i kliinilise ülesande jaoks

Selle lahenduse puhul peenhäälestame mudelit FLAN-T5 XL (mudeli kõigi parameetrite häälestamine ja ülesande jaoks optimeerimine). Täpsustame mudelit kliinilise domeeni andmestiku abil MIMIC-CXR, mis on avalikult kättesaadav rindkere röntgenülesvõtete andmestik. Selle mudeli täpsustamiseks SageMaker Kiirstardi kaudu tuleb märgistatud näited esitada paaride {prompt, completion} kujul. Sel juhul kasutame MIMIC-CXR andmestiku algaruannete paare {Findings, Impression}. Järelduste tegemiseks kasutame järgmises näites näidatud viipa:

Looge radioloogiaaruannete leidudest automaatselt muljeid, kasutades generatiivset tehisintellekti AWS |-is Amazon Web Services PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.

Mudel on peenhäälestatud kiirendatud andmetöötlusel ml.p3.16xsuur 64 virtuaalse protsessori ja 488 GiB mäluga eksemplar. Valideerimiseks valiti juhuslikult 5% andmekogumist. SageMakeri koolitustöö aeg koos peenhäälestusega oli 38,468 11 sekundit (umbes XNUMX tundi).

Hinnake tulemusi

Kui koolitus on lõppenud, on oluline tulemusi hinnata. Loodud mulje kvantitatiivseks analüüsiks kasutame RED (Recall-Oriented Understudy for Gisting Evaluation), kokkuvõtte hindamiseks kõige sagedamini kasutatav mõõdik. See mõõdik võrdleb automaatselt koostatud kokkuvõtet viite või viidete kogumiga (inimtoodetud) kokkuvõtte või tõlkega. ROUGE1 viitab kattumisele unigrammid (iga sõna) kandidaadi (mudeli väljund) ja viitekokkuvõtete vahel. ROUGE2 viitab kattumisele biggrammid (kaks sõna) kandidaadi ja viitekokkuvõtete vahel. ROUGEL on lausetaseme mõõdik ja viitab kahe tekstiosa vahelisele pikimale ühisele alamjadale (LCS). See ignoreerib tekstis reavahetust. ROUGELsum on kokkuvõtliku taseme mõõdik. Selle mõõdiku puhul ei ignoreerita tekstis reavahetusi, vaid neid tõlgendatakse lausepiiridena. Seejärel arvutatakse LCS iga viite- ja kandidaatlausete paari vahel ning seejärel arvutatakse liit-LCS. Nende skooride liitmiseks antud võrdlus- ja kandidaatlausete kogumi kohta arvutatakse keskmine.

Läbikäik ja arhitektuur

Lahenduse üldine arhitektuur, nagu on näidatud järgmisel joonisel, koosneb peamiselt mudeliarenduskeskkonnast, mis kasutab SageMaker Studiot, mudeli juurutamist koos SageMakeri lõpp-punktiga ja aruandluspaneelist, mis kasutab Amazon QuickSight.

Looge radioloogiaaruannete leidudest automaatselt muljeid, kasutades generatiivset tehisintellekti AWS |-is Amazon Web Services PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.

Järgmistes jaotistes demonstreerime SageMaker JumpStartis saadaoleva LLM-i peenhäälestamist domeenispetsiifilise ülesande kokkuvõtte tegemiseks SageMaker Python SDK kaudu. Eelkõige käsitleme järgmisi teemasid:

  • Arenduskeskkonna seadistamise sammud
  • Ülevaade radioloogiaaruannete andmekogumitest, mille alusel mudelit peenhäälestatakse ja hinnatakse
  • FLAN-T5 XL mudeli peenhäälestamise demonstratsioon, kasutades programmiliselt SageMaker JumpStart koos SageMaker Python SDK-ga
  • Eelkoolitatud ja peenhäälestatud mudelite järeldamine ja hindamine
  • Eelkoolitatud mudeli ja peenhäälestatud mudelite tulemuste võrdlus

Lahendus on saadaval aadressil Radioloogiaaruande mulje loomine, kasutades generatiivset AI-d suure keelemudeliga AWS-is GitHub repo.

Eeldused

Alustamiseks vajate AWS-i konto milles saate kasutada SageMaker Studio. Kui teil seda veel pole, peate SageMaker Studio jaoks looma kasutajaprofiili.

Selles postituses kasutatud koolituseksemplari tüüp on ml.p3.16xlarge. Pange tähele, et p3 eksemplari tüüp nõuab teenusekvoodi limiidi suurendamist.

. MIMIC CXR andmestik pääseb ligi andmete kasutamise lepingu kaudu, mis nõuab kasutaja registreerimist ja volitamisprotsessi lõpuleviimist.

Seadistage arenduskeskkond

Arenduskeskkonna seadistamiseks loote S3 ämbri, konfigureerite märkmiku, looge lõpp-punktid ja juurutage mudelid ning loote QuickSighti armatuurlaua.

Looge S3 ämber

Looge S3 ämber kutsutud llm-radiology-bucket koolituse ja hindamise andmekogumite majutamiseks. Seda kasutatakse ka mudeliartefakti salvestamiseks mudeli arendamise ajal.

Konfigureerige märkmik

Tehke järgmised toimingud.

  1. Käivitage SageMaker Studio kas SageMakeri konsoolist või AWS-i käsurea liides (AWS CLI).

Lisateabe saamiseks domeeniga liitumise kohta vt Sisseehitatud Amazon SageMakeri domeeniga.

  1. Loo uus SageMaker Studio märkmik aruande andmete puhastamiseks ja mudeli peenhäälestamiseks. Kasutame Python 3 tuumaga ml.t2.medium 4vCPU+3GiB sülearvuti eksemplari.
  1. Installige sülearvutisse vastavad paketid, näiteks nest-asyncio, IPyWidgets (Jupyteri sülearvuti interaktiivsete vidinate jaoks) ja SageMaker Python SDK:
!pip install nest-asyncio==1.5.5 --quiet !pip install ipywidgets==8.0.4 --quiet !pip install sagemaker==2.148.0 --quiet

Looge lõpp-punktid ja juurutage mudelid järelduste tegemiseks

Eelkoolitatud ja peenhäälestatud mudelite kohta järelduste tegemiseks luua lõpp-punkt ja juurutada iga mudel märkmikus järgmiselt:

  1. Looge mudeliklassist Model objekt, mida saab juurutada HTTPS-i lõpp-punkti.
  2. Looge HTTPS-i lõpp-punkt mudeliobjekti eelehitatud versiooniga deploy() meetod:
from sagemaker import model_uris, script_uris
from sagemaker.model import Model
from sagemaker.predictor import Predictor
from sagemaker.utils import name_from_base # Retrieve the URI of the pre-trained model
pre_trained_model_uri =model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="inference") large_model_env = {"SAGEMAKER_MODEL_SERVER_WORKERS": "1", "TS_DEFAULT_WORKERS_PER_MODEL": "1"} pre_trained_name = name_from_base(f"jumpstart-demo-pre-trained-{model_id}") # Create the SageMaker model instance of the pre-trained model
if ("small" in model_id) or ("base" in model_id): deploy_source_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="inference" ) pre_trained_model = Model( image_uri=deploy_image_uri, source_dir=deploy_source_uri, entry_point="inference.py", model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, )
else: # For those large models, we already repack the inference script and model # artifacts for you, so the `source_dir` argument to Model is not required. pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

Looge QuickSighti armatuurlaud

Loo QuickSighti armatuurlaud koos Athena andmeallikaga järeldustega Amazoni lihtne salvestusteenus (Amazon S3), et võrrelda järelduste tulemusi põhitõega. Järgmine ekraanipilt näitab meie näidisjuhtpaneeli. Looge radioloogiaaruannete leidudest automaatselt muljeid, kasutades generatiivset tehisintellekti AWS |-is Amazon Web Services PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.

Radioloogiaaruannete andmekogumid

Mudel on nüüd peenhäälestatud, kõik mudeli parameetrid on häälestatud 91,544 XNUMX aruandest, mis on alla laaditud MIMIC-CXR v2.0 andmestik. Kuna kasutasime ainult radioloogiaraporti tekstiandmeid, laadisime alla ainult ühe tihendatud aruandefaili (mimic-cxr-reports.zip) MIMIC-CXR veebisaidilt. Nüüd hindame peenhäälestatud mudelit 2,000 aruande põhjal (mida nimetatakse dev1 andmestik) eraldi andis välja selle andmestiku alamhulga. Kasutame veel 2,000 radioloogiaaruannet (viidatud kui dev2) peenhäälestatud mudeli hindamiseks rindkere röntgenikiirte kogust alates Indiana ülikooli haiglavõrk. Kõik andmestikud loetakse JSON-failidena ja laaditakse üles äsja loodud S3 ämbrisse llm-radiology-bucket. Pange tähele, et kõik andmestikud ei sisalda vaikimisi kaitstud terviseteavet (PHI). kogu tundlik teave asendatakse kolme järjestikuse allkriipsuga (___) teenuseosutajate poolt.

Täpsustage SageMaker Python SDK-ga

Peenhäälestamiseks on model_id on täpsustatud kui huggingface-text2text-flan-t5-xl SageMaker JumpStart mudelite loendist. The training_instance_type on määratud kujul ml.p3.16xlarge ja inference_instance_type kui ml.g5.2xsuur. JSON-vormingus treeningandmeid loetakse S3 ämbrist. Järgmine samm on kasutada SageMaker JumpStart ressursi URI-de ekstraktimiseks valitud model_id, sealhulgas image_uri ( Amazoni elastsete konteinerite register (Amazon ECR) URI Dockeri pildi jaoks), model_uri (eelkoolitatud mudeliartefakt Amazon S3 URI) ja script_uri (koolituse skript):

from sagemaker import image_uris, model_uris, script_uris # Training instance will use this image
train_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="training", instance_type=training_instance_type,
) # Pre-trained model
train_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="training"
) # Script to execute on the training instance
train_script_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="training"
) output_location = f"s3://{output_bucket}/demo-llm-rad-fine-tune-flan-t5/"

Samuti on väljundi asukoht S3 ämbris kaustana seadistatud.

Ainult üks hüperparameeter, epochs, muudetakse väärtuseks 3 ja kõik ülejäänud on seatud vaikimisi:

from sagemaker import hyperparameters # Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version) # We will override some default hyperparameters with custom values
hyperparameters["epochs"] = "3"
print(hyperparameters)

Treeningu mõõdikud nagu eval_loss (valideerimise kaotamise korral), loss (treeningukaotuse korral) ja epoch Jälgitavad on määratletud ja loetletud:

from sagemaker.estimator import Estimator
from sagemaker.utils import name_from_base model_name = "-".join(model_id.split("-")[2:]) # get the most informative part of ID
training_job_name = name_from_base(f"js-demo-{model_name}-{hyperparameters['epochs']}")
print(f"{bold}job name:{unbold} {training_job_name}") training_metric_definitions = [ {"Name": "val_loss", "Regex": "'eval_loss': ([0-9.]+)"}, {"Name": "train_loss", "Regex": "'loss': ([0-9.]+)"}, {"Name": "epoch", "Regex": "'epoch': ([0-9.]+)"},
]

Kasutame SageMaker JumpStart ressursi URI-sid (image_uri, model_uri, script_uri), mis on varem tuvastatud, et luua hindaja ja peenhäälestada seda treeningandmete komplektis, määrates andmestiku S3 tee. Hindaja klass nõuab entry_point parameeter. Sel juhul kasutab JumpStart transfer_learning.py. Kui seda väärtust ei määrata, ei õnnestu koolitustööd käivitada.

# Create SageMaker Estimator instance
sm_estimator = Estimator( role=aws_role, image_uri=train_image_uri, model_uri=train_model_uri, source_dir=train_script_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, volume_size=300, max_run=360000, hyperparameters=hyperparameters, output_path=output_location, metric_definitions=training_metric_definitions,
) # Launch a SageMaker training job over data located in the given S3 path
# Training jobs can take hours, it is recommended to set wait=False,
# and monitor job status through SageMaker console
sm_estimator.fit({"training": train_data_location}, job_name=training_job_name, wait=True)

Selle koolitustöö täitmine võib võtta tunde; seetõttu on soovitatav määrata ooteparameetri väärtuseks Väär ja jälgida SageMakeri konsoolis koolitustöö olekut. Kasuta TrainingJobAnalytics funktsioon treeningmõõdikute jälgimiseks erinevatel ajatemplitel:

from sagemaker import TrainingJobAnalytics # Wait for a couple of minutes for the job to start before running this cell
# This can be called while the job is still running
df = TrainingJobAnalytics(training_job_name=training_job_name).dataframe()

Järelduste lõpp-punktide juurutamine

Võrdluste tegemiseks kasutame nii eelkoolitatud kui ka peenhäälestatud mudelite jaoks järelduste lõpp-punkte.

Esiteks hankige järeldus Dockeri kujutise URI abil model_idja kasutage seda URI-d, et luua eelkoolitatud mudelist SageMakeri mudeli eksemplar. Juurutage eelkoolitatud mudel, luues mudeliobjekti eelseadistatud HTTPS-i lõpp-punkti deploy() meetod. SageMaker API kaudu järelduste tegemiseks läbige kindlasti klass Predictor.

from sagemaker import image_uris
# Retrieve the inference docker image URI. This is the base HuggingFace container image
deploy_image_uri = image_uris.retrieve( region=aws_region, framework=None, # automatically inferred from model_id model_id=model_id, model_version=model_version, image_scope="inference", instance_type=inference_instance_type,
) # Retrieve the URI of the pre-trained model
pre_trained_model_uri = model_uris.retrieve( model_id=model_id, model_version=model_version, model_scope="inference"
) pre_trained_model = Model( image_uri=deploy_image_uri, model_data=pre_trained_model_uri, role=aws_role, predictor_cls=Predictor, name=pre_trained_name, env=large_model_env, ) # Deploy the pre-trained model. Note that we need to pass Predictor class when we deploy model
# through Model class, for being able to run inference through the SageMaker API
pre_trained_predictor = pre_trained_model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=pre_trained_name,
)

Korrake eelmist sammu, et luua peenhäälestatud mudelist SageMakeri mudeli eksemplar ja luua mudeli juurutamiseks lõpp-punkt.

Hinnake mudeleid

Esiteks määrake kokkuvõtliku teksti pikkus, mudeli väljundite arv (peab olema suurem kui 1, kui on vaja luua mitu kokkuvõtet) ja kiirte arv tala otsing.

Koostage järelduspäring JSON-i kasuliku koormusena ja kasutage seda eelkoolitatud ja peenhäälestatud mudelite lõpp-punktide päringute tegemiseks.

Arvutage kokkuvõte ROUGE hinded (ROUGE1, ROUGE2, ROUGEL, ROUGELsum), nagu varem kirjeldatud.

Võrrelge tulemusi

Järgmises tabelis on esitatud hindamistulemused dev1 ja dev2 andmestikud. Hindamise tulemus on dev1 (2,000 leidu MIMIC CXR radioloogiaaruandest) näitab koondkeskmise paranemist ligikaudu 38 protsendipunkti võrra. ROUGE1 ja ROUGE2 hinded võrreldes eelkoolitatud mudeliga. Dev2 puhul on ROUGE31 ja ROUGE25 skoorides paranenud 1 protsendipunkti ja 2 protsendipunkti. Üldiselt parandas peenhäälestus ROUGELsumi skoori 38.2 protsendipunkti ja 31.3 protsendipunkti. dev1 ja dev2 vastavalt andmekogumeid.

Hindamine

Andmebaas

Eelkoolitatud mudel Peenhäälestatud mudel
ROUGE1 ROUGE2 ROUGEL ROUGELsum ROUGE1 ROUGE2 ROUGEL ROUGELsum
dev1 0.2239 0.1134 0.1891 0.1891 0.6040 0.4800 0.5705 0.5708
dev2 0.1583 0.0599 0.1391 0.1393 0.4660 0.3125 0.4525 0.4525

Järgmised kastigraafikud kujutavad ROUGE skooride jaotust dev1 ja dev2 peenhäälestatud mudeli abil hinnatud andmestikke.

Looge radioloogiaaruannete leidudest automaatselt muljeid, kasutades generatiivset tehisintellekti AWS |-is Amazon Web Services PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai. Looge radioloogiaaruannete leidudest automaatselt muljeid, kasutades generatiivset tehisintellekti AWS |-is Amazon Web Services PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.
(kulle): dev1 (b): dev2

Järgmine tabel näitab, et hindamisandmekogumite ROUGE skooridel on ligikaudu sama mediaan ja keskmine ning seetõttu jaotuvad need sümmeetriliselt.

Andmekogumid Partituur Loendama Keskmine Tavaline kõrvalekalle Miinimum 25% protsentiil 50% protsentiil 75% protsentiil Maksimaalne
dev1 ROUGE1 2000.00 0.6038 0.3065 0.0000 0.3653 0.6000 0.9384 1.0000
ROUGE 2 2000.00 0.4798 0.3578 0.0000 0.1818 0.4000 0.8571 1.0000
ROUGE L 2000.00 0.5706 0.3194 0.0000 0.3000 0.5345 0.9101 1.0000
ROUGELsum 2000.00 0.5706 0.3194 0.0000 0.3000 0.5345 0.9101 1.0000
dev2 ROUGE 1 2000.00 0.4659 0.2525 0.0000 0.2500 0.5000 0.7500 1.0000
ROUGE 2 2000.00 0.3123 0.2645 0.0000 0.0664 0.2857 0.5610 1.0000
ROUGE L 2000.00 0.4529 0.2554 0.0000 0.2349 0.4615 0.7500 1.0000
ROUGE Lsum 2000.00 0.4529 0.2554 0.0000 0.2349 0.4615 0.7500 1.0000

Koristage

Edaspidiste tasude vältimiseks kustutage ressursid, mille lõite järgmise koodiga:

# Delete resources
pre_trained_predictor.delete_model()
pre_trained_predictor.delete_endpoint()
fine_tuned_predictor.delete_model()
fine_tuned_predictor.delete_endpoint()

Järeldus

Selles postituses näitasime, kuidas FLAN-T5 XL mudelit kliinilise domeenispetsiifilise kokkuvõtliku ülesande jaoks SageMaker Studio abil täpsustada. Usalduse suurendamiseks võrdlesime ennustusi põhitõega ja hindasime tulemusi ROUGE mõõdikute abil. Näitasime, et konkreetse ülesande jaoks peenhäälestatud mudel annab paremaid tulemusi kui üldise NLP-ülesande jaoks eelkoolitatud mudel. Tahaksime juhtida tähelepanu sellele, et üldotstarbelise LLM-i peenhäälestus välistab eelkoolituse kulud üldse.

Kuigi siin esitatud töö keskendub rindkere röntgenaruannetele, võib seda laiendada suurematele andmekogudele, millel on erinev anatoomia ja moodus, nagu MRI ja CT, mille puhul võivad radioloogilised aruanded olla mitmete leidudega keerulisemad. Sellistel juhtudel võivad radioloogid luua muljeid kriitilisuse järjekorras ja lisada järelmeetmete soovitusi. Lisaks võimaldaks selle rakenduse jaoks tagasisideahela loomine radioloogidel mudeli toimivust aja jooksul parandada.

Nagu selles postituses näitasime, loob peenhäälestatud mudel muljeid kõrgete ROUGE skooridega radioloogiaaruannete jaoks. Võite proovida LLM-e täpsustada erinevate osakondade muude domeenispetsiifiliste meditsiiniliste aruannete põhjal.


Autoritest

Looge radioloogiaaruannete leidudest automaatselt muljeid, kasutades generatiivset tehisintellekti AWS |-is Amazon Web Services PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.Dr Adewale Akinfaderin on AWSi tervishoiu ja bioteaduste vanemteadur. Tema teadmised on reprodutseeritavad ja täielikud AI/ML meetodid, praktilised teostused ning globaalsete tervishoiu klientide abistamine interdistsiplinaarsete probleemide skaleeritavate lahenduste formuleerimisel ja väljatöötamisel. Tal on kaks magistrikraadi füüsikas ja doktorikraad tehnikateaduses.

Looge radioloogiaaruannete leidudest automaatselt muljeid, kasutades generatiivset tehisintellekti AWS |-is Amazon Web Services PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.Priya Padate on AWSi vanempartnerlahenduste arhitekt, kellel on laialdased teadmised tervishoiu ja bioteaduste vallas. Priya juhib partneritega turule mineku strateegiaid ja juhib lahenduste arendamist, et kiirendada AI-l/ML-põhist arendust. Ta on kirglik tehnoloogia kasutamise vastu, et muuta tervishoiutööstus paremaks patsiendihoolduse tulemuste saavutamiseks.

Looge radioloogiaaruannete leidudest automaatselt muljeid, kasutades generatiivset tehisintellekti AWS |-is Amazon Web Services PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.Ekta Walia Bhullar, PhD, on AI/ML-i vanemkonsultant AWS Healthcare and Life Sciences (HCLS) professionaalsete teenuste äriüksuses. Tal on ulatuslik kogemus AI/ML rakendamisel tervishoiuvaldkonnas, eriti radioloogias. Väljaspool tööd, kui radioloogias tehisintellektist ei räägi, meeldib talle joosta ja matkata.

Ajatempel:

Veel alates AWS-i masinõpe