Skybaseret medicinsk billeddannelsesrekonstruktion ved hjælp af dybe neurale netværk

Medicinske billeddannelsesteknikker som computertomografi (CT), magnetisk resonansbilleddannelse (MRI), medicinsk røntgenbilleddannelse, ultralydsbilleddannelse og andre er almindeligt anvendt af læger af forskellige årsager. Nogle eksempler omfatter påvisning af ændringer i udseendet af organer, væv og kar og påvisning af abnormiteter såsom tumorer og forskellige andre typer patologier.

Før læger kan bruge dataene fra disse teknikker, skal dataene transformeres fra deres oprindelige rå form til en form, der kan vises som et billede på en computerskærm.

Denne proces er kendt som billedrekonstruktion, og det spiller en afgørende rolle i en arbejdsgang for medicinsk billeddannelse – det er det trin, der skaber diagnostiske billeder, som derefter kan gennemgås af læger.

I dette indlæg diskuterer vi et use case af MR-rekonstruktion, men de arkitektoniske begreber kan anvendes på andre typer billedrekonstruktion.

Fremskridt inden for billedrekonstruktion har ført til succesfuld anvendelse af AI-baserede teknikker inden for magnetisk resonans (MR) billeddannelse. Disse teknikker er rettet mod at øge nøjagtigheden af ​​rekonstruktionen og i tilfælde af MR-modalitet og reducere den tid, der kræves til en fuld scanning.

Inden for MR er applikationer, der bruger kunstig intelligens til at arbejde med undersamplede opkøb, blevet anvendt med succes, opnår næsten ti gange reduktion i scanningstider.

Ventetider for tests som MR- og CT-scanninger er steget hurtigt i de sidste par år, hvilket har ført til ventetider op til 3 måneder. For at sikre god patientpleje har det stigende behov for hurtig tilgængelighed af rekonstruerede billeder sammen med behovet for at reducere driftsomkostninger drevet behovet for en løsning, der er i stand til at skalere i henhold til lager- og beregningsbehov.

Ud over beregningsbehov har datavæksten set en støt stigning i de sidste par år. For eksempel at se på de datasæt, der stilles til rådighed af Medical Image Computing og Computer-Assisted Intervention (MICCAI), er det muligt at konstatere, at den årlige vækst er 21 % for MR, 24 % for CT og 31 % for funktionel MR (fMRI). (For mere information, se Datasæt vækst i medicinsk billedanalyseforskning.)

I dette indlæg viser vi dig en løsningsarkitektur, der adresserer disse udfordringer. Denne løsning kan gøre det muligt for forskningscentre, mediale institutioner og modalitetsleverandører at få adgang til ubegrænsede lagerkapaciteter, skalerbar GPU-kraft, hurtig dataadgang til maskinlæring (ML) træning og rekonstruktionsopgaver, enkle og hurtige ML-udviklingsmiljøer og evnen til at har caching på stedet for hurtig og lav latency billeddatatilgængelighed.

Løsningsoversigt

Denne løsning bruger en MRI-rekonstruktionsteknik kendt som Robuste kunstige-neurale-netværk til k-space-interpolation (RAKI). Denne tilgang er fordelagtig, fordi den er scanningsspecifik og ikke kræver forudgående data for at træne det neurale netværk. Ulempen ved denne teknik er, at den kræver meget regnekraft for at være effektiv.

Den skitserede AWS-arkitektur viser, hvordan en skybaseret rekonstruktionstilgang effektivt kan udføre beregningstunge opgaver som den, der kræves af RAKIs neurale netværk, skalere i henhold til belastningen og accelerere rekonstruktionsprocessen. Dette åbner døren til teknikker, der ikke realistisk kan implementeres på stedet.

Datalag

Datalaget er bygget op omkring følgende principper:

• Sømløs integration med modaliteter, der gemmer data genereret på et tilsluttet lagerdrev via en netværksshare på en NAS-enhed
• Ubegrænsede og sikre datalagringskapaciteter til at skalere til det kontinuerlige behov for lagerplads
• Hurtig lagertilgængelighed til ML-arbejdsbelastninger såsom dyb neural træning og neural billedrekonstruktion
• Evnen til at arkivere historiske data ved hjælp af en billig, skalerbar tilgang
• Tillad tilgængelighed til de oftest tilgåede rekonstruerede data, samtidig med at mindre hyppigt tilgåede data holdes arkiveret til en lavere pris

Følgende diagram illustrerer denne arkitektur.

Denne tilgang bruger følgende tjenester:

• AWS Storage Gateway for en problemfri integration med den lokale modalitet, der udveksler information via et fildelingssystem. Dette giver gennemsigtig adgang til følgende AWS Cloud-lagringsfunktioner, samtidig med at den opretholder, hvordan modaliteten udveksler data:
  • Hurtig cloud-upload af de mængder, der genereres af MR-modaliteten.
  • Adgang med lav latens til ofte brugte rekonstruerede MR-undersøgelser via lokal caching, der tilbydes af Storage Gateway.
• Amazon SageMaker til ubegrænset og skalerbar cloud-lagring. Amazon S3 giver også billige, historiske rå MRI-data dyb arkivering med Amazon S3 Glacier, og et intelligent lagerniveau til den rekonstruerede MR med Amazon S3 Intelligent-Tiering.
• Amazon FSx til Luster til hurtig og skalerbar mellemlagring, der bruges til ML-trænings- og rekonstruktionsopgaver.

Den følgende figur viser en kortfattet arkitektur, der beskriver dataudvekslingen mellem skymiljøerne.

Brug af Storage Gateway med cachemekanismen giver lokale applikationer mulighed for hurtigt at få adgang til data, der er tilgængelige på den lokale cache. Dette sker, samtidig med at det giver adgang til skalerbar lagerplads i skyen.

Med denne tilgang kan modaliteter generere rådata fra anskaffelsesjob, samt skrive rådataene ind i en netværksshare, der håndteres fra Storage Gateway.

Hvis modaliteten genererer flere filer, der hører til den samme scanning, anbefales det at oprette et enkelt arkiv (f.eks. .tar) og udføre en enkelt overførsel til netværksdelingen for at fremskynde dataoverførslen.

Data dekompression og transformation lag

Datadekomprimeringslaget modtager rådataene, udfører automatisk dekomprimering og anvender potentielle transformationer til rådataene, før de forbehandlede data sendes til rekonstruktionslaget.

Den vedtagne arkitektur er skitseret i følgende figur.

I denne arkitektur lander rå MRI-data i den rå MRI S3-bøtte og udløser derved en ny indtastning i Amazon Simple Queue Service (Amazon SQS).

An AWS Lambda funktionen henter den rå MRI Amazon SQS-kødybde, som repræsenterer mængden af ​​rå MRI-opkøb, der er uploadet til AWS Cloud. Denne bruges med AWS Fargate til automatisk at modulere størrelsen af ​​en Amazon Elastic Container Service (Amazon ECS) klynge.

Denne arkitekturtilgang lader den automatisk skalere op og ned i overensstemmelse med antallet af rå-scanninger, der er havnet i rå input-bøtten.

Når de rå MRI-data er dekomprimeret og forbehandlet, gemmes de i en anden S3-bøtte, så de kan rekonstrueres.

Neural modeludviklingslag

Det neurale modeludviklingslag består af en RAKI-implementering. Dette skaber en neural netværksmodel, der muliggør hurtig billedrekonstruktion af undersamplede rådata fra magnetisk resonans.

Den følgende figur viser den arkitektur, der realiserer neurale modeludvikling og containerskabelse.

I denne arkitektur, Amazon SageMaker bruges til at udvikle RAKI neurale model, og samtidig til at skabe den beholder, der senere bruges til at udføre MR-rekonstruktionen.

Derefter er den oprettede container inkluderet i den fuldt administrerede Amazon Elastic Container Registry (Amazon ECR) repository, så det derefter kan udskille genopbygningsopgaver.

Hurtig datalagring er garanteret ved vedtagelsen af Amazon FSx til Luster. Det giver forsinkelser på under millisekunder, op til hundredvis af GBps gennemløb og op til millioner af IOPS. Denne tilgang giver SageMaker adgang til en omkostningseffektiv, højtydende og skalerbar lagerløsning.

MR rekonstruktionslag

MR-rekonstruktionen baseret på RAKI neurale netværk håndteres af arkitekturen vist i følgende diagram.

Med det samme arkitektoniske mønster i dekompressions- og forbehandlingslaget, skaleres rekonstruktionslaget automatisk op og ned ved at analysere dybden af ​​køen, der er ansvarlig for at holde alle rekonstruktionsanmodningerne. I dette tilfælde, for at aktivere GPU-understøttelse, AWS batch bruges til at køre MR-rekonstruktionsjob.

Amazon FSx for Luster bruges til at udveksle den store mængde data, der er involveret i MRI-opsamling. Ydermere, når et rekonstruktionsjob er fuldført, og de rekonstruerede MRI-data er lagret i mål S3-bøtten, anmoder den anvendte arkitektur automatisk om en opdatering af lagergatewayen. Dette gør de rekonstruerede data tilgængelige for den lokale facilitet.

Overordnet arkitektur og resultater

Den overordnede arkitektur er vist i følgende figur.

Vi anvendte den beskrevne arkitektur på MR-rekonstruktionsopgaver med datasæt cirka 2.4 GB i størrelse.

Det tog cirka 210 sekunder at træne 221 datasæt, til i alt 514 GB rådata på en enkelt node udstyret med en Nvidia Tesla V100-SXM2-16GB.

Genopbygningen, efter at RAKI-netværket er blevet trænet, tog i gennemsnit 40 sekunder på en enkelt node udstyret med en Nvidia Tesla V100-SXM2-16GB.

Anvendelsen af ​​den foregående arkitektur på et rekonstruktionsjob kan give resultaterne i den følgende figur.

Billedet viser, at gode resultater kan opnås via rekonstruktionsteknikker som RAKI. Desuden kan anvendelse af cloud-teknologi gøre disse beregningstunge tilgange tilgængelige uden de begrænsninger, der findes i lokale løsninger, hvor lager- og beregningsressourcer altid er begrænsede.

konklusioner

Med værktøjer som Amazon SageMaker, Amazon FSx for Lustre, AWS Batch, Fargate og Lambda kan vi skabe et administreret miljø, der er skalerbart, sikkert, omkostningseffektivt og i stand til at udføre komplekse opgaver såsom billedrekonstruktion i skala.

I dette indlæg undersøgte vi en mulig løsning til billedrekonstruktion fra rå modalitetsdata ved hjælp af en beregningsintensiv teknik kendt som RAKI: en databasefri deep learning-teknik til hurtig billedrekonstruktion.

For at lære mere om, hvordan AWS accelererer innovation i sundhedsvæsenet, kan du besøge AWS for sundhed.

Referencer

---

Om forfatteren

Benedetto Carollo er Senior Solution Architect for medicinsk billeddannelse og sundhedspleje hos Amazon Web Services i Europa, Mellemøsten og Afrika. Hans arbejde fokuserer på at hjælpe medicinsk billedbehandling og sundhedskunder med at løse forretningsproblemer ved at udnytte teknologi. Benedetto har over 15 års erfaring med teknologi og medicinsk billedbehandling og har arbejdet for virksomheder som Canon Medical Research og Vital Images. Benedetto modtog sin summa cum laude MSc i Software Engineering fra University of Palermo – Italien.