Skybasert medisinsk bildebehandlingsrekonstruksjon ved hjelp av dype nevrale nettverk

Medisinske avbildningsteknikker som computertomografi (CT), magnetisk resonansavbildning (MRI), medisinsk røntgenavbildning, ultralydavbildning og andre brukes ofte av leger av ulike årsaker. Noen eksempler inkluderer å oppdage endringer i utseendet til organer, vev og kar, og oppdage abnormiteter som svulster og forskjellige andre typer patologier.

Før leger kan bruke dataene fra disse teknikkene, må dataene transformeres fra den opprinnelige råformen til en form som kan vises som et bilde på en dataskjerm.

Denne prosessen er kjent som bilderekonstruksjon, og det spiller en avgjørende rolle i en arbeidsflyt for medisinsk bildebehandling – det er trinnet som lager diagnostiske bilder som deretter kan vurderes av leger.

I dette innlegget diskuterer vi et brukstilfelle av MR-rekonstruksjon, men de arkitektoniske konseptene kan brukes på andre typer bilderrekonstruksjon.

Fremskritt innen bilderekonstruksjon har ført til vellykket anvendelse av AI-baserte teknikker innen magnetisk resonans (MR) avbildning. Disse teknikkene er rettet mot å øke nøyaktigheten av rekonstruksjonen og i tilfelle MR-modalitet, og redusere tiden som kreves for en full skanning.

Innen MR har applikasjoner som bruker AI for å jobbe med undersamplede oppkjøp blitt brukt med suksess, oppnå nesten ti ganger reduksjon i skannetider.

Ventetidene for tester som MR og CT-skanninger har økt raskt de siste par årene, noe som har ført til ventetider så lenge som 3 måneder. For å sikre god pasientbehandling har det økende behovet for rask tilgjengelighet av rekonstruerte bilder sammen med behovet for å redusere driftskostnader drevet behovet for en løsning som er i stand til å skalere i henhold til lagrings- og beregningsbehov.

I tillegg til beregningsbehov, har dataveksten hatt en jevn økning de siste årene. For eksempel å se på datasettene som er gjort tilgjengelige av Medisinsk bildeberegning og datamaskinassistert intervensjon (MICCAI), er det mulig å regne ut at den årlige veksten er 21 % for MR, 24 % for CT og 31 % for funksjonell MR (fMRI). (For mer informasjon, se Datasettvekst i medisinsk bildeanalyseforskning.)

I dette innlegget viser vi deg en løsningsarkitektur som adresserer disse utfordringene. Denne løsningen kan gjøre det mulig for forskningssentre, mediale institusjoner og modalitetsleverandører å ha tilgang til ubegrensede lagringsmuligheter, skalerbar GPU-kraft, rask datatilgang for maskinlæring (ML) opplæring og rekonstruksjonsoppgaver, enkle og raske ML-utviklingsmiljøer, og muligheten til å ha lokal bufring for rask og lav latens bildedatatilgjengelighet.

Løsningsoversikt

Denne løsningen bruker en MR-rekonstruksjonsteknikk kjent som Robuste kunstige-nevrale-nettverk for k-space-interpolering (RAKI). Denne tilnærmingen er fordelaktig fordi den er skanningsspesifikk og ikke krever tidligere data for å trene det nevrale nettverket. Ulempen med denne teknikken er at den krever mye regnekraft for å være effektiv.

AWS-arkitekturen som er skissert viser hvordan en skybasert rekonstruksjonstilnærming effektivt kan utføre beregningstunge oppgaver som den som kreves av RAKIs nevrale nettverk, skalere i henhold til belastningen og akselerere rekonstruksjonsprosessen. Dette åpner døren for teknikker som ikke realistisk kan implementeres i lokalene.

Datalag

Datalaget er bygget rundt følgende prinsipper:

• Sømløs integrasjon med modaliteter som lagrer data generert i en tilkoblet lagringsstasjon via en nettverksdeling på en NAS-enhet
• Grenseløse og sikre datalagringsmuligheter for å skalere til det kontinuerlige behovet for lagringsplass
• Rask lagringstilgjengelighet for ML-arbeidsbelastninger som dyp nevral trening og nevral bilderekonstruksjon
• Evnen til å arkivere historiske data ved å bruke en rimelig, skalerbar tilnærming
• Tillat tilgjengelighet for de mest brukte rekonstruerte dataene, samtidig som sjeldnere tilgang til data holdes arkivert til en lavere kostnad

Følgende diagram illustrerer denne arkitekturen.

Denne tilnærmingen bruker følgende tjenester:

• AWS Storage Gateway for en sømløs integrasjon med den lokale modaliteten som utveksler informasjon via et fildelingssystem. Dette gir gjennomsiktig tilgang til følgende AWS Cloud-lagringsfunksjoner samtidig som det opprettholder hvordan modaliteten utveksler data:
  • Rask skyopplasting av volumene generert av MR-modaliteten.
  • Tilgang med lav latens til ofte brukte rekonstruerte MR-studier via lokal caching som tilbys av Storage Gateway.
• Amazon SageMaker for ubegrenset og skalerbar skylagring. Amazon S3 gir også rimelig, historisk rå MR-data dyparkivering med Amazon S3-breen, og et intelligent lagringsnivå for den rekonstruerte MR med Amazon S3 Intelligent Tiering.
• Amazon FSx for Luster for rask og skalerbar mellomlagring brukt til ML-trening og rekonstruksjonsoppgaver.

Følgende figur viser en kortfattet arkitektur som beskriver datautvekslingen mellom skymiljøene.

Ved å bruke Storage Gateway med hurtigbuffermekanismen kan lokale applikasjoner raskt få tilgang til data som er tilgjengelig på den lokale hurtigbufferen. Dette skjer samtidig som det gir tilgang til skalerbar lagringsplass på skyen.

Med denne tilnærmingen kan modaliteter generere rådata fra anskaffelsesjobber, samt skrive rådataene inn i en nettverksandel som håndteres fra Storage Gateway.

Hvis modaliteten genererer flere filer som tilhører samme skanning, anbefales det å opprette et enkelt arkiv (for eksempel.tar), og utføre en enkelt overføring til nettverksdelingen for å akselerere dataoverføringen.

Datadekompresjon og transformasjonslag

Datadekompresjonslaget mottar rådataene, utfører automatisk dekompresjon og bruker potensielle transformasjoner på rådataene før de sender de forhåndsbehandlede dataene til rekonstruksjonslaget.

Den vedtatte arkitekturen er skissert i følgende figur.

I denne arkitekturen lander rå MRI-data i den rå MRI S3-bøtten, og utløser dermed en ny oppføring i Amazon enkel køtjeneste (Amazon SQS).

An AWS Lambda funksjonen henter den rå MRI Amazon SQS-kødybden, som representerer mengden rå MRI-anskaffelser som er lastet opp til AWS Cloud. Denne brukes med AWS Fargate for å automatisk modulere størrelsen på en Amazon Elastic Container Service (Amazon ECS) klynge.

Denne arkitekturtilnærmingen lar den automatisk skalere opp og ned i henhold til antall råskanninger som havner i råinndatabøtten.

Etter at de rå MR-dataene er dekomprimert og forhåndsbehandlet, lagres de i en annen S3-bøtte slik at de kan rekonstrueres.

Neural modellutviklingslag

Det nevrale modellutviklingslaget består av en RAKI-implementering. Dette skaper en nevrale nettverksmodell for å tillate rask bilderekonstruksjon av undersamplede rådata for magnetisk resonans.

Følgende figur viser arkitekturen som realiserer utviklingen av nevrale modell og oppretting av beholder.

I denne arkitekturen, Amazon SageMaker brukes til å utvikle RAKI-nevrale modellen, og samtidig lage beholderen som senere brukes til å utføre MR-rekonstruksjonen.

Deretter er den opprettede beholderen inkludert i den fullstendig administrerte Amazon Elastic Container Registry (Amazon ECR) repository slik at det deretter kan spinne av rekonstruksjonsoppgaver.

Rask datalagring er garantert ved bruk av Amazon FSx for Luster. Den gir forsinkelser på under millisekunder, opptil hundrevis av GBps med gjennomstrømning og opptil millioner av IOPS. Denne tilnærmingen gir SageMaker tilgang til en kostnadseffektiv, høyytelses og skalerbar lagringsløsning.

MR rekonstruksjonslag

MR-rekonstruksjonen basert på RAKI nevrale nettverk håndteres av arkitekturen vist i følgende diagram.

Med det samme arkitektoniske mønsteret tatt i bruk i dekompresjons- og forbehandlingslaget, skaleres rekonstruksjonslaget automatisk opp og ned ved å analysere dybden på køen som er ansvarlig for å holde alle rekonstruksjonsforespørslene. I dette tilfellet, for å aktivere GPU-støtte, AWS-batch brukes til å kjøre MR-rekonstruksjonsjobbene.

Amazon FSx for Luster brukes til å utveksle den store mengden data som er involvert i MR-innsamling. Videre, når en rekonstruksjonsjobb er fullført og de rekonstruerte MRI-dataene er lagret i mål S3-bøtten, ber arkitekturen som brukes automatisk om en oppdatering av lagringsporten. Dette gjør de rekonstruerte dataene tilgjengelige for det lokale anlegget.

Overordnet arkitektur og resultater

Den overordnede arkitekturen er vist i følgende figur.

Vi brukte den beskrevne arkitekturen på MR-rekonstruksjonsoppgaver med datasett omtrent 2.4 GB i størrelse.

Det tok omtrent 210 sekunder å trene opp 221 datasett, for totalt 514 GB rådata på en enkelt node utstyrt med en Nvidia Tesla V100-SXM2-16GB.

Rekonstruksjonen, etter at RAKI-nettverket har blitt trent, tok i gjennomsnitt 40 sekunder på en enkelt node utstyrt med en Nvidia Tesla V100-SXM2-16GB.

Bruken av den foregående arkitekturen på en rekonstruksjonsjobb kan gi resultatene i følgende figur.

Bildet viser at gode resultater kan oppnås via rekonstruksjonsteknikker som RAKI. Dessuten kan bruk av skyteknologi gjøre disse beregningstunge tilnærmingene tilgjengelige uten begrensningene som finnes i lokale løsninger der lagrings- og beregningsressurser alltid er begrenset.

Konklusjoner

Med verktøy som Amazon SageMaker, Amazon FSx for Lustre, AWS Batch, Fargate og Lambda kan vi skape et administrert miljø som er skalerbart, sikkert, kostnadseffektivt og i stand til å utføre komplekse oppgaver som bilderekonstruksjon i stor skala.

I dette innlegget utforsket vi en mulig løsning for bilderekonstruksjon fra råmodalitetsdata ved å bruke en beregningsintensiv teknikk kjent som RAKI: en databasefri dyplæringsteknikk for rask bilderekonstruksjon.

For å lære mer om hvordan AWS akselererer innovasjon innen helsevesenet, besøk AWS for helse.

Referanser

---

Om forfatteren

Benedetto Carollo er Senior Solution Architect for medisinsk bildebehandling og helsetjenester hos Amazon Web Services i Europa, Midtøsten og Afrika. Arbeidet hans fokuserer på å hjelpe medisinsk bildebehandling og helsekunder med å løse forretningsproblemer ved å utnytte teknologi. Benedetto har over 15 års erfaring med teknologi og medisinsk bildebehandling og har jobbet for selskaper som Canon Medical Research og Vital Images. Benedetto fikk sin summa cum laude MSc i programvareteknikk fra Universitetet i Palermo – Italia.