Molnbaserad medicinsk avbildningsrekonstruktion med djupa neurala nätverk

Medicinska avbildningstekniker som datortomografi (CT), magnetisk resonanstomografi (MRI), medicinsk röntgen, ultraljudsavbildning och andra används ofta av läkare av olika anledningar. Några exempel inkluderar att upptäcka förändringar i utseendet på organ, vävnader och kärl, och upptäcka avvikelser såsom tumörer och olika andra typer av patologier.

Innan läkare kan använda data från dessa tekniker måste data omvandlas från sin ursprungliga råa form till en form som kan visas som en bild på en datorskärm.

Denna process är känd som bildrekonstruktion, och det spelar en avgörande roll i ett arbetsflöde för medicinsk bildbehandling – det är steget som skapar diagnostiska bilder som sedan kan granskas av läkare.

I det här inlägget diskuterar vi ett användningsfall av MRT-rekonstruktion, men de arkitektoniska koncepten kan appliceras på andra typer av bildrekonstruktion.

Framsteg inom området bildrekonstruktion har lett till en framgångsrik tillämpning av AI-baserade tekniker inom magnetisk resonans (MR) avbildning. Dessa tekniker syftar till att öka noggrannheten i rekonstruktionen och i fallet med MR-modalitet, och minska tiden som krävs för en fullständig skanning.

Inom MR har applikationer som använder AI för att arbeta med undersamplade förvärv framgångsrikt använts, uppnår nästan tio gånger minskning av skanningstider.

Väntetiderna för tester som MRI och datortomografi har ökat snabbt under de senaste åren, vilket har lett till väntetider så långa som 3 månader. För att säkerställa god patientvård har det ökande behovet av snabb tillgänglighet av rekonstruerade bilder tillsammans med behovet av att minska driftskostnaderna drivit på behovet av en lösning som kan skalas efter lagrings- och beräkningsbehov.

Förutom beräkningsbehov har datatillväxten sett en stadig ökning under de senaste åren. Titta till exempel på de datauppsättningar som gjorts tillgängliga av Medical Image Computing and Computer-Assisted Intervention (MICCAI), är det möjligt att konstatera att den årliga tillväxten är 21 % för MRT, 24 % för CT och 31 % för funktionell MRT (fMRI). (För mer information, se Datauppsättningstillväxt inom medicinsk bildanalysforskning.)

I det här inlägget visar vi dig en lösningsarkitektur som tar itu med dessa utmaningar. Denna lösning kan göra det möjligt för forskningscentra, mediala institutioner och modalitetsleverantörer att ha tillgång till obegränsad lagringskapacitet, skalbar GPU-kraft, snabb dataåtkomst för utbildning och rekonstruktionsuppgifter för maskininlärning (ML), enkla och snabba ML-utvecklingsmiljöer och möjligheten att ha lokal cachning för snabb och låg latens bilddatatillgänglighet.

Lösningsöversikt

Denna lösning använder en MRT-rekonstruktionsteknik känd som Robusta artificiella-neurala-nätverk för k-space-interpolation (RAKI). Detta tillvägagångssätt är fördelaktigt eftersom det är skanningsspecifikt och inte kräver tidigare data för att träna det neurala nätverket. Nackdelen med denna teknik är att den kräver mycket beräkningskraft för att vara effektiv.

Den skisserade AWS-arkitekturen visar hur en molnbaserad rekonstruktionsmetod effektivt kan utföra beräkningstunga uppgifter som den som krävs av RAKIs neurala nätverk, skala efter belastningen och påskynda rekonstruktionsprocessen. Detta öppnar dörren till tekniker som inte realistiskt kan implementeras i lokaler.

Datalager

Datalagret har byggts upp kring följande principer:

• Sömlös integration med modaliteter som lagrar data som genereras i en ansluten lagringsenhet via en nätverksresurs på en NAS-enhet
• Gränslösa och säkra datalagringsmöjligheter för att skalas till det kontinuerliga behovet av lagringsutrymme
• Snabb lagringstillgänglighet för ML-arbetsbelastningar som djup neural träning och neural bildrekonstruktion
• Möjligheten att arkivera historiska data med ett billigt, skalbart tillvägagångssätt
• Tillåt tillgänglighet för de mest åtkomliga rekonstruerade data samtidigt som mindre ofta åtkomliga data arkiveras till en lägre kostnad

Följande diagram illustrerar denna arkitektur.

Detta tillvägagångssätt använder följande tjänster:

• AWS Storage Gateway för en sömlös integration med den lokala modaliteten som utbyter information via ett fildelningssystem. Detta tillåter transparent åtkomst till följande AWS Cloud-lagringsfunktioner samtidigt som det bibehåller hur modaliteten utbyter data:
  • Snabb molnuppladdning av de volymer som genereras av MR-modaliteten.
  • Låg latensåtkomst till ofta använda rekonstruerade MR-studier via lokal cachning som erbjuds av Storage Gateway.
• Amazon SageMaker för obegränsad och skalbar molnlagring. Amazon S3 tillhandahåller också låg kostnad, historisk rå MRI-data djuparkivering med Amazon S3-glaciären, och en intelligent lagringsnivå för den rekonstruerade MRI med Amazon S3 Intelligent Tiering.
• Amazon FSx för Luster för snabb och skalbar mellanlagring som används för ML-träning och återuppbyggnadsuppgifter.

Följande figur visar en kortfattad arkitektur som beskriver datautbytet mellan molnmiljöerna.

Genom att använda Storage Gateway med cachningsmekanismen kan lokala applikationer snabbt komma åt data som är tillgänglig i den lokala cachen. Detta sker samtidigt som det ger tillgång till skalbart lagringsutrymme i molnet.

Med detta tillvägagångssätt kan modaliteter generera rådata från förvärvsjobb, samt skriva rådata till en nätverksresurs som hanteras från Storage Gateway.

Om modaliteten genererar flera filer som hör till samma skanning, rekommenderas det att skapa ett enda arkiv (t.ex. .tar) och utföra en enda överföring till nätverksresursen för att påskynda dataöverföringen.

Datadekomprimering och transformationslager

Datadekomprimeringsskiktet tar emot rådata, utför automatiskt dekomprimering och tillämpar potentiella transformationer på rådata innan de förbehandlade data skickas till rekonstruktionslagret.

Den antagna arkitekturen beskrivs i följande figur.

I den här arkitekturen hamnar rå MRI-data i den råa MRI S3-hinken, vilket utlöser ett nytt inträde i Amazon enkel kötjänst (Amazon SQS).

An AWS Lambda funktionen hämtar det råa MRI Amazon SQS-ködjupet, vilket representerar mängden råa MRI-förvärv som laddats upp till AWS Cloud. Detta används med AWS Fargate för att automatiskt modulera storleken på en Amazon Elastic Container Service (Amazon ECS) kluster.

Den här arkitekturmetoden låter den automatiskt skala upp och ned i enlighet med antalet råskanningar som hamnat i råinmatningshinken.

Efter att rå MRI-data har dekomprimerats och förbehandlats, sparas de i en annan S3-hink så att den kan rekonstrueras.

Neural modellutvecklingsskikt

Det neurala modellutvecklingsskiktet består av en RAKI-implementering. Detta skapar en neural nätverksmodell för att möjliggöra snabb bildrekonstruktion av undersamplad magnetisk resonansrådata.

Följande figur visar arkitekturen som realiserar utvecklingen av neurala modeller och skapande av behållare.

I denna arkitektur, Amazon SageMaker används för att utveckla RAKIs neurala modell, och samtidigt skapa den behållare som senare används för att utföra MRT-rekonstruktionen.

Sedan ingår den skapade behållaren i den fullständigt hanterade Amazon Elastic Container Registry (Amazon ECR) repository så att det sedan kan spinna av rekonstruktionsuppgifter.

Snabb datalagring garanteras genom antagandet av Amazon FSx för Luster. Det ger fördröjningar på under millisekunder, upp till hundratals GBps i genomströmning och upp till miljontals IOPS. Detta tillvägagångssätt ger SageMaker tillgång till en kostnadseffektiv, högpresterande och skalbar lagringslösning.

MRT-rekonstruktionsskikt

MRT-rekonstruktionen baserad på RAKIs neurala nätverk hanteras av arkitekturen som visas i följande diagram.

Med samma arkitektoniska mönster som antagits i dekompressions- och förbearbetningsskiktet, skalas rekonstruktionslagret automatiskt upp och ner genom att analysera djupet på kön som ansvarar för alla rekonstruktionsförfrågningar. I det här fallet, för att aktivera GPU-stöd, AWS-batch används för att köra MRT-rekonstruktionsjobben.

Amazon FSx för Luster används för att utbyta den stora mängden data som ingår i MRT-insamling. Dessutom, när ett rekonstruktionsjobb är klart och den rekonstruerade MRI-datan lagras i mål S3-skopan, begär den använda arkitekturen automatiskt en uppdatering av lagringsporten. Detta gör den rekonstruerade informationen tillgänglig för den lokala anläggningen.

Övergripande arkitektur och resultat

Den övergripande arkitekturen visas i följande figur.

Vi tillämpade den beskrivna arkitekturen på MRT-rekonstruktionsuppgifter med datauppsättningar cirka 2.4 GB i storlek.

Det tog ungefär 210 sekunder att träna 221 datauppsättningar, för totalt 514 GB rådata på en enda nod utrustad med en Nvidia Tesla V100-SXM2-16GB.

Rekonstruktionen, efter att RAKI-nätverket har tränats, tog i genomsnitt 40 sekunder på en enda nod utrustad med en Nvidia Tesla V100-SXM2-16GB.

Tillämpningen av den föregående arkitekturen på ett rekonstruktionsjobb kan ge resultaten i följande figur.

Bilden visar att bra resultat kan erhållas via rekonstruktionstekniker som RAKI. Dessutom kan användning av molnteknik göra dessa beräkningstunga tillvägagångssätt tillgängliga utan de begränsningar som finns i lokala lösningar där lagrings- och beräkningsresurser alltid är begränsade.

Slutsatser

Med verktyg som Amazon SageMaker, Amazon FSx for Lustre, AWS Batch, Fargate och Lambda kan vi skapa en hanterad miljö som är skalbar, säker, kostnadseffektiv och kapabel att utföra komplexa uppgifter som bildrekonstruktion i skala.

I det här inlägget utforskade vi en möjlig lösning för bildrekonstruktion från råmodalitetsdata med hjälp av en beräkningsintensiv teknik känd som RAKI: en databasfri djupinlärningsteknik för snabb bildrekonstruktion.

För att lära dig mer om hur AWS accelererar innovation inom sjukvården, besök AWS för hälsa.

Referensprojekt

---

Om författaren

Benedetto Carollo är Senior Solution Architect för medicinsk bildbehandling och hälsovård på Amazon Web Services i Europa, Mellanöstern och Afrika. Hans arbete fokuserar på att hjälpa medicinsk bildbehandling och sjukvårdskunder att lösa affärsproblem genom att utnyttja teknik. Benedetto har över 15 års erfarenhet av teknik och medicinsk bildbehandling och har arbetat för företag som Canon Medical Research och Vital Images. Benedetto fick sin summa cum laude MSc i mjukvaruteknik från University of Palermo – Italien.