Cloudgebaseerde reconstructie van medische beeldvorming met behulp van diepe neurale netwerken

Medische beeldvormingstechnieken zoals computertomografie (CT), magnetische resonantiebeeldvorming (MRI), medische röntgenbeeldvorming, echografie en andere worden om verschillende redenen vaak door artsen gebruikt. Enkele voorbeelden zijn het detecteren van veranderingen in het uiterlijk van organen, weefsels en bloedvaten en het detecteren van afwijkingen zoals tumoren en verschillende andere soorten pathologieën.

Voordat artsen de gegevens van die technieken kunnen gebruiken, moeten de gegevens worden getransformeerd van hun oorspronkelijke ruwe vorm naar een vorm die als een afbeelding op een computerscherm kan worden weergegeven.

Dit proces staat bekend als beeldreconstructie, en het speelt een cruciale rol in een workflow voor medische beeldvorming: het is de stap die diagnostische beelden maakt die vervolgens door artsen kunnen worden beoordeeld.

In dit bericht bespreken we een use-case van MRI-reconstructie, maar de architecturale concepten kunnen worden toegepast op andere soorten beeldreconstructie.

Vooruitgang op het gebied van beeldreconstructie heeft geleid tot de succesvolle toepassing van op AI gebaseerde technieken binnen magnetische resonantie (MR) beeldvorming. Deze technieken zijn gericht op het vergroten van de nauwkeurigheid van de reconstructie en in het geval van MR-modaliteit, en het verkorten van de tijd die nodig is voor een volledige scan.

Binnen MR zijn met succes toepassingen gebruikt die AI gebruiken om met onderbemonsterde acquisities te werken, het bereiken van bijna tien keer kortere scantijden.

Wachttijden voor tests zoals MRI's en CT-scans zijn de afgelopen jaren snel toegenomen, wat heeft geleid tot: wachttijden zo lang als 3 maanden. Om een ​​goede patiëntenzorg te garanderen, heeft de toenemende behoefte aan snelle beschikbaarheid van gereconstrueerde beelden, samen met de noodzaak om de operationele kosten te verlagen, geleid tot de behoefte aan een oplossing die kan worden geschaald op basis van opslag- en rekenbehoeften.

Naast de computerbehoeften, is de datagroei de afgelopen jaren gestaag toegenomen. Kijk bijvoorbeeld naar de datasets die beschikbaar zijn gesteld door de Medische beeldverwerking en computerondersteunde interventie (MICCAI), is het mogelijk om vast te stellen dat de jaarlijkse groei 21% is voor MRI, 24% voor CT en 31% voor functionele MRI (fMRI). (Voor meer informatie, zie: Datasetgroei in onderzoek naar medische beeldanalyse.)

In dit bericht laten we u een oplossingsarchitectuur zien die deze uitdagingen aanpakt. Met deze oplossing kunnen onderzoekscentra, mediale instellingen en leveranciers van modaliteit toegang krijgen tot onbeperkte opslagmogelijkheden, schaalbare GPU-kracht, snelle gegevenstoegang voor machine learning (ML)-training en reconstructietaken, eenvoudige en snelle ML-ontwikkelomgevingen en de mogelijkheid om hebben on-premises caching voor snelle beschikbaarheid van afbeeldingsgegevens met lage latentie.

Overzicht oplossingen

Deze oplossing maakt gebruik van een MRI-reconstructietechniek die bekend staat als: Robuuste kunstmatige-neurale-netwerken voor k-ruimte-interpolatie (RAKI). Deze benadering is voordelig omdat deze scanspecifiek is en er geen voorafgaande gegevens nodig zijn om het neurale netwerk te trainen. Het nadeel van deze techniek is dat er veel rekenkracht voor nodig is om effectief te zijn.

De geschetste AWS-architectuur laat zien hoe een cloudgebaseerde reconstructiebenadering effectief rekenintensieve taken kan uitvoeren, zoals die vereist door het RAKI neurale netwerk, schaalbaar volgens de belasting en het reconstructieproces versnellen. Dit opent de deur naar technieken die niet realistisch op locatie kunnen worden geïmplementeerd.

Gegevenslaag

De datalaag is opgebouwd rond de volgende principes:

• Naadloze integratie met modaliteiten die gegevens opslaan die zijn gegenereerd op een aangesloten opslagstation via een netwerkshare op een NAS-apparaat
• Onbeperkte en veilige gegevensopslagmogelijkheden om te schalen naar de continue vraag naar opslagruimte
• Snelle opslagbeschikbaarheid voor ML-workloads zoals diepe neurale training en neurale beeldreconstructie
• De mogelijkheid om historische gegevens te archiveren met behulp van een goedkope, schaalbare aanpak
• Zorg voor beschikbaarheid van de meest gebruikte gereconstrueerde gegevens en houd tegelijkertijd minder vaak gebruikte gegevens gearchiveerd tegen lagere kosten

Het volgende diagram illustreert deze architectuur.

Deze aanpak maakt gebruik van de volgende diensten:

• AWS-opslaggateway voor een naadloze integratie met de on-premises modaliteit die informatie uitwisselt via een fileshare-systeem. Dit geeft transparante toegang tot de volgende AWS Cloud-opslagmogelijkheden, terwijl de manier waarop de modaliteit gegevens uitwisselt, behouden blijft:
  • Snelle cloud-upload van de volumes gegenereerd door de MR-modaliteit.
  • Toegang met lage latentie tot veelgebruikte gereconstrueerde MR-onderzoeken via lokale caching aangeboden door Storage Gateway.
• Amazon Sage Maker voor onbeperkte en schaalbare cloudopslag. Amazon S3 biedt ook goedkope, historische onbewerkte MRI-gegevens diepe archivering met Amazon S3-gletsjeren een intelligente opslaglaag voor de gereconstrueerde MRI met Amazon S3 Intelligent Tiering.
• Amazon FSx voor Luster voor snelle en schaalbare tussentijdse opslag die wordt gebruikt voor ML-training en reconstructietaken.

De volgende figuur toont een beknopte architectuur die de gegevensuitwisseling tussen de cloudomgevingen beschrijft.

Door Storage Gateway te gebruiken met het cachingmechanisme, kunnen on-premises toepassingen snel toegang krijgen tot gegevens die beschikbaar zijn in de lokale cache. Dit gebeurt terwijl tegelijkertijd toegang wordt gegeven tot schaalbare opslagruimte in de cloud.

Met deze aanpak kunnen modaliteiten onbewerkte gegevens genereren uit acquisitietaken en de onbewerkte gegevens schrijven naar een netwerkshare die wordt afgehandeld vanuit Storage Gateway.

Als de modaliteit meerdere bestanden genereert die bij dezelfde scan horen, wordt aanbevolen om één archief te maken (bijvoorbeeld .tar) en een enkele overdracht naar de netwerkshare uit te voeren om de gegevensoverdracht te versnellen.

Gegevensdecompressie en transformatielaag

De gegevensdecompressielaag ontvangt de onbewerkte gegevens, voert automatisch decompressie uit en past mogelijke transformaties toe op de onbewerkte gegevens voordat de voorverwerkte gegevens naar de reconstructielaag worden verzonden.

De aangenomen architectuur is weergegeven in de volgende figuur.

In deze architectuur komen onbewerkte MRI-gegevens terecht in de onbewerkte MRI S3-emmer, waardoor een nieuwe invoer in Amazon Simple Queue-service (Amazone SQS).

An AWS Lambda functie haalt de onbewerkte MRI Amazon SQS-wachtrijdiepte op, die de hoeveelheid onbewerkte MRI-acquisities vertegenwoordigt die naar de AWS Cloud zijn geüpload. Dit wordt gebruikt met AWS Fargate om automatisch de grootte van een te moduleren Amazon Elastic Container-service (Amazon ECS)-cluster.

Met deze architectuurbenadering kan het automatisch omhoog en omlaag worden geschaald overeenkomstig het aantal onbewerkte scans dat in de onbewerkte invoeremmer terechtkomt.

Nadat de onbewerkte MRI-gegevens zijn gedecomprimeerd en voorbewerkt, worden ze opgeslagen in een andere S3-bucket, zodat ze kunnen worden gereconstrueerd.

Neurale modelontwikkelingslaag

De ontwikkelingslaag van het neurale model bestaat uit een RAKI-implementatie. Dit creëert een neuraal netwerkmodel om de snelle beeldreconstructie van onbemonsterde magnetische resonantie onbewerkte gegevens mogelijk te maken.

De volgende afbeelding toont de architectuur die de ontwikkeling van het neurale model en het maken van containers realiseert.

In deze architectuur Amazon Sage Maker wordt gebruikt om het neurale RAKI-model te ontwikkelen en tegelijkertijd om de container te maken die later wordt gebruikt om de MRI-reconstructie uit te voeren.

Vervolgens wordt de gemaakte container opgenomen in de volledig beheerde Amazon Elastic Container-register (Amazon ECR) repository, zodat het vervolgens reconstructietaken kan uitvoeren.

Snelle gegevensopslag wordt gegarandeerd door de toepassing van: Amazon FSx voor Luster. Het biedt latenties van minder dan een milliseconde, tot honderden GBps doorvoer en tot miljoenen IOPS. Deze aanpak geeft SageMaker toegang tot een kosteneffectieve, krachtige en schaalbare opslagoplossing.

MRI-reconstructielaag

De MRI-reconstructie op basis van het RAKI neurale netwerk wordt afgehandeld door de architectuur die wordt weergegeven in het volgende diagram.

Met hetzelfde architecturale patroon dat is aangenomen in de decompressie- en preprocessing-laag, schaalt de reconstructielaag automatisch op en neer door de diepte van de wachtrij te analyseren die verantwoordelijk is voor het vasthouden van alle reconstructieverzoeken. In dit geval, om GPU-ondersteuning in te schakelen, AWS-batch wordt gebruikt om de MRI-reconstructietaken uit te voeren.

Amazon FSx for Luster wordt gebruikt om de grote hoeveelheid gegevens uit te wisselen die betrokken zijn bij MRI-acquisitie. Bovendien, wanneer een reconstructietaak is voltooid en de gereconstrueerde MRI-gegevens zijn opgeslagen in de doel-S3-bucket, vraagt ​​de gebruikte architectuur automatisch om een ​​verversing van de opslaggateway. Dit maakt de gereconstrueerde gegevens beschikbaar voor de on-premises faciliteit.

Algemene architectuur en resultaten

De algemene architectuur is weergegeven in de volgende afbeelding.

We hebben de beschreven architectuur toegepast op MRI-reconstructietaken met: datasets ongeveer 2.4 GB groot.

Het duurde ongeveer 210 seconden om 221 datasets te trainen, voor een totaal van 514 GB aan onbewerkte data op een enkel knooppunt uitgerust met een Nvidia Tesla V100-SXM2-16GB.

De reconstructie, nadat het RAKI-netwerk was getraind, duurde gemiddeld 40 seconden op een enkele node uitgerust met een Nvidia Tesla V100-SXM2-16GB.

Het toepassen van de voorgaande architectuur op een reconstructieklus kan de resultaten in de volgende figuur opleveren.

Op de afbeelding is te zien dat met reconstructietechnieken als RAKI goede resultaten te behalen zijn. Bovendien kan het gebruik van cloudtechnologie deze rekenintensieve benaderingen beschikbaar maken zonder de beperkingen die worden aangetroffen in on-premises oplossingen waar opslag- en rekenbronnen altijd beperkt zijn.

Conclusies

Met tools zoals Amazon SageMaker, Amazon FSx for Lustre, AWS Batch, Fargate en Lambda kunnen we een beheerde omgeving creëren die schaalbaar, veilig, kosteneffectief is en in staat is om complexe taken uit te voeren, zoals beeldreconstructie op schaal.

In dit bericht hebben we een mogelijke oplossing onderzocht voor beeldreconstructie uit onbewerkte modaliteitsgegevens met behulp van een rekenintensieve techniek die bekend staat als RAKI: een databasevrije deep learning-techniek voor snelle beeldreconstructie.

Ga voor meer informatie over hoe AWS innovatie in de gezondheidszorg versnelt naar AWS voor gezondheid.

Referenties

---

Over de auteur

Benedetto Carollo is de Senior Solution Architect voor medische beeldvorming en gezondheidszorg bij Amazon Web Services in Europa, het Midden-Oosten en Afrika. Zijn werk richt zich op het helpen van klanten op het gebied van medische beeldvorming en gezondheidszorg bij het oplossen van zakelijke problemen door gebruik te maken van technologie. Benedetto heeft meer dan 15 jaar ervaring op het gebied van technologie en medische beeldvorming en heeft gewerkt voor bedrijven als Canon Medical Research en Vital Images. Benedetto behaalde zijn summa cum laude MSc in Software Engineering aan de Universiteit van Palermo – Italië.