Djup inlärning påskyndar fotoakustisk bildbehandling med superupplösning

Fotoakustisk avbildning är en hybridteknik som används för att inhämta molekylär, anatomisk och funktionell information från bilder som sträcker sig i storlek från mikron till millimeter, på djup från hundratals mikron till flera centimeter. En fotoakustisk avbildningsmetod med superupplösning – där flera bildramar av målet är överlagrade för att uppnå extremt hög rumslig upplösning – kan lokalisera mycket små mål, såsom röda blodkroppar eller droppar av injicerat färgämne. Denna "lokaliseringsavbildning"-metod förbättrar avsevärt den rumsliga upplösningen i kliniska studier, men uppnås på bekostnad av tidsupplösning.

Ett multinationellt forskarlag har använt djupinlärningsteknik för att dramatiskt öka bildupptagningshastigheten utan att ge avkall på bildkvaliteten, både för fotoakustisk mikroskopi (PAM) och fotoakustisk datortomografi (PACT). Den artificiella intelligens (AI)-baserade metoden, beskriven i Ljus: Vetenskap och tillämpningar, ger en 12-faldig ökning av bildhastigheten och en mer än 10-faldig minskning av antalet bilder som krävs. Detta framsteg skulle kunna möjliggöra användning av lokaliseringsfotoakustiska avbildningstekniker i prekliniska eller kliniska tillämpningar som kräver både hög hastighet och fin rumslig upplösning, såsom studier av ögonblicklig läkemedelsrespons.

Fotoakustisk avbildning använder optisk excitation och ultraljudsdetektering för att möjliggöra multiskala in vivo- bildbehandling. Tekniken fungerar genom att lysa korta laserpulser på biomolekyler, som absorberar excitationsljuspulserna, genomgår transient termo-elastisk expansion och omvandlar sin energi till ultraljudsvågor. Dessa fotoakustiska vågor detekteras sedan av en ultraljudsgivare och används för att producera antingen PAM- eller PACT-bilder.

Forskare från Pohang University of Science and Technology (POSTECH) och California Institute of Technology har utvecklat en beräkningsstrategi baserad på djupa neurala nätverk (DNN) som kan rekonstruera högdensitets superupplösta bilder från mycket färre råa bildramar. Det djupinlärningsbaserade ramverket använder två distinkta DNN-modeller: en 3D-modell för volymetrisk etikettfri lokalisering med optisk upplösning PAM (OR-PAM); och en 2D-modell för planmärkt lokalisering PACT.

Huvudutredare Chulhong Kim, direktör för POSTECH's Medical Device Innovation Center, och kollegor förklarar att nätverket för lokalisering OR-PAM innehåller 3D-faltningslager för att upprätthålla 3D-strukturinformationen för de volymetriska bilderna, medan nätverket för lokalisering PACT har 2D-faltningslager. DNN:erna lär sig voxel-till-voxel- eller pixel-till-pixel-transformationer från antingen en sparsam eller en tät lokaliseringsbaserad fotoakustisk bild. Forskarna tränade båda nätverken samtidigt och allt eftersom utbildningen fortskrider lär sig nätverken distributionen av riktiga bilder och syntetiserar nya bilder som är mer lika verkliga.

För att testa sitt tillvägagångssätt använde forskarna OR-PAM för att avbilda en region av intresse i ett musöra. Med hjälp av 60 slumpmässigt utvalda ramar, rekonstruerade de en tät lokalisering OR-PAM-bild, som användes som mål för träning och grundsanningen för utvärdering. De rekonstruerade också glesa lokaliserings-OR-PAM-bilder med färre bildrutor för inmatning i DNN. Avbildningstiden för den täta bilden var 30 s, medan den för en gles bild med fem ramar bara var 2.5 s.

De täta och DNN-genererade bilderna hade högre signal-brusförhållande och visualiserade kärlanslutningen bättre än den glesa bilden. Noterbart avslöjades ett blodkärl som var osynligt i den glesa bilden med hög kontrast i den DNN-lokaliseringsbaserade bilden.

Forskarna använde också PACT för att avbilda mushjärnan in vivo- efter injektion av färgämnesdroppar. De rekonstruerade en tät lokaliserings-PACT-bild med 240,000 20,000 färgämnesdroppar, plus en gles bild med 30 2.5 droppar. Avbildningstiden reducerades från XNUMX min för den täta bilden till XNUMX min för den glesa bilden. Den vaskulära morfologin var svår att känna igen i den glesa bilden, medan DNN och täta bilder tydligt visualiserade mikrovaskulaturen.

En särskild fördel med att tillämpa DNN-ramverket på fotoakustisk avbildning är att det är skalbart, från mikroskopi till datortomografi, och därför kan användas för olika prekliniska och kliniska tillämpningar i olika skalor. En praktisk tillämpning skulle kunna vara diagnos av hudtillstånd och sjukdomar som kräver korrekt strukturell information. Och eftersom ramverket avsevärt kan minska avbildningstiden, kan det göra övervakning av hjärnans hemodynamik och neuronal aktivitet möjlig.

"Den förbättrade temporala upplösningen gör övervakning av hög kvalitet möjlig genom sampling med högre hastighet, vilket möjliggör analys av snabba förändringar som inte kan observeras med konventionell låg temporal upplösning", avslutar författarna.

Posten Djup inlärning påskyndar fotoakustisk bildbehandling med superupplösning visades först på Fysikvärlden.

• Myntsmart. Europas bästa bitcoin- och kryptobörs.
• Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. FRI TILLGÅNG.
• CryptoHawk. Altcoin radar. Gratis provperiod.
• Källa: https://physicsworld.com/a/deep-learning-accelerates-super-resolution-photoacoustic-imaging/