Dyplæring akselererer fotoakustisk bildebehandling med superoppløsning

Fotoakustisk avbildning er en hybridteknikk som brukes til å innhente molekylær, anatomisk og funksjonell informasjon fra bilder som varierer i størrelse fra mikron til millimeter, på dybder fra hundrevis av mikron til flere centimeter. En fotoakustisk avbildningstilnærming med superoppløsning – der flere bilderammer av målet er overlagret for å oppnå ekstremt høy romlig oppløsning – kan lokalisere svært små mål, som røde blodlegemer eller dråper av injisert fargestoff. Denne "lokaliseringsavbildningsmetoden" forbedrer den romlige oppløsningen betydelig i kliniske studier, men oppnås på bekostning av tidsoppløsningen.

Et multinasjonalt forskerteam har brukt dyplæringsteknologi for å øke bildeopptakshastigheten dramatisk uten å ofre bildekvaliteten, både for fotoakustisk mikroskopi (PAM) og fotoakustisk computertomografi (PACT). Den kunstig intelligens (AI)-baserte metoden, beskrevet i Lys: Vitenskap og applikasjoner, gir en 12 ganger økning i bildehastighet og en mer enn 10 ganger reduksjon i antall bilder som kreves. Dette fremskrittet kan muliggjøre bruk av lokaliseringsfotoakustiske avbildningsteknikker i prekliniske eller kliniske applikasjoner som krever både høy hastighet og fin romlig oppløsning, for eksempel studier av øyeblikkelig medikamentrespons.

Fotoakustisk avbildning bruker optisk eksitasjon og ultralyddeteksjon for å aktivere multiskala in vivo bildebehandling. Teknikken fungerer ved å skinne korte laserpulser på biomolekyler, som absorberer eksitasjonslyspulsene, gjennomgår forbigående termo-elastisk ekspansjon og transformerer energien deres til ultralydbølger. Disse fotoakustiske bølgene detekteres deretter av en ultralydsvinger og brukes til å produsere enten PAM- eller PACT-bilder.

Forskere fra Pohang University of Science and Technology (POSTECH) og California Institute of Technology har utviklet en beregningsstrategi basert på dype nevrale nettverk (DNN) som kan rekonstruere superoppløsningsbilder med høy tetthet fra langt færre rå bilderammer. Det dyplæringsbaserte rammeverket bruker to distinkte DNN-modeller: en 3D-modell for volumetrisk etikettfri lokalisering med optisk oppløsning PAM (OR-PAM); og en 2D-modell for planmerket lokalisering PACT.

Hovedetterforsker Chulhong Kim, direktør for POSTECH's Innovasjonssenter for medisinsk utstyr, og kolleger forklarer at nettverket for lokalisering OR-PAM inneholder 3D konvolusjonslag for å opprettholde 3D-strukturinformasjonen til de volumetriske bildene, mens nettverket for lokalisering PACT har 2D konvolusjonslag. DNN-ene lærer voksel-til-voksel eller piksel-til-piksel-transformasjoner fra enten et sparsomt eller et tett lokaliseringsbasert fotoakustisk bilde. Forskerne trente begge nettverkene samtidig, og etter hvert som treningen skrider frem lærer nettverkene distribusjon av ekte bilder og syntetiserer nye bilder som ligner mer på ekte.

For å teste tilnærmingen deres brukte forskerne OR-PAM for å avbilde et område av interesse i et museøre. Ved å bruke 60 tilfeldig utvalgte rammer, rekonstruerte de et tett lokalisering OR-PAM-bilde, brukt som mål for trening og grunnsannheten for evaluering. De rekonstruerte også sparsomme lokalisering OR-PAM-bilder ved å bruke færre rammer, for input i DNN-ene. Bildetiden for det tette bildet var 30 sekunder, mens for et sparsomt bilde med fem rammer var det bare 2.5 sekunder.

De tette og DNN-genererte bildene hadde høyere signal-til-støy-forhold og visualiserte fartøystilkobling bedre enn det sparsomme bildet. Spesielt ble en blodåre som var usynlig i det sparsomme bildet avslørt med høy kontrast i det DNN-lokaliseringsbaserte bildet.

Forskerne brukte også PACT for å avbilde musehjernen in vivo etter injeksjon av fargedråper. De rekonstruerte et tett lokaliserings-PACT-bilde ved bruk av 240,000 20,000 fargedråper, pluss et sparsomt bilde med 30 2.5 dråper. Bildetiden ble redusert fra XNUMX minutter for det tette bildet til XNUMX minutter for det sparsomme bildet. Den vaskulære morfologien var vanskelig å gjenkjenne i det sparsomme bildet, mens DNN og tette bilder tydelig visualiserte mikrovaskulaturen.

En spesiell fordel med å bruke DNN-rammeverket til fotoakustisk avbildning er at det er skalerbart, fra mikroskopi til datatomografi, og kan dermed brukes til forskjellige prekliniske og kliniske applikasjoner på forskjellige skalaer. En praktisk anvendelse kan være diagnostisering av hudsykdommer og sykdommer som krever nøyaktig strukturell informasjon. Og ettersom rammeverket kan redusere bildebehandlingstiden betydelig, kan det gjøre overvåking av hjernens hemodynamikk og nevronal aktivitet mulig.

"Den forbedrede tidsmessige oppløsningen gjør overvåking av høy kvalitet mulig ved å ta prøver med en høyere hastighet, og tillater analyse av raske endringer som ikke kan observeres med konvensjonell lav tidsoppløsning," konkluderer forfatterne.

Innlegget Dyplæring akselererer fotoakustisk bildebehandling med superoppløsning dukket først på Fysikkens verden.

• Myntsmart. Europas beste Bitcoin og Crypto Exchange.
• Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. FRI TILGANG.
• CryptoHawk. Altcoin Radar. Gratis prøveperiode.
• Kilde: https://physicsworld.com/a/deep-learning-accelerates-super-resolution-photoacoustic-imaging/