Хмарна медична реконструкція зображень за допомогою глибоких нейронних мереж

Медичні методи візуалізації, такі як комп’ютерна томографія (КТ), магнітно-резонансна томографія (МРТ), медичне рентгенівське зображення, ультразвукове зображення та інші, зазвичай використовуються лікарями з різних причин. Деякі приклади включають виявлення змін зовнішнього вигляду органів, тканин і судин, а також виявлення аномалій, таких як пухлини та різні інші типи патологій.

Перш ніж лікарі зможуть використовувати дані з цих методів, дані повинні бути перетворені з рідної необробленої форми у форму, яка може відображатися як зображення на екрані комп’ютера.

Цей процес відомий як реконструкція зображення, і він відіграє вирішальну роль у робочому процесі медичного зображення — це крок, на якому створюються діагностичні зображення, які потім можуть переглядати лікарі.

У цій публікації ми обговорюємо випадки використання реконструкції МРТ, але архітектурні концепції можна застосувати до інших типів реконструкції зображень.

Досягнення в області реконструкції зображень призвели до успішного застосування методів на основі ШІ в магнітно-резонансній (МР) томографії. Ці методики спрямовані на підвищення точності реконструкції та у випадку модальності МР, а також на зменшення часу, необхідного для повного сканування.

У рамках MR програми, які використовують ШІ для роботи з придбаннями з недостатньою вибіркою, успішно використовуються, скорочення часу сканування майже в десять разів.

Час очікування таких тестів, як МРТ і КТ, стрімко зріс за останні пару років, що призвело до час очікування до 3 місяців. Щоб забезпечити якісний догляд за пацієнтами, зростаюча потреба у швидкій доступності реконструйованих зображень разом із необхідністю зниження операційних витрат викликала потребу в рішенні, здатному масштабуватись відповідно до потреб у сховищі та обчисленнях.

Крім обчислювальних потреб, протягом останніх кількох років спостерігається постійне зростання даних. Наприклад, дивлячись на набори даних, надані Обчислення медичних зображень та комп’ютерне втручання (MICCAI), можна зробити висновок, що щорічне зростання становить 21% для МРТ, 24% для КТ і 31% для функціональної МРТ (фМРТ). (Для отримання додаткової інформації див Зростання набору даних у дослідженнях аналізу медичних зображень.)

У цій публікації ми покажемо вам архітектуру рішення, яка вирішує ці проблеми. Це рішення може надати дослідницьким центрам, медичним установам і постачальникам модальності доступ до необмежених можливостей зберігання, масштабованої потужності графічного процесора, швидкого доступу до даних для завдань навчання та реконструкції машинного навчання (ML), простих і швидких середовищ розробки ML, а також можливості мати локальне кешування для швидкої та низької затримки доступності даних зображень.

Огляд рішення

Це рішення використовує метод реконструкції МРТ, відому як Надійні штучні нейронні мережі для інтерполяції k-простору (РАКИ). Цей підхід є перевагою, оскільки він залежить від сканування та не потребує попередніх даних для навчання нейронної мережі. Недоліком цієї методики є те, що для її ефективності потрібна велика обчислювальна потужність.

Описана архітектура AWS показує, як хмарний підхід до реконструкції може ефективно виконувати важкі обчислювальні завдання, такі як ті, які вимагає нейронна мережа RAKI, масштабуючи відповідно до навантаження та прискорюючи процес реконструкції. Це відкриває двері для методів, які реально не можна реалізувати на території.

Рівень даних

Рівень даних розроблено на основі таких принципів:

• Повна інтеграція з модальностями, які зберігають дані, згенеровані на підключеному накопичувачі через спільний мережевий ресурс на пристрої NAS
• Безмежні та безпечні можливості зберігання даних для масштабування відповідно до постійного попиту на простір для зберігання
• Швидка доступність пам’яті для робочих навантажень ML, таких як глибоке нейронне навчання та реконструкція нейронних зображень
• Можливість архівувати історичні дані за допомогою недорогого масштабованого підходу
• Дозвольте отримати доступ до реконструйованих даних, до яких звертаються найчастіше, одночасно зберігаючи дані, до яких звертаються рідше, в архіві за меншу вартість

Наступна схема ілюструє цю архітектуру.

Цей підхід використовує такі сервіси:

• Шлюз зберігання AWS для повної інтеграції з локальною модальністю, яка обмінюється інформацією через систему спільного доступу до файлів. Це забезпечує прозорий доступ до таких можливостей хмарного сховища AWS, зберігаючи при цьому спосіб обміну даними:
  • Швидке завантаження в хмару обсягів, створених за допомогою модальності MR.
  • Доступ із низькою затримкою до часто використовуваних реконструйованих досліджень МР через локальне кешування, яке пропонує Storage Gateway.
• Amazon SageMaker для необмеженого та масштабованого хмарного сховища. Amazon S3 також забезпечує глибоке архівування недорогих історичних необроблених даних МРТ Льодовик Amazon S3, а також інтелектуальний рівень зберігання для реконструйованого МРТ з Amazon S3 Інтелектуальний.
• Amazon FSx для Luster для швидкого та масштабованого проміжного сховища, яке використовується для завдань навчання та реконструкції ML.

На наступному малюнку показано стислу архітектуру, що описує обмін даними між хмарними середовищами.

Використання Storage Gateway із механізмом кешування дозволяє локальним програмам швидко отримувати доступ до даних, доступних у локальному кеші. Це відбувається з одночасним наданням доступу до масштабованого простору для зберігання в хмарі.

За допомогою такого підходу модальності можуть генерувати необроблені дані з завдань отримання, а також записувати необроблені дані в спільний мережевий ресурс, який обробляється зі шлюзу зберігання.

Якщо модальність генерує кілька файлів, які належать до одного сканування, рекомендується створити один архів (наприклад, .tar) і виконати одну передачу до спільного мережевого ресурсу, щоб пришвидшити передачу даних.

Рівень декомпресії та перетворення даних

Рівень декомпресії даних отримує необроблені дані, автоматично виконує декомпресію та застосовує потенційні перетворення до необроблених даних перед подачею попередньо оброблених даних на рівень реконструкції.

Прийнята архітектура представлена ​​на наступному малюнку.

У цій архітектурі необроблені дані МРТ надходять у відро необробленої МРТ S3, тим самим запускаючи новий запис у Служба простої черги Amazon (Amazon SQS).

An AWS Lambda отримує необроблену глибину черги МРТ Amazon SQS, яка представляє кількість отриманих необроблених МРТ даних, завантажених у хмару AWS. Це використовується з AWS Fargate щоб автоматично модулювати розмір an Служба еластичних контейнерів Amazon (Amazon ECS) кластер.

Цей підхід до архітектури дозволяє автоматично масштабувати вгору та вниз відповідно до кількості необроблених сканувань, які потрапляють у відро необроблених вхідних даних.

Після розпакування та попередньої обробки необроблених даних МРТ вони зберігаються в іншому сегменті S3, щоб їх можна було реконструювати.

Рівень розробки нейронної моделі

Рівень розробки нейронної моделі складається з реалізації RAKI. Це створює модель нейронної мережі, яка дозволяє швидко реконструювати зображення необроблених даних магнітного резонансу.

На наступному малюнку показано архітектуру, яка реалізує розробку нейронної моделі та створення контейнера.

У цій архітектурі, Amazon SageMaker використовується для розробки нейронної моделі RAKI та одночасно для створення контейнера, який пізніше буде використано для виконання реконструкції МРТ.

Потім створений контейнер включається в повністю керований Реєстр контейнерів Amazon Elastic (Amazon ECR), щоб потім він міг виконувати завдання реконструкції.

Швидке зберігання даних гарантується прийняттям Amazon FSx для Luster. Він забезпечує затримки до мілісекунд, пропускну здатність до сотень ГБ/с і до мільйонів IOPS. Цей підхід надає SageMaker доступ до економічного, високопродуктивного та масштабованого рішення для зберігання.

Шар реконструкції МРТ

Реконструкція МРТ на основі нейронної мережі RAKI виконується за допомогою архітектури, показаної на наступній діаграмі.

З тією самою архітектурною схемою, прийнятою на рівні декомпресії та попередньої обробки, рівень реконструкції автоматично масштабується вгору та вниз, аналізуючи глибину черги, відповідальної за зберігання всіх запитів на реконструкцію. У цьому випадку, щоб увімкнути підтримку GPU, Пакет AWS використовується для виконання робіт реконструкції МРТ.

Amazon FSx для Luster використовується для обміну великою кількістю даних, які використовуються для отримання МРТ. Крім того, коли завдання реконструкції завершено і реконструйовані дані МРТ зберігаються в цільовому сегменті S3, використана архітектура автоматично запитує оновлення шлюзу зберігання. Це робить реконструйовані дані доступними для локального об’єкта.

Загальна архітектура та результати

Загальна архітектура показана на наступному малюнку.

Ми застосували описану архітектуру для завдань реконструкції МРТ набори даних розмір приблизно 2.4 Гб.

На навчання 210 набору даних знадобилося приблизно 221 секунд, щоб загалом отримати 514 ГБ необроблених даних на одному вузлі, обладнаному Nvidia Tesla V100-SXM2-16GB.

Реконструкція після навчання мережі RAKI займала в середньому 40 секунд на одному вузлі, обладнаному Nvidia Tesla V100-SXM2-16GB.

Застосування попередньої архітектури до роботи з реконструкції може дати результати, показані на наступному малюнку.

Зображення показує, що хороші результати можна отримати за допомогою таких методів реконструкції, як RAKI. Крім того, впровадження хмарної технології може зробити ці важкі обчислювальні підходи доступними без обмежень, які існують у локальних рішеннях, де сховище та обчислювальні ресурси завжди обмежені.

Висновки

За допомогою таких інструментів, як Amazon SageMaker, Amazon FSx for Lustre, AWS Batch, Fargate і Lambda, ми можемо створити кероване середовище, яке є масштабованим, безпечним, економічно ефективним і здатним виконувати складні завдання, такі як масштабна реконструкція зображень.

У цій публікації ми досліджували можливе рішення для реконструкції зображення з необроблених даних модальності за допомогою інтенсивної обчислювальної техніки, відомої як RAKI: метод глибокого навчання без бази даних для швидкої реконструкції зображення.

Щоб дізнатися більше про те, як AWS прискорює інновації в охороні здоров’я, відвідайте сайт AWS для здоров'я.

посилання

---

Про автора

Бенедетто Каролло є старшим архітектором рішень для медичної візуалізації та охорони здоров’я в Amazon Web Services в Європі, на Близькому Сході та в Африці. Його робота зосереджена на допомозі клієнтам медичної візуалізації та охорони здоров’я вирішувати бізнес-проблеми за допомогою технологій. Бенедетто має понад 15 років досвіду в області технологій і медичних зображень і працював у таких компаніях, як Canon Medical Research і Vital Images. Бенедетто отримав ступінь магістра з розробки програмного забезпечення з відзнакою в Університеті Палермо, Італія.