Ця технологія може перетворити реальний світ на живе мистецтво

Дослідники можуть взяти зображення та використовувати його як точку відліку для створення віртуального світу, об’єкта чи людини.

У міру того, як компанії досліджують наявність метавсесвіту через цифрового двійника, здатність швидко й легко створювати стилізований 3D-контент і віртуальні світи ставатиме ще важливішою.

Нещодавно опублікований Корнельського університету У статті досліджено цю зростаючу тенденцію та розроблено рішення для створення стилізованих полів нейронного випромінювання (SNeRF), які можна використовувати для створення широкого спектру динамічних віртуальних сцен із більшою швидкістю, ніж традиційні методи.

Використовуючи різні еталонні зображення, дослідницька група о Тху Нгуєн-Пхуок, Фен Лю та Лей Сяо змогли генерувати стилізовані 3D-сцени, які можна використовувати в різноманітних віртуальних середовищах. Наприклад, уявіть, що ви надягаєте гарнітуру віртуальної реальності та дивитесь, як виглядатиме реальний світ крізь стилізовану лінзу, як-от картина Пабло Пікассо.

Цей процес дозволяє команді не тільки швидко створювати віртуальні об’єкти, але й використовувати своє реальне середовище як частину віртуального світу з виявленням 3D-об’єктів. 

Важливо відзначити, що дослідницька група також могла спостерігати той самий об’єкт через різні напрямки огляду в тій же точці огляду, інакше відому як узгодженість перехресного огляду. Це створює захоплюючий ефект 3D під час перегляду у VR.

Чергуючи кроки оптимізації NeRF і стилізації, дослідницька група змогла взяти зображення та використати його як еталонний стиль, щоб потім відтворити реальне середовище, об’єкт або людину таким чином, щоб адаптувати стилізацію цього зображення, таким чином прискорення процесу створення.

«Ми представляємо новий метод навчання для вирішення цієї проблеми, чергуючи кроки NeRF і оптимізації стилізації», – сказала команда. «Такий метод дозволяє нам повною мірою використовувати ємність нашої апаратної пам’яті як для створення зображень із вищою роздільною здатністю, так і для застосування більш виразних методів передачі стилю зображення. Наші експерименти показують, що наш метод створює стилізовані NeRF для широкого діапазону контенту, включаючи сцени в приміщенні, на вулиці та динамічні сцени, і синтезує високоякісні нові види з узгодженістю перехресних зображень».

Через обмеження пам’яті NeRF дослідникам також довелося вирішити іншу проблему: як вони можуть відтворити більше 3D-зображень високої чіткості зі швидкістю, яка більше нагадує реальний час. Рішення полягало в тому, щоб створити цикл візуалізованих переглядів, який з кожною ітерацією міг більш узгоджено націлюватися на точки стилізації з кожним проходом, а потім перебудовувати зображення з більшою кількістю деталей. 

Технологія також покращила аватари. Стилізований підхід дослідницької групи SNeRF дозволив створити аватар, який був більш виразним під час розмов. Результатом є динамічні 4D-аватари, які можуть реалістично передавати такі емоції, як гнів, страх, хвилювання та збентеження, і все це без використання емодзі чи натискання кнопки на контролері VR.

Дослідницька робота все ще триває, але на даний момент команда змогла розробити метод стилізації 3D-сцени з використанням неявних нейронних репрезентацій, які вплинули на їхнє середовище та їхні аватари. Крім того, їхній підхід із використанням альтернативного методу стилізації дозволив їм скористатися перевагами повного використання можливостей апаратної пам’яті для стилізації як статичних, так і динамічних 3D-сцен, дозволяючи команді створювати зображення з вищою роздільною здатністю та застосовувати більш виразну передачу стилю зображення. методи у VR. 

Якщо вам цікаво заглибитися в деталі, ви можете переглянути їхній звіт тут.

Автор зображення: Корнельський університет