Эта технология может превратить реальный мир в живое искусство

Исследователи могут взять изображение и использовать его в качестве ориентира для создания виртуального мира, объекта или человека.

По мере того, как компании изучают возможность присутствия метавселенной с помощью цифрового двойника, возможность быстро и легко создавать стилизованный 3D-контент и виртуальные миры будет становиться все более важной в будущем.

Недавно опубликованный Корнельского университета В статье исследована эта растущая тенденция и разработано решение для создания стилизованных полей нейронного излучения (SNeRF), которые можно использовать для создания широкого спектра динамических виртуальных сцен с большей скоростью, чем традиционные методы.

Используя различные эталонные изображения, исследовательская группа Ту Нгуен-Фуок, Фэн Люи Лэй Сяо смогли создать стилизованные 3D-сцены, которые можно было использовать в различных виртуальных средах. Например, представьте, что вы надеваете гарнитуру виртуальной реальности и смотрите, как реальный мир будет выглядеть через стилизованную линзу, такую ​​как картина Пабло Пикассо.

Этот процесс позволяет команде не только быстро создавать виртуальные объекты, но и использовать их реальную среду как часть виртуального мира с обнаружением 3D-объектов. 

Важно отметить, что исследовательская группа также могла наблюдать за одним и тем же объектом с разных направлений с одной и той же точки обзора, что также известно как согласованность между видами. Это создает захватывающий 3D-эффект при просмотре в виртуальной реальности.

Чередуя шаги NeRF и оптимизации стилизации, исследовательская группа смогла взять изображение и использовать его в качестве эталонного стиля, чтобы затем воссоздать реальную среду, объект или человека таким образом, чтобы адаптировать стилизацию этого изображения, тем самым ускорение процесса создания.

«Мы представляем новый метод обучения для решения этой проблемы, чередуя этапы оптимизации NeRF и стилизации», сказала команда. «Такой метод позволяет нам в полной мере использовать объем нашей аппаратной памяти как для создания изображений с более высоким разрешением, так и для применения более выразительных методов передачи стиля изображения. Наши эксперименты показывают, что наш метод создает стилизованные NeRF для широкого спектра контента, включая внутренние, наружные и динамические сцены, и синтезирует высококачественные новые виды с согласованностью между видами».

Из-за ограничений памяти NeRF исследователям также пришлось решить другую проблему: как они могли визуализировать больше 3D-изображений высокого разрешения со скоростью, которая больше напоминала бы реальное время. Решение состояло в том, чтобы создать цикл визуализированных представлений, который с каждой итерацией мог нацеливаться на точки стилизации более последовательно при каждом прохождении, а затем перестраивать изображение с большей детализацией. 

Технология также улучшила аватары. Стилизованный подход исследовательской группы к SNeRF позволил им создать аватар, который был более выразительным во время разговоров. Результатом являются динамические 4D-аватары, которые могут реалистично передавать такие эмоции, как гнев, страх, волнение и замешательство, и все это без необходимости использовать смайлики или нажимать кнопку на контроллере виртуальной реальности.

Исследовательская работа все еще продолжается, но на данный момент команда смогла разработать метод стилизации 3D-сцен с использованием неявных нейронных представлений, которые повлияли на их окружение и их аватары. Кроме того, их подход к использованию метода попеременной стилизации позволил им в полной мере использовать возможности аппаратной памяти для стилизации как статических, так и динамических 3D-сцен, что позволило команде создавать изображения с более высоким разрешением и применять более выразительную передачу стиля изображения. методы в ВР. 

Если вы хотите углубиться в детали, вы можете получить доступ к их отчету. здесь.

Кредит изображения: Корнельский университет