Революция в компьютерной графике приносит 3D-реальность в массы

Революция в компьютерной графике приносит 3D-реальность в массы

Отметка времени: 6 ноября 2023 г., 10:23
Революция в компьютерной графике приносит массовому захвату 3D-реальности PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

В качестве оружия войны уничтожение объектов культурного наследия является общий метод вооруженными захватчиками с целью лишить общину ее особой самобытности. Неудивительно, что в феврале 2022 года, когда российские войска вошли в Украину, историки и специалисты по культурному наследию готовились к предстоящим разрушениям. До сих пор в российско-украинской войне ЮНЕСКО подтвердил ущерб сотням религиозных и исторических зданий и десяткам общественных памятников, библиотек и музеев.

Хотя новые технологии, такие как недорогие дроны, 3D печатьи частный спутниковый интернет Возможно, это создает поле боя 21-го века, незнакомое обычным армиям, но другой набор технологий создает новые возможности для гражданских архивистов, находящихся на передовой, по сохранению объектов украинского наследия.

Бэкап Украина, совместный проект Датской национальной комиссии по делам ЮНЕСКО и Polycam, инструмента для создания 3D-изображений, позволяет любому, у кого есть только телефон, сканировать и снимать высококачественные, подробные и фотореалистичные 3D-модели объектов наследия, что возможно только с помощью дорогостоящих и обременительных оборудование всего несколько лет назад.

По словам Билавала Сидху, технолога, бизнес-ангела и бывшего менеджера по продуктам Google, который работал над 3D-картами и AR/VR, Backup Ukraine является ярким выражением потрясающей скорости, с которой развиваются технологии 3D-захвата и графики.

«Технологии захвата реальности находятся на ошеломляющей экспоненциальной кривой демократизации», — объяснил он мне в интервью для Singularity Hub.

По словам Сидху, создание 3D-ресурсов было возможно, но только с помощью дорогих инструментов, таких как зеркальные камеры, лидарные сканеры и дорогие лицензии на программное обеспечение. В качестве примера он привел работу СайАрк, некоммерческой организации, основанной два десятилетия назад с целью использования технологий 3D-съемки профессионального уровня для сохранения культурного наследия по всему миру.

«Что безумно и что изменилось, так это то, что сегодня я могу делать все это с iPhone в вашем кармане», — говорит он.

В ходе нашей дискуссии Сидху выделил три отдельные, но взаимосвязанные технологические тенденции, которые способствуют этому прогрессу. Во-первых, это снижение стоимости камер и датчиков, которые могут захватывать объект или пространство. Во-вторых, это каскад новых методов, которые используют искусственный интеллект для создания готовых 3D-активов. И в-третьих, это рост вычислительной мощности, в основном благодаря графическим процессорам, способным отображать объекты с интенсивным использованием графики на устройствах, широко доступных потребителям.

Лидарные сканеры являются примером улучшения соотношения цены и качества датчиков. Впервые они были популяризированы как громоздкие датчики вращения, установленные на беспилотных транспортных средствах, и продавались по цене десятки тысяч долларов, лидар дебютировал в потребительских технологиях на iPhone 12 Pro и Pro Max в 2020 году. Возможность сканировать пространство так же, как беспилотные автомобили видят мир, означала, что внезапно каждый мог быстро и дешево создавать подробные 3D-активы. Однако это по-прежнему было доступно только самым богатым клиентам Apple.

Один из наиболее важных поворотных моментов в отрасли произошел в том же году, когда исследователи из Google выпустили поля нейронного излучения, обычно называемые NeRF.

Этот подход использует машинное обучение для построить достоверную 3D-модель объекта или пространства из 2D-изображений или видео. По словам Сидху, нейронная сеть «галлюцинирует», как будет выглядеть полноценная трехмерная сцена. Это решение «синтеза представлений», задачи компьютерной графики, позволяющей кому-либо увидеть пространство с любой точки зрения, используя всего лишь несколько исходных изображений.

«Итак, эта штука вышла, и все поняли, что теперь у нас есть современный синтез изображений, который блестяще работает со всеми вещами, с которыми фотограмметрия сталкивалась с трудностями, такими как прозрачность, полупрозрачность и отражательная способность. Это какое-то безумие», — добавляет он.

Сообщество компьютерного зрения направило свой энтузиазм на коммерческие приложения. В Google Сидху и его команда изучали возможность использования этой технологии для Иммерсивный вид, 3D-версия Google Maps. Для обычного пользователя распространение таких удобных приложений, как Люма ИИ и другие означали, что любой, у кого есть камера смартфона, может создавать фотореалистичные 3D-ресурсы. Создание высококачественного 3D-контента больше не ограничивалось лидарной элитой Apple.

Теперь еще один потенциально еще более многообещающий метод решения синтеза представлений привлекает внимание, конкурируя с ранним энтузиазмом NeRF. Гауссово пятно это метод рендеринга, который имитирует способ треугольники используются для традиционных 3D-активов., но вместо треугольников это «пятно» цвета, выраженное через математическую функцию, известную как гауссиан. По мере того, как все больше гауссов накладываются друг на друга, становится виден высокодетализированный и текстурированный 3D-ресурс. Скорость внедрения сплаттинга ошеломляет.

Прошло всего несколько месяцев, но демос заливают X, а Luma AI и Polycam предлагают инструменты для генерации гауссовых пятен. Другие разработчики уже работают над способами интеграции их в традиционные игровые движки, такие как Unity и Unreal. Splats также привлекают внимание со стороны традиционной индустрии компьютерной графики, поскольку скорость их рендеринга выше, чем у NeRF, и их можно редактировать способами, уже знакомыми 3D-художникам. (NeRF не позволяют этого, поскольку они генерируются непонятной нейронной сетью.)

Отличное объяснение того, как работает гауссово пятно и почему оно вызывает ажиотаж, можно найти в этом видео от Sidhu.

[Встраиваемое содержимое]

Независимо от деталей, для потребителей мы определенно переживаем момент, когда телефон может создавать 3D-ресурсы голливудского уровня, которые еще недавно могли создавать только хорошо оснащенные производственные группы.

Но почему создание 3D вообще имеет значение?

Чтобы оценить переход к 3D-контенту, стоит отметить, что технологический ландшафт ориентируется на будущее «пространственных вычислений». Хотя чрезмерно используемые термины, такие как метавселенная, могут вызвать закатывание глаз, основная идея заключается в признании того, что трехмерные среды, подобные тем, которые используются в видеоиграх, виртуальных мирах и цифровых двойниках, будут играть большую роль в нашем будущем. 3D-активы, подобные тем, которые создаются с помощью NeRF и splatting, могут стать контентом, с которым мы будем работать в будущем.

В этом контексте крупномасштабные амбиции – это надежда на 3D карта мира. Хотя инструменты для создания статических 3D-карт уже доступны, остается задача найти способы поддерживать эти карты в соответствии с постоянно меняющимся миром.

«Есть построение модели мира, а затем поддержание этой модели мира. Я думаю, что благодаря этим методам, о которых мы говорим, у нас, наконец, появится технология, позволяющая решить проблему «поддержания модели» посредством краудсорсинга», — говорит Сидху.

Такие проекты, как Immersive View от Google, являются хорошими примерами последствий этого для потребителей. Хотя он не стал предполагать, когда это в конечном итоге станет возможным, Сидху согласился, что в какой-то момент появится технология, которая позволит пользователю виртуальной реальности передвигаться по любой точке Земли, получая в реальном времени захватывающий опыт того, что там происходит. . Этот тип технологии также будет использоваться в усилиях по «телепортация» на основе аватара», удаленные встречи и другие общественные мероприятия.

Еще одна причина для волнения, говорит Сидху, — это захват 3D-памяти. Apple, например, сильно склоняется к 3D фото и видео для своей гарнитуры смешанной реальности Vision Pro. В качестве примера Сидху рассказал мне, что недавно он создал высококачественную копию дома своих родителей, прежде чем они переехали. Затем он мог бы дать им возможность войти внутрь него, используя виртуальную реальность.

«Интуитивное ощущение возвращения туда очень сильное. Вот почему я так оптимистично отношусь к Apple: если они добьются успеха в этом 3D-медиаформате, именно здесь для обычных людей все может стать интересным».

От наскального искусства до картин маслом — стремление сохранить аспекты нашего чувственного опыта глубоко человечно. Точно так же, как фотография когда-то использовалась в натюрмортах как средство сохранения, инструменты создания 3D, похоже, готовы вытеснить нашу давнюю любовь к 2D-изображениям и видео.

Но точно так же, как фотография может надеяться запечатлеть лишь долю момента времени, 3D-модели не могут полностью заменить наше отношение к физическому миру. Тем не менее, для тех, кто переживает ужасы войны на Украине, возможно, это желанные события, предлагающие более захватывающий способ сохранить то, что никогда не сможет быть заменено.

Изображение Фото: Вим Торбейнс / Unsplash 

Отметка времени:

Больше от Singularity Hub