Революція в комп’ютерній графіці приносить 3D захоплення реальності в маси

Революція в комп’ютерній графіці приносить 3D захоплення реальності в маси

Мітка часу: 6 листопада 2023 р., 10:23
Революція в комп’ютерній графіці приносить 3D захоплення реальності в маси PlatoBlockchain Data Intelligence. Вертикальний пошук. Ai.

Як зброя війни, знищення об’єктів культурної спадщини є a загальний метод озброєними загарбниками, щоб позбавити громаду їхньої самобутності. Тоді не дивно, що в лютому 2022 року, коли російські війська увійшли в Україну, історики та фахівці з культурної спадщини готувалися до майбутнього руйнування. Поки що в російсько-українській війні ЮНЕСКО підтверджений пошкодження сотень релігійних та історичних будівель і десятків громадських пам'ятників, бібліотек і музеїв.

Поки нові технології подобаються недорогі дрони, 3D друку та приватний супутниковий Інтернет може створити поле битви 21-го століття, незнайоме для звичайних армій, інший набір технологій створює нові можливості для громадянських архівістів поза межами фронту для збереження українських об’єктів спадщини.

Резервна Україна, спільний проект між Датською національною комісією ЮНЕСКО та Polycam, інструментом для створення 3D, дозволяє будь-кому, хто має лише телефон, сканувати та знімати високоякісні, детальні та фотореалістичні 3D-моделі об’єктів спадщини, що можливо лише за допомогою дорогого та обтяжливого обладнання. обладнання лише кілька років тому.

За словами Білавала Сідху, технолога, інвестора-ангела та колишнього менеджера з продуктів Google, який працював над 3D-картами та AR/VR, Backup Ukraine є помітним проявом приголомшливої ​​швидкості, з якою прогресують технології 3D-зйомки та графіки.

«Технології захоплення реальності знаходяться на приголомшливій експоненційній кривій демократизації», — пояснив він мені в інтерв’ю для Хаб сингулярності.

За словами Сідху, створення 3D-ресурсів було можливим, але лише за допомогою дорогих інструментів, таких як камери DSLR, сканери lidar і дорогі ліцензії на програмне забезпечення. Як приклад він навів роботу в CyArk, некомерційна організація, заснована два десятиліття тому з метою використання професійних технологій 3D-зйомки для збереження культурної спадщини в усьому світі.

«Що божевільно і що змінилося, так це те, що сьогодні я можу робити все це з iPhone у вашій кишені», — каже він.

Під час нашої дискусії Сідху виклав три різні, але взаємопов’язані технологічні тенденції, які рухають цей прогрес. По-перше, це падіння вартості типів камер і датчиків, які можуть зафіксувати об’єкт або простір. По-друге, це каскад нових методів, які використовують штучний інтелект для створення готових 3D-активів. І по-третє, це поширення обчислювальної потужності, в основному завдяки графічним процесорам, здатним відтворювати інтенсивні графічні об’єкти на пристроях, широко доступних для споживачів.

Лідарні сканери є прикладом покращення ціни та якості датчиків. Спочатку популяризувався як громіздкі датчики, що обертаються на верхній частині автономних транспортних засобів, і оцінювався в ціні десятки тисяч доларів, lidar дебютував у споживчих технологіях на iPhone 12 Pro та Pro Max у 2020 році. Здатність сканувати простір так само, як безпілотні автомобілі бачать світ, означала, що раптом будь-хто міг швидко та дешево створювати детальні 3D-ресурси. Однак це все ще було доступно лише для найбагатших клієнтів Apple.

Один із найзначніших поворотних моментів галузі стався того ж року, коли дослідники Google введені поля нейронного випромінювання, які зазвичай називають NeRF.

Цей підхід використовує машинне навчання побудувати достовірну 3D-модель об’єкта чи простору з 2D-зображень або відео. За словами Сідху, нейронна мережа «галюцинує», як виглядатиме повна 3D-сцена. Це рішення для «синтезу перегляду», задачі комп’ютерної графіки, яка прагне дозволити комусь побачити простір з будь-якої точки зору лише з кількох вихідних зображень.

«Тож ця штука з’явилася, і всі зрозуміли, що тепер ми маємо найсучасніший синтез зображень, який чудово працює для всіх речей, з якими фотограмметрія мала труднощі, як-от прозорість, напівпрозорість і відбивна здатність. Це якесь божевілля», – додає він.

Спільнота комп’ютерного зору спрямувала своє захоплення на комерційні програми. У Google Сідху та його команда досліджували використання технології для Імерсивний перегляд3D-версія Google Maps. Для звичайного користувача поширення зручних для споживача програм, як Лума А.І а інші означали, що кожен, хто має лише камеру смартфона, може створювати фотореалістичні 3D-ресурси. Створення високоякісного 3D-контенту більше не обмежувалося лідар-елітою Apple.

Тепер ще один потенційно ще більш перспективний метод вирішення проблеми синтезу зображень привертає увагу, конкуруючи з раннім захопленням NeRF. Гауссове розплескування це техніка візуалізації, яка імітує шлях трикутники використовуються для традиційних 3D-активів, але замість трикутників це «крапка» кольору, виражена через математичну функцію, відому як гаусс. Оскільки більше гауссів об’єднується разом, стає видимим високодеталізований і текстурований 3D-ресурс. Швидкість адаптації для нанесення вражає.

Минуло лише кілька місяців, але демос заповнюють X, і як Luma AI, так і Polycam пропонують інструменти для генерації знаків Гауса. Інші розробники вже працюють над способами їх інтеграції в традиційні ігрові движки, такі як Unity та Unreal. Значки також привертають увагу індустрії традиційної комп’ютерної графіки, оскільки швидкість їх рендерингу є вищою, ніж у NeRF, і їх можна редагувати способами, уже знайомими художникам 3D. (NeRF не дозволяють це робити, оскільки їх генерує нейронна мережа, яку неможливо розшифрувати.)

Щоб отримати чудове пояснення того, як працює гауссове нанесення та чому воно викликає шум, перегляньте це відео від Sidhu.

[Вбудоване вміст]

Незважаючи на деталі, для споживачів ми явно перебуваємо в моменті, коли телефон може створювати 3D-ресурси голлівудського калібру, які ще недавно могли створити лише добре обладнані виробничі групи.

Але чому створення 3D взагалі має значення?

Щоб оцінити перехід до 3D-контенту, варто зазначити, що технологічний ландшафт орієнтується на майбутнє «просторових обчислень». Хоча занадто вживані терміни, як-от метавсесвіт, можуть закотити очі, основний дух полягає у визнанні того, що 3D-середовища, як-от ті, що використовуються у відеоіграх, віртуальних світах і цифрових близнюках, відіграють велику роль у нашому майбутньому. 3D-ресурси, такі як створені NeRFs і splatting, готові стати вмістом, з яким ми будемо працювати в майбутньому.

У цьому контексті масштабні амбіції є надією на реальний час 3D карта світу. Незважаючи на наявність інструментів для створення статичних 3D-карт, залишається проблема пошуку способів підтримувати ці карти в актуальному стані у світі, що постійно змінюється.

«Є побудова моделі світу, а потім є підтримка цієї моделі світу. З цими методами, про які ми говоримо, я думаю, ми нарешті можемо мати технологію для вирішення проблеми «підтримки моделі» за допомогою краудсорсингу», — каже Сідху.

Такі проекти, як Immersive View від Google, є гарними першими прикладами наслідків цього для споживачів. Хоча він не став припускати, коли це врешті-решт стане можливим, Сідху погодився, що в якийсь момент з’явиться технологія, яка дозволить користувачеві у віртуальній реальності ходити будь-де на Землі, дивлячись на те, що там відбувається, у режимі реального часу. . Цей тип технології також буде використовуватися в зусиллях «телепортація» на основі аватарів”, дистанційні зустрічі та інші соціальні заходи.

Сідху каже, що ще одна причина для захоплення — це тривимірне захоплення пам’яті. Apple, наприклад, сильно схиляється до 3D фото і відео для гарнітури змішаної реальності Vision Pro. Як приклад, Сідху розповів мені, що він нещодавно створив високоякісну копію будинку своїх батьків, перш ніж вони переїхали. Потім він міг би дати їм досвід прогулянки всередині нього за допомогою віртуальної реальності.

«Відчуття того, що ти повернувся туди, таке сильне. Ось чому я так налаштований на Apple, тому що якщо вони створять цей 3D-формат медіа, це те, де все може стати захоплюючим для звичайних людей».

Від печерного мистецтва до олійних картин, прагнення зберегти аспекти нашого чуттєвого досвіду глибоко людське. Подібно до того, як фотографія колись використовувала натюрморти як засіб збереження, інструменти для створення 3D, здається, готові витіснити нашу давню історію з 2D-зображеннями та відео.

Однак так само, як фотографія може сподіватися зафіксувати лише частку миті в часі, 3D-моделі не можуть повністю замінити наше ставлення до фізичного світу. Тим не менш, для тих, хто переживає жахи війни в Україні, можливо, це бажані розробки, які пропонують більш захоплюючий спосіб зберегти те, що ніколи не можна справді замінити.

Зображення Фото: Вім Торбейнс / Unsplash 

Часова мітка:

Більше від Хаб сингулярності