Метадослідження: фотореалістичний одяг для кодеків-аватарів

Мета поділився новими дослідженнями щодо реалістичного моделювання одягу для аватарів.

Це рішення для одягу створено на основі Codec Avatars – довгострокового проекту Meta для розробки фотореалістичні аватари, керовані апаратними датчиками віртуальної реальності в режимі реального часу, створені тією ж командою. Замість традиційного рендерингу ідея Codec Avatars полягає у використанні серії нейронних мереж для вивчення зовнішнього вигляду певної людини, потім постійного кодування її поточного стану на основі вхідних даних датчиків і, нарешті, декодування цього стану як геометрії та остаточних вихідних текстур. З моменту початкової презентації команда Codec Avatars продемонструвала кілька еволюцій системи, наприклад більш реалістичні очі, версія потрібне лише стеження за очима та вхід із мікрофона, то Версія 2.0, що наближається до повного реалізму, і лише за допомогою генерації iPhone з Face ID.

Останні дослідження, Глибокий фотореалістичний вигляд для фізично імітованого одягу, застосовує нейронні мережі для реалістичної деформації одягу будь-якого типу тіла:

Як ми завжди відзначаємо, Мета все ще має пройти довгий шлях, щоб досягти такої точності доставки продуктів. Зараз ця система одягу працює лише зі швидкістю 13 кадрів на секунду на графічному процесорі NVIDIA RTX 3090. Але в області машинного навчання оптимізація з часом може бути драматичною. Синтез мовлення та алгоритми розпізнавання об’єктів на сьогоднішніх смартфонах також колись вимагали дорогих графічних процесорів ПК.

Мета Аватари сьогодні мають базовий художній стиль мультфільму. Їх реалістичність фактично зменшилася з часом, імовірно, вони краще підходять для більших груп із складним середовищем у таких програмах, як Horizon Worlds на мобільному процесорі Quest 2. Однак аватари кодеків можуть стати окремою опцією, а не прямим оновленням сучасних аватарів мультфільмів. в його інтерв'ю з Лексом Фрідманом, генеральний директор Марк Цукерберг описав майбутнє, коли ви можете використовувати «експресіоністський» аватар у казуальних іграх і «реалістичний» аватар на робочих зустрічах.

У квітні Ясер Шейх, який очолює команду Codec Avatars, сказав, що неможливо передбачити, наскільки далеко це від фактичної доставки. Він сказав, що коли проект починався, це було «за десять чудес», а тепер він вважає, що це «за п’ять чудес».