Meta Research: фотореалистичная одежда для кодеков-аватаров

Meta поделилась новым исследованием реалистичного моделирования одежды для аватаров.

Это решение для одежды построено на основе Codec Avatars — долгосрочного проекта Meta по разработке фотореалистичные аватары, управляемые в режиме реального времени с помощью аппаратных датчиков виртуальной реальности, от той же команды. Вместо традиционного рендеринга идея Codec Avatars состоит в том, чтобы использовать ряд нейронных сетей для изучения внешнего вида данного человека, затем постоянно кодировать его текущее состояние на основе входных данных датчика и, наконец, декодировать это состояние в виде геометрии и окончательных выходных текстур. С момента первоначального представления команда Codec Avatars продемонстрировала несколько усовершенствований системы, таких как более реалистичные глаза, версия требуется только отслеживание взгляда и вход микрофона, чтобы Версия 2.0, приближающаяся к полному реализму, и генерация с использованием только айфон с FaceID.

Последние исследования, Глубокий фотореалистичный внешний вид для физически смоделированной одежды, применяет нейронные сети к реалистичной деформации одежды для любого типа телосложения:

Как мы всегда отмечаем, Мета по-прежнему предстоит пройти долгий путь, чтобы достичь такой точности доставки продукции. Эта система одежды в настоящее время работает со скоростью всего 13 кадров в секунду на графическом процессоре NVIDIA RTX 3090. Но в области машинного обучения оптимизация со временем может быть драматичной. Алгоритмы синтеза речи и распознавания объектов на смартфонах сегодня также когда-то требовали дорогих графических процессоров для ПК.

Мета Аватары сегодня иметь базовый мультяшный художественный стиль. Их реалистичность на самом деле со временем уменьшилась, вероятно, они лучше подходят для больших групп со сложной средой в таких приложениях, как Horizon Worlds на мобильном процессоре Quest 2. Однако аватары с кодеком могут стать отдельной опцией, а не прямым обновлением современных мультяшных аватаров. В его интервью с Лексом Фридманом, генеральный директор Марк Цукерберг описал будущее, в котором вы можете использовать «экспрессионистский» аватар в казуальных играх и «реалистичный» аватар на рабочих встречах.

В апреле Ясер Шейх, возглавляющий команду Codec Avatars, сказал, что невозможно предсказать, насколько далеко это будет от фактической поставки. Он сказал, что когда проект начинался, он был «в десяти чудесах», а теперь он считает, что «в пяти чудесах».