Los investigadores de Meta demuestran el seguimiento del cuerpo de Quest 2 sin rastreadores adicionales

Los investigadores de Meta demostraron el seguimiento del cuerpo de Quest 2 sin rastreadores adicionales.

Los sistemas de realidad virtual actuales se envían con un auricular y controladores sostenidos, por lo que solo rastrean la posición de la cabeza y las manos. La posición de los codos, el torso y las piernas se puede estimar usando una clase de algoritmos llamados cinemática inversa (IK), pero esto es solo preciso a veces para los codos y rara vez correcto para las piernas. Hay demasiadas soluciones potenciales para cada conjunto dado de posiciones de la cabeza y las manos.

Dadas las limitaciones de IK, algunos Las aplicaciones de realidad virtual de hoy solo muestran tus manos, y muchas solo te muestran la parte superior del cuerpo. Los auriculares para PC que usan soporte de seguimiento SteamVR usan rastreadores adicionales como Rastreador Vive de HTC, pero los tres necesarios para el seguimiento del cuerpo cuestan más de $ 350 y, por lo tanto, esto no es compatible con la mayoría de los juegos.

Pero en un nuevo artículo titulado QuestSim, los investigadores de Meta demostraron un sistema impulsado por una red neuronal que puede estimar una pose plausible de cuerpo completo con solo los datos de seguimiento de Quest 2 y sus controladores. No se necesitan rastreadores ni sensores externos adicionales.

El movimiento del avatar resultante coincide bastante con el movimiento real del usuario. Los investigadores incluso afirman que la precisión y la fluctuación resultantes son superiores a los rastreadores IMU usados: dispositivos con solo un acelerómetro y un giroscopio como el anunciado por Pico 4. Banda de fitness Pico (Sin embargo, Pico afirma que está trabajando en su propio algoritmo de aprendizaje automático).

Sin embargo, hay una trampa aquí. Como se ve en el video, este sistema está diseñado para priorizar la producción de un plausible cuerpo completo posar sobre asegurarse de que las manos del avatar coincidan con la posición exacta de las manos del usuario. La latencia del sistema también es de 160 ms, más de 11 fotogramas a 72 Hz. Dados estos problemas, QuestSim solo sería adecuado para ver los cuerpos de avatar de otras personas, no para ver su propio cuerpo cuando mira hacia abajo.

Pero aún así, ver el movimiento de todo el cuerpo de los avatares de otras personas sería mucho mejor que la parte superior del cuerpo sin piernas, a menudo criticada, de los avatares actuales de Meta. Entonces, ¿este sistema, o algo parecido, llegará a Quest 2?

El CTO de Meta, Andrew Bosworth, ciertamente pareció insinuar esto la semana pasada. Cuando preguntó sobre el seguimiento de piernas en un Instagram "pregúntame cualquier cosa" Bosworth respondió:

“Sí, nos hemos burlado mucho de los avatares sin piernas, y creo que eso es muy justo y creo que es bastante divertido.

Tener piernas en tu propio avatar que no coincidan con tus piernas reales es muy desconcertante para la gente. Pero claro le podemos poner patas a otra gente, eso lo ves, y no te molesta en absoluto.

Así que estamos trabajando en piernas que parezcan naturales para alguien que es un espectador, porque no saben cómo están colocadas realmente tus piernas, pero probablemente, cuando mires tus propias piernas, seguirás sin ver nada. Esa es nuestra estrategia actual”.

Sin embargo, la solución a corto plazo podría no tener la misma calidad que este algoritmo. Los trabajos de investigación de aprendizaje automático tienden a ejecutarse en potentes GPU de PC a una velocidad de fotogramas relativamente baja. El documento no menciona el rendimiento del sistema descrito, pero un RTX 3080 figura como utilizado para capacitación.

Se lleva a cabo el evento anual AR/VR de Meta Connect en poco más de 2 semanas, por lo que es probable que cualquier anuncio de seguimiento del cuerpo tenga lugar durante el mismo.