La demostración técnica muestra el verdadero poder del seguimiento facial de Quest Pro

Las capacidades de seguimiento facial de Quest Pro se utilizarán rápidamente para hacer que los avatares de Meta sean más expresivos, pero los avatares de próxima generación se beneficiarán mucho más de la nueva tecnología.

Una de las grandes funciones nuevas de Quest Pro es un sistema de seguimiento facial que utiliza cámaras internas para detectar el movimiento de los ojos y algunas partes de la cara. Combinado con un modelo de aprendizaje automático sin calibración, el auricular toma lo que ve y lo convierte en entradas que pueden impulsar la animación de cualquier avatar.

Cobertura de Key Quest Pro:

Quest Pro revelado: especificaciones completas, precio y fecha de lanzamiento

Práctica práctica de Quest Pro: el amanecer de la era de los auriculares de realidad mixta

Análisis técnico de Quest Pro: qué es prometedor y qué no

Controladores Touch Pro revelados: también compatibles con Quest 2

En el corto plazo, esto se pondrá en uso con los avatares existentes de Meta. Y aunque ciertamente los hace más expresivos, todavía se ven algo tontos.

Este es probablemente el resultado de que el actual sistema Meta avatar no se haya construido con este nivel de seguimiento facial en mente. El 'rigging', el marco de animación subyacente del modelo, no parece muy adecuado para la tarea. Injertar las entradas de seguimiento facial de Quest Pro en el sistema actual realmente no está haciendo justicia a lo que realmente es capaz de hacer.

Afortunadamente, Meta ha creado una demostración técnica que muestra lo que es posible cuando se diseña un avatar teniendo en cuenta el seguimiento facial de Quest Pro (y cuando casi toda la potencia de procesamiento de los auriculares se dedica a renderizarlo).

[Contenido incrustado]

Sí, todavía es un poco inestable, pero cada movimiento que ves aquí está siendo impulsado por el usuario haciendo los mismos movimientos, incluyendo cosas como hinchar las mejillas o mover la boca de un lado a otro. En general, es una representación mucho más completa de una cara que, según yo, logra evitar entrar en el valle inquietante.

Tengo que probar esta demostración por mí mismo en mi práctica reciente con Quest Pro donde me miré al espejo y aparecí como este personaje (que Meta llama Aura). Salí realmente impresionado de que, incluso sin una calibración especial, la cara que veía en el espejo parecía imitar cualquier movimiento que se me ocurriera hacer con mi cara.

Me atrajo especialmente el detalle de la piel. Si entrecerraba los ojos y arrugaba la nariz, podía ver que la piel a su alrededor se hinchaba de manera realista, y lo mismo cuando levantaba la ceja. Estos detalles sutiles, como el pliegue en las mejillas que se mueve con la boca, realmente agregan mucho a la impresión de que no es solo un objeto frente a mí, sino algo que tiene un ser vivo detrás.

Ya sea que las expresiones realmente se vean o no me cuando yo soy el que está detrás de la máscara es otra cuestión. Dado que la cara de este avatar no coincide con la mía, en realidad es difícil de decir. Pero que los movimientos sean al menos plausiblemente realista es un primer paso importante hacia los avatares virtuales que se sienten naturales y creíbles.

Meta dice que lanzará la demostración de Aura como un proyecto de código abierto para que los desarrolladores puedan ver cómo adjuntaron las entradas de seguimiento facial al avatar. La compañía también dice que los desarrolladores podrán usar un solo conjunto de herramientas para conducir avatares humanoides o avatares no humanos como animales o monstruos sin necesidad de modificar cada avatar individualmente.

Meta dice que los desarrolladores podrán aprovechar una API de seguimiento facial que utiliza valores correspondientes a FACS, un sistema bien reconocido para describir el movimiento de diferentes músculos en el rostro humano.

Este es un sistema efectivo no solo para representar caras, sino que también forma una barrera de privacidad útil para los usuarios. Según Meta, los desarrolladores no pueden acceder a las imágenes sin procesar de la cara del usuario. En cambio, obtienen una "serie de valores de cero a uno que se corresponden con un conjunto de movimientos faciales genéricos, como cuando arrugas la nariz o frunces el ceño", dice Meta. “Estas señales facilitan que un desarrollador conserve el significado semántico del movimiento original del jugador cuando asigna señales de la API de seguimiento de rostros a su propio equipo de personajes, ya sea que su personaje sea humanoide o incluso algo más fantástico”.

Meta afirma que ni siquiera la propia empresa puede ver las imágenes capturadas por las cámaras de los auriculares, ya sean internas o externas. Se procesan en los auriculares y luego se eliminan de inmediato, según la empresa, sin enviarlos nunca a la nube ni a los desarrolladores.