Tech Demo mostra o verdadeiro poder do rastreamento facial Quest Pro

Os recursos de rastreamento de rosto do Quest Pro serão rapidamente colocados em uso para tornar os avatares do Meta mais expressivos, mas os avatares de última geração se beneficiarão muito mais da nova tecnologia.

Um dos grandes novos recursos do Quest Pro é um sistema de rastreamento de rosto que usa câmeras internas para detectar o movimento de seus olhos e algumas partes do seu rosto. Combinado com um modelo de aprendizado de máquina sem calibração, o headset pega o que vê e o transforma em entradas que podem conduzir a animação de qualquer avatar.

Cobertura do Key Quest Pro:

Revelado o Quest Pro – Especificações completas, preço e data de lançamento

Quest Pro Hands-on – O surgimento da era dos fones de ouvido de realidade mista

Análise técnica da Quest Pro – O que é promissor e o que não é

Revelados os controladores Touch Pro – também compatíveis com o Quest 2

No curto prazo, isso será usado com os avatares existentes do Meta. E embora certamente os torne mais expressivos, eles ainda parecem um pouco patetas.

Este é provavelmente o resultado do atual sistema de avatar Meta não ser construído com esse nível de rastreamento de rosto em mente. O 'rigging' - a estrutura de animação subjacente do modelo - parece não ser adequado para a tarefa. Enxertar as entradas de rastreamento de rosto do Quest Pro no sistema atual não está realmente fazendo justiça ao que ele realmente é capaz.

Felizmente, a Meta construiu uma demonstração de tecnologia que mostra o que é possível quando um avatar é projetado com o rastreamento de rosto do Quest Pro em mente (e quando quase todo o poder de processamento do fone de ouvido é dedicado a renderizá-lo).

[Conteúdo incorporado]

Sim, ainda está um pouco instável, mas cada movimento que você está vendo aqui está sendo conduzido pelo usuário fazendo os mesmos movimentos, incluindo coisas como estufar as bochechas ou mover a boca de um lado para o outro. No geral, é uma representação muito mais completa de um rosto que eu diria que consegue evitar entrar no vale misterioso.

Eu tenho que tentar esta demo para mim no meu prática recente com o Quest Pro onde me olhei no espelho e apareci como esse personagem (que Meta chama de Aura). Fiquei realmente impressionado que, mesmo sem calibração especial, o rosto que vi no espelho parecia imitar qualquer movimento que eu pudesse pensar em fazer com o meu rosto.

Fiquei especialmente atraída pelos detalhes na pele. Se eu apertasse os olhos e franzisse o nariz, poderia ver a pele ao redor dele se contrair de forma realista, e a mesma coisa quando eu levantava a sobrancelha. Esses detalhes sutis, como o vinco nas bochechas se movendo com a boca, realmente adicionam muito à impressão de que não é apenas um objeto na minha frente, mas algo que tem um ser vivo por trás dele.

Se as expressões realmente se parecem ou não me quando sou eu quem está por trás da máscara é outra questão. Como o rosto deste avatar não combina com o meu, é difícil dizer. Mas que os movimentos sejam pelo menos plausivelmente realista é um primeiro passo importante para avatares virtuais que pareçam naturais e críveis.

A Meta diz que lançará a demonstração do Aura como um projeto de código aberto para que os desenvolvedores possam ver como anexaram as entradas de rastreamento de rosto ao avatar. A empresa também diz que os desenvolvedores poderão usar um único conjunto de ferramentas para conduzir avatares humanoides ou avatares não humanos, como animais ou monstros, sem precisar ajustar cada avatar individualmente.

Meta diz que os desenvolvedores poderão usar uma API de rastreamento de rosto que usa valores correspondentes ao FACS, um sistema bem reconhecido para descrever o movimento de diferentes músculos no rosto humano.

Este é um sistema eficaz não apenas para representar rostos, mas também forma uma barreira de privacidade útil para os usuários. De acordo com Meta, os desenvolvedores não podem realmente ter acesso às imagens brutas do rosto do usuário. Em vez disso, eles recebem uma “série de valores zero a um que correspondem a um conjunto de movimentos faciais genéricos, como quando você torce o nariz ou franze as sobrancelhas”, diz Meta. “Esses sinais facilitam para um desenvolvedor preservar o significado semântico do movimento original do jogador ao mapear sinais da API de rastreamento de rosto para seu próprio equipamento de personagem, seja seu personagem humanoide ou até algo mais fantástico.”

A Meta afirma que nem a própria empresa consegue ver as imagens capturadas pelas câmeras do fone de ouvido, sejam internas ou externas. Eles são processados ​​no fone de ouvido e imediatamente excluídos, segundo a empresa, sem nunca serem enviados para a nuvem ou para os desenvolvedores.