Pesquisadores do Meta demonstram rastreamento corporal da Quest 2 sem rastreadores extras

Meta pesquisadores demonstraram o rastreamento corporal da Quest 2 sem rastreadores extras.

Os sistemas de VR atuais são fornecidos com um fone de ouvido e controles fixos, portanto, rastreie apenas a posição da cabeça e das mãos. A posição de seus cotovelos, tronco e pernas pode ser estimada usando uma classe de algoritmos chamada cinemática inversa (IK), mas isso é apenas preciso às vezes para cotovelos e raramente correto para pernas. Existem muitas soluções potenciais para cada conjunto de posições de cabeça e mão.

Dadas as limitações do IK, alguns Os aplicativos de RV hoje mostram apenas suas mãos, e muitos oferecem apenas a parte superior do corpo. Fones de ouvido para PC usando rastreamento SteamVR suportam rastreadores extras, como Vive Tracker da HTC, mas os três necessários para o rastreamento do corpo custam mais de US $ 350 e, portanto, isso não é suportado na maioria dos jogos.

Mas em um novo artigo intitulado QuestSim, os pesquisadores da Meta demonstraram um sistema impulsionado por uma rede neural que pode estimar uma pose plausível de corpo inteiro com apenas os dados de rastreamento da Quest 2 e seus controladores. Não são necessários rastreadores extras ou sensores externos.

O movimento resultante do avatar corresponde ao movimento real do usuário de forma bastante próxima. Os pesquisadores até afirmam que a precisão e o jitter resultantes são superiores aos rastreadores IMU usados ​​- dispositivos com apenas um acelerômetro e giroscópio, como o anunciado do Pico 4 Banda Pico Fitness (Pico afirma que está trabalhando em seu próprio algoritmo de aprendizado de máquina).

O Mercado Pago não havia executado campanhas de Performance anteriormente nessas plataformas. Alcançar uma campanha de sucesso exigiria há uma pegada aqui. Como pode ser visto no vídeo, este sistema foi projetado para priorizar a produção de um corpo todo pose para garantir que as mãos do avatar correspondam à posição exata das mãos do usuário. A latência do sistema também é de 160ms – mais de 11 quadros a 72Hz. Dadas essas questões, o QuestSim só seria adequado para ver os corpos dos avatares de outras pessoas, não para ver o seu próprio corpo ao olhar para baixo.

Mas ainda assim, ver o movimento de corpo inteiro dos avatares de outras pessoas seria muito preferível aos corpos superiores sem pernas frequentemente criticados dos avatares atuais de Meta. Então, esse sistema, ou algo parecido, está chegando à Quest 2?

O meta CTO Andrew Bosworth certamente parecia sugerir isso na semana passada. Quando perguntado sobre rastreamento de pernas em um Instagram “pergunte-me qualquer coisa” Bosworth respondeu:

“Sim, nós fomos muito ridicularizados pelos avatares sem pernas, e eu acho isso muito justo e muito engraçado.

Ter pernas em seu próprio avatar que não combinam com suas pernas reais é muito desconcertante para as pessoas. Mas é claro que podemos colocar as pernas em outras pessoas, que você pode ver, e isso não incomoda em nada.

Então, estamos trabalhando em pernas que parecem naturais para alguém que é espectador – porque eles não sabem como suas pernas reais estão realmente posicionadas – mas provavelmente você, quando olhar para suas próprias pernas, continuará a ver nada. Essa é a nossa estratégia atual.”

A solução de curto prazo pode não ter a mesma qualidade deste algoritmo. Os artigos de pesquisa de aprendizado de máquina tendem a ser executados em GPUs de PC poderosas com taxas de quadros relativamente baixas. O artigo não menciona o desempenho do sistema descrito, mas um RTX 3080 está listado como sendo usado para treinamento.

O evento anual de AR/VR Meta Connect acontece em pouco mais de 2 semanas, portanto, qualquer anúncio de rastreamento corporal provavelmente ocorreria durante ele.