Aqui está o benefício de desempenho exato da renderização foveated no Quest Pro

O Quest Pro suporta renderização foveated com rastreamento ocular, mas exatamente o quanto isso melhora o desempenho?

Se você não estiver familiarizado com o termo, renderização foveated eye track (ETFR) é uma técnica em que apenas a região da tela que você está vendo no momento é renderizada em resolução total, liberando assim o desempenho, já que o restante é de resolução mais baixa. Esse desempenho extra pode ser usado para melhorar a fidelidade gráfica dos aplicativos ou para uma resolução básica mais alta.

Você não percebe a resolução mais baixa na periferia porque o próprio olho humano só pode ver alta resolução no centro – a fóvea. É por isso que você não pode ler uma página de texto sem mover o olhar. Acredite ou não, essa área foveal tem apenas cerca de 3 graus de largura.

ETFR tem sido considerado um “santo graal” para VR, porque se sua GPU realmente tivesse que renderizar apenas 3 graus do seu campo de visão em resolução total, o benefício de desempenho poderia ser da ordem de 20x. Isso permitiria telas de resolução ultra-alta ou gráficos incrivelmente detalhados. Mas, na realidade, alcançar isso exigiria perfeita rastreamento ocular com latência zero, uma taxa de atualização de tela absurdamente alta e um algoritmo de reconstrução de alta qualidade então você não notaria cintilação e cintilação.

Quest Pro é o primeiro headset de envio da Meta com rastreamento ocular. A latência de ponta a ponta dessa tecnologia de rastreamento ocular de primeira geração é da ordem de 50 milissegundos, e a taxa de atualização da tela atinge o máximo de 90Hz. Como tal, as economias reais de sua renderização foveated não chegam nem perto de 20x.

Os fones de ouvido da Meta têm suporte Fixo Renderização Foveada (FFR) – renderizando as bordas do lente em resolução mais baixa – desde Oculus Go há seis anos. Em uma palestra dada esta semana aos desenvolvedores, Meta detalhou os benefícios exatos de desempenho do Olho rastreado Renderização Foveada (ETFR) e comparou com FFR.

Ambos os tipos de renderização foveated são habilitados pelos desenvolvedores por aplicativo (embora obviamente ambos não possam ser usados ​​ao mesmo tempo). Os desenvolvedores têm três opções para a redução da resolução da periferia: Nível 1, Nível 2 e Nível 3. Com ETFR Nível 1, a periferia é renderizada com 4x menos pixels, enquanto no Nível 3, principalmente, com 16x menos pixels.

O benefício de desempenho exato da renderização foveated também depende da resolução básica do aplicativo. Quanto maior a resolução, maior a economia.

No aplicativo de teste de desempenho da Meta, eles encontraram na resolução padrão que o FFR economiza entre 26% e 36% de desempenho, dependendo do nível de foveação, enquanto o novo ETFR economiza entre 33% e 45%.

Mas com 1.5x a resolução padrão, a economia foi maior, com FFR entregando 34% a 43% e ETFR entregando 36% a 52%. Isso é um aumento de até 2x em relação ao uso de foveação - mas apenas um pequeno benefício em relação ao FFR.

Claro, o que realmente importa é o que ainda não sabemos: como perceptível são cada um desses níveis de ETFR? E como isso se compara a quão perceptível é o FFR? Isso é o que precisa ser comparado – não um determinado nível de FFR com o mesmo nível de ETFR. Isso é algo que testaremos em detalhes para nossa análise do Quest Pro.

Na Quest 2, o nível 1 do FFR não é perceptível, mas o nível 3 definitivamente é. E desde Quest Pro tem lentes mais nítidas tanto no centro quanto nas bordas, o FFR pode ser mais perceptível do que nunca, tornando o ETFR ainda mais vantajoso.

No PlayStation VR2, o benefício de desempenho reivindicado da renderização foveated é maior. reivindicações da Sony seu FFR economiza cerca de 60%, enquanto seu ETFR economiza cerca de 72%. Isso provavelmente se deve às arquiteturas de GPU muito diferentes de consoles e GPUs de PC em comparação com GPUs móveis, bem como à resolução mais alta. Também pode ser devido a diferenças na tecnologia de rastreamento ocular - o Meta é interno enquanto a Sony usa o Tobii.

O Eye Tracking no Quest Pro e no PlayStation VR2 é opcional por motivos de privacidade. Mas desativá-lo obviamente também desativará o ETFR, portanto, os aplicativos terão que voltar ao FFR.