Apilando la plataforma óptica: Presentamos Infinite Display + una introducción a la medición de la calidad visual en VR

Cuando se trata de realidad virtual, ver para creer. Tanto el sonido como la sensación táctil juegan un papel importante, pero para la mayoría de las personas, son las imágenes las que sellan el trato. Y el arte low-poly bellamente representado puede ser tan impresionante como un entorno hiperrealista. Simplemente no hay nada como estar completamente envuelto en un mundo virtual visualmente impresionante, sin importar si está lleno de realismo, completamente abstracto o en algún punto intermedio.

Pero la realidad virtual sigue siendo una tecnología emergente y no hay mucha comprensión compartida sobre lo que implica crear esa experiencia visual y las tecnologías complejas que deben unirse para producir lo que se ve dentro del visor. También existe cierta inconsistencia en toda la industria en la forma en que se define hoy la calidad visual en la realidad virtual.

Cuando pensamos en la calidad visual, muchas personas aplican los mismos principios y estándares que utilizamos tradicionalmente para pensar en pantallas 2D, como teléfonos móviles y televisores. Pero la realidad virtual es muy diferente de estos otros dispositivos de consumo. En lugar de mirar una pantalla grande a mayor distancia, los usuarios de realidad virtual miran una pantalla más pequeña, mucho más cerca de sus ojos y ampliada por un conjunto de lentes dentro de una pila óptica. Es como mirar un televisor a través de la lente de una cámara: lo que verás no sólo está determinado por la resolución de la pantalla, sino también por las propiedades ópticas de la lente, como el aumento y la nitidez.

Además, a diferencia de los televisores y los teléfonos móviles, la pantalla básicamente te sigue mientras mueves la cabeza y, debido a que está tan cerca de tus ojos, que pueden mirar a través de un amplio rango, la óptica debe proporcionar un rendimiento óptico y geométrico consistente en todos esos ángulos de visión para proporcionar una experiencia visual de calidad. Esto apunta al papel cada vez más importante que desempeñará la tecnología de seguimiento ocular en lo que respecta al rendimiento visual y la experiencia en realidad virtual en el futuro.

Creemos que la industria necesita alinearse con métricas de rendimiento específicas de la realidad virtual que muestren mejor el panorama completo. En lugar de centrarnos únicamente en la resolución de la pantalla, debemos considerar cómo la pantalla y la óptica funcionan juntas como un sistema en un visor de realidad virtual. La claridad visual en la realidad virtual está determinada por una serie de factores, los más importantes de los cuales son la resolución del sistema (medida en píxeles por grado o PPD), la nitidez (medida por la función de transferencia de modulación de una lente o MTF), la relación de contraste y el color. . En esta publicación, analizaremos más de cerca los cuatro y cómo se relacionan con la pila óptica Infinite Display recientemente introducida por Meta Quest Pro.

Resolución del sistema

Es tentador centrarse únicamente en la resolución de la pantalla cuando pensamos en la calidad de los cascos de realidad virtual, ya que esa es la métrica por la que tendemos a juzgar las pantallas 2D. Pero en lugar de eso, deberíamos evaluar la resolución completa del sistema óptico, que se mide en PPD, una métrica combinada que tiene en cuenta el funcionamiento conjunto de la pantalla y la óptica. Una medida angular, PPD mide la cantidad de píxeles que se encuentran dentro de 1° del campo de visión (FOV). Cuanto mayor sea el PPD, mejor será la resolución del sistema del visor de realidad virtual.

Observamos de cerca a PPD en el diseño y fabricación de nuestros cascos de realidad virtual para garantizar una experiencia de calidad. Y gracias a la mayor densidad de píxeles de la pantalla de Meta Quest Pro y su posterior aumento mediante la óptica tipo panqueque de los auriculares, pudimos aumentar la resolución general del sistema para Meta Quest Pro (22 PPD) en un 10 % en comparación con Meta Quest 2 (20 PPD). . Si bien no es el PPD más alto de cualquier casco de realidad virtual en el mercado hoy en día, este es un hito importante en el lanzamiento a escala de cascos de realidad virtual y realidad mixta de alta calidad.

Y estamos invirtiendo para impulsar esto aún más. Nuestro equipo de investigación de sistemas de visualización en Reality Labs Research presentó recientemente su Prototipo de caramelo, que limita el campo de visión a aproximadamente la mitad que el de Meta Quest 2 y utiliza paneles LCD 3K con un nuevo tipo de lente híbrida para lograr una resolución general del sistema de 55 PPD, acercándose a la resolución de la retina (generalmente considerada alrededor de 60 PPD, que es suficiente para representar la línea 20/20 en un gráfico optométrico) y potencialmente allanando el camino hacia un nuevo estándar de la industria. Si bien Butterscotch es un prototipo de investigación con una configuración técnica que tal vez no se convierta en un producto futuro, estamos desarrollando pantallas de alta densidad y sistemas ópticos de alta resolución en conjunto para lograr una resolución retiniana en nuestra hoja de ruta de productos.

Nitidez

Si bien PPD establece una base para la resolución general del sistema, teniendo en cuenta los componentes del sistema óptico, hay otra métrica crucial que no recibe suficiente atención en las discusiones actuales sobre la claridad visual de la realidad virtual: la nitidez.

Medida por MTF, que combina resolución y contraste, la nitidez determina cuántos detalles puede reproducir un sistema óptico. Cuanto mayor sea el MTF, más fino será el detalle de la imagen. Debido a que las pantallas de realidad virtual se ven a través de una lente y, por lo tanto, se magnifican con ella, nuestro equipo debe optimizar el diseño y la fabricación de nuestra óptica para evitar artefactos causados ​​por la lente. También es importante reconocer que, en una pantalla 2D plana como la de un televisor, la nitidez es uniforme. En realidad virtual, no lo es: tienes distintos grados de nitidez en el centro y el borde de la lente. El objetivo, entonces, es lograr un MTF más alto tanto en el centro como en la periferia.

En Meta Quest Pro, la nitidez central es 0.98 y la nitidez de los bordes es 0.85*, una mejora del 25 % y 50 % con respecto a Meta Quest 2, respectivamente.

Comparación

La relación de contraste es la relación entre la luminancia del blanco más brillante y el negro más oscuro que puede producir un sistema óptico de pantalla. Cuanto mayor sea la relación, mejor será el contraste.

Para maximizar el contraste, la pantalla de alta densidad de píxeles de Meta Quest Pro está equipada con tecnología de atenuación local especializada que puede controlar más de 500 bloques de LED individuales de forma independiente. Esto da como resultado un 75 % más de contraste, lo que proporciona negros más profundos y una experiencia de visualización mucho mejor.

Además, la óptica tipo panqueque de Meta Quest Pro utiliza un diseño único de tres pilas de películas de polarización, una en la pantalla y otra en cada uno de los dos elementos de la lente, para minimizar las imágenes fantasma, especialmente desde la periferia media hasta el borde del campo de visión. Esto también contribuye a su contraste general mejorado.

Color

Finalmente, la calidad del color de un visor de realidad virtual se mide mediante la gama de colores y la precisión del color. La gama de colores es la gama de colores dentro de un espectro que puede reproducir todo el sistema. La precisión del color se refiere a la capacidad del sistema visual para reproducir colores y sombras según lo previsto. Juntos, son vitales para brindar una experiencia inmersiva realista.

Meta Quest Pro tiene una amplia gama de colores DCI-P3, que es 1.3 veces mayor que la de Meta Quest 2. También hemos desarrollado tecnología avanzada de calibración de color en Meta Quest Pro para garantizar la precisión del color y la disparidad de brillo en dos ojos. Con colores ricos y vibrantes, Meta Quest Pro es capaz de brindar una claridad visual superior en todo el campo de visión.

Acortando la pila óptica

Meta Quest Pro presenta una lente de dos elementos y más de 10 capas de películas ópticas funcionales. El concepto original fue desarrollado por Reality Labs Research a lo largo de aproximadamente dos años y representa una transferencia de tecnología de hardware de gran éxito desde la investigación al producto en realidad virtual. Sin embargo, había más trabajo por hacer para diseñar lentes pancake y ópticas de polarización que funcionaran en el producto, un proceso que tomó aproximadamente cuatro años, incluido más de un año durante el cual los equipos de producto e investigación trabajaron como un solo equipo integrado para garantizar una transferencia exitosa y eficiente.

Si bien nuestros equipos de investigación pueden construir máquinas del tiempo (prototipos que muestran lo que podría ser posible dentro de cinco a 10 años o más en el futuro, sin tener en cuenta restricciones como el costo, el peso y más), nuestros equipos de productos deben ofrecer un diseño viable que pueda ser producido a escala. Lejos de los productos listos para usar, el equipo de producto diseñó lentes y paquetes de polarización verdaderamente únicos. Si bien los lentes tipo panqueque y la óptica de polarización no son nada nuevo en sí mismos, su aplicación para la realidad virtual plantea desafíos únicos en la producción a escala. No había ningún fabricante que fabricara las piezas, lo que requería una fabricación e integración de lentes y películas de polarización increíblemente precisas, por lo que nuestros equipos de productos tuvieron que trabajar en estrecha colaboración con la industria a lo largo de los años para crear la cadena de suministro desde cero y mejorar su estado. -Capacidades de fabricación de arte. Estuvimos entre los primeros en trabajar con socios industriales de nivel 1 para crear una pila óptica acortada y una óptica tipo panqueque como la de Meta Quest Pro, y lo hicimos a escala.

En total, Meta posee actualmente más de 350 patentes relacionadas con tecnologías ópticas, incluidas aquellas centradas en minimizar el tamaño y optimizar el rendimiento visual.

Agregandolo todo

Cuando combinas toda esta innovación y tecnología en un solo dispositivo de consumo, obtienes un visor de realidad virtual con un sistema visual que permite textos más nítidos, imágenes más claras, colores más vibrantes y una experiencia general más cómoda, ya sea que estés leyendo correos electrónicos en tu escritorio en Inmerso, creando un juego de física en Figmin XR, o luchar contra monstruos con amigos en Demeo.

Es un desafío de diseño de optimización del sistema: requiere que nuestros equipos de productos tomen el sistema visual de realidad virtual como un todo, en lugar de centrarse únicamente en componentes individuales. Al final del día, nuestro objetivo es maximizar la experiencia integral del usuario. Puede que no sea perfecto, pero las compensaciones que hemos hecho tienen como objetivo preservar la mejor experiencia visual posible. Y esto es sólo el principio. A medida que nuestra tecnología Infinite Display continúa mejorando y podemos combinar las innovadoras lentes tipo pancake y la óptica de polarización de Meta Quest Pro con pantallas de resolución aún mayor, deberíamos ver avances significativos en la calidad visual, medida por PPD y más allá.

*Aquí el MTF se mide a 5 lp/mm (pares de líneas por milímetro).