Собираем оптическую деку: представляем Infinite Display + учебник по измерению визуального качества в виртуальной реальности

Когда дело доходит до виртуальной реальности, увидеть значит поверить. Звук и тактильные ощущения играют важную роль, но для большинства людей главное — визуальные эффекты. А прекрасно прорисованное низкополигональное искусство может быть таким же захватывающим, как и гиперреалистичное окружение. Нет ничего лучше, чем быть полностью окутанным визуально ошеломляющим виртуальным миром, независимо от того, пропитан ли он реализмом, полностью абстрактен или находится где-то посередине.

Но виртуальная реальность все еще является новой технологией, и не существует общего понимания того, что нужно для создания этого визуального опыта и сложных технологий, которые должны объединиться, чтобы создать то, что вы видите внутри гарнитуры. В отрасли также существуют некоторые противоречия в том, как сегодня определяется качество изображения в виртуальной реальности.

Размышляя о качестве изображения, многие люди применяют те же принципы и стандарты, которые мы традиционно используем при рассмотрении 2D-дисплеев, таких как мобильные телефоны и телевизоры. Но VR сильно отличается от других потребительских устройств. Вместо того, чтобы смотреть на большой экран на дальнем расстоянии, пользователи виртуальной реальности смотрят на меньший экран, расположенный гораздо ближе к их глазам и увеличенный набором линз внутри оптического стека. Это похоже на просмотр телевизора через объектив камеры: то, что вы увидите, определяется не только разрешением экрана, но и оптическими свойствами объектива, такими как увеличение и резкость.

Кроме того, в отличие от телевизоров и мобильных телефонов, дисплей по существу следует за вами, когда вы двигаете головой, а поскольку он расположен так близко к вашим глазам, которые могут смотреть в большом диапазоне, оптика должна обеспечивать постоянные геометрические и оптические характеристики под этими углами обзора, чтобы обеспечить качественный визуальный опыт. Это указывает на все более важную роль, которую технология отслеживания движений глаз будет играть, когда речь идет о визуальной производительности и опыте работы в виртуальной реальности в будущем.

Мы считаем, что отрасли необходимо согласовать показатели производительности, специфичные для виртуальной реальности, которые лучше отражают полную картину. Вместо того, чтобы сосредотачиваться только на разрешении дисплея, мы должны рассмотреть, как дисплей и оптика работают вместе как система в гарнитуре виртуальной реальности. Визуальная четкость в виртуальной реальности определяется рядом факторов, наиболее важными из которых являются разрешение системы (измеряется в пикселях на градус, или PPD), резкость (измеряется с помощью функции передачи модуляции объектива, или MTF), коэффициент контрастности и цвет. . В этом посте мы подробнее рассмотрим все четыре и то, как они связаны с недавно представленным оптическим стеком Infinite Display от Meta Quest Pro.

Разрешение системы

Думая о качестве VR-гарнитуры, возникает соблазн сосредоточиться исключительно на разрешении дисплея, поскольку именно по этому показателю мы склонны судить о 2D-дисплеях. Но вместо этого нам следует оценить полное разрешение оптической системы, которое измеряется в PPD — комбинированном показателе, учитывающем совместную работу дисплея и оптики. Угловое измерение PPD измеряет количество пикселей, которые расположены в пределах 1° поля зрения (FOV). Чем выше PPD, тем лучше системное разрешение гарнитуры VR.

Мы внимательно следим за PPD при проектировании и производстве наших VR-гарнитур, чтобы обеспечить качество их работы. А благодаря более высокой плотности пикселей дисплея Meta Quest Pro и последующему ее увеличению с помощью блинной оптики гарнитуры мы смогли увеличить общее разрешение системы для Meta Quest Pro (22 PPD) на 10% по сравнению с Meta Quest 2 (20 PPD). . Хотя это не самый высокий показатель PPD среди всех VR-гарнитур, представленных сегодня на рынке, это важная веха в крупномасштабном выпуске высококачественных VR-гарнитур и гарнитур с поддержкой смешанной реальности.

И мы инвестируем, чтобы продвинуть это еще дальше. Наша команда по исследованию систем отображения в Reality Labs Research недавно представила Прототип ириски, который ограничивает поле зрения примерно вдвое по сравнению с Meta Quest 2 и использует ЖК-панели 3K с новым типом гибридных линз для достижения общего разрешения системы 55 PPD, что приближается к разрешению сетчатки (обычно считается, что оно составляет около 60 PPD, что достаточно, чтобы отобразить линию 20/20 на глазковой диаграмме) и потенциально прокладывает путь к новому отраслевому стандарту. Хотя Butterscotch — это исследовательский прототип с технической конфигурацией, которая, возможно, не войдёт в будущий продукт, мы одновременно разрабатываем дисплеи высокой плотности и оптические системы высокого разрешения, чтобы достичь разрешения сетчатки глаза в рамках нашей дорожной карты продукта.

Острота

Хотя PPD устанавливает базовый уровень общего разрешения системы с учетом компонентов оптической системы, есть еще один важный показатель, которому не уделяется достаточно внимания в сегодняшних дискуссиях о четкости изображения в виртуальной реальности: резкость.

Резкость, измеряемая MTF, сочетающим в себе разрешение и контрастность, определяет, сколько деталей может воспроизвести оптическая система. Чем выше MTF, тем точнее детализация изображения. Поскольку дисплеи виртуальной реальности просматриваются через линзу и, таким образом, увеличиваются, наша команда должна оптимизировать конструкцию и изготовление нашей оптики, чтобы избежать артефактов, вызванных линзой. Также важно признать, что на плоском 2D-дисплее, таком как телевизор, резкость одинакова. В виртуальной реальности это не так — у вас разная степень резкости в центре и по краю линзы. Таким образом, цель состоит в том, чтобы достичь более высокого MTF как в центре, так и на периферии.

В Meta Quest Pro резкость по центру составляет 0.98, а по краям — 0.85*, что на 25 % и 50 % лучше, чем в Meta Quest 2 соответственно.

контраст

Коэффициент контрастности — это соотношение между яркостью самого яркого белого и самого темного черного цвета, которое может создать оптическая система дисплея. Чем выше коэффициент, тем лучше контраст.

Чтобы максимизировать контрастность, дисплей Meta Quest Pro с высокой плотностью пикселей оснащен специальной технологией локального затемнения, которая может независимо управлять более чем 500 отдельными светодиодными блоками. В результате контрастность увеличивается на 75 %, обеспечивая более глубокий черный цвет и значительно улучшая качество просмотра.

Кроме того, в блинной оптике Meta Quest Pro используется уникальная конструкция из трех стопок поляризационных пленок — одна на дисплее и по одной на каждом из двух элементов объектива — для минимизации призрачных изображений, особенно от средней периферии до края поля зрения. Это также способствует общему улучшению контрастности.

Цвет

Наконец, качество цвета гарнитуры VR измеряется цветовой гаммой и точностью цветопередачи. Цветовая гамма — это диапазон цветов в спектре, который может воспроизводиться всей системой. Точность цвета означает способность зрительной системы воспроизводить цвета и оттенки так, как задумано. Вместе они жизненно важны для обеспечения реалистичного погружения.

Meta Quest Pro имеет широкую цветовую гамму DCI-P3, которая в 1.3 раза больше, чем в Meta Quest 2. Мы также разработали передовую технологию калибровки цвета в Meta Quest Pro, чтобы обеспечить точность цветопередачи и неравномерность яркости для двух глаз. Благодаря насыщенным и ярким цветам Meta Quest Pro способен обеспечить превосходную четкость изображения во всем поле зрения.

Укорочение оптического стека

Meta Quest Pro оснащен двухэлементной линзой и более чем 10 слоями функциональных оптических пленок. Первоначальная концепция разрабатывалась Reality Labs Research в течение примерно двух лет и представляет собой весьма успешный переход аппаратных технологий от исследований к продуктам в виртуальной реальности. Однако предстояло проделать еще большую работу по разработке блинных линз и поляризационной оптики, которые бы работали в продукте. Этот процесс занял примерно четыре года, в том числе более года, в течение которого группы разработчиков и исследователей работали как единая интегрированная команда, чтобы гарантировать успешный и эффективный трансфер.

В то время как наши исследовательские группы могут создавать машины времени — прототипы, которые показывают, что может быть возможно через пять-десять или более лет в будущем, независимо от таких ограничений, как стоимость, вес и т. производиться в масштабе. В отличие от готовых продуктов, команда разработчиков разработала действительно уникальные линзы и стеки поляризации. Хотя линзы-блинчики и поляризационная оптика сами по себе не являются чем-то новым, их применение для виртуальной реальности ставит уникальные задачи в масштабном производстве. Не было производителя, который производил бы детали, что требовало невероятно точного изготовления и интеграции линз и поляризационных пленок, поэтому нашим командам по производству приходилось тесно сотрудничать с отраслью в течение многих лет, чтобы создать цепочку поставок с нуля и улучшить свое состояние. -возможности художественного производства. Мы были одними из первых, кто работал с промышленными партнерами уровня 10 над созданием укороченного оптического стека и оптики типа «блин», как у Meta Quest Pro, и мы сделали это в масштабе.

В общей сложности Meta в настоящее время владеет более чем 350 патентами, связанными с оптическими технологиями, в том числе теми, которые направлены на минимизацию размера при оптимизации визуальных характеристик.

Добавление всего

Объединив все эти инновации и технологии в одном потребительском устройстве, вы получаете гарнитуру виртуальной реальности с визуальной системой, которая обеспечивает более четкий текст, более четкое изображение, более яркие цвета и в целом более комфортную работу — независимо от того, читаете ли вы электронную почту на твой стол в погруженный, создавая физическую игру в Фигмин XRили сражаться с монстрами вместе с друзьями в Демео.

Это задача по оптимизации системы: мы требуем, чтобы наши продуктовые команды рассматривали визуальную систему виртуальной реальности в целом, а не сосредотачивались исключительно на отдельных компонентах. В конце концов, наша цель — максимизировать целостный пользовательский опыт. Возможно, это не идеально, но компромиссы, которые мы пошли, призваны сохранить наилучшее визуальное восприятие. И это только начало. Поскольку наша технология Infinite Display продолжает совершенствоваться и мы можем комбинировать инновационные блинные линзы и поляризационную оптику Meta Quest Pro с дисплеями с еще более высоким разрешением, мы должны увидеть значительный скачок в визуальном качестве — по измерениям PPD и выше.

*MTF здесь измеряется на уровне 5 пар линий на мм (пар линий на миллиметр).