아이트래킹은 포비티드 렌더링을 훨씬 능가하는 XR의 게임 체인저입니다.

VR 헤드셋 내부에서 사용자가 보고 있는 방향을 빠르고 정확하게 측정하는 기능인 아이 트래킹은 포비티드 렌더링과 XR 헤드셋의 성능 요구 사항을 줄이는 방법에 대해 자주 언급됩니다. 그리고 포비티드 렌더링은 AR 및 VR 헤드셋에서 시선 추적을 위한 흥미로운 사용 사례이지만 시선 추적은 테이블에 훨씬 더 많은 것을 제공합니다.

업데이트됨 – 2년 2023월 XNUMX일

눈 추적은 수년 동안 멀리 떨어져 있는 기술인 XR과 관련하여 이야기되어 왔지만 마침내 개발자와 고객이 하드웨어를 점점 더 많이 사용할 수 있게 되었습니다. PSVR 2 및 Quest Pro는 Varjo Aero, Vive Pro Eye 등과 함께 눈 추적 기능이 내장된 헤드셋의 가장 눈에 띄는 예입니다.

이러한 모멘텀으로 불과 몇 년 만에 우리는 시선 추적이 소비자용 XR 헤드셋의 표준 부분이 되는 것을 볼 수 있었습니다. 그런 일이 발생하면 기술이 경험을 크게 향상시킬 수 있는 다양한 기능이 있습니다.

포비티드 렌더링

먼저 많은 사람들이 이미 잘 알고 있는 것부터 시작하겠습니다. Foveated 렌더링은 까다로운 AR 및 VR 장면을 표시하는 데 필요한 컴퓨팅 성능을 줄이는 것을 목표로 합니다. 그 이름은 광수용체로 밀집되어 있는 인간 망막의 중심에 있는 작은 구덩이인 'fovea'에서 유래되었습니다. 시야의 중심에서 고해상도 시야를 제공하는 것은 중심와입니다. 한편 우리의 주변 시력은 실제로 세부 사항과 색상을 포착하는 데 매우 열악하며 세부 사항을 보는 것보다 움직임과 대비를 감지하는 데 더 잘 조정됩니다. 몇 메가픽셀의 큰 센서가 있고 중간에 많은 메가픽셀의 작은 센서가 있는 카메라와 같이 생각할 수 있습니다.

자세히 볼 수 있는 시야의 영역은 실제로 대부분의 사람들이 생각하는 것보다 훨씬 더 작습니다. 중심와와 나머지 망막 사이의 해상도 차이가 너무 커서 중심와 없이는 이 페이지의 텍스트를 알아볼 수 없습니다. 이것은 스스로 쉽게 볼 수 있습니다. 눈을 계속 집중하면 이 단어를 읽고 아래 두 문장만 읽으면 단어가 말하는 내용을 이해하는 것이 거의 불가능하다는 것을 알게 될 것입니다. 무언가 닮은 말. 사람들이 시야의 중심와 영역을 과대평가하는 이유는 뇌가 우리가 믿는 세상의 모델을 구축하기 위해 무의식적인 해석과 예측을 많이 하기 때문인 것 같습니다.

Foveated 렌더링은 중심와가 보는 영역에서만 가상 장면을 고해상도로 렌더링하여 우리 시각의 이러한 단점을 활용한 다음 어쨌든 디테일을 확인할 수 없는 주변 시야에서 장면의 복잡성을 크게 줄이는 것을 목표로 합니다. . 이렇게 하면 처리 리소스를 다른 곳에서 절약하면서 세부 사항에 가장 많이 기여하는 대부분의 처리 능력에 집중할 수 있습니다. 별거 아닌 것처럼 들릴 수도 있지만 XR 헤드셋의 디스플레이 해상도와 시야가 증가함에 따라 복잡한 장면을 렌더링하는 데 필요한 성능이 빠르게 증가합니다.

포비티드 렌더링을 실행하려면 사용자 시선의 중심이 어디에 있는지 항상 빠르고 정확하게 알아야 하기 때문에 시선 추적이 작동합니다. 사용자가 알아차리지 않고 이를 실행하는 것은 어렵지만 Quest Pro 및 PSVR 2와 같은 최신 헤드셋에서 가능하고 상당히 효과적으로 시연되었습니다.

자동 사용자 감지 및 조정

움직임을 감지하는 것 외에도 시선 추적은 생체 인식 식별자로도 사용할 수 있습니다. 따라서 시선 추적은 하나의 헤드셋에서 여러 사용자 프로필에 대한 훌륭한 후보가 됩니다. 헤드셋을 착용하면 시스템이 즉시 나를 고유한 사용자로 식별하고 내 맞춤형 환경, 콘텐츠 라이브러리, 게임 진행 및 설정을 불러올 수 있습니다. 친구가 헤드셋을 착용하면 시스템이 로드할 수 있습니다. 그들의 환경 설정 및 저장된 데이터.

아이트래킹은 IPD(눈 사이의 거리)를 정확하게 측정하는 데에도 사용할 수 있습니다. XR에서는 IPD를 아는 것이 중요합니다. 편안함과 시각적 품질을 위해 렌즈와 디스플레이를 최적의 위치로 이동해야 하기 때문입니다. 불행하게도 많은 사람들이 그들의 머리 꼭대기에서 IPD가 무엇인지 이해하지 못합니다.

아이 트래킹을 사용하면 각 사용자의 IPD를 즉시 측정한 다음 헤드셋의 소프트웨어가 사용자가 헤드셋의 IPD를 일치하도록 조정하거나 IPD가 헤드셋에서 지원하는 범위를 벗어났음을 사용자에게 경고하도록 하는 것이 쉽습니다.

고급 헤드셋에서는 이 프로세스가 보이지 않고 자동화될 수 있습니다. IPD는 보이지 않게 측정될 수 있으며, 헤드셋에는 사용자가 인식할 필요 없이 자동으로 렌즈를 올바른 위치로 이동시키는 전동식 IPD 조정 기능이 있을 수 있습니다. 예를 들어 Varjo Aero에서.

가변 초점 디스플레이

오늘날의 VR 헤드셋에 사용되는 광학 시스템은 꽤 잘 작동하지만 실제로는 다소 단순하고 인간 시각의 중요한 기능인 동적 초점을 지원하지 않습니다. XR 헤드셋의 디스플레이는 입체적 깊이가 다르게 제안하는 경우에도 항상 눈에서 같은 거리에 있기 때문입니다. 이것은 vergence-accommodation 충돌이라는 문제로 이어집니다. 좀 더 자세히 알아보려면 아래 입문서를 확인하세요.

숙소 안내

현실 세계에서 가까운 물체에 초점을 맞추기 위해 눈의 수정체가 구부러져 물체의 빛이 망막의 올바른 지점에 도달하여 물체를 선명하게 볼 수 있습니다. 더 멀리 있는 물체의 경우 빛이 다른 각도로 눈으로 이동하고 수정체가 다시 구부러져 빛이 망막에 집중되도록 해야 합니다. 그렇기 때문에 한쪽 눈을 감고 얼굴에서 몇 인치 떨어진 손가락에 초점을 맞추면 손가락 뒤의 세상이 흐릿하게 보입니다. 반대로 손가락 뒤에 있는 세상에 초점을 맞추면 손가락이 흐려집니다. 이것을 숙소라고 합니다.

이향

그런 다음 각 눈이 안쪽으로 회전하여 각 눈의 개별 보기를 하나의 겹치는 이미지로 '수렴'하는 수렴이 있습니다. 매우 멀리 있는 물체의 경우 눈 사이의 거리가 물체의 거리에 비해 너무 작기 때문에 눈이 거의 평행합니다(각 눈이 물체의 거의 동일한 부분을 본다는 의미). 매우 가까운 물체의 경우 각 눈의 관점을 정렬하기 위해 눈을 안쪽으로 회전해야 합니다. 위와 같이 작은 손가락 트릭으로도 이것을 볼 수 있습니다. 이번에는 두 눈을 사용하여 얼굴에서 몇 인치 떨어진 곳에 손가락을 대고 봅니다. 손가락 뒤에 있는 물체의 이중 이미지가 보입니다. 그런 다음 손가락 뒤에 있는 물체에 초점을 맞추면 이제 두 손가락 이미지가 표시됩니다.

갈등

충분히 정밀한 도구를 사용하면 이향 또는 조절을 사용하여 사람이 보고 있는 물체가 얼마나 멀리 떨어져 있는지 알 수 있습니다. 그러나 문제는 적응과 이향향이 눈에서 함께 자동으로 발생한다는 것입니다. 그리고 그것들은 동시에 발생하지 않습니다. 이향향향과 조정 사이에는 직접적인 상관관계가 있습니다. 즉, 이향향향의 측정에 대해 직접적으로 일치하는 수준의 조정이 있습니다(반대의 경우도 마찬가지). 당신이 어렸을 때부터 당신의 뇌와 눈은 생각하지 않고 이 두 가지 일이 함께 일어나도록 근육 기억을 형성했습니다. 어떤바라보는 시간 아무것도.

그러나 오늘날 대부분의 AR 및 VR 헤드셋의 경우 광학 설계의 고유한 한계로 인해 융합과 조절이 일치하지 않습니다.

기본 AR 또는 VR 헤드셋에는 가상 장면을 보여주는 디스플레이(즉, 눈에서 3인치 떨어져 있음)와 디스플레이의 빛을 눈에 집중시키는 렌즈가 있습니다. 당신의 눈은 일반적으로 세상의 빛을 망막에 집중시킵니다. 그러나 디스플레이는 눈에서 정적인 거리에 있고 렌즈의 모양도 정적이고, 모든 해당 디스플레이에 표시된 물체가 같은 거리에서 오고 있습니다. 따라서 XNUMX마일 떨어진 곳에 가상의 산이 있고 XNUMX인치 떨어진 탁자 위에 커피 컵이 있더라도 두 물체의 빛은 같은 각도로 눈에 들어옵니다(즉, 눈의 수정체가 휘어지는 조정이 절대 변하지 않음) ).

그것은 우리가 각 눈에 다른 이미지를 보여줄 수 있기 때문에 헤드셋의 vergence와 충돌합니다.is 변하기 쉬운. 우리의 눈이 서로 다른 깊이에 있는 물체에 수렴해야 하는 것과 같이 각 눈에 대해 상상을 독립적으로 조정할 수 있다는 것은 본질적으로 오늘날의 AR 및 VR 헤드셋 입체경을 제공하는 것입니다.

그러나 우리가 만들 수 있는 가장 현실적이고 가장 편안한 디스플레이는 이향성 조정 문제를 제거하고 실제 세계에서 익숙한 것처럼 두 가지가 동기화되도록 할 것입니다.

초점 깊이를 동적으로 변경할 수 있는 가변 초점 디스플레이가 이 문제에 대한 해결책으로 제안됩니다. 가변 초점 디스플레이에는 여러 가지 접근 방식이 있으며, 그 중 가장 간단한 것은 초점 심도를 즉석에서 변경하기 위해 디스플레이가 렌즈에서 앞뒤로 물리적으로 움직이는 광학 시스템일 것입니다.

이러한 작동식 가변 초점 디스플레이를 구현하려면 시스템이 사용자가 장면의 어느 부분을 보고 있는지 정확하게 알아야 하기 때문에 아이 트래킹이 필요합니다. 각 사용자의 눈에서 가상 장면으로의 경로를 추적함으로써 시스템은 이러한 경로가 교차하는 지점을 찾아 사용자가 보고 있는 적절한 초점면을 설정할 수 있습니다. 그런 다음 이 정보는 디스플레이로 전송되어 그에 따라 조정되어 사용자의 눈에서 물체까지의 가상 거리와 일치하도록 초점 깊이를 설정합니다.

잘 구현된 다초점 디스플레이는 이향성 조절 충돌을 제거할 수 있을 뿐만 아니라 사용자가 기존 헤드셋보다 훨씬 더 가까운 가상 개체에 집중할 수 있도록 합니다.

그리고 가변 초점 디스플레이를 XR 헤드셋에 장착하기 훨씬 전에 눈 추적을 시뮬레이션된 피사계 심도에 사용할 수 있습니다. 이는 사용자 눈의 초점면 외부에 있는 물체의 흐릿함을 근사화할 수 있습니다.

현재 시장에는 다초점 기능을 갖춘 주요 헤드셋이 없지만 성장하는 연구 개발 조직 기능을 작고 안정적이며 저렴하게 만드는 방법을 찾으려고 노력합니다.

포비티드 디스플레이

포비티드 렌더링은 선명하게 볼 수 있는 시야 부분과 디테일이 낮은 주변 시야 사이에 렌더링 능력을 더 잘 분배하는 것을 목표로 하지만 실제 픽셀 수에 대해서도 비슷한 결과를 얻을 수 있습니다.

포비티드 디스플레이는 디스플레이의 특정 부분과 다른 부분에서 렌더링의 세부 사항을 변경하는 것이 아니라 물리적으로 이동(또는 경우에 따라 "조정")되어 어디를 보든 사용자의 시선 앞에 머물도록 하는 디스플레이입니다.

Foveated 디스플레이는 우리의 전체 시야에서 더 높은 해상도로 픽셀을 밀어 넣어 문제를 무차별 대입하지 않고 AR 및 VR 헤드셋에서 훨씬 더 높은 해상도를 달성할 수 있는 문을 엽니다. 그렇게 하는 것은 비용이 많이 들 뿐만 아니라 픽셀 수가 망막 해상도에 가까워짐에 따라 전력 및 크기 제약에 직면하게 됩니다. 대신 포비티드 디스플레이는 시선 추적 데이터를 기반으로 사용자가 보고 있는 곳으로 더 작고 픽셀 밀도가 높은 디스플레이를 이동합니다. 이 접근 방식은 단일 평면 디스플레이로 달성할 수 있는 것보다 더 높은 시야로 이어질 수도 있습니다.

Varjo는 포비티드 디스플레이 시스템을 연구하는 회사 중 하나입니다. 그들은 넓은 시야(그러나 픽셀 밀도가 높지 않음)를 커버하는 일반적인 디스플레이를 사용하고 그 위에 훨씬 더 픽셀 밀도가 높은 마이크로 디스플레이를 중첩합니다. 이 둘의 조합은 사용자가 주변 시야를 위한 넓은 시야와 중심와 시야를 위한 매우 높은 해상도 영역을 모두 얻는다는 것을 의미합니다.

물론 이 포비티드 디스플레이는 동적이라기보다는 여전히 정적(고해상도 영역이 디스플레이 중앙에 유지됨)이지만 회사는 디스플레이를 이동하는 여러 가지 방법을 고려했습니다. 고해상도 영역이 항상 시선의 중심에 있도록 합니다.

2페이지에서 계속: 더 나은 소셜 아바타 »

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoAiStream. Web3 데이터 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 미래 만들기 w Adryenn Ashley. 여기에서 액세스하십시오.
• 출처: https://www.roadtovr.com/why-eye-tracking-is-a-game-changer-for-vr-headsets-virtual-reality/