입체 색상 패스스루, 공간 앵커링 및 장면 이해는 보다 사실적인 혼합 현실 경험을 제공합니다.
Meta의 제품 관리자인 Sarthak Ray에 따르면 혼합 현실을 통해 주변 세계를 보고 상호 작용할 수 있는 기능은 VR에 대한 새로운 기회를 열어줍니다. "동일한 실제 공간에서 친구들과 놀거나 거대한 가상 모니터와 실제 도구를 결합한 생산성 경험을 할 수 있으며 이는 증강 현실에 대한 우리의 장기적인 비전을 향한 한 걸음입니다."
일반적인 생각과는 달리 혼합 현실 경험은 VR/AR 장치가 실제 세계와 가상 세계를 설득력 있게 혼합할 수 있는 경우 가장 효과적입니다. 이는 헤드셋이 단순히 2D 비디오 피드를 제공하는 것 이상을 수행해야 함을 의미합니다. 최근 블로그 게시물 on 오큘러스닷컴.
최첨단 VR 기술 개발에 대한 약속을 더욱 강화하기 위해 Meta는 탁월한 경험을 만드는 데 필요한 내부 모습을 제공하는 새로운 혼합 현실 시스템인 Meta Reality의 출시를 발표했습니다.
공간 인식을 위한 입체 컬러 패스스루
Meta는 편안하고 몰입도 높은 혼합 현실 경험을 제공하는 데 있어 컬러 패스스루 및 입체 3D 기술의 중요성을 인식하고 있습니다.
Meta Computer Vision 엔지니어링 관리자인 Ricardo Silveira Cabral은 "Meta Quest Pro는 두 개의 카메라 뷰를 결합하여 사실적인 깊이를 재구성하여 컬러 패스스루를 사용하여 구축된 혼합 현실 경험이 사람들에게 편안하도록 보장합니다."라고 설명했습니다. "그러나 또한 스테레오 텍스처 신호를 사용하면 깊이 재구성이 완벽하지 않거나 시스템 범위를 벗어난 경우에도 사용자의 두뇌가 나머지 작업을 수행하고 깊이를 추론할 수 있습니다."
예를 들어, Passthrough를 사용할 때 뇌는 커피 컵이 바로 옆에 있는 펜과 마찬가지로 손에서 멀리 떨어져 있음을 학습합니다.
방에서 헤드셋의 위치를 결정하기 위해 100개의 관심 지점만 캡처할 수 있는 Oculus Insight는 소비자 VR 장치를 위한 최초의 독립형 추적 시스템을 제공하는 기술이었습니다. 이후 심층 감지가 가능하도록 업그레이드되었습니다. 비교를 위해 Meta Quest Pro는 다양한 조명 조건에서 초당 최대 10,000개의 관심 포인트를 생성할 수 있으므로 물리적 공간의 향상된 3D 표현을 실시간으로 생성할 수 있습니다.
이 과정을 통해 Meta는 지속적으로 업데이트되는 물리적 세계의 3D 모델을 생성할 수 있습니다. 그런 다음 이 데이터를 사용하여 실제 환경의 이미지를 생성할 수 있는 예측 렌더링 프레임워크를 만들 수 있습니다. 렌더링 대기 시간을 보상하기 위해 재구성은 비동기식 타임워프 연산.
실베이라 카브랄(Silveira Cabral)에 따르면 컬러 입체 카메라를 사용하면 팀이 현실 세계를 보다 사실적으로 해석할 수 있습니다.
가상 콘텐츠를 실제 세계에 혼합하기 위한 장면 이해
Presence 플랫폼의 장면 이해 구성 요소는 Connect 2021 이벤트 중에 소개되었습니다. 이 기술을 통해 개발자는 복잡하고 장면을 인식하는 혼합 현실 경험을 만들 수 있습니다. Meta Quest Pro의 제품 관리자인 Wei Lyu에 따르면 회사의 장면 이해 구성 요소는 개발자가 비즈니스와 경험을 구축하는 데 집중할 수 있도록 설계되었습니다..
"우리는 시스템 솔루션으로 Scene Understanding을 도입했습니다."라고 Lyu는 말했습니다.
장면 이해는 세 영역으로 나뉩니다.
- 장면 모델 - 기하학적 및 의미론적 정보로 구성된 단일하고 포괄적인 최신 시스템 관리 환경 표현입니다. 장면 모델의 기본 요소는 앵커입니다. 각 앵커는 다양한 구성 요소에 연결할 수 있습니다. 예를 들어, 사용자의 거실은 바닥, 천장, 벽, 책상 및 소파와 같은 시맨틱 레이블이 있는 개별 앵커를 중심으로 구성됩니다. 앵커는 간단한 기하학적 표현(2D 경계 또는 3D 경계 상자)으로 부착됩니다.
- 장면 캡처 – 사용자가 방을 돌아다니며 실내 구조와 가구를 캡처하여 장면 모델을 생성할 수 있는 시스템 안내 흐름입니다. 앞으로 목표는 사람들이 주변을 수동으로 캡처할 필요가 없는 자동화된 장면 캡처 버전을 제공하는 것입니다.
- 장면 API – 앱이 콘텐츠 배치, 물리, 탐색 등 다양한 사용 사례를 위해 장면 모델의 공간 정보에 액세스하는 데 사용할 수 있는 인터페이스입니다. 장면 API를 통해 개발자는 장면 모델을 사용하여 가상 공이 물리적 표면에서 튕겨 나오도록 할 수 있습니다. 실제 방 또는 물리적 벽을 확장할 수 있는 가상 로봇.
"장면 이해는 개발자의 마찰을 줄여 실시간 폐색 및 충돌 효과로 가능한 한 믿을 수 있고 몰입감 있는 MR 경험을 구축할 수 있도록 합니다."라고 Ray는 덧붙였습니다.
가상 객체 배치를 위한 공간 앵커
개발자는 Meta Quest Pro 플랫폼의 핵심 기능인 Spatial Anchors를 사용하여 최고 수준의 혼합 현실 경험을 쉽게 만들 수 있습니다. 예를 들어, 제품 디자이너는 다음과 같은 플랫폼을 사용하여 물리적 공간 전체에 여러 3D 모델을 쉽게 고정할 수 있습니다. 중력 스케치 제품을 위한 완벽한 환경을 조성합니다.
"입체 컬러 패스스루 및 장면 이해가 MR 경험이 물리적 세계와 가상 세계를 혼합할 수 있도록 힘든 작업을 수행한다면 우리의 앵커링 기능은 모든 것을 하나로 묶는 결합 조직을 제공합니다."라고 메타 제품 관리자인 Laura Onu는 말했습니다.
장면 모델과 함께 Spatial Anchor를 사용하여 다양한 경험과 상황을 위한 풍부하고 자동적인 환경을 만들 수 있습니다. 예를 들어 물리적 벽에 연결된 가상 문을 만들 수 있습니다. 이는 디지털 트위닝, 창고 자동화, 심지어 로봇 공학 분야의 엔터프라이즈 솔루션을 위해 XR 기술을 고려하는 기업들에게 큰 발걸음이 될 것입니다.
현재 메타는 사회적 경험에 더 초점을 맞추고 있는 것 같습니다. Onu는 "장면 이해를 Spatial Anchor와 결합하면 MR 경험을 사용자 환경에 혼합하고 적용하여 가능성으로 가득 찬 새로운 세계를 만들 수 있습니다."라고 덧붙이며 "자신의 거실에서 비밀 요원이 될 수 있습니다. , 방에 가상 가구를 배치하거나 집에 확장을 스케치하고 물리 게임을 만드는 등의 작업을 할 수 있습니다.”
공동 위치 경험을 위한 공유 공간 앵커
또한 Meta는 Presence 플랫폼에 Shared Spatial Anchors 기능을 추가했습니다. 이를 통해 동일한 공간에 있는 다른 사용자와 앵커를 공유하여 로컬 멀티플레이어 경험을 만들 수 있습니다. 이렇게 하면 귀하와 다른 친구들이 실제 테이블 위에서와 같은 방식으로 VR 보드 게임을 할 수 있습니다. 틸트 XNUMX 게임 경험을 제공합니다.
혼합 현실을 위한 성공적인 조합
Spatial Anchors, Passthrough 및 Scene Understanding의 조합은 실제 세계처럼 보이고 느껴지도록 설계된 풍부한 대화형 환경을 만드는 데 도움이 될 수 있습니다. Meta Quest Pro의 제품 관리자인 Avinav Pashine은 사용자를 위한 훌륭하고 편안한 혼합 현실 환경을 만드는 데 많은 장단점이 있다고 언급했습니다.
회사가 소프트웨어 업데이트와 차세대 제품에 제공될 하드웨어 혁신을 통해 플랫폼을 지속적으로 개선함에 따라 Meta Reality의 미래는 여전히 진화하고 있습니다. Meta Quest Pro의 제품 관리자인 Silveira Cabral은 회사의 첫 번째 제품이 Meta Reality의 진화에서 중요한 단계라고 언급했습니다.
“VR 헤드셋으로 가능한 것을 재정의하는 매력적인 경험을 구축하는 개발자와 함께 배우고 싶습니다. 이 이야기는 아직 완성되지 않았습니다. 이제 겨우 XNUMX페이지입니다.”
이미지 크레디트: 메타
