혼합 현실(MR)은 동료와의 생산성 및 실시간 공동 작업부터 친구 및 가족과의 대화, 아직 꿈도 꾸지 못했던 새로운 유형의 게임 및 대화형 앱에 이르기까지 다양하고 독특한 경험의 문을 열어줄 수 있습니다. VR을 사용하면 디지털 환경에 완전히 몰입할 수 있지만, MR을 사용하면 가상 콘텐츠를 즐기면서 물리적 공간에서 자유롭게 이동하고 사람 및 사물과 상호 작용할 수 있으므로 물리적 공간을 확장하는 VR에서 AR과 유사한 새로운 수준의 경험을 누릴 수 있습니다.
“주변의 실제 세계를 보고 이를 가상 콘텐츠와 혼합할 수 있다는 것은 오늘날 VR에 대한 새로운 가능성을 열어줍니다. 같은 공간에서 친구들과 함께 플레이할 수 있는 게임이나 거대한 가상 모니터와 실제 도구를 결합하는 생산성 경험과 같이 말이죠. "라고 Meta 제품 관리자 Sarthak Ray가 설명합니다. "그리고 이는 증강 현실에 대한 우리의 장기적인 비전을 향한 한 걸음입니다."
헤드셋 내부의 실제 세계에 대한 실시간 고해상도 비디오 피드를 보여줌으로써 혼합 현실을 구현할 수 있다는 일반적인 오해가 있지만 사실은 훨씬 더 복잡합니다. 믿을 수 있는 MR 경험을 위해서는 가상 세계와 실제 세계를 설득력 있게 혼합하는 능력이 필요합니다. 즉, 헤드셋은 물리적 주변 환경을 2D 비디오로 표시하는 것 이상의 기능을 수행해야 합니다. 실제로 주변의 물체와 표면을 이해하여 방을 3D 공간으로 디지털 방식으로 재구성해야 합니다. 이를 위해서는 고해상도 센서와 같은 여러 하드웨어 및 소프트웨어 기술로 구성된 복잡한 시스템이 필요합니다. 지나가 다, AI 기반 장면 이해및 공간 앵커, 모두 원활하고 편안한 방식으로 함께 작업합니다.
Meta에서는 독창적인 연구 개발에 지속적으로 투자하여 소비자에게 대규모로 제공할 수 있는 선도적인 VR 기술을 개발하는 동시에 사람을 디자인에 우선시합니다. 우리는 사람들이 주변 세계를 인식하는 방식에 대한 깊은 이해와 이러한 인식을 가상 현실과 혼합 현실의 가능성에 대해 사람들을 흥분시키는 몰입형 경험에 연결하려는 노력을 바탕으로 세부 사항에 중점을 둡니다. 오늘 우리는 고유한 혼합 현실 시스템인 Meta Reality의 새로운 이름을 소개하고 진정한 일류 MR 경험에 무엇이 들어가는지 자세히 살펴보겠습니다.
공간 인식을 위한 입체 컬러 패스스루
무엇보다도, 진정한 MR 경험은 편안하고 자연스러운 시청 경험처럼 느껴져야 합니다. 깊이감을 전달하지 못하는 직접적인 비디오 피드는 고해상도라 할지라도 깊이감을 전달할 수 없습니다. 또한 패스스루가 모노스코픽(단일 보기 각도에서 보임)이거나 깊이 신호가 부족한 경우 시청자가 불편할 수 있습니다. 을 위한 지나가 다 편안함을 위해 개별 눈 버퍼에 렌더링된 이미지는 입체 신호를 제공하는 두 개의 별도 각도에서 생성되어야 합니다. 이는 깊이 및 색상 정보의 존재와 함께 편안한 경험을 재구성하는 데 중요합니다.
당사의 입체 컬러 패스스루 솔루션은 이러한 과제를 해결하기 위해 사용자의 눈이 주변 세계를 자연스럽게 보는 방식을 모델링하는 맞춤형 하드웨어 아키텍처, 고급 컴퓨터 비전 알고리즘 및 최첨단 기계 학습을 사용합니다. 더 나은 카메라와 디스플레이 해상도는 향상된 이미지 품질을 제공하며 Meta Quest Pro의 카메라는 Meta Quest 2 카메라의 3배에 달하는 픽셀을 캡처합니다. 그러나 아마도 더 중요한 것은 이미지 기반 렌더링, 입체 기하학 재구성 및 깊이 이해가 주어진 방 내의 장면과 관련하여 객체의 위치를 설정한다는 것입니다. 이 새로운 알고리즘 스택을 통해 Meta Quest Pro는 방의 기하학적 측면을 식별하고 XNUMXD 공간에서 개체의 위치를 정확히 찾아낼 수 있습니다. 따라서 입체 컬러 패스스루를 통해 책상 위의 커피잔에 손을 뻗으면 바로 옆에 있는 펜보다 컵이 손에서 더 멀리 떨어져 있다는 것을 뇌가 이해하게 됩니다.
Meta Computer Vision 엔지니어링 관리자인 Ricardo Silveira Cabral은 "Meta Quest Pro는 두 개의 카메라 뷰를 결합하여 사실적인 깊이를 재구성하므로 컬러 패스스루를 사용하여 구축된 혼합 현실 경험이 사람들에게 편안하도록 보장합니다."라고 설명합니다. "그러나 또한 스테레오 텍스처 큐를 사용하면 깊이 재구성이 완벽하지 않거나 시스템 범위를 벗어나는 경우에도 사용자의 두뇌가 나머지 작업을 수행하고 깊이를 추론할 수 있습니다."
생각해 내다 오큘 러스 인사이트—소비자 VR 장치를 위한 최초의 독립형 모든 기능을 갖춘 "인사이드-아웃" 추적 시스템을 가능하게 한 우리의 기술은 무엇입니까? 우리는 실시간으로 주어진 공간에 대한 조밀한 3D 표현을 생성하기 위해 깊이 감지 기능을 업그레이드했습니다. Insight는 공간 내 헤드셋의 위치를 정확히 찾아내기 위해 실내에서 약 100개의 관심 지점을 사용하는 반면, Meta Quest Pro의 깊이 감지 솔루션은 다양한 자연 및 인공 조명 조건에서 최대 10,000미터 떨어진 곳에서 프레임당 최대 3개의 지점을 생성합니다. 우리는 이 정보를 사용하여 물리적 세계의 3D 메쉬를 생성하고, 이 출력을 몇 개의 프레임에 걸쳐 결합하여 공간의 조밀한 XNUMXD 및 시간적으로 안정적인 표현을 생성합니다. 그런 다음 이 메시를 예측 렌더링과 함께 사용하여 실제 세계의 이미지를 생성합니다. 이는 재구성이 우리의 사용을 통해 헤드셋의 왼쪽 및 오른쪽 눈 보기로 개별적으로 워프된다는 것을 의미합니다. 비동기식 타임워프 렌더링 지연 시간을 보상하기 위해 향후 몇 밀리초 동안 사용자의 눈 위치를 예측하는 기술입니다.
마지막으로 색상을 추가하면 전체 경험이 더욱 사실적으로 보이고 느껴집니다. Silveira Cabral은 "컬러 카메라는 입체 뷰를 색상화하여 실제 세계에 최대한 가까운 경험을 제공하는 데 사용됩니다."라고 말합니다. “이 아키텍처와 전체 파이프라인에 걸쳐 최적화된 기능을 통해 우리는 추가 계산 리소스 없이 모든 기존 Meta Quest 2 타이틀과 향후 MR 앱에 대한 Meta Quest Pro의 입체형 컬러 패스스루를 기본 경험으로 제공할 수 있습니다. 이는 Meta Quest 2에서 Passthrough를 사용하는 기존 앱이 Meta Quest Pro의 새로운 입체형 컬러 Passthrough 기술과 즉시 작동한다는 것을 의미합니다.”
이 모든 것을 합산하면 Meta Quest Pro의 입체형 컬러 패스스루는 입체형 솔루션보다 깊이 인식이 더 편안하고 시각적 왜곡이 적어 고품질의 룸스케일 혼합 현실 경험을 선사합니다.
가상 콘텐츠를 실제 세계에 혼합하기 위한 장면 이해
의 일환으로 도입 프레즌스 플랫폼 Connect 2021 기간 동안, 장면 이해 개발자는 사용자 환경과 풍부한 상호 작용을 가능하게 하는 복잡하고 장면을 인식하는 MR 경험을 신속하게 구축할 수 있습니다.
Meta 제품 관리자 Wei Lyu는 "복잡성을 최소화하고 개발자가 경험과 비즈니스 구축에 집중할 수 있도록 장면 이해를 시스템 솔루션으로 도입했습니다."라고 말했습니다.
- 장면 모델 기하학적 및 의미론적 정보로 구성된 단일하고 포괄적이며 최신의 시스템 관리형 환경 표현입니다. Scene Model의 기본 요소는 Anchor이며, 각 Anchor에는 다양한 구성요소가 부착될 수 있습니다. 예를 들어, 사용자의 거실은 바닥, 천장, 벽, 책상, 소파 등 의미 라벨이 있는 개별 앵커를 중심으로 구성됩니다. 각각은 또한 2D 경계 또는 3D 경계 상자와 같은 간단한 기하학적 표현으로 연결됩니다.
- 장면 캡처 사용자가 방의 건축물과 가구를 돌아다니며 캡처하여 장면 모델을 생성할 수 있는 시스템 안내 흐름입니다. 앞으로 우리의 목표는 사람들이 주변을 수동으로 캡처할 필요가 없는 자동화된 장면 캡처 버전을 제공하는 것입니다.
- 장면 API 앱이 콘텐츠 배치, 물리, 탐색 등을 포함한 다양한 사용 사례에 대해 장면 모델의 공간 정보를 쿼리하고 액세스할 수 있는 인터페이스입니다. 개발자는 장면 API를 사용하여 장면 모델을 사용하여 물리적 표면에서 가상 공이 튕겨 나오도록 할 수 있습니다. 실제 방이나 물리적 벽을 확장할 수 있는 가상 로봇.
Ray는 "Scene Understanding은 개발자의 마찰을 줄여 실시간 폐색 및 충돌 효과를 통해 최대한 믿을 수 있고 몰입감 넘치는 MR 경험을 구축할 수 있게 해줍니다."라고 말합니다.
가상 객체 배치를 위한 공간 앵커
Meta 제품 관리자인 Laura Onu는 “입체 색상 패스스루와 장면 이해가 MR 경험이 실제 세계와 가상 세계를 혼합할 수 있도록 하는 데 큰 역할을 한다면 우리의 앵커링 기능은 모든 것을 하나로 묶는 결합 조직을 제공합니다.”라고 말합니다.
공간 앵커 개발자가 최고 수준의 혼합 현실 환경 구축을 시작하는 데 도움이 되는 핵심 기능입니다. 이를 통해 앱은 가상 객체가 시간이 지나도 공간에서 유지될 수 있도록 하는 참조 프레임이나 공간에 핀을 생성할 수 있습니다. Spatial Anchors 덕분에 제품 디자이너는 여러 3D 회로도를 제자리에 고정할 수 있습니다. 중력 스케치또는 친구 그룹이 게임 세계를 정박할 수도 있습니다. 데메오 동일한 설정으로 돌아가서 다음 날 게임을 계속할 수 있도록 테이블 표면으로 이동합니다.
Spatial Anchors는 Scene Model Anchors(벽, 테이블, 바닥 등)와 함께 사용하여 룸 규모에서 풍부한 경험과 자동 배치를 생성할 수 있습니다. 사용자의 방은 게임 플레이와 생산성 모두를 위한 공간 렌더링 캔버스가 됩니다. 개발자는 가상 문을 물리적 벽에 고정하도록 선택할 수 있습니다. 그런 다음 사용자는 그것을 열어서 물리적 공간에 들어갈 수 있는 자체 캐릭터로 완성된 완전히 몰입되는 가상 세계를 드러낼 수 있습니다.
Onu는 “장면 이해와 Spatial Anchors를 결합하면 MR 경험을 사용자 환경에 혼합하고 적용하여 가능성이 가득한 새로운 세계를 만들 수 있습니다.”라고 말합니다. “당신은 할 수 있습니다 비밀요원이 되다 자신의 거실에 가상 가구를 배치하거나 확장 스케치 당신의 집에, 물리 게임 만들기, 그리고 더."
같은 위치에 있는 경험을 위한 공유 공간 앵커
마지막으로 추가한 사항은 다음과 같습니다. 공유 공간 앵커 프레즌스 플랫폼으로. 공유 공간 앵커를 사용하면 한 사람이 만든 앵커를 동일한 물리적 공간에 있는 다른 사람과 공유할 수 있습니다. 이를 통해 개발자는 여러 사용자를 위해 공유된 세계 고정 참조 프레임을 생성하여 로컬 멀티플레이어 환경을 구축할 수 있습니다. 예를 들어, 두 명 이상이 동일한 실제 테이블에 앉아 그 위에서 가상 보드 게임을 즐길 수 있습니다. 여기를 클릭하세요. 드리겠습니다.
혼합 현실을 위한 성공적인 조합
진정하고 의미 있는 MR 경험을 제공하려면 실시간 폐색 및 충돌, 객체 감지, 조명 정보와 함께 입체형 컬러 패스스루, 장면 이해, 공간 앵커, 공유 공간 앵커가 하나의 패키지에 결합되어 있어야 합니다. 그리고 이 모든 것은 성능 비용, 컴퓨팅, 열과 같은 제약 조건을 염두에 두어야 합니다. 하지만 무엇보다도 편안한 경험을 보장하는 것이 중요합니다.
Meta 제품 관리자인 Avinav Pashine은 "기술 분야의 대부분의 경우와 마찬가지로 장단점이 있습니다."라고 인정합니다. "현재 솔루션이 완벽하지는 않지만 컴퓨팅을 보존하면서 사용자 편의성을 극대화합니다. 덕분에 우리는 더 깊이 있고 폭넓은 개발자 도구를 제공할 수 있습니다."
이것은 시작에 불과합니다. Meta Reality는 소프트웨어 업데이트와 향후 Meta Quest 제품에 제공되는 하드웨어 발전을 통해 계속 발전할 것입니다.
"Meta Quest Pro는 이 새로운 기술의 흥미로운 잠재력을 탐구하는 많은 MR 장치 중 첫 번째 장치입니다."라고 Silveira Cabral은 덧붙입니다. “우리는 VR 헤드셋으로 가능한 것을 재정의하는 매력적인 경험을 구축하는 개발자들과 함께 배우고 싶습니다. 이 이야기는 아직 완성되지 않았습니다. 이것은 단지 1페이지일 뿐입니다.”
