複合現実 (MR) は、生産性や同僚とのリアルタイム コラボレーションから、友人や家族との団欒、そして私たちがまだ夢にも思わなかった新しいタイプのゲームやインタラクティブ アプリに至るまで、さまざまなユニークなエクスペリエンスへの扉を開くことができます。 VR ではデジタル環境に完全に没入できますが、MR では、仮想コンテンツを楽しみながら、物理空間内で自由に動き回って人や物体と対話できるため、物理空間を拡張する VR での新しいクラスの AR のような体験が可能になります。
「周囲の物理世界を確認し、それを仮想コンテンツと融合できることで、今日の VR の新たな可能性が開かれます。たとえば、物理的に同じ部屋にいる友達とプレイできるコロケーション ゲームや、巨大な仮想モニターと物理ツールを組み合わせた生産性体験などです。 」とメタ プロダクト マネージャーの Sarthak Ray 氏は説明します。 「そしてこれは、拡張現実に対する当社の長期的なビジョンに向けた一歩です。」
複合現実は、ヘッドセット内の物理世界のリアルタイムの高解像度ビデオ フィードを表示するだけで実現できるという誤解がよくありますが、真実ははるかに複雑です。信頼できる MR エクスペリエンスには、仮想世界と物理世界を説得力を持って融合させる能力が必要です。つまり、ヘッドセットは物理環境を 2D ビデオとして表示するだけではありません。実際に、周囲の物体や表面を理解して、部屋を 3D 空間としてデジタル的に再構築する必要があります。それには、高解像度センサーなどの複数のハードウェアおよびソフトウェア テクノロジーからなる複雑なシステムが必要です。 パススルー、AIを活用した シーン理解, 空間アンカー、すべてがシームレスかつ快適な方法で連携します。
Meta では、独自の研究開発に継続的に投資し、最先端の VR テクノロジーを開発し、消費者に大規模に提供しています。同時に人間を第一に設計を行っています。私たちは、人々が周囲の世界をどのように認識しているかについての深い理解と、その認識を仮想現実と複合現実の可能性について人々を興奮させる没入型体験に結び付けようとする意欲によって情報を得て、細部に焦点を当てます。本日、私たちは独自の複合現実システムの新しい名前であるメタ リアリティを導入し、真の一流の MR エクスペリエンスに何が組み込まれているかを内部的に紹介します。
空間認識のための立体カラー パススルー
何よりもまず、真の MR 体験は快適で、自然な視聴体験のように感じられるものでなければなりません。奥行き感を伝えられない直接ビデオ フィードでは、たとえ高解像度であっても、それを実現することはできません。さらに、パススルーが平面視 (単一の視野角から見た) である場合、および/または奥行きの手がかりがない場合、視聴者にとって不快になる可能性があります。のために パススルー 快適にするには、個々のアイ バッファーにレンダリングされるイメージを、立体視の手がかりを提供する 2 つの別々の角度から生成する必要があります。これは、深さと色の情報の存在とともに、快適なエクスペリエンスを再構築するために重要です。
当社の立体カラー パススルー ソリューションは、カスタム ハードウェア アーキテクチャ、高度なコンピューター ビジョン アルゴリズム、およびこの課題に対処するために、人の目が自然に周囲の世界をどのように見ているかをモデル化する最先端の機械学習を使用しています。カメラとディスプレイの解像度が向上することで画質が向上し、Meta Quest Pro のカメラは Meta Quest 2 のカメラの 3 倍のピクセルをキャプチャします。しかし、おそらくもっと重要なことは、その画像ベースのレンダリング、ステレオ ジオメトリの再構成、および奥行きの理解によって、特定の部屋内のシーンに対するオブジェクトの位置が確立されることです。この新しいアルゴリズム スタックにより、Meta Quest Pro は部屋の形状の側面を識別し、XNUMXD 空間内のオブジェクトの位置を正確に特定できるようになります。そのため、立体的なカラー パススルーで表示しながら机の上のコーヒー カップに手を伸ばすと、脳はカップが隣にあるペンよりも手から遠く離れていると認識します。
「Meta Quest Pro は 2 つのカメラ ビューを組み合わせて現実的な奥行きを再構築します。これにより、カラー パススルーを使用して構築された複合現実エクスペリエンスが人々にとって快適になります」と Meta Computer Vision エンジニアリング マネージャーの Ricardo Silveira Cabral 氏は説明します。 「しかしまた、ステレオ テクスチャ キューにより、深度の再構成が完璧ではない場合やシステムの範囲を超えている場合でも、ユーザーの脳が残りの作業を行って深度を推測できるようになります。」
ご注意ください オクルスインサイト—消費者向け VR デバイス向けに、初のスタンドアロンのフル機能を備えた「インサイドアウト」トラッキング システムを実現した当社のテクノロジーは?深度センシング機能をアップグレードして、特定の空間の高密度の 3D 表現をリアルタイムで生成します。 Insight は空間内のヘッドセットの位置を正確に特定するために室内で約 100 の関心点を使用しますが、Meta Quest Pro の深度センシング ソリューションは、さまざまな自然照明および人工照明条件下で、最大 10,000 メートル離れた場所でフレームあたり最大 3 の点を生成します。この情報を使用して物理世界の 3D メッシュを作成し、この出力を数フレームにわたって組み合わせて、空間の高密度で時間的に安定した表現を生成します。このメッシュは予測レンダリングで使用され、物理世界の画像が生成されます。つまり、再構築は、ヘッドセットの左目と右目のビューに個別にワープされます。 非同期タイムワープ レンダリングの遅延を補うために、数ミリ秒後のユーザーの目の位置を予測するテクノロジー。
最後に、色を追加すると、エクスペリエンス全体の見た目と感触がよりリアルになります。 「カラー カメラを使用して立体ビューに色を付け、体験を物理世界にできるだけ近づけます」とシルベイラ カブラル氏は言います。 「このアーキテクチャに加えてパイプライン全体で最適化を行うことで、追加の計算リソースを必要とせずに、既存のすべての Meta Quest 2 タイトルと今後の MR アプリに対して、Meta Quest Pro の立体的なカラー パススルーをデフォルトのエクスペリエンスとして提供できます。つまり、Meta Quest 2 でパススルーを使用している既存のアプリは、箱から出してすぐに Meta Quest Pro の新しい立体カラー パススルー テクノロジーで動作することになります。」
すべてを合計すると、Meta Quest Pro の立体カラー パススルーは、平面的なソリューションよりも奥行き知覚と視覚的な歪みの少ない快適な体験をもたらし、高品質なルームスケールの複合現実体験を実現します。
仮想コンテンツを物理世界に融合させるためのシーンの理解
の一環として導入されました。 プレゼンスプラットフォーム Connect 2021期間中、 シーン理解 これにより、開発者は、ユーザーの環境との豊かな対話を可能にする、複雑でシーンを意識した MR エクスペリエンスを迅速に構築できます。
「複雑さを最小限に抑え、開発者がエクスペリエンスとビジネスの構築に集中できるようにするために、システム ソリューションとしてシーン理解を導入しました」とメタ プロダクト マネージャーの Wei Lyu 氏は述べています。
- シーンモデル は、幾何学的な情報と意味論的な情報で構成される、システムによって管理される、単一の包括的で最新の環境表現です。シーン モデルの基本要素はアンカーであり、各アンカーにはさまざまなコンポーネントを接続できます。たとえば、ユーザーのリビング ルームは、床、天井、壁、机、ソファなどのセマンティック ラベルが付いた個々のアンカーを中心に編成されます。それぞれには、2D 境界または 3D 境界ボックスといった単純な幾何学的表現も関連付けられています。
- シーンキャプチャ は、ユーザーが歩き回って部屋の建築や家具をキャプチャし、シーン モデルを生成できるシステムガイドのフローです。将来の目標は、人々が周囲を手動でキャプチャする必要のない自動バージョンのシーン キャプチャを提供することです。
- シーン API は、アプリがコンテンツの配置、物理学、ナビゲーションなどのさまざまなユースケースでシーン モデル内の空間情報をクエリしてアクセスできるインターフェイスです。Scene API を使用すると、開発者はシーン モデルを使用して、仮想ボールを物理的な表面でバウンドさせることができます。実際の部屋、または物理的な壁をよじ登ることができる仮想ロボット。
「Scene Understanding は開発者の摩擦を軽減し、リアルタイムのオクルージョンと衝突効果を備えた可能な限り現実的で没入型の MR エクスペリエンスを構築できるようにします」と Ray 氏は言います。
仮想オブジェクト配置のための空間アンカー
「立体的なカラー パススルーとシーン理解が MR エクスペリエンスを物理世界と仮想世界を融合させる重労働であるとすれば、当社のアンカリング機能はそれらをすべて 1 つにまとめる結合組織を提供します」と Meta プロダクト マネージャーの Laura Onu 氏は述べています。
空間アンカー は、開発者が一流の複合現実エクスペリエンスを構築し始めるのに役立つ中心的な機能です。これらにより、アプリは空間内に基準フレームまたはピンを作成し、仮想オブジェクトを時間の経過とともに空間内に保持できるようになります。空間アンカーのおかげで、製品設計者は複数の 3D 回路図を所定の位置に固定できます。 重力スケッチ、または友人のグループがゲームの世界を固定するかもしれません。 デメオ テーブルの表面に置くと、翌日も同じセットアップに戻ってゲームを続けることができます。
空間アンカーをシーン モデル アンカー (壁、テーブル、床など) と組み合わせて使用すると、豊かなエクスペリエンスとルーム スケールでの自動配置を作成できます。ユーザーの部屋は、ゲームプレイと生産性の両方のための空間レンダリング キャンバスになります。開発者は、仮想ドアを物理的な壁に固定することを選択する場合があります。ユーザーはそれを開いて、物理空間に入ることができる独自のキャラクターを備えた完全に没入型の仮想世界を表示できます。
「Scene Understanding と Spatial Anchors を組み合わせることで、MR エクスペリエンスをユーザーの環境にブレンドして適応させ、可能性に満ちた新しい世界を作り出すことができます」と Onu 氏は述べています。 "あなたはできる 秘密諜報員になる 自分のリビングルームに仮想家具を配置したり、 拡張機能をスケッチする あなたの家に、 物理ゲームを作成する、 もっと。"
同じ場所にあるエクスペリエンスのための共有空間アンカー
最後に重要なことを追加しました。 共有空間アンカー プレゼンスプラットフォームへ。共有空間アンカーを使用すると、ある人が作成したアンカーを同じ物理空間内の他の人と共有できます。これにより、開発者は、複数のユーザー向けに世界にロックされた共有参照フレームを作成して、ローカル マルチプレイヤー エクスペリエンスを構築できます。たとえば、2 人以上の人が同じ物理的なテーブルに座り、その上で仮想ボード ゲームをプレイすることができます。 こちらをクリックしてください to learn more.
Mixed Reality に最適な組み合わせ
真の有意義な MR エクスペリエンスを提供するには、立体的なカラー パススルー、シーン理解、空間アンカー、共有空間アンカーと、リアルタイムのオクルージョンと衝突、物体検出、照明情報を 1 つのパッケージに組み合わせる必要があります。そして、パフォーマンス コスト、コンピューティング、熱などの制約を念頭に置きながら、すべてを組み合わせる必要があります。しかし何よりも、快適な体験を確保することが重要です。
「テクノロジー業界のほとんどのことと同様、トレードオフが関係します」とメタ プロダクト マネージャーのアヴィナブ・パシン氏は認めます。 「当社の現在のソリューションは完璧ではありませんが、ユーザーの快適性を最大限に高めながらコンピューティングを維持できます。そのおかげで、より深く幅広い開発者ツールを提供できるようになりました。」
これは始まりにすぎない。 Meta Reality は、ソフトウェアのアップデートと、将来の Meta Quest 製品で提供されるハードウェアの進歩によって進化し続けます。
「Meta Quest Pro は、この新興テクノロジーの刺激的な可能性を探求する多くの MR デバイスの最初のものです」と Silveira Cabral 氏は付け加えます。 「私たちは、VR ヘッドセットでできることを再定義する魅力的なエクスペリエンスを構築する開発者と一緒に学びたいと考えています。この物語はまだ完結していません、これはほんの 1 ページ目です。」
