立体視カラー パススルー、空間固定、およびシーンの理解により、よりリアルな複合現実体験が実現します。
Meta のプロダクト マネージャーである Sarthak Ray 氏によると、Mixed Reality を通じて周囲の世界を見て対話する機能により、VR の新しい機会が開かれます。 「同じ物理的な部屋で友達と遊んだり、巨大な仮想モニターと物理的なツールを組み合わせた生産性を体験したりできます。これは、拡張現実に対する長期的なビジョンに向けた一歩です。」
一般に信じられていることとは反対に、VR/AR デバイスが物理世界と仮想世界を納得のいくように融合できる場合、複合現実体験は最も効果的です。 これは、ヘッドセットが 2D ビデオ フィードを提供する以上のことをしなければならないことを意味します。 最近のブログ投稿 on oculus.com.
Meta は、最先端の VR テクノロジの開発への取り組みをさらに進めるために、Meta Reality の立ち上げを発表しました。Meta Reality は、優れた体験を作成するために何が必要かを内部から見られる新しい複合現実システムです。
空間認識のための立体カラー パススルー
Meta は、快適で没入型の Mixed Reality エクスペリエンスを提供する上で、カラー パススルーとステレオスコピック 3D テクノロジの重要性を認識しています。
「Meta Quest Pro は XNUMX つのカメラ ビューを組み合わせてリアルな奥行きを再構築します。これにより、カラー パススルーを使用して構築された複合現実体験が人々にとって快適になります。 「また、ステレオ テクスチャ キューにより、深度の再構成が完全でない場合やシステムの範囲を超えている場合でも、ユーザーの脳は残りの部分を処理して深度を推測できます。」
たとえば、Passthrough を使用すると、脳は、コーヒー カップが手から離れていることと、すぐ隣にあるペンから離れていることを学習します。
Oculus Insight は、室内でのヘッドセットの位置を特定するために 100 の関心点しかキャプチャできなかったが、コンシューマ VR デバイス向けの最初のスタンドアロン追跡システムを提供したテクノロジでした。 その後、ディープセンシングを可能にするためにアップグレードされました。 比較のために、Meta Quest Pro はさまざまな照明条件下で 10,000 秒あたり最大 3 の関心ポイントを生成できるため、物理空間の改善された XNUMXD 表現をすべてリアルタイムで作成できます。
このプロセスを通じて、Meta は継続的に更新される物理世界の 3D モデルを作成できます。 次に、このデータを使用して、現実世界の環境の画像を生成できる予測レンダリング フレームワークを作成できます。 レンダリングの待ち時間を補うために、再構成はユーザーの左目と右目のビューに合わせて調整されます。 非同期タイムワープ アルゴリズム。
Silveira Cabral 氏によると、カラー立体カメラを使用することで、チームは現実世界をよりリアルに解釈できるようになります。
仮想コンテンツを物理世界に融合させるためのシーンの理解
Presence Platform の Scene Understanding コンポーネントは、Connect 2021 イベントで導入されました。 このテクノロジにより、開発者は複雑でシーンに対応した複合現実エクスペリエンスを作成できます。 Meta Quest Pro のプロダクト マネージャーである Wei Lyu 氏によると、同社の Scene Understanding コンポーネントは、開発者がビジネスとエクスペリエンスの構築に集中できるように設計されています。.
「システム ソリューションとして Scene Understanding を導入しました」と Lyu 氏は言います。
シーンの理解は、次の XNUMX つの領域に分けられます。
- シーンモデル – 幾何学的情報とセマンティック情報で構成される、環境の単一の包括的で最新のシステム管理表現。 シーン モデルの基本要素はアンカーです。 各アンカーは、さまざまなコンポーネントに取り付けることができます。 たとえば、ユーザーの居間は、床、天井、壁、机、ソファなどのセマンティック ラベルを持つ個々のアンカーを中心に編成されています。 アンカーは、単純な幾何学的表現 (2D 境界または 3D 境界ボックス) で取り付けられます。
- シーンキャプチャ – ユーザーが歩き回り、部屋のアーキテクチャと家具をキャプチャしてシーン モデルを生成できるようにするシステム ガイド フロー。 将来的には、周囲を手動でキャプチャする必要のないシーン キャプチャの自動バージョンを提供することが目標になります。
- シーン API – コンテンツの配置、物理学、ナビゲーションなど、さまざまなユース ケースでシーン モデルの空間情報にアクセスするためにアプリが使用できるインターフェイス実際の部屋または物理的な壁をスケーリングできる仮想ロボット。
「Scene Understanding は開発者の負担を軽減し、リアルタイムのオクルージョンとコリジョン エフェクトを使用して、可能な限りリアルで没入感のある MR エクスペリエンスを構築できるようにします」と Ray 氏は付け加えました。
仮想オブジェクト配置のための空間アンカー
開発者は、Meta Quest Pro プラットフォームのコア機能である Spatial Anchors を使用して、一流の複合現実体験を簡単に作成できます。 たとえば、製品デザイナーは、次のようなプラットフォームを使用して、物理空間全体に複数の 3D モデルを簡単に固定できます。 重力スケッチ 製品のシームレスな環境を作成します。
メタ プロダクト マネージャーのローラ オヌ氏は、次のように述べています。
シーン モデルと共に空間アンカーを使用して、さまざまな経験や状況に対応するリッチで自動化された環境を作成できます。 たとえば、物理的な壁に接続された仮想ドアを作成できます。 これは、デジタル ツイニング、倉庫の自動化、さらにはロボティクスのエンタープライズ ソリューションに XR テクノロジを検討している企業にとって、大きな一歩となるでしょう。
今のところ、Meta はソーシャル エクスペリエンスに重点を置いているようです。 「Scene Understanding と Spatial Anchors を組み合わせることで、MR エクスペリエンスをユーザーの環境にブレンドして適応させ、可能性に満ちた新しい世界を作り出すことができます」と Onu 氏は付け加えます。 、仮想家具を部屋に配置したり、家の延長をスケッチしたり、物理ゲームを作成したりできます。」
コロケーション体験のための共有空間アンカー
さらに、Meta は共有空間アンカー機能をプレゼンス プラットフォームに追加しました。 これにより、アンカーを同じスペース内の他のユーザーと共有することで、ローカル マルチプレイヤー エクスペリエンスを作成できます。 これにより、あなたと他の友人が物理的なテーブルの上で、同じように VR ボード ゲームをプレイできるようになります。 ティルトファイブ ゲーム体験を提供します。
Mixed Reality に最適な組み合わせ
Spatial Anchors、Passthrough、および Scene Understanding を組み合わせることで、現実世界のように見えるように設計されたリッチでインタラクティブな環境を作成できます。 Meta Quest Pro のプロダクト マネージャーである Avinav Pashine 氏は、ユーザーにとって素晴らしく快適な複合現実環境を作成するには、多くのトレードオフが関係していると指摘しました。
Meta Reality の未来は、同社が次世代の製品で提供されるソフトウェアの更新とハードウェアの革新を通じてプラットフォームを継続的に改善しているため、まだ進化しています。 Meta Quest Pro のプロダクト マネージャーである Silveira Cabral 氏は、同社の最初の製品は Meta Reality の進化における重要なステップであると述べています。
「私たちは、開発者が VR ヘッドセットの可能性を再定義する魅力的な体験を構築する際に、一緒に学びたいと考えています。 この話はまだ完全ではありません。これは XNUMX ページにすぎません。」
画像クレジット：メタ
