メタ研究者は、トラッカーを追加せずに Quest 2 のボディ トラッキングを実証しました。
現在の VR システムにはヘッドセットとコントローラーが付属しているため、頭と手の位置のみを追跡します。 肘、胴体、および脚の位置は、インバース キネマティクス (IK) と呼ばれるアルゴリズムのクラスを使用して推定できますが、これはあくまでも 肘の場合は正確な場合があり、脚の場合はほとんど正確ではありません。 与えられた頭と手の位置のセットごとに、考えられる解決策が多すぎます。
IK の制限を考えると、いくつかの 現在の VR アプリでは手だけが表示され、多くのアプリでは上半身だけが表示されます。 SteamVR 追跡サポートを使用する PC ヘッドセットは、次のような追加のトラッカーを着用します HTC の Vive トラッカー、しかし、ボディ トラッキングに必要な 350 つのコストは XNUMX ドルを超えるため、ほとんどのゲームではサポートされていません。
しかし、中 QuestSimというタイトルの新しい論文、Meta の研究者は、クエスト 2 とそのコントローラーからの追跡データだけでもっともらしい全身ポーズを推定できるニューラル ネットワークによって駆動されるシステムを実証しました。 追加のトラッカーや外部センサーは必要ありません。
結果として得られるアバターの動きは、ユーザーの実際の動きにかなり近いものになります。 研究者は、結果として得られる精度とジッターが摩耗した IMU トラッカー (発表された Pico 4 のような加速度計とジャイロスコープのみを備えたデバイス) よりも優れているとさえ主張しています。 ピコフィットネスバンド (ただし、Pico は独自の機械学習アルゴリズムに取り組んでいると主張しています)。
しかしながら、 ここに落とし穴があります. ビデオで見られるように、このシステムはもっともらしいものを作成することを優先するように設計されています。 全身 アバターの手がユーザーの手の正確な位置と一致するようにポーズをとります。 システムの遅延も 160ms で、11Hz で 72 フレーム以上です。 これらの問題を考慮すると、QuestSim は他の人のアバターの体を見る場合にのみ適していて、下を見たときに自分の体を見ることはできません。
それでも、他の人のアバターの全身の動きを見ることは、しばしば批判されるメタの現在のアバターの上半身の脚のないものよりもはるかに好ましい. では、このシステム、またはそれに似たものがクエスト 2 に登場するのでしょうか?
Meta CTO の Andrew Bosworth 氏は先週、確かにこれをほのめかしたようです。 いつ インスタグラムでレッグトラッキングについて尋ねられた「なんでも聞いて」 ボスワースは答えた:
「ええ、私たちは足のないアバターをからかわれてきましたが、それは非常に公平だと思いますし、かなり面白いと思います.
実際の足と一致しない自分のアバターの足は、人々を非常に当惑させます。 しかしもちろん、私たちはあなたが見ることができる他の人々に足を踏み入れることができます。
傍観者はあなたの本当の足が実際にどのように配置されているかを知らないため、私たちは自然に見える足に取り組んでいます. それが私たちの現在の戦略です。」
ただし、短期的な解決策は、このアルゴリズムと同じ品質ではない可能性があります。 機械学習の研究論文は、比較的低いフレームレートで強力な PC GPU で実行される傾向があります。 この論文では、説明されているシステムのパフォーマンスについては言及されていませんが、RTX 3080 がトレーニングに使用されていると記載されています。
Meta Connect の年次 AR/VR イベントが開催されます わずか2週間で、そのため、ボディ トラッキングのアナウンスは、その間に行われる可能性があります。
