Quest Pro のフェイス トラッキング機能は、Meta のアバターをより表現力豊かにするためにすぐに使用できるようになりますが、次世代のアバターは、新しい技術からより多くの恩恵を受けることができます.
Quest Pro の大きな新機能の XNUMX つは、内部カメラを使用して目と顔の一部の動きを感知する顔追跡システムです。 キャリブレーション不要の機械学習モデルと組み合わせることで、ヘッドセットは認識したものを入力に変換し、アバターのアニメーションを駆動することができます。
キー クエスト プロ カバレッジ:
Quest Proが明らかに–完全な仕様、価格、およびリリース日
Quest Proハンズオン – 複合現実ヘッドセット時代の幕開け
近いうちに、これは Meta の既存のアバターで使用されるようになります。 そして、確かに表情豊かになりますが、それでもやや間抜けに見えます.
これは、現在のメタ アバター システムがこのレベルの顔追跡を考慮して構築されていないことが原因である可能性があります。 モデルの基礎となるアニメーション フレームワークである「リギング」は、このタスクにはあまり適していないようです。 Quest Pro のフェイス トラッキング入力を現在のシステムに移植しても、実際の機能を十分に活用できていません。
幸いなことに、Meta は Quest Pro のフェイス トラッキングを念頭に置いてアバターを設計した場合 (およびヘッドセットの処理能力のほとんどすべてをレンダリングに使用した場合) に何が可能かを示す技術デモを作成しました。
[埋め込まれたコンテンツ]
はい、まだ少し不安定ですが、ここで見られるすべての動きは、頬を膨らませたり、口を片側から反対側に動かしたりするなど、同じ動きをするユーザーによって駆動されています. 全体として、不気味の谷に入るのをなんとか回避していると私が主張するのは、顔のはるかに完全な表現です.
このデモを自分で試してみる必要があります Quest Pro の最近のハンズオン 鏡をのぞくと、このキャラクター（メタはオーラと呼んでいます）として現れました。 特別なキャリブレーションがなくても、鏡に映った顔が、自分の顔で考えられるあらゆる動きを模倣しているように見えたことに、本当に感銘を受けました。
特に肌のディテールにこだわりました。 目を細めて鼻をすくめると、その周りの皮膚がリアルにまとまり、眉を上げると同じことがわかりました. 口に合わせて動く頬のしわなど、これらの微妙なディテールは、これが目の前の物体だけでなく、その背後にある生き物であるという印象を与えます.
表情が実際に似ているかどうか me 私がマスクの後ろにいるときは別の問題です。 このアバターの顔は私の顔と一致しないので、実際には言いにくいです. しかし、その動きは少なくとも もっともらしく現実的 は、自然で信頼できる仮想アバターに向けた重要な第一歩です。
Meta は、Aura デモをオープン ソース プロジェクトとしてリリースし、開発者がフェイス トラッキング入力をアバターにどのように追加したかを確認できるようにすると述べています。 同社はまた、開発者は単一のツールセットを使用して、すべてのアバターを個別に微調整する必要なく、人型アバターや動物やモンスターなどの人間以外のアバターを操作できるようになると述べています。
Meta によると、開発者は FACS に対応する値を使用する顔追跡 API を利用できるようになる予定です。FACS は、人間の顔のさまざまな筋肉の動きを記述するためのよく知られたシステムです。
これは、顔を表すだけでなく、ユーザーにとって便利なプライバシー バリアを形成する効果的なシステムです。 Meta によると、開発者はユーザーの顔の生の画像に実際にアクセスすることはできません。 代わりに、「鼻をかみしめたり、眉をひそめたりするときなど、一連の一般的な顔の動きに対応する一連の XNUMX から XNUMX の値」を取得します。 「これらの信号により、開発者は、キャラクターがヒューマノイドであろうと、より幻想的なものであろうと、Face Tracking API からの信号を独自のキャラクター リグにマッピングする際に、プレイヤーの元の動きのセマンティックな意味を簡単に維持できます。」
Meta は、同社自体でさえ、ヘッドセットのカメラによってキャプチャされた画像を内部または外部で見ることができないと主張しています。 同社によると、それらはヘッドセットで処理された後、クラウドや開発者に送信されることなくすぐに削除されます。
