Meta-Forscher demonstrieren Quest 2 Body Tracking ohne zusätzliche Tracker

Meta-Forscher demonstrierten Quest 2 Body Tracking ohne zusätzliche Tracker.

Aktuelle VR-Systeme werden mit einem Headset und gehaltenen Controllern geliefert, verfolgen Sie also nur die Position Ihres Kopfes und Ihrer Hände. Die Position Ihrer Ellbogen, Ihres Oberkörpers und Ihrer Beine kann mithilfe einer Klasse von Algorithmen geschätzt werden, die als inverse Kinematik (IK) bezeichnet werden, aber dies ist nur manchmal richtig für Ellbogen und selten richtig für Beine. Es gibt einfach zu viele mögliche Lösungen für jeden gegebenen Satz von Kopf- und Handpositionen.

Angesichts der Einschränkungen von IK, einige VR-Apps zeigen heute nur Ihre Hände, und viele geben Ihnen nur einen Oberkörper. PC-Headsets mit SteamVR-Tracking unterstützen getragene zusätzliche Tracker wie z Vive Tracker von HTC, aber die drei, die für die Körperverfolgung benötigt werden, kosten über 350 US-Dollar und werden daher in den meisten Spielen nicht unterstützt.

Aber in ein neues Papier mit dem Titel QuestSim, Demonstrierten Meta-Forscher ein System, das von einem neuronalen Netzwerk gesteuert wird, das eine plausible Ganzkörperpose nur mit den Tracking-Daten von Quest 2 und seinen Controllern schätzen kann. Es werden keine zusätzlichen Tracker oder externen Sensoren benötigt.

Die resultierende Avatarbewegung stimmt ziemlich genau mit der realen Bewegung des Benutzers überein. Die Forscher behaupten sogar, dass die resultierende Genauigkeit und der Jitter abgenutzten IMU-Trackern überlegen sind – Geräten mit nur einem Beschleunigungsmesser und einem Gyroskop wie dem angekündigten Pico 4 Pico Fitnessband (Pico behauptet jedoch, dass es an einem eigenen Algorithmus für maschinelles Lernen arbeitet).

Aber, Hier gibt es einen Haken. Wie im Video zu sehen ist, ist dieses System darauf ausgelegt, eine plausible Lösung zu priorisieren Ganzkörper Stellen Sie sicher, dass die Hände des Avatars mit der exakten Position der Hände des Benutzers übereinstimmen. Die Latenz des Systems beträgt ebenfalls 160 ms – mehr als 11 Frames bei 72 Hz. Angesichts dieser Probleme wäre QuestSim nur dazu geeignet, die Avatar-Körper anderer Personen zu sehen, nicht Ihren eigenen Körper, wenn Sie nach unten schauen.

Dennoch wäre es viel besser, die Bewegungen des ganzen Körpers der Avatare anderer Leute zu sehen als die oft kritisierten beinlosen Oberkörper von Metas aktuellen Avataren. Kommt dieses System oder etwas Ähnliches also zu Quest 2?

Meta CTO Andrew Bosworth schien dies letzte Woche sicherlich anzudeuten. Wann Fragte nach Beinverfolgung in einem Instagram „Frag mich irgendetwas“ Bosworth antwortete:

„Ja, wir haben uns wegen der beinlosen Avatare oft lustig gemacht, und ich denke, das ist sehr fair und ziemlich lustig.

Beine an Ihrem eigenen Avatar zu haben, die nicht mit Ihren echten Beinen übereinstimmen, ist für die Menschen sehr beunruhigend. Aber natürlich können wir anderen Leuten Beine machen, das sieht man, und es stört einen überhaupt nicht.

Wir arbeiten also an Beinen, die für einen Zuschauer natürlich aussehen – weil sie nicht wissen, wie Ihre echten Beine tatsächlich positioniert sind – aber wahrscheinlich werden Sie, wenn Sie Ihre eigenen Beine betrachten, weiterhin nichts sehen. Das ist unsere aktuelle Strategie.“

Die kurzfristige Lösung weist jedoch möglicherweise nicht die gleiche Qualität wie dieser Algorithmus auf. Forschungsarbeiten zum maschinellen Lernen werden in der Regel auf leistungsstarken PC-GPUs mit relativ niedriger Bildrate ausgeführt. Die Leistung des beschriebenen Systems wird in dem Dokument nicht erwähnt, es wird jedoch eine RTX 3080 als für das Training genutzt aufgeführt.

Das jährliche AR/VR-Event von Meta Connect findet statt in etwas mehr als 2 wochen, also würde wahrscheinlich jede Body-Tracking-Ankündigung währenddessen stattfinden.