Οι Meta Researchers επιδεικνύουν το Quest 2 Body Tracking χωρίς επιπλέον ιχνηλάτες

Οι ερευνητές του Meta παρουσίασαν παρακολούθηση σώματος του Quest 2 χωρίς επιπλέον ιχνηλάτες.

Τα τρέχοντα συστήματα VR συνοδεύονται από ακουστικά και χειριστήρια, επομένως παρακολουθείτε μόνο τη θέση του κεφαλιού και των χεριών σας. Η θέση των αγκώνων, του κορμού και των ποδιών σας μπορεί να εκτιμηθεί χρησιμοποιώντας μια κατηγορία αλγορίθμων που ονομάζεται αντίστροφη κινηματική (IK), αλλά αυτό είναι μόνο ακριβής μερικές φορές για τους αγκώνες και σπάνια σωστή για τα πόδια. Υπάρχουν πάρα πολλές πιθανές λύσεις για κάθε δεδομένο σετ θέσεων κεφαλιού και χεριών.

Δεδομένων των περιορισμών του ΙΚ, κάποιοι Οι εφαρμογές VR σήμερα δείχνουν μόνο τα χέρια σας και πολλές σας δίνουν μόνο ένα πάνω μέρος του σώματος. Ακουστικά PC που χρησιμοποιούν SteamVR υποστήριξη παρακολούθησης φορεμένα επιπλέον trackers όπως Το Vive Tracker της HTC, αλλά τα τρία που απαιτούνται για την παρακολούθηση του σώματος κοστίζουν βόρεια από 350 $ και επομένως αυτό δεν υποστηρίζεται στα περισσότερα παιχνίδια.

Αλλά σε μια νέα εργασία με τίτλο QuestSim, οι ερευνητές του Meta επέδειξαν ένα σύστημα που οδηγείται από ένα νευρωνικό δίκτυο το οποίο μπορεί να εκτιμήσει μια εύλογη στάση ολόκληρου του σώματος με μόνο τα δεδομένα παρακολούθησης από το Quest 2 και τους ελεγκτές του. Δεν χρειάζονται επιπλέον ιχνηλάτες ή εξωτερικοί αισθητήρες.

Η προκύπτουσα κίνηση avatar ταιριάζει αρκετά με την πραγματική κίνηση του χρήστη. Οι ερευνητές ισχυρίζονται ακόμη και ότι η προκύπτουσα ακρίβεια και το jitter είναι ανώτερα από τα φθαρμένα IMU trackers - συσκευές με μόνο επιταχυνσιόμετρο και γυροσκόπιο όπως το Pico 4 που ανακοινώθηκε Pico Fitness Band (Η Pico ισχυρίζεται ότι εργάζεται στον δικό της αλγόριθμο μηχανικής εκμάθησης).

Ωστόσο, υπάρχει ένα πιάσιμο εδώ. Όπως φαίνεται στο βίντεο, αυτό το σύστημα έχει σχεδιαστεί για να δίνει προτεραιότητα στην παραγωγή ενός εύλογου ολόκληρο το σώμα ποζάρετε, διασφαλίζοντας ότι τα χέρια του avatar ταιριάζουν με την ακριβή θέση των χεριών του χρήστη. Η καθυστέρηση του συστήματος είναι επίσης 160 ms – περισσότερα από 11 καρέ στα 72 Hz. Δεδομένων αυτών των προβλημάτων, το QuestSim θα ήταν κατάλληλο μόνο για να βλέπεις τα σώματα avatar άλλων ανθρώπων, όχι να βλέπεις το δικό σου σώμα όταν κοιτάς κάτω.

Ωστόσο, θα ήταν πολύ προτιμότερο να βλέπεις την κίνηση ολόκληρου του σώματος των avatar άλλων ανθρώπων από τα συχνά επικρινόμενα άνω σώματα χωρίς πόδια των σημερινών avatar του Meta. Άρα αυτό το σύστημα, ή κάτι παρόμοιο, έρχεται στο Quest 2;

Το Meta CTO Andrew Bosworth φάνηκε σίγουρα να το υπαινίσσεται την περασμένη εβδομάδα. Πότε ρωτήθηκε για το leg tracking σε ένα Instagram "ρωτήστε με οτιδήποτε" Ο Μπόσγουορθ απάντησε:

«Ναι, μας έχουν κοροϊδέψει πολύ για τα avatar χωρίς πόδια, και νομίζω ότι αυτό είναι πολύ δίκαιο και νομίζω ότι είναι αρκετά αστείο.

Το να έχεις πόδια στο δικό σου avatar που δεν ταιριάζουν με τα πραγματικά σου πόδια είναι πολύ ανησυχητικό για τους ανθρώπους. Αλλά φυσικά μπορούμε να βάλουμε πόδια σε άλλους ανθρώπους, που μπορείτε να δείτε, και δεν σας ενοχλεί καθόλου.

Επομένως, εργαζόμαστε σε πόδια που φαίνονται φυσικά σε κάποιον που είναι παρευρισκόμενος – επειδή δεν γνωρίζει πώς είναι πραγματικά τοποθετημένα τα πραγματικά σας πόδια – αλλά πιθανότατα εσείς, όταν κοιτάζετε τα δικά σας πόδια, θα συνεχίσετε να μην βλέπετε τίποτα. Αυτή είναι η τρέχουσα στρατηγική μας».

Ωστόσο, η βραχυπρόθεσμη λύση μπορεί να μην έχει την ίδια ποιότητα με αυτόν τον αλγόριθμο. Οι ερευνητικές εργασίες μηχανικής μάθησης τείνουν να εκτελούνται σε ισχυρές GPU PC με σχετικά χαμηλό ρυθμό καρέ. Το έγγραφο δεν αναφέρει την απόδοση του συστήματος που περιγράφεται, αλλά ένα RTX 3080 αναφέρεται ως χρησιμοποιείται για εκπαίδευση.

Πραγματοποιείται η ετήσια εκδήλωση AR/VR Meta Connect σε λίγο περισσότερο από 2 εβδομάδες, επομένως οποιαδήποτε ανακοίνωση παρακολούθησης σώματος πιθανότατα θα λάβει χώρα κατά τη διάρκεια αυτής.