Το Tech Demo δείχνει την πραγματική δύναμη της παρακολούθησης προσώπων του Quest Pro

Οι δυνατότητες παρακολούθησης προσώπου του Quest Pro θα χρησιμοποιηθούν γρήγορα για να κάνουν τα avatar του Meta πιο εκφραστικά, αλλά τα avatar επόμενης γενιάς θα επωφεληθούν πολύ περισσότερο από τη νέα τεχνολογία.

Ένα από τα μεγάλα νέα χαρακτηριστικά του Quest Pro είναι ένα σύστημα παρακολούθησης προσώπου που χρησιμοποιεί εσωτερικές κάμερες για να ανιχνεύει την κίνηση των ματιών σας και ορισμένων τμημάτων του προσώπου σας. Σε συνδυασμό με ένα μοντέλο μηχανικής εκμάθησης χωρίς βαθμονόμηση, το σετ μικροφώνου-ακουστικού παίρνει αυτό που βλέπει και το μετατρέπει σε εισόδους που μπορούν να οδηγήσουν την κινούμενη εικόνα οποιουδήποτε avatar.

Κάλυψη Key Quest Pro:

Αποκαλύφθηκε το Quest Pro – Πλήρεις προδιαγραφές, τιμή και ημερομηνία κυκλοφορίας

Quest Pro Hands-on – The Dawn of the Mixed Reality Headset Era

Τεχνική Ανάλυση Quest Pro – Τι είναι υποσχόμενο και τι όχι

Αποκαλύφθηκαν τα χειριστήρια Touch Pro – Συμβατά και με το Quest 2

Βραχυπρόθεσμα, αυτό θα χρησιμοποιηθεί με τα υπάρχοντα avatar της Meta. Και ενώ σίγουρα τους κάνει πιο εκφραστικούς, εξακολουθούν να φαίνονται κάπως χαζοί.

Αυτό είναι πιθανότατα το αποτέλεσμα της μη δημιουργίας του τρέχοντος συστήματος avatar Meta με αυτό το επίπεδο παρακολούθησης προσώπου. Η «ξάρτια» - το υποκείμενο πλαίσιο κινουμένων σχεδίων του μοντέλου - δεν φαίνεται αρκετά κατάλληλο για την εργασία. Η μεταμόσχευση των δεδομένων παρακολούθησης προσώπου του Quest Pro στο τρέχον σύστημα δεν ανταποκρίνεται πραγματικά σε αυτό που είναι πραγματικά ικανό.

Ευτυχώς η Meta έχει δημιουργήσει ένα τεχνολογικό demo που δείχνει τι είναι δυνατό όταν ένα avatar σχεδιάζεται έχοντας κατά νου την παρακολούθηση προσώπου του Quest Pro (και όταν σχεδόν όλη η επεξεργαστική ισχύς των ακουστικών αφιερώνεται στην απόδοσή του).

[Ενσωματωμένο περιεχόμενο]

Ναι, εξακολουθεί να είναι λίγο ασταθής, αλλά κάθε κίνηση που βλέπετε εδώ γίνεται από τον χρήστη που κάνει τις ίδιες κινήσεις, συμπεριλαμβανομένων πραγμάτων όπως το φούσκωμα των μάγουλων ή η μετακίνηση του στόματος από τη μια πλευρά στην άλλη. Σε γενικές γραμμές, είναι μια πολύ πιο ολοκληρωμένη αναπαράσταση ενός προσώπου που θα έλεγα ότι καταφέρνει να αποφύγει την είσοδο στην παράξενη κοιλάδα.

Πρέπει να δοκιμάσω αυτό το demo για τον εαυτό μου στο δικό μου πρόσφατο hands-on με το Quest Pro όπου κοιτάχτηκα στον καθρέφτη και εμφανίστηκα ως αυτός ο χαρακτήρας (που ο Μέτα αποκαλεί Αύρα). Έφυγα πραγματικά εντυπωσιασμένος που, ακόμη και χωρίς ειδική βαθμονόμηση, το πρόσωπο που είδα στον καθρέφτη φαινόταν να μιμείται όποιες κινήσεις μπορούσα να σκεφτώ να κάνω με το πρόσωπό μου.

Με τράβηξε ιδιαίτερα η λεπτομέρεια στο δέρμα. Αν έσφιγγα και έσφιγγα τη μύτη μου, θα μπορούσα να δω το δέρμα γύρω της να συσσωρεύεται ρεαλιστικά, και το ίδιο πράγμα όταν σήκωνα το μέτωπό μου. Αυτές οι λεπτές λεπτομέρειες, όπως η πτυχή στα μάγουλα που κινούνται με το στόμα, προσθέτουν πραγματικά πολλά στην εντύπωση ότι αυτό δεν είναι απλώς ένα αντικείμενο μπροστά μου, αλλά κάτι που έχει ένα ζωντανό ον πίσω του.

Είτε μοιάζουν πραγματικά είτε όχι οι εκφράσεις me όταν είμαι αυτός πίσω από τη μάσκα είναι μια άλλη ερώτηση. Δεδομένου ότι το πρόσωπο αυτού του avatar δεν ταιριάζει με το δικό μου, είναι πραγματικά δύσκολο να το πω. Αλλά ότι οι κινήσεις είναι τουλάχιστον εύλογα ρεαλιστική είναι ένα πρώτο σημαντικό βήμα προς τα εικονικά άβαταρ που αισθάνονται φυσικά και πιστευτά.

Η Meta λέει ότι θα κυκλοφορήσει το demo της Aura ως έργο ανοιχτού κώδικα, ώστε οι προγραμματιστές να μπορούν να δουν πώς έχουν συνδέσει τις εισόδους παρακολούθησης προσώπου στο avatar. Η εταιρεία λέει επίσης ότι οι προγραμματιστές θα μπορούν να χρησιμοποιούν ένα ενιαίο σύνολο εργαλείων για την οδήγηση ανθρωποειδών avatar ή μη ανθρώπινων avatar όπως ζώα ή τέρατα χωρίς να χρειάζεται να τροποποιούν κάθε avatar ξεχωριστά.

Η Meta λέει ότι οι προγραμματιστές θα μπορούν να χρησιμοποιήσουν ένα API παρακολούθησης προσώπου που χρησιμοποιεί τιμές που αντιστοιχούν στο FACS, ένα καλά αναγνωρισμένο σύστημα για την περιγραφή της κίνησης διαφορετικών μυών στο ανθρώπινο πρόσωπο.

Αυτό είναι ένα αποτελεσματικό σύστημα όχι μόνο για την αναπαράσταση προσώπων, αλλά αποτελεί επίσης ένα χρήσιμο εμπόδιο απορρήτου για τους χρήστες. Σύμφωνα με το Meta, οι προγραμματιστές δεν μπορούν να έχουν πρόσβαση στις ακατέργαστες εικόνες του προσώπου του χρήστη. Αντίθετα, λαμβάνουν μια «σειρά τιμών μηδέν προς ένα που αντιστοιχούν σε ένα σύνολο γενικών κινήσεων του προσώπου, όπως όταν τρίβετε τη μύτη σας ή τρυπάτε τα φρύδια σας», λέει ο Meta. «Αυτά τα σήματα διευκολύνουν έναν προγραμματιστή να διατηρήσει το σημασιολογικό νόημα της αρχικής κίνησης του παίκτη κατά την αντιστοίχιση σημάτων από το Face Tracking API στη δική του πλατφόρμα χαρακτήρων, είτε ο χαρακτήρας τους είναι ανθρωποειδής είτε ακόμα και κάτι πιο φανταστικό.

Η Meta ισχυρίζεται ότι ακόμη και η ίδια η εταιρεία δεν μπορεί να δει τις εικόνες που τραβήχτηκαν από τις κάμερες των ακουστικών, είτε εσωτερικές είτε εξωτερικές. Υποβάλλονται σε επεξεργασία στο ακουστικό και στη συνέχεια διαγράφονται αμέσως, σύμφωνα με την εταιρεία, χωρίς ποτέ να αποσταλούν στο cloud ή σε προγραμματιστές.