Το Eye-tracking είναι ένα παιχνίδι αλλαγής για το XR που ξεπερνά την απόδοση

Το Eye-tracking είναι ένα παιχνίδι αλλαγής για το XR που ξεπερνά την απόδοση

Χρονική σήμανση: 2 Μαΐου 2023 4:22 μ.μ.

Το Eye-tracking —η δυνατότητα γρήγορης και ακριβούς μέτρησης της κατεύθυνσης που κοιτάζει ένας χρήστης ενώ βρίσκεται μέσα σε ένα σετ μικροφώνου-ακουστικού εικονικής πραγματικότητας—συζητείται συχνά στο πλαίσιο της foveated rendering και πώς θα μπορούσε να μειώσει τις απαιτήσεις απόδοσης των ακουστικών XR. Και ενώ το foveated rendering είναι μια συναρπαστική περίπτωση χρήσης για το eye-tracking σε ακουστικά AR και VR, το eye-tracking φέρνει πολύ περισσότερα στο τραπέζι.

Ενημερώθηκε – 2 Μαΐου 2023

Το Eye-tracking έχει συζητηθεί σε σχέση με το XR ως μακρινή τεχνολογία εδώ και πολλά χρόνια, αλλά το υλικό γίνεται επιτέλους όλο και πιο διαθέσιμο σε προγραμματιστές και πελάτες. Το PSVR 2 και το Quest Pro είναι τα πιο ορατά παραδείγματα ακουστικών με ενσωματωμένο eye-tracking, μαζί με τα Varjo Aero, Vive Pro Eye και άλλα.

Με αυτή τη δυναμική, σε λίγα μόλις χρόνια θα μπορούσαμε να δούμε το eye-tracking να γίνεται τυπικό μέρος των ακουστικών XR των καταναλωτών. Όταν συμβεί αυτό, υπάρχει ένα ευρύ φάσμα χαρακτηριστικών που μπορεί να επιτρέψει η τεχνολογία για να βελτιώσει δραστικά την εμπειρία.

Foveated Rendering

Το Eye-tracking είναι μια αλλαγή παιχνιδιών για το XR που ξεπερνά την προσδοκώμενη απόδοση της ευφυΐας δεδομένων PlatoBlockchain. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται.

Ας ξεκινήσουμε πρώτα με αυτό που πολλοί άνθρωποι είναι ήδη εξοικειωμένοι. Η απόδοση του Foveated στοχεύει στη μείωση της υπολογιστικής ισχύος που απαιτείται για την εμφάνιση απαιτητικών σκηνών AR και VR. Το όνομα προέρχεται από το «fovea»—ένα μικρό λάκκο στο κέντρο του ανθρώπινου αμφιβληστροειδούς, το οποίο είναι πυκνά γεμάτο με φωτοϋποδοχείς. Είναι το βοθρίο που μας δίνει όραση υψηλής ανάλυσης στο κέντρο του οπτικού μας πεδίου. Εν τω μεταξύ, η περιφερειακή μας όραση είναι στην πραγματικότητα πολύ κακή στο να συλλαμβάνει λεπτομέρειες και χρώματα και είναι καλύτερα συντονισμένη για να εντοπίζει την κίνηση και την αντίθεση παρά να βλέπει λεπτομέρειες. Μπορείτε να το σκεφτείτε σαν μια κάμερα που έχει έναν μεγάλο αισθητήρα με λίγα μόνο megapixel και έναν άλλο μικρότερο αισθητήρα στη μέση με πολλά megapixel.

Η περιοχή της όρασής σας στην οποία μπορείτε να δείτε με υψηλή λεπτομέρεια είναι στην πραγματικότητα πολύ μικρότερη από ό,τι νομίζουν οι περισσότεροι—μόλις μερικές μοίρες στο κέντρο της όψης σας. Η διαφορά στην ικανότητα επίλυσης μεταξύ του βοθρίου και του υπόλοιπου αμφιβληστροειδούς είναι τόσο δραστική, που χωρίς το βοθρίο σας, δεν θα μπορούσατε να διακρίνετε το κείμενο σε αυτήν τη σελίδα. Μπορείτε να το δείτε εύκολα μόνοι σας: αν κρατάτε τα μάτια σας εστιασμένα αυτό λέξη και προσπαθήστε να διαβάσετε μόνο δύο προτάσεις παρακάτω, θα διαπιστώσετε ότι είναι σχεδόν αδύνατο να καταλάβετε τι λένε οι λέξεις, παρόλο που μπορείτε να δείτε κάτι που μοιάζουν με λέξεις. Ο λόγος που οι άνθρωποι υπερεκτιμούν την οπίσθια περιοχή της όρασής τους φαίνεται να είναι επειδή ο εγκέφαλος κάνει πολλές ασυνείδητες ερμηνείες και προβλέψεις για να δημιουργήσει ένα μοντέλο για το πώς πιστεύουμε ότι είναι ο κόσμος.

Η απόδοση Foveated στοχεύει να εκμεταλλευτεί αυτή την ιδιορρυθμία της όρασής μας αποδίδοντας την εικονική σκηνή σε υψηλή ανάλυση μόνο στην περιοχή που βλέπει το fovea και στη συνέχεια να μειώσει δραστικά την πολυπλοκότητα της σκηνής στην περιφερειακή μας όραση, όπου η λεπτομέρεια δεν μπορεί να επιλυθεί ούτως ή άλλως . Κάνοντας αυτό μας επιτρέπει να εστιάσουμε το μεγαλύτερο μέρος της επεξεργαστικής ισχύος εκεί που συμβάλλει περισσότερο στη λεπτομέρεια, ενώ εξοικονομούμε πόρους επεξεργασίας αλλού. Αυτό μπορεί να μην ακούγεται πολύ μεγάλο, αλλά καθώς αυξάνεται η ανάλυση οθόνης των ακουστικών XR και το οπτικό πεδίο, η ισχύς που απαιτείται για την απόδοση σύνθετων σκηνών αυξάνεται γρήγορα.

Το Eye-tracking φυσικά μπαίνει στο παιχνίδι γιατί πρέπει να γνωρίζουμε πού βρίσκεται το κέντρο του βλέμματος του χρήστη ανά πάσα στιγμή γρήγορα και με υψηλή ακρίβεια, προκειμένου να επιτύχουμε foveated rendering. Αν και είναι δύσκολο να το πετύχετε αυτό χωρίς να το αντιληφθεί ο χρήστης, είναι δυνατό και έχει αποδειχθεί αρκετά αποτελεσματικά σε πρόσφατα ακουστικά όπως το Quest Pro και το PSVR 2.

Αυτόματη ανίχνευση & προσαρμογή χρήστη

Το Eye-tracking είναι μια αλλαγή παιχνιδιών για το XR που ξεπερνά την προσδοκώμενη απόδοση της ευφυΐας δεδομένων PlatoBlockchain. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται.

Εκτός από την ανίχνευση κίνησης, το eye-tracking μπορεί επίσης να χρησιμοποιηθεί ως βιομετρικό αναγνωριστικό. Αυτό καθιστά το eye-tracking εξαιρετικό υποψήφιο για πολλαπλά προφίλ χρηστών σε ένα μόνο σετ μικροφώνου-ακουστικού—όταν τοποθετώ το σετ μικροφώνου-ακουστικού, το σύστημα μπορεί να με αναγνωρίσει αμέσως ως μοναδικό χρήστη και να καλέσει το προσαρμοσμένο περιβάλλον, τη βιβλιοθήκη περιεχομένου, την πρόοδο του παιχνιδιού και τις ρυθμίσεις μου. Όταν ένας φίλος φοράει τα ακουστικά, το σύστημα μπορεί να φορτώσει τους προτιμήσεις και αποθηκευμένα δεδομένα.

Το Eye-tracking μπορεί επίσης να χρησιμοποιηθεί για την ακριβή μέτρηση της IPD (την απόσταση μεταξύ των ματιών κάποιου). Το να γνωρίζετε το IPD σας είναι σημαντικό στο XR γιατί απαιτείται να μετακινήσετε τους φακούς και τις οθόνες στη βέλτιστη θέση τόσο για άνεση όσο και για οπτική ποιότητα. Δυστυχώς, πολλοί άνθρωποι είναι κατανοητό ότι δεν ξέρουν ποιο είναι το IPD τους στην κορυφή του κεφαλιού τους.

Με το eye-tracking, θα ήταν εύκολο να μετρήσετε αμέσως το IPD κάθε χρήστη και, στη συνέχεια, το λογισμικό των ακουστικών να βοηθήσει τον χρήστη να προσαρμόσει το IPD του ακουστικού ώστε να ταιριάζει ή να προειδοποιήσει τους χρήστες ότι το IPD τους βρίσκεται εκτός του εύρους που υποστηρίζει το ακουστικό.

Σε πιο προηγμένα ακουστικά, αυτή η διαδικασία μπορεί να είναι αόρατη και αυτόματη—το IPD μπορεί να μετρηθεί αόρατα και το σετ μικροφώνου-ακουστικού μπορεί να έχει μηχανοποιημένη ρύθμιση IPD που μετακινεί αυτόματα τους φακούς στη σωστή θέση χωρίς ο χρήστης να χρειάζεται να το γνωρίζει, όπως π. στο Varjo Aero, για παράδειγμα.

Varifocal Displays

Το Eye-tracking είναι μια αλλαγή παιχνιδιών για το XR που ξεπερνά την προσδοκώμενη απόδοση της ευφυΐας δεδομένων PlatoBlockchain. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται.
Ένα πρωτότυπο σετ μικροφώνου-ακουστικού | Η εικόνα είναι ευγενική προσφορά της NVIDIA

Τα οπτικά συστήματα που χρησιμοποιούνται στα σημερινά ακουστικά VR λειτουργούν αρκετά καλά, αλλά στην πραγματικότητα είναι αρκετά απλά και δεν υποστηρίζουν μια σημαντική λειτουργία της ανθρώπινης όρασης: τη δυναμική εστίαση. Αυτό συμβαίνει επειδή η οθόνη στα ακουστικά XR βρίσκεται πάντα στην ίδια απόσταση από τα μάτια μας, ακόμη και όταν το στερεοσκοπικό βάθος υποδηλώνει το αντίθετο. Αυτό οδηγεί σε ένα ζήτημα που ονομάζεται σύγκρουση σύγκλισης-καταλληλότητας. Αν θέλετε να μάθετε λίγο περισσότερα σε βάθος, ρίξτε μια ματιά στο primer μας παρακάτω:

Ξενοδοχεία

Το Eye-tracking είναι μια αλλαγή παιχνιδιών για το XR που ξεπερνά την προσδοκώμενη απόδοση της ευφυΐας δεδομένων PlatoBlockchain. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται.
Η προσαρμογή είναι η κάμψη του φακού του ματιού για να εστιάσει το φως από αντικείμενα σε διαφορετικές αποστάσεις. | Φωτογραφία ευγενική προσφορά του Pearson Scott Foresman

Στον πραγματικό κόσμο, για να εστιάσετε σε ένα κοντινό αντικείμενο, ο φακός του ματιού σας λυγίζει για να κάνει το φως από το αντικείμενο να χτυπήσει στο σωστό σημείο στον αμφιβληστροειδή σας, δίνοντάς σας μια ευκρινή άποψη του αντικειμένου. Για ένα αντικείμενο που βρίσκεται πιο μακριά, το φως ταξιδεύει σε διαφορετικές γωνίες μέσα στο μάτι σας και ο φακός πρέπει να λυγίσει ξανά για να εξασφαλίσει ότι το φως εστιάζεται στον αμφιβληστροειδή σας. Αυτός είναι ο λόγος για τον οποίο, εάν κλείσετε το ένα μάτι και εστιάσετε στο δάχτυλό σας λίγα εκατοστά από το πρόσωπό σας, ο κόσμος πίσω από το δάχτυλό σας είναι θολή. Αντίθετα, αν εστιάσετε στον κόσμο πίσω από το δάχτυλό σας, το δάχτυλό σας γίνεται θολό. Αυτό ονομάζεται διαμονή.

Vergence

Το Eye-tracking είναι μια αλλαγή παιχνιδιών για το XR που ξεπερνά την προσδοκώμενη απόδοση της ευφυΐας δεδομένων PlatoBlockchain. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται.
Το Vergence είναι η περιστροφή κάθε ματιού προς τα μέσα για να επικαλύπτεται η όψη κάθε ματιού σε μια ευθυγραμμισμένη εικόνα. | Φωτογραφία ευγενική προσφορά του Fred Hsu (CC BY-SA 3.0)

Έπειτα, υπάρχει η σύγκλιση, η οποία είναι όταν κάθε μάτι σας περιστρέφεται προς τα μέσα για να «συγκλίνει» οι ξεχωριστές απόψεις από κάθε μάτι σε μια επικαλυπτόμενη εικόνα. Για πολύ μακρινά αντικείμενα, τα μάτια σας είναι σχεδόν παράλληλα, επειδή η απόσταση μεταξύ τους είναι τόσο μικρή σε σύγκριση με την απόσταση του αντικειμένου (που σημαίνει ότι κάθε μάτι βλέπει σχεδόν το ίδιο τμήμα του αντικειμένου). Για πολύ κοντά αντικείμενα, τα μάτια σας πρέπει να περιστρέφονται προς τα μέσα για να ευθυγραμμιστεί η προοπτική κάθε ματιού. Μπορείτε να το δείτε και με το κόλπο με το μικρό μας δάχτυλο όπως παραπάνω: αυτή τη φορά, χρησιμοποιώντας και τα δύο μάτια, κρατήστε το δάχτυλό σας λίγα εκατοστά από το πρόσωπό σας και κοιτάξτε το. Παρατηρήστε ότι βλέπετε διπλές εικόνες αντικειμένων πολύ πίσω από το δάχτυλό σας. Όταν στη συνέχεια εστιάσετε σε αυτά τα αντικείμενα πίσω από το δάχτυλό σας, τώρα βλέπετε μια εικόνα με διπλό δάχτυλο.

Η Σύγκρουση

Με αρκετά ακριβή όργανα, θα μπορούσατε να χρησιμοποιήσετε είτε το vergence είτε την προσαρμογή για να μάθετε πόσο μακριά είναι ένα αντικείμενο που κοιτάζει ένα άτομο. Αλλά το θέμα είναι ότι τόσο η προσαρμογή όσο και η στενότητα συμβαίνουν στο μάτι σου μαζί, αυτόματα. Και δεν συμβαίνουν απλώς την ίδια στιγμή - υπάρχει μια άμεση συσχέτιση μεταξύ της σύγκλισης και της προσαρμογής, τέτοια που για κάθε δεδομένη μέτρηση της σύγκλισης, υπάρχει ένα άμεσα αντίστοιχο επίπεδο προσαρμογής (και το αντίστροφο). Από τότε που ήσουν μικρό μωρό, ο εγκέφαλος και τα μάτια σου έχουν σχηματίσει μυϊκή μνήμη για να κάνουν αυτά τα δύο πράγματα να συμβούν μαζί, χωρίς να σκέφτεσαι, κάθεώρα που κοιτάς οτιδήποτε.

Αλλά όταν πρόκειται για τα περισσότερα από τα σημερινά ακουστικά AR και VR, η σύγκλιση και η προσαρμογή δεν είναι συγχρονισμένα λόγω εγγενών περιορισμών της οπτικής σχεδίασης.

Σε ένα βασικό ακουστικό AR ή VR, υπάρχει μια οθόνη (η οποία είναι, ας πούμε, 3" μακριά από το μάτι σας) που δείχνει την εικονική σκηνή και ένας φακός που εστιάζει το φως από την οθόνη στο μάτι σας (ακριβώς όπως ο φακός στο Το μάτι σας κανονικά εστιάζει το φως από τον κόσμο στον αμφιβληστροειδή σας). Επειδή όμως η οθόνη βρίσκεται σε στατική απόσταση από το μάτι σας και το σχήμα του φακού είναι στατικό, το φως προέρχεται από όλοι αντικείμενα που εμφανίζονται σε αυτήν την οθόνη προέρχονται από την ίδια απόσταση. Έτσι, ακόμα κι αν υπάρχει ένα εικονικό βουνό πέντε μίλια μακριά και ένα φλιτζάνι καφέ σε ένα τραπέζι πέντε ίντσες μακριά, το φως και από τα δύο αντικείμενα εισέρχεται στο μάτι με την ίδια γωνία (που σημαίνει τη διαμονή σας - το λύγισμα του φακού στο μάτι σας - δεν αλλάζει ποτέ ).

Αυτό έρχεται σε σύγκρουση με την αλληλεγγύη σε τέτοια ακουστικά που—επειδή μπορούμε να δείξουμε διαφορετική εικόνα σε κάθε μάτι—is μεταβλητός. Το να μπορούμε να προσαρμόσουμε τη φαντασία ανεξάρτητα για κάθε μάτι, έτσι ώστε τα μάτια μας να πρέπει να συγκλίνουν σε αντικείμενα σε διαφορετικά βάθη, είναι ουσιαστικά αυτό που δίνει στα σημερινά ακουστικά AR και VR στερεοσκοπική.

Αλλά η πιο ρεαλιστική (και αναμφισβήτητα, πιο άνετη) οθόνη που θα μπορούσαμε να δημιουργήσουμε θα εξαλείψει το ζήτημα της προσαρμογής και θα άφηνε τα δύο να λειτουργούν συγχρονισμένα, όπως ακριβώς έχουμε συνηθίσει στον πραγματικό κόσμο.

Ως λύση σε αυτό το πρόβλημα προτείνονται οι μεταβλητές οθόνες — αυτές που μπορούν να αλλάξουν δυναμικά το εστιακό τους βάθος. Υπάρχει ένας αριθμός προσεγγίσεων για οθόνες μεταβλητής εστίασης, ίσως η πιο απλή από τις οποίες είναι ένα οπτικό σύστημα όπου η οθόνη μετακινείται φυσικά εμπρός και πίσω από τον φακό προκειμένου να αλλάζει το εστιακό βάθος εν κινήσει.

Η επίτευξη μιας τέτοιας ενεργοποιημένης μεταβλητής εστίασης απαιτεί παρακολούθηση των ματιών, επειδή το σύστημα πρέπει να γνωρίζει ακριβώς πού στη σκηνή κοιτάζει ο χρήστης. Ανιχνεύοντας μια διαδρομή στην εικονική σκηνή από κάθε μάτι του χρήστη, το σύστημα μπορεί να βρει το σημείο που αυτές οι διαδρομές τέμνονται, καθιερώνοντας το κατάλληλο εστιακό επίπεδο που κοιτάζει ο χρήστης. Στη συνέχεια, αυτές οι πληροφορίες αποστέλλονται στην οθόνη για προσαρμογή ανάλογα, ρυθμίζοντας το εστιακό βάθος ώστε να ταιριάζει με την εικονική απόσταση από το μάτι του χρήστη στο αντικείμενο.

Μια καλά εφαρμοσμένη διαφοροποιημένη εστίαση δεν θα μπορούσε μόνο να εξαλείψει τη σύγκρουση σύγκλισης-συναρμολόγησης, αλλά και να επιτρέψει στους χρήστες να εστιάσουν σε εικονικά αντικείμενα πολύ πιο κοντά τους από ό,τι στα υπάρχοντα ακουστικά.

Και πολύ πριν τοποθετήσουμε οθόνες varifocal στα ακουστικά XR, το eye-tracking θα μπορούσε να χρησιμοποιηθεί για προσομοίωση βάθους πεδίου, το οποίο θα μπορούσε να προσεγγίσει το θάμπωμα των αντικειμένων εκτός του εστιακού επιπέδου των ματιών του χρήστη.

Προς το παρόν, δεν υπάρχει κανένα σημαντικό ακουστικό στην αγορά με δυνατότητες varifocal, αλλά υπάρχει ένα αυξανόμενο σώμα έρευνας και ανάπτυξης προσπαθώντας να καταλάβω πώς να κάνετε την ικανότητα συμπαγή, αξιόπιστη και προσιτή.

Foveated Displays

Ενώ η foveated rendering στοχεύει στην καλύτερη κατανομή της ισχύος απόδοσης μεταξύ του τμήματος της όρασής μας όπου μπορούμε να δούμε ευκρινώς και της περιφερειακής μας όρασης χαμηλής λεπτομέρειας, κάτι παρόμοιο μπορεί να επιτευχθεί για τον πραγματικό αριθμό pixel.

Αντί να αλλάζετε απλώς τη λεπτομέρεια της απόδοσης σε ορισμένα μέρη της οθόνης σε σχέση με άλλα, οι οθόνες με φόδρα είναι εκείνες που μετακινούνται φυσικά (ή σε ορισμένες περιπτώσεις «κατευθύνονται») για να παραμείνουν μπροστά στο βλέμμα του χρήστη ανεξάρτητα από το πού κοιτάζουν.

Οι οθόνες Foveated ανοίγουν την πόρτα για την επίτευξη πολύ υψηλότερης ανάλυσης σε ακουστικά AR και VR χωρίς να επιβαρύνουν το πρόβλημα προσπαθώντας να στριμώξουν pixel σε υψηλότερη ανάλυση σε ολόκληρο το οπτικό μας πεδίο. Κάτι τέτοιο δεν είναι μόνο δαπανηρό, αλλά αντιμετωπίζει επίσης απαιτητικούς περιορισμούς ισχύος και μεγέθους, καθώς ο αριθμός των pixel πλησιάζει την ανάλυση του αμφιβληστροειδούς. Αντίθετα, οι οθόνες με foveed θα μετακινούσαν μια μικρότερη, πυκνή σε pixel οθόνη όπου κι αν κοιτάζει ο χρήστης με βάση τα δεδομένα παρακολούθησης ματιών. Αυτή η προσέγγιση θα μπορούσε ακόμη και να οδηγήσει σε υψηλότερα οπτικά πεδία από ό,τι θα μπορούσε διαφορετικά να επιτευχθεί με μία μόνο επίπεδη οθόνη.

Το Eye-tracking είναι μια αλλαγή παιχνιδιών για το XR που ξεπερνά την προσδοκώμενη απόδοση της ευφυΐας δεδομένων PlatoBlockchain. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται.
Μια χονδρική προσέγγιση του τρόπου με τον οποίο μια οθόνη με πυκνότητα εικονοστοιχείων φαίνεται σε μια μεγαλύτερη, πολύ λιγότερο πυκνή οθόνη στο πρωτότυπο σετ μικροφώνου-ακουστικού του Varjo. | Photo by Road to VR, βασισμένη σε εικόνες ευγενική προσφορά του Varjo

Η Varjo είναι μια εταιρεία που εργάζεται σε ένα σύστημα προβολών. Χρησιμοποιούν μια τυπική οθόνη που καλύπτει ένα ευρύ οπτικό πεδίο (αλλά δεν είναι πολύ πυκνό pixel) και στη συνέχεια τοποθετούν μια μικροοθόνη που έχει πολύ μεγαλύτερη πυκνότητα pixel στην κορυφή της. Ο συνδυασμός των δύο σημαίνει ότι ο χρήστης έχει ένα ευρύ οπτικό πεδίο για την περιφερειακή του όραση και μια περιοχή πολύ υψηλής ανάλυσης για την οπίσθια όρασή του.

Ομολογουμένως, αυτή η οθόνη είναι στατική (η περιοχή υψηλής ανάλυσης παραμένει στο κέντρο της οθόνης) και όχι δυναμική, αλλά η εταιρεία έχει εξέτασε έναν αριθμό μεθόδων για τη μετακίνηση της οθόνης για να διασφαλίσετε ότι η περιοχή υψηλής ανάλυσης βρίσκεται πάντα στο κέντρο του βλέμματός σας.

Συνέχεια στη Σελίδα 2: Καλύτερα Social Avatar »

Σφραγίδα ώρας:

Περισσότερα από Δρόμος προς VR