Εισαγωγή Meta Reality: Μια ματιά στις τεχνολογίες που είναι απαραίτητες για να συνδυάσετε πειστικά τον εικονικό και τον φυσικό κόσμο

Η μικτή πραγματικότητα (MR) μπορεί να ανοίξει την πόρτα σε μια ποικιλία μοναδικών εμπειριών, από παραγωγικότητα και συνεργασία σε πραγματικό χρόνο με συναδέλφους μέχρι παρέα με φίλους και οικογένεια έως νέους τύπους παιχνιδιών και διαδραστικών εφαρμογών που δεν έχουμε καν ονειρευτεί ακόμα. Ενώ το VR σας βυθίζει πλήρως σε ένα ψηφιακό περιβάλλον, το MR σάς δίνει την ελευθερία να μετακινείστε και να αλληλεπιδράτε με άτομα και αντικείμενα στον φυσικό σας χώρο απολαμβάνοντας εικονικό περιεχόμενο, ξεκλειδώνοντας μια νέα κατηγορία εμπειριών τύπου AR στην εικονική πραγματικότητα που αυξάνουν τον φυσικό σας χώρο.

«Το να μπορείτε να δείτε τον φυσικό κόσμο γύρω σας και να τον συνδυάσετε με εικονικό περιεχόμενο ανοίγει νέες δυνατότητες για την εικονική πραγματικότητα σήμερα—όπως παιχνίδια που μπορείτε να παίξετε με φίλους στο ίδιο φυσικό δωμάτιο ή εμπειρίες παραγωγικότητας που συνδυάζουν τεράστιες εικονικές οθόνες με φυσικά εργαλεία », εξηγεί ο διευθυντής προϊόντων Meta, Sarthak Ray. «Και είναι ένα βήμα προς το μακροπρόθεσμο όραμά μας για την επαυξημένη πραγματικότητα».

Υπάρχει μια κοινή παρανόηση ότι η μικτή πραγματικότητα μπορεί να επιτευχθεί απλώς με την προβολή μιας ροής βίντεο υψηλής ανάλυσης σε πραγματικό χρόνο του φυσικού κόσμου μέσα στα ακουστικά, αλλά η αλήθεια είναι πολύ πιο περίπλοκη. Οι αξιόπιστες εμπειρίες μαγνητικής τομογραφίας απαιτούν την ικανότητα να συνδυάζει πειστικά τον εικονικό και τον φυσικό κόσμο—αυτό σημαίνει ότι τα ακουστικά πρέπει να κάνουν περισσότερα από την απλή εμφάνιση του φυσικού σας περιβάλλοντος ως βίντεο 2D. Πρέπει πραγματικά να ανακατασκευάσει ψηφιακά το δωμάτιό σας ως τρισδιάστατο χώρο με κατανόηση των αντικειμένων και των επιφανειών γύρω σας. Αυτό απαιτεί ένα πολύπλοκο σύστημα πολλαπλών τεχνολογιών υλικού και λογισμικού, όπως αισθητήρες υψηλής ανάλυσης, διέλευση, τροφοδοτείται με AI Κατανόηση Σκηνής, να Χωρικές Άγκυρες, όλα συνεργάζονται με απρόσκοπτο και άνετο τρόπο.

Στη Meta, επενδύουμε συνεχώς σε πρωτότυπη έρευνα και ανάπτυξη για να δημιουργήσουμε κορυφαίες τεχνολογίες VR που παρέχουμε στους καταναλωτές σε μεγάλη κλίμακα—όλα αυτά, ενώ βάζουμε τους ανθρώπους πρώτους στον σχεδιασμό μας. Εστιάζουμε στις λεπτομέρειες, ενημερωνόμαστε από τη βαθιά κατανόηση του τρόπου με τον οποίο οι άνθρωποι αντιλαμβάνονται τον κόσμο γύρω τους και την επιθυμία να συνδέσουμε αυτή την αντίληψη με καθηλωτικές εμπειρίες που ενθουσιάζουν τους ανθρώπους σχετικά με τις δυνατότητες της εικονικής και της μικτής πραγματικότητας. Σήμερα, παρουσιάζουμε ένα νέο όνομα για το μοναδικό μας σύστημα μικτής πραγματικότητας—Meta Reality—και σας δίνουμε μια ματιά κάτω από την κουκούλα του τι συνεπάγεται μια πραγματικά πρώτης τάξεως εμπειρία MR.

Στερεοσκοπική διέλευση χρώματος για χωρική επίγνωση

Πρώτα και κύρια, μια αληθινή εμπειρία μαγνητικής τομογραφίας πρέπει να είναι άνετη και σαν μια φυσική εμπειρία θέασης—μια άμεση ροή βίντεο που αποτυγχάνει να μεταδώσει την αίσθηση του βάθους απλά δεν μπορεί να το προσφέρει, ακόμα κι αν είναι υψηλής ανάλυσης. Επιπλέον, εάν το Passthrough είναι μονοσκοπικό (βλέπεται από μία μόνο γωνία θέασης) ή/και στερείται ενδείξεων βάθους, μπορεί να είναι άβολο για τον θεατή. Για διέλευση Για να είναι άνετες, οι εικόνες που αποδίδονται στο μεμονωμένο buffer ματιών πρέπει να δημιουργούνται από δύο ξεχωριστές γωνίες παρέχοντας στερεοσκοπικές ενδείξεις. Αυτό, μαζί με την παρουσία πληροφοριών βάθους και χρώματος, είναι σημαντικό για την ανακατασκευή μιας άνετης εμπειρίας.

Η στερεοσκοπική έγχρωμη λύση μας Passthrough χρησιμοποιεί μια προσαρμοσμένη αρχιτεκτονική υλικού, προηγμένους αλγόριθμους όρασης υπολογιστή και μηχανική εκμάθηση αιχμής που μοντελοποιούν πώς τα μάτια σας βλέπουν φυσικά τον κόσμο γύρω σας για να ανταποκριθείτε σε αυτήν την πρόκληση. Η καλύτερη ανάλυση της κάμερας και της οθόνης βελτιώνει την ποιότητα της εικόνας, με τις κάμερες του Meta Quest Pro να καταγράφουν τετραπλάσια pixel από τις κάμερες του Meta Quest 2. Αλλά ίσως το πιο σημαντικό, η απόδοση που βασίζεται στην εικόνα, η στερεοφωνική ανακατασκευή της γεωμετρίας και η κατανόηση του βάθους καθορίζουν τη θέση των αντικειμένων σε σχέση με τη σκηνή μέσα σε ένα δεδομένο δωμάτιο. Αυτή η νέα στοίβα αλγορίθμων επιτρέπει στο Meta Quest Pro να αναγνωρίζει πτυχές της γεωμετρίας του δωματίου και να εντοπίζει με ακρίβεια τη θέση των αντικειμένων στον τρισδιάστατο χώρο. Έτσι, όταν πιάνετε το φλιτζάνι του καφέ στο γραφείο σας ενώ το βλέπετε με στερεοσκοπικό χρώμα Passthrough, ο εγκέφαλός σας καταλαβαίνει ότι το φλιτζάνι είναι πιο μακριά από το χέρι σας από το στυλό που κάθεται ακριβώς δίπλα σας.

«Το Meta Quest Pro συνδυάζει δύο προβολές κάμερας για την ανακατασκευή του ρεαλιστικού βάθους, το οποίο διασφαλίζει ότι οι εμπειρίες μικτής πραγματικότητας που έχουν δημιουργηθεί με χρήση χρώματος Passthrough είναι άνετες για τους ανθρώπους», εξηγεί ο Διευθυντής Μηχανικής του Meta Computer Vision, Ricardo Silveira Cabral. "Αλλά, επίσης, τα στερεοφωνικά στοιχεία υφής επιτρέπουν στον εγκέφαλο του χρήστη να κάνει τα υπόλοιπα και να συμπεράνει το βάθος ακόμα και όταν η ανακατασκευή βάθους δεν είναι τέλεια ή είναι πέρα ​​από το εύρος του συστήματος."

Θυμάμαι Oculus Insight—Η τεχνολογία μας που επέτρεψε το πρώτο αυτόνομο σύστημα παρακολούθησης "μέσα-έξω" με πλήρεις δυνατότητες για μια συσκευή VR καταναλωτή; Αναβαθμίσαμε τις δυνατότητες ανίχνευσης βάθους για να παράγουμε μια πυκνή τρισδιάστατη αναπαράσταση ενός δεδομένου χώρου σε πραγματικό χρόνο. Ενώ το Insight χρησιμοποιεί περίπου 3 σημεία ενδιαφέροντος σε ένα δωμάτιο για να εντοπίσει τη θέση των ακουστικών στο διάστημα, η λύση ανίχνευσης βάθους στο Meta Quest Pro παράγει έως και 100 πόντους ανά καρέ σε απόσταση έως και πέντε μέτρα κάτω από ποικίλες συνθήκες φυσικού και τεχνητού φωτισμού. Χρησιμοποιούμε αυτές τις πληροφορίες για να δημιουργήσουμε ένα τρισδιάστατο πλέγμα του φυσικού κόσμου, συνδυάζοντας αυτήν την έξοδο σε μερικά καρέ για να δημιουργήσουμε μια πυκνή τρισδιάστατη και χρονικά σταθερή αναπαράσταση του χώρου. Αυτό το πλέγμα χρησιμοποιείται στη συνέχεια με προγνωστική απόδοση για την παραγωγή εικόνων του φυσικού κόσμου. Αυτό σημαίνει ότι οι ανακατασκευές στρεβλώνονται μεμονωμένα στην αριστερή και δεξιά οπτική γωνία του ακουστικού χρησιμοποιώντας τη δική μας Ασύγχρονο TimeWarp τεχνολογία που προβλέπει τις θέσεις των ματιών του χρήστη μερικά χιλιοστά του δευτερολέπτου στο μέλλον για να αντισταθμίσει τον λανθάνοντα χρόνο απόδοσης.

Τέλος, η προσθήκη χρώματος κάνει την όλη εμπειρία να φαίνεται και να αισθάνεται πιο ρεαλιστική. «Η έγχρωμη κάμερα χρησιμοποιείται για να χρωματίσει τη στερεοσκοπική προβολή για να φέρει την εμπειρία όσο το δυνατόν πιο κοντά στον φυσικό κόσμο», λέει η Silveira Cabral. «Με αυτήν την αρχιτεκτονική και τις βελτιστοποιήσεις που γίνονται σε ολόκληρο τον αγωγό, μπορούμε να παρέχουμε στερεοσκοπικό έγχρωμο Passthrough στο Meta Quest Pro για όλους τους υπάρχοντες τίτλους Meta Quest 2 και τις επερχόμενες εφαρμογές MR ως προεπιλεγμένη εμπειρία χωρίς πρόσθετους υπολογιστικούς πόρους. Αυτό σημαίνει ότι οι υπάρχουσες εφαρμογές που χρησιμοποιούν το Passthrough στο Meta Quest 2 θα λειτουργούν με τη νέα στερεοσκοπική έγχρωμη τεχνολογία Passthrough του Meta Quest Pro.

Όταν τα προσθέτετε όλα, το στερεοσκοπικό έγχρωμο Passthrough του Meta Quest Pro έχει ως αποτέλεσμα μια πιο άνετη εμπειρία με αντίληψη βάθους και λιγότερες οπτικές παραμορφώσεις από τις μονοσκοπικές λύσεις, ξεκλειδώνοντας ποιοτικές εμπειρίες μικτής πραγματικότητας σε κλίμακα δωματίου.

Κατανόηση σκηνής για ανάμειξη εικονικού περιεχομένου στον φυσικό κόσμο

Εισήχθη ως μέρος του Πλατφόρμα παρουσίας κατά τη διάρκεια του Connect 2021, Κατανόηση Σκηνής επιτρέπει στους προγραμματιστές να δημιουργούν γρήγορα σύνθετες εμπειρίες MR με επίγνωση σκηνών που επιτρέπουν πλούσιες αλληλεπιδράσεις με το περιβάλλον του χρήστη.

«Για να ελαχιστοποιήσουμε την πολυπλοκότητα και να επιτρέψουμε στους προγραμματιστές να επικεντρωθούν στην οικοδόμηση των εμπειριών και της επιχείρησής τους, παρουσιάσαμε το Scene Understanding ως λύση συστήματος», σημειώνει ο υπεύθυνος προϊόντων Meta, Wei Lyu.

• Μοντέλο σκηνής είναι μια ενιαία, ολοκληρωμένη, ενημερωμένη και διαχειριζόμενη από σύστημα αναπαράσταση του περιβάλλοντος που αποτελείται από γεωμετρικές και σημασιολογικές πληροφορίες. Τα θεμελιώδη στοιχεία ενός Μοντέλου Σκηνής είναι οι Άγκυρες και κάθε Άγκυρα μπορεί να συνδεθεί με διάφορα εξαρτήματα. Για παράδειγμα, το σαλόνι ενός χρήστη είναι οργανωμένο γύρω από μεμονωμένες άγκυρες με σημασιολογικές ετικέτες, όπως το πάτωμα, η οροφή, οι τοίχοι, το γραφείο και ο καναπές. Κάθε ένα είναι επίσης συνδεδεμένο με μια απλή γεωμετρική αναπαράσταση: ένα 2D όριο ή ένα 3D πλαίσιο οριοθέτησης.
• Λήψη σκηνής είναι μια ροή καθοδηγούμενη από το σύστημα που επιτρέπει στους χρήστες να περπατούν και να αποτυπώνουν την αρχιτεκτονική και τα έπιπλα του δωματίου τους για να δημιουργήσουν ένα Μοντέλο Σκηνής. Στο μέλλον, στόχος μας είναι να παρέχουμε μια αυτοματοποιημένη έκδοση του Scene Capture που δεν απαιτεί από τους ανθρώπους να καταγράφουν με μη αυτόματο τρόπο το περιβάλλον τους.
• Scene API είναι η διεπαφή στην οποία οι εφαρμογές μπορούν να αναζητήσουν και να αποκτήσουν πρόσβαση στις χωρικές πληροφορίες στο Scene Model για διάφορες περιπτώσεις χρήσης, συμπεριλαμβανομένης της τοποθέτησης περιεχομένου, της φυσικής, της πλοήγησης κ.λπ. Με το Scene API, οι προγραμματιστές μπορούν να χρησιμοποιήσουν το Scene Model για να αναπηδήσουν μια εικονική μπάλα από φυσικές επιφάνειες το πραγματικό δωμάτιο ή ένα εικονικό ρομπότ που μπορεί να κλιμακώσει τους φυσικούς τοίχους.

"Η κατανόηση σκηνής μειώνει την τριβή για τους προγραμματιστές, επιτρέποντάς τους να δημιουργήσουν εμπειρίες μαγνητικής τομογραφίας που είναι όσο το δυνατόν πιο πιστευτές και καθηλωτικές με εφέ απόφραξης και σύγκρουσης σε πραγματικό χρόνο", λέει ο Ray.

Χωρικές άγκυρες για τοποθέτηση εικονικών αντικειμένων

«Εάν το στερεοσκοπικό έγχρωμο Passthrough και το Scene Understanding κάνουν τη βαριά ανύψωση για να επιτρέψουν στις εμπειρίες μαγνητικής τομογραφίας να συνδυάσουν τον φυσικό και τον εικονικό κόσμο, οι ικανότητές μας αγκύρωσης παρέχουν τον συνδετικό ιστό που τα συγκρατεί όλα μαζί», λέει η Laura Onu, η υπεύθυνη προϊόντων Meta.

Χωρικές Άγκυρες αποτελούν μια βασική δυνατότητα που βοηθά τους προγραμματιστές να ξεκινήσουν να δημιουργούν εμπειρίες μικτής πραγματικότητας πρώτης κατηγορίας. Επιτρέπουν σε μια εφαρμογή να δημιουργήσει ένα πλαίσιο αναφοράς ή μια καρφίτσα στο χώρο που επιτρέπει σε ένα εικονικό αντικείμενο να παραμένει στο χώρο με την πάροδο του χρόνου. Χάρη στα Spatial Anchors, ένας σχεδιαστής προϊόντων μπορεί να αγκυρώσει πολλά τρισδιάστατα σχηματικά στη θέση του Σκίτσο βαρύτητας, ή μια ομάδα φίλων μπορεί να αγκυροβολήσει τον κόσμο του παιχνιδιού Δήμο στην επιφάνεια του τραπεζιού τους, ώστε να μπορούν να επιστρέψουν στην ίδια διάταξη και να συνεχίσουν το παιχνίδι τους την επόμενη μέρα.

Τα Spatial Anchors μπορούν να χρησιμοποιηθούν σε συνδυασμό με Scene Model Anchors (τοίχοι, τραπέζι, δάπεδο κ.λπ.) για να δημιουργήσουν πλούσιες εμπειρίες και αυτόματη τοποθέτηση σε κλίμακα δωματίου. Το δωμάτιο του χρήστη γίνεται ένας καμβάς απόδοσης χώρου τόσο για το παιχνίδι όσο και για την παραγωγικότητα. Ένας προγραμματιστής μπορεί να επιλέξει να αγκυρώσει μια εικονική πόρτα σε έναν φυσικό τοίχο. Στη συνέχεια, ο χρήστης μπορεί να το ανοίξει για να αποκαλύψει έναν πλήρως καθηλωτικό εικονικό κόσμο, πλήρη με τους δικούς του χαρακτήρες που μπορούν στη συνέχεια να εισέλθουν στον φυσικό χώρο.

«Συνδυάζοντας την Κατανόηση Σκηνής με τις Χωρικές Αγκυρώσεις, μπορείτε να συνδυάσετε και να προσαρμόσετε τις εμπειρίες σας MR στο περιβάλλον του χρήστη για να δημιουργήσετε έναν νέο κόσμο γεμάτο δυνατότητες», σημειώνει ο Onu. "Μπορείς γίνει μυστικός πράκτορας στο δικό σας σαλόνι, τοποθετήστε εικονικά έπιπλα στο δωμάτιό σας ή σχεδιάστε μια επέκταση στο σπίτι σου, δημιουργήστε παιχνίδια φυσικής, κι αλλα."

Κοινόχρηστες χωρικές άγκυρες για συντοποθετημένες εμπειρίες

Τελευταίο αλλά εξίσου σημαντικό, προσθέσαμε Κοινόχρηστες χωρικές άγκυρες στην πλατφόρμα παρουσίας. Το Shared Spatial Anchors επιτρέπει στις άγκυρες που δημιουργούνται από ένα άτομο να μοιράζονται με άλλους στον ίδιο φυσικό χώρο. Αυτό επιτρέπει στους προγραμματιστές να δημιουργήσουν τοπικές εμπειρίες πολλών παικτών δημιουργώντας ένα κοινόχρηστο πλαίσιο αναφοράς κλειδωμένο στον κόσμο για πολλούς χρήστες. Για παράδειγμα, δύο ή περισσότερα άτομα μπορούν να καθίσουν στο ίδιο φυσικό τραπέζι και να παίξουν ένα εικονικό επιτραπέζιο παιχνίδι πάνω από αυτό. Περισσότερα για να μάθετε περισσότερα.

Ένας νικηφόρος συνδυασμός για μικτή πραγματικότητα

Χρειάζεστε στερεοσκοπικό έγχρωμο Passthrough, Scene Understanding, Spatial Anchors και Shared Spatial Anchors μαζί με πληροφορίες απόφραξης και σύγκρουσης, ανίχνευσης αντικειμένων και φωτισμού σε πραγματικό χρόνο— συνδυασμένες σε ένα πακέτο για να προσφέρουν αληθινές, ουσιαστικές εμπειρίες MR. Και όλα αυτά πρέπει να συνδυάζονται έχοντας κατά νου περιορισμούς όπως το κόστος απόδοσης, ο υπολογισμός και τα θερμικά. Αλλά πάνω από όλα, η διασφάλιση μιας άνετης εμπειρίας είναι το κλειδί.

«Όπως συμβαίνει με τα περισσότερα πράγματα στην τεχνολογία, υπάρχουν αντισταθμίσεις», αναγνωρίζει ο διευθυντής προϊόντων Meta Avinav Pashine. "Αν και η τρέχουσα λύση μας δεν είναι τέλεια, διατηρεί τον υπολογισμό ενώ μεγιστοποιεί την άνεση των χρηστών—και είμαστε σε θέση να παρέχουμε καλύτερο βάθος και εύρος εργαλείων προγραμματιστών λόγω αυτής."

Αυτό είναι μόνο η αρχή. Το Meta Reality θα συνεχίσει να εξελίσσεται μέσω ενημερώσεων λογισμικού—και με τις προόδους υλικού που παρέχονται σε μελλοντικά προϊόντα Meta Quest.

«Το Meta Quest Pro είναι η πρώτη από τις πολλές συσκευές MR που εξερευνούν τις συναρπαστικές δυνατότητες αυτής της αναδυόμενης τεχνολογίας», προσθέτει η Silveira Cabral. «Θέλουμε να μάθουμε μαζί με προγραμματιστές καθώς δημιουργούν συναρπαστικές εμπειρίες που επαναπροσδιορίζουν τι είναι δυνατό με ένα ακουστικό VR. Αυτή η ιστορία δεν έχει ολοκληρωθεί ακόμα - αυτή είναι μόνο η πρώτη σελίδα."