Η Meta αποκαλύπτει το σύστημα μικτής πραγματικότητας Meta Reality

Η στερεοσκοπική διέλευση χρώματος, η χωρική αγκύρωση και η κατανόηση σκηνής θα προσφέρουν πιο ρεαλιστικές εμπειρίες μικτής πραγματικότητας.

Σύμφωνα με τον Sarthak Ray, υπεύθυνο προϊόντων στη Meta, η ικανότητα να βλέπεις και να αλληλεπιδράς με τον κόσμο γύρω σου μέσω της μικτής πραγματικότητας ανοίγει νέες ευκαιρίες για την εικονική πραγματικότητα. «Μπορείτε να παίξετε με φίλους στο ίδιο φυσικό δωμάτιο ή εμπειρίες παραγωγικότητας που συνδυάζουν τεράστιες εικονικές οθόνες με φυσικά εργαλεία και είναι ένα βήμα προς το μακροπρόθεσμο όραμά μας για την επαυξημένη πραγματικότητα».

Σε αντίθεση με τη δημοφιλή πεποίθηση, μια εμπειρία μικτής πραγματικότητας είναι πιο αποτελεσματική εάν η συσκευή VR/AR μπορεί να συνδυάσει πειστικά τον φυσικό και τον εικονικό κόσμο. Αυτό σημαίνει ότι το σετ μικροφώνου-ακουστικού πρέπει να κάνει περισσότερα από το να παρέχει απλώς μια τροφοδοσία βίντεο 2D, σύμφωνα με α πρόσφατη ανάρτηση ιστολογίου on Oculus.com.

Για να προωθήσει τη δέσμευσή της για την ανάπτυξη τεχνολογιών VR αιχμής, η Meta ανακοίνωσε την κυκλοφορία του Meta Reality, ενός νέου συστήματος μικτής πραγματικότητας που προσφέρει μια εσωτερική ματιά στο τι συνεπάγεται η δημιουργία μιας εξαιρετικής εμπειρίας.

Στερεοσκοπική διέλευση χρώματος για χωρική επίγνωση

Η Meta αναγνωρίζει τη σημασία της τεχνολογίας διέλευσης χρώματος και στερεοσκοπικής τεχνολογίας 3D όσον αφορά την παροχή άνετων και καθηλωτικών εμπειριών μικτής πραγματικότητας.

«Το Meta Quest Pro συνδυάζει δύο όψεις κάμερας για την αναδόμηση του ρεαλιστικού βάθους, το οποίο διασφαλίζει ότι οι εμπειρίες μικτής πραγματικότητας που δημιουργούνται με χρήση χρώματος Passthrough είναι άνετες για τους ανθρώπους», εξήγησε ο Διευθυντής Μηχανικής του Meta Computer Vision, Ricardo Silveira Cabral. "Αλλά, επίσης, τα στερεοφωνικά στοιχεία υφής επιτρέπουν στον εγκέφαλο του χρήστη να κάνει τα υπόλοιπα και να συμπεράνει το βάθος ακόμα και όταν η ανακατασκευή βάθους δεν είναι τέλεια ή είναι πέρα ​​από το εύρος του συστήματος."

Για παράδειγμα, όταν χρησιμοποιείτε το Passthrough, ο εγκέφαλός σας μαθαίνει ότι το φλιτζάνι του καφέ βρίσκεται περίπου τόσο μακριά από το χέρι σας όσο και από το στυλό που κάθεται ακριβώς δίπλα σας.

Το Oculus Insight, το οποίο μπορούσε να συλλάβει μόνο 100 σημεία ενδιαφέροντος για να προσδιορίσει τη θέση των ακουστικών σε ένα δωμάτιο, ήταν μια τεχνολογία που παρείχε το πρώτο αυτόνομο σύστημα παρακολούθησης για μια καταναλωτική συσκευή VR. Έκτοτε έχει αναβαθμιστεί για να είναι δυνατή η βαθιά ανίχνευση. Για σύγκριση, το Meta Quest Pro μπορεί να παράγει έως και 10,000 πόντους ενδιαφέροντος ανά δευτερόλεπτο υπό διαφορετικές συνθήκες φωτισμού, επιτρέποντάς σας να δημιουργήσετε μια βελτιωμένη τρισδιάστατη αναπαράσταση του φυσικού σας χώρου σε πραγματικό χρόνο.

Μέσω αυτής της διαδικασίας, η Meta είναι σε θέση να δημιουργήσει ένα τρισδιάστατο μοντέλο του φυσικού κόσμου που ενημερώνεται συνεχώς. Στη συνέχεια, μπορείτε να χρησιμοποιήσετε αυτά τα δεδομένα για να δημιουργήσετε ένα πλαίσιο προγνωστικής απόδοσης που μπορεί να παράγει εικόνες του πραγματικού σας περιβάλλοντος. Για να αντισταθμιστεί ο λανθάνοντας χρόνος απόδοσης, οι ανακατασκευές προσαρμόζονται στην αριστερή και δεξιά οπτική γωνία των χρηστών μέσω του Ασύγχρονο TimeWarp αλγόριθμος.

Σύμφωνα με τη Silveira Cabral, η χρήση έγχρωμης στερεοσκοπικής κάμερας επιτρέπει στην ομάδα να προσφέρει μια πιο ρεαλιστική ερμηνεία του πραγματικού κόσμου.

Κατανόηση σκηνής για ανάμειξη εικονικού περιεχομένου στον φυσικό κόσμο

Το στοιχείο Scene Understanding της πλατφόρμας παρουσίας εισήχθη κατά τη διάρκεια της εκδήλωσης Connect 2021. Αυτή η τεχνολογία επιτρέπει στους προγραμματιστές να δημιουργούν σύνθετες εμπειρίες μικτής πραγματικότητας με επίγνωση της σκηνής. Σύμφωνα με τον Wei Lyu, τον διευθυντή προϊόντων της Meta Quest Pro, το στοιχείο Scene Understanding της εταιρείας σχεδιάστηκε για να βοηθήσει τους προγραμματιστές να επικεντρωθούν στη δημιουργία των επιχειρήσεων και των εμπειριών τους.

«Παρουσιάσαμε το Scene Understanding ως λύση συστήματος», είπε ο Lyu.

Η κατανόηση της σκηνής χωρίζεται σε τρεις τομείς:

• Μοντέλο σκηνής - Μια ενιαία, ολοκληρωμένη, ενημερωμένη και διαχειριζόμενη από σύστημα αναπαράσταση του περιβάλλοντος που αποτελείται από γεωμετρικές και σημασιολογικές πληροφορίες. Τα θεμελιώδη στοιχεία ενός Μοντέλου Σκηνής είναι οι Άγκυρες. Κάθε Άγκυρα μπορεί να προσαρτηθεί σε διάφορα εξαρτήματα. Για παράδειγμα, το σαλόνι ενός χρήστη είναι οργανωμένο γύρω από μεμονωμένες άγκυρες με σημασιολογικές ετικέτες, όπως το πάτωμα, η οροφή, οι τοίχοι, το γραφείο και ο καναπές. Οι άγκυρες συνδέονται με μια απλή γεωμετρική αναπαράσταση: ένα 2D όριο ή ένα 3D πλαίσιο οριοθέτησης.
• Λήψη σκηνής – Μια ροή καθοδηγούμενη από το σύστημα που επιτρέπει στους χρήστες να περπατούν και να αποτυπώνουν την αρχιτεκτονική και τα έπιπλα του δωματίου τους για να δημιουργήσουν ένα μοντέλο σκηνής. Στο μέλλον, ο στόχος θα είναι να παραδοθεί μια αυτοματοποιημένη έκδοση του Scene Capture που δεν απαιτεί από τους ανθρώπους να καταγράφουν χειροκίνητα το περιβάλλον τους.
• Scene API – Μια διεπαφή που μπορούν να χρησιμοποιήσουν οι εφαρμογές για πρόσβαση σε χωρικές πληροφορίες στο Scene Model για διάφορες περιπτώσεις χρήσης, συμπεριλαμβανομένης της τοποθέτησης περιεχομένου, της φυσικής, της πλοήγησης κ.λπ. Με το Scene API, οι προγραμματιστές μπορούν να χρησιμοποιήσουν το Scene Model για να αναπηδήσουν μια εικονική μπάλα από φυσικές επιφάνειες το πραγματικό δωμάτιο ή ένα εικονικό ρομπότ που μπορεί να κλιμακώσει τους φυσικούς τοίχους.

"Η κατανόηση σκηνής μειώνει την τριβή για τους προγραμματιστές, επιτρέποντάς τους να δημιουργήσουν εμπειρίες μαγνητικής τομογραφίας που είναι όσο το δυνατόν πιο πιστευτές και καθηλωτικές με εφέ απόφραξης και σύγκρουσης σε πραγματικό χρόνο", πρόσθεσε ο Ray.

Χωρικές άγκυρες για τοποθέτηση εικονικών αντικειμένων

Οι προγραμματιστές μπορούν εύκολα να δημιουργήσουν εμπειρίες μικτής πραγματικότητας πρώτης κατηγορίας χρησιμοποιώντας το Spatial Anchors, το οποίο αποτελεί βασική δυνατότητα της πλατφόρμας Meta Quest Pro. Για παράδειγμα, ένας σχεδιαστής προϊόντων μπορεί εύκολα να αγκυρώσει πολλά τρισδιάστατα μοντέλα σε ένα φυσικό χώρο χρησιμοποιώντας μια πλατφόρμα όπως Σκίτσο βαρύτητας να δημιουργήσουν ένα απρόσκοπτο περιβάλλον για το προϊόν τους.

«Εάν το στερεοσκοπικό έγχρωμο Passthrough και το Scene Understanding κάνουν τη βαριά ανύψωση για να επιτρέψουν στις εμπειρίες μαγνητικής τομογραφίας να συνδυάσουν τον φυσικό και τον εικονικό κόσμο, οι ικανότητές μας αγκύρωσης παρέχουν τον συνδετικό ιστό που τα συγκρατεί όλα μαζί», δήλωσε η Meta Product Manager Laura Onu.

Μαζί με το Scene Model, τα Spatial Anchors μπορούν να χρησιμοποιηθούν για τη δημιουργία πλούσιων και αυτόματων περιβαλλόντων για μια ποικιλία εμπειριών και καταστάσεων. Για παράδειγμα, μπορείτε να δημιουργήσετε μια εικονική πόρτα που είναι συνδεδεμένη με έναν φυσικό τοίχο. Αυτό θα ήταν ένα τεράστιο βήμα για τις εταιρείες που αναζητούν την τεχνολογία XR για τις επιχειρηματικές τους λύσεις στην ψηφιακή αδελφοποίηση, τον αυτοματισμό αποθήκης, ακόμη και τη ρομποτική.

Προς το παρόν, φαίνεται ότι ο Μέτα επικεντρώνεται περισσότερο στις κοινωνικές εμπειρίες. «Συνδυάζοντας το Scene Understanding με τις Spatial Anchors, μπορείτε να συνδυάσετε και να προσαρμόσετε τις εμπειρίες σας MR στο περιβάλλον του χρήστη για να δημιουργήσετε έναν νέο κόσμο γεμάτο δυνατότητες», σύμφωνα με τον Onu, ο οποίος προσθέτει, «Μπορείτε να γίνετε μυστικός πράκτορας στο δικό σας σαλόνι , τοποθετήστε εικονικά έπιπλα στο δωμάτιό σας ή σχεδιάστε μια επέκταση στο σπίτι σας, δημιουργήστε παιχνίδια φυσικής και πολλά άλλα."

Κοινόχρηστες χωρικές άγκυρες για συντοποθετημένες εμπειρίες

Επιπλέον, η Meta έχει προσθέσει τη δυνατότητα Shared Spatial Anchors στην πλατφόρμα παρουσίας. Αυτό σας επιτρέπει να δημιουργήσετε τοπικές εμπειρίες για πολλούς παίκτες, μοιράζοντας τις αγκυρώσεις σας με άλλους χρήστες στον ίδιο χώρο. Αυτό θα επιτρέψει σε εσάς και σε άλλους φίλους να παίξετε ένα επιτραπέζιο παιχνίδι VR πάνω από ένα φυσικό τραπέζι με τον ίδιο τρόπο που Κλίση πέντε προσφέρει τις εμπειρίες τους στο παιχνίδι.

Ένας νικηφόρος συνδυασμός για μικτή πραγματικότητα

Ο συνδυασμός Spatial Anchors, Passthrough και Scene Understanding μπορεί να βοηθήσει στη δημιουργία ενός πλούσιου και διαδραστικού περιβάλλοντος που έχει σχεδιαστεί για να μοιάζει και να μοιάζει με τον πραγματικό κόσμο. Ο Avinav Pashine, διευθυντής προϊόντων της Meta Quest Pro, σημείωσε ότι υπάρχουν πολλές συμβιβασμούς που εμπλέκονται στη δημιουργία ενός υπέροχου και άνετου περιβάλλοντος μικτής πραγματικότητας για τους χρήστες.

Το μέλλον της Meta Reality εξακολουθεί να εξελίσσεται καθώς η εταιρεία βελτιώνει συνεχώς την πλατφόρμα μέσω ενημερώσεων λογισμικού και καινοτομιών υλικού που θα παραδοθούν στην επόμενη γενιά των προϊόντων της. Η Silveira Cabral, product manager της Meta Quest Pro, σημείωσε ότι το πρώτο προϊόν της εταιρείας είναι ένα σημαντικό βήμα στην εξέλιξη του Meta Reality.

«Θέλουμε να μάθουμε μαζί με προγραμματιστές καθώς δημιουργούν συναρπαστικές εμπειρίες που επαναπροσδιορίζουν τι είναι δυνατό με ένα ακουστικό VR. Αυτή η ιστορία δεν έχει ολοκληρωθεί ακόμα - αυτή είναι μόνο η πρώτη σελίδα."

Πίστωση εικόνας: Meta