Ο Σχεδιασμός και η Υλοποίηση του Hand-Tracking στο «Myst»

Χρησιμοποιώντας Το αναβαθμισμένο API παρακολούθησης χεριών της Presence Platform, παρουσιάσαμε το Hand Tracking με την πιο πρόσφατη ενημέρωση Myst στην πλατφόρμα Meta Quest, με τίτλο «Hands & More». Είμαστε πολύ ενθουσιασμένοι που επιτέλους αφήνουμε τους ανθρώπους να παίξουν Myst στο Quest χωρίς φυσικούς ελεγκτές! Σε αυτήν την ανάρτηση, θα συζητήσουμε την εξέλιξη και την επανάληψη της εφαρμογής της παρακολούθησης χεριών Myst—και συγκεκριμένα, προσθέτοντας περισσότερη υποστήριξη για αυτό στο Unreal Engine 4.27.2.

Guest άρθρο από τη Hannah Gamiel

Η Hannah Gamiel είναι Διευθύντρια Ανάπτυξης στο Κυανό—το στούντιο πίσω από το πρωτότυποMyst' παιχνίδια—και βοήθησε στην ανάπτυξη του νέου 'Myst (2020)' που περιλαμβάνει υποστήριξη VR. Αρχικά προερχόμενη από ένα καθαρά τεχνικό υπόβαθρο, τώρα βοηθά στην παραγωγή σε όλους τους τίτλους και διαχειρίζεται τις επιχειρηματικές και τεχνολογικές προσπάθειες στο Cyan. Έχει δουλέψει σε τίτλους όπως «Myst» (2020), «The Witness», «Braid, Anniversary Edition», «Obduction», «Firmament» (προσεχώς!) και πολλά άλλα.

Φάση Σχεδιασμού & Σκέψεις

Σχεδιασμός πλοήγησης για παρακολούθηση χεριών

Εικόνα που δείχνει πού θέλετε να πάτε. Μάλλον σκέφτηκες να δείξεις, σωστά; Αυτός είναι ο λόγος για τον οποίο επιλέξαμε να χρησιμοποιήσουμε μια μέθοδο «σημείωσης» για την κίνηση μέσα Myst.

Όταν βρίσκεστε σε λειτουργία τηλεμεταφοράς, μπορείτε να δείξετε πού θέλετε να πάτε και ο δακτύλιος τηλεμεταφοράς εμφανίζεται στον προορισμό σας. Όταν "αποσημαδεύετε" (επεκτείνοντας τα υπόλοιπα δάχτυλά σας ή απλά τραβώντας το δάχτυλό σας πίσω στην παλάμη σας), η τηλεμεταφορά εκτελείται.

Όταν βρίσκεστε σε λειτουργία ομαλής κίνησης, ο δείκτης με το χέρι που κυριαρχεί στην ελεύθερη κίνηση (το οποίο μπορεί να διαμορφωθεί στις ρυθμίσεις των στοιχείων ελέγχου μας, αλλά είναι το αριστερό χέρι από προεπιλογή) θα αρχίσει να σας μετακινεί ομαλά προς την κατεύθυνση που δείχνετε.

Κατά την αναπαραγωγή της κίνησης με κατάδειξη, διαπιστώσαμε ότι η παρακολούθηση χεριών μπορεί μερικές φορές να είναι αναξιόπιστη με το δάχτυλο του δείκτη και το μεσαίο δάχτυλο όταν αποφράσσεται από το υπόλοιπο χέρι σας. Το σύστημα δεν είναι σίγουρο αν αυτά τα δάχτυλα είναι πλήρως στραμμένα ή πλήρως «κλειστά» στο χέρι σας. Προσθέσαμε έναν παράγοντα «fudge» στον κώδικα για να λάβουμε υπόψη πιο σταθερή έναρξη/εκτέλεση κίνησης σε αυτό το μέτωπο—στο οποίο θα αναφερθούμε λίγο αργότερα όταν θα συζητήσουμε τις αλλαγές που έγιναν στο out-of-the-box Hand Tracking υποστήριξη στο Unreal Engine.

Στροφή

Η μέθοδος "σημείο" δεν λειτουργεί για όλες τις χρήσεις πλοήγησης. Όσον αφορά το στρίψιμο, αρχικά συνδυάσαμε το pointing με την περιστροφή του καρπού. Η σύγκριση του καρπού του παίκτη και του διανύσματος προς τα εμπρός της κάμερας θα έδειχνε την κατεύθυνση της στροφής (και πόσο μεγάλη θα πρέπει να είναι η στροφή). Το δοκιμάσαμε αρχικά επειδή φαινόταν διαισθητικό να διατηρήσουμε το θέμα «δείχνοντας» για πλοήγηση μεταξύ όλων των τρόπων λειτουργίας.

Ωστόσο, προέκυψαν επιπλοκές στα τεστ άνεσης. Στο playtesting, οι περισσότεροι παίκτες έδειχναν προς τα εμπρός με την παλάμη τους στραμμένη προς το έδαφος, όπως πιθανότατα θα έκανε κάποιος όταν προσπαθούσε να δείξει κάτι εκτός παιχνιδιού επίσης. Η περιστροφή του καρπού σας προς τα αριστερά και προς τα δεξιά (γύρω από τον επάνω άξονα του καρπού σας) ενώ έχετε την παλάμη σας στραμμένη προς το έδαφος είναι πρόκληση και έχει πολύ περιορισμένο εύρος κίνησης, ειδικά αν προσπαθείτε να απομακρυνθείτε από το στήθος σας.

Αυτό το ζήτημα είναι το ίδιο ακόμα κι αν ζητήσατε από έναν παίκτη να δείξει κάτι μπροστά του με τις παλάμες του στραμμένες προς τα μέσα. Μπορείτε να λυγίσετε τον καρπό σας προς τα μέσα προς το σώμα σας αρκετά, αλλά δεν θα έχετε το ίδιο εύρος κίνησης λυγίζοντας τον καρπό σας μακριά από το σώμα σας.

Πώς το λύσαμε λοιπόν; Καταλήξαμε να αντιστοιχίσουμε τη στροφή σε μια χειρονομία "αντίχειρας" αντί για μια χειρονομία που δείχνει το δάχτυλο του δείκτη.

Φανταστείτε να δίνετε ένα μπράβο. Τώρα γυρίστε τον καρπό σας δεξιά και αριστερά. Σημειώστε ότι παρόλο που δεν έχετε τεράστιο εύρος κίνησης, εξακολουθεί να είναι αρκετά σταθερό δείχνοντας είτε «αριστερά» και «δεξιά» με τον αντίχειρά σας σε αυτήν την κίνηση.

Αυτό είναι που συμβιβαζόμαστε με την ενεργοποίηση στη λειτουργία παρακολούθησης χεριών. Αν και το να δείχνεις με τον αντίχειρά σου δεν φαίνεται να είναι ο πιο διαισθητικός τρόπος για να στρίψεις, είναι έκανε καταλήγουν να είναι ο πιο άνετος και συνεπής τρόπος για να το κάνετε αυτό.

Με την απότομη στροφή, η περιστροφή του καρπού σας προς τα αριστερά ή προς τα δεξιά από τη θέση του αντίχειρα προς τα επάνω προκαλεί την έναρξη μιας μόνο γρήγορης στροφής. Στη συνέχεια, πρέπει να επιστρέψετε το χέρι σας στη θέση «κέντρο» (ευθεία προς τα πάνω) για να επαναφέρετε το κούμπωμα, και επιπλέον περιμένετε να συμβεί μια πολύ σύντομη ψύξη για να ξεκινήσετε ξανά μια γρήγορη στροφή.

Με ομαλή στροφή, γυρίζοντας τον καρπό σας ενώ βρίσκεστε σε θέση αντίχειρα θα αρχίσει να σας περιστρέφει αριστερά ή δεξιά — μόλις φύγετε από μια «νεκρή ζώνη» που εμποδίζει την εμφάνιση στροφής μέχρι να περάσετε το κατώφλι.

Χειρισμός συγκρούσεων μεταξύ στάσεων κίνησης και αλληλεπίδρασης αντικειμένων

Φυσικά, το να δείχνεις ένα δάχτυλο είναι πολύ ευρεία χειρονομία για να θεωρηθεί ότι χρησιμοποιείται μόνο για πλοήγηση. Οι άνθρωποι θα κάνουν την ίδια χειρονομία κατάδειξης για να πατήσουν κουμπιά ή να αλληλεπιδράσουν με άλλα πράγματα στον κόσμο απλώς από συνήθεια ή από τις δικές τους προσδοκίες. Θα ήταν αρκετά ενοχλητικό να περπατήσετε μέχρι (αλλά όχι δεξιά μέχρι) ένα κουμπί, κουνήστε το δάχτυλό σας για να το πατήσετε και, στη συνέχεια, ξαφνικά (και ανεπιθύμητα) πλησιάστε το στο παιχνίδι (ή ξεκινήστε μια τηλεμεταφορά ακούσια)!

Ο τρόπος με τον οποίο αποτρέπουμε την εμφάνιση κίνησης ενώ ο παίκτης μπορεί να αλληλεπιδρά με κάτι είναι αποτρέποντας την ενεργοποίηση οποιουδήποτε κώδικα κίνησης όταν το χέρι που κάνει τη χειρονομία «κίνηση» βρίσκεται εντός ενός συγκεκριμένου εύρους ενός αλληλεπιδράσιμου αντικειμένου. Αυτό το εύρος έχει τροποποιηθεί πολλές φορές για να φτάσει σε ένα καλό «γλυκό σημείο» με βάση τη δοκιμή αναπαραγωγής.

Βρήκαμε ότι αυτό το γλυκό σημείο απέχει περίπου 25 cm από την παγκόσμια διαστημική θέση του οστού της άκρης του δείκτη. Myst είναι γεμάτη από διαδραστικά αντικείμενα διαφόρων μεγεθών (τα πάντα από μικρά κουμπιά έως πολύ μεγάλους μοχλούς) τοποθετημένα τόσο σε ανοιχτούς χώρους όσο και σε στενούς διαδρόμους, οπότε χρειάστηκε αρκετή δοκιμή για να καταλήξουμε σε αυτόν τον αριθμό. Αρχικά δοκιμάσαμε 60 cm (περίπου δύο πόδια), αλλά αυτό εμπόδισε την κίνηση όταν οι παίκτες έπρεπε ακόμα να πλησιάσουν ένα αντικείμενο. Ομοίως, οτιδήποτε κάτω από 25 cm προκάλεσε την ανεπιθύμητη κίνηση του παίκτη όταν οι παίκτες προσπαθούσαν να αρπάξουν ή να αγγίξουν ένα αντικείμενο.

Μία από τις καλύτερες περιοχές δοκιμών μας ήταν η αίθουσα γεννήτριας στο Myst Island, όπου περνάτε μέσα από μια στενή είσοδο και στη συνέχεια σας υποδέχεται αμέσως ένα πάνελ γεμάτο κουμπιά. Όταν η περιοχή δοκιμών αλληλεπίδρασης ήταν πολύ μεγάλη, οι παίκτες δεν μπορούσαν να μετακινηθούν μέσα από την είσοδο και προς τον πίνακα, επειδή εντόπισε κουμπιά εντός της εμβέλειας του δείκτη.

Τούτου λεχθέντος, τα 25 cm είναι αυτό για το οποίο λειτούργησε ειδικά Myst. Άλλα παιχνίδια μπορεί να χρειαστεί να προσαρμόσουν αυτόν τον αριθμό εάν θέλουν να εφαρμόσουν κάτι παρόμοιο, έχοντας κατά νου τα δικά τους κριτήρια.

Σχεδιασμός αλληλεπιδράσεων αντικειμένων για παρακολούθηση χεριών

Αυτήν τη στιγμή, όλες οι αλληλεπιδράσεις που μπορούν να συλληφθούν Myst είναι κατασκευασμένα για να λειτουργούν με παρακολούθηση χεριών—γυρίζοντας βαλβίδες, άνοιγμα θυρών, πάτημα κουμπιών, περιστροφή σελίδων βιβλίου κ.λπ.

Οι αλληλεπιδράσεις αποδυναμώνουν αυτό που είχαμε ήδη δημιουργήσει Myst με χειριστήρια αφής. Εκεί, το πάτημα του κουμπιού λαβής αναμειγνύει αυτόματα την αναπαράσταση του χεριού σας μέσα στο παιχνίδι σε μια στάση «αρπαγμένη», είτε βάζοντας το χέρι σας σε μια γροθιά (αν είναι άδειο) είτε πιάνοντας ένα αντικείμενο. Με την παρακολούθηση χεριών, προσθέσαμε κώδικα που θα κάνει μια κατάλληλη εικασία για το πότε έχετε κουλουριάσει αρκετά τα δάχτυλά σας για να «αρπάξετε» κάτι και να ξεκινήσετε την ίδια λογική όπως αναφέρθηκε προηγουμένως.

Για παράδειγμα, όταν χρησιμοποιείτε παρακολούθηση χεριών και το χέρι σας αιωρείται πάνω από κάτι που μπορεί να πιαστεί, το χρώμα των χεριών σας γίνεται πορτοκαλί (αυτό ακριβώς συμβαίνει όταν δεν χρησιμοποιείτε την παρακολούθηση χεριών σε Myst VR επίσης). Όταν πιάνετε ένα αλληλεπιδράσιμο αντικείμενο αρχίζοντας να κουλουριάζετε τα δάχτυλά σας σε γροθιά, μια πορτοκαλί σφαίρα αντικαθιστά το πλέγμα των χεριών σας και αντιπροσωπεύει το σημείο που το χέρι είναι συνδεδεμένο με το αντικείμενο.

Ο λόγος για τον οποίο χρησιμοποιήσαμε αυτήν τη μέθοδο αντί να φτιάχνουμε προσαρμοσμένα πλέγματα για τα χέρια σας—ή να επιτρέπουμε στα χέρια/δάχτυλά σας να φαίνεται ότι αλληλεπιδρούν φυσικά με τμήματα αυτών των αντικειμένων—είναι επειδή θέλαμε οι αλληλεπιδράσεις να είναι ίσες με αυτό που προσφέρουμε στην πλευρά του ελεγκτή αφής προς το παρόν.

Ωστόσο, το πάτημα των κουμπιών λειτουργεί διαφορετικά. Δεν υπάρχει ανάγκη για αφαίρεση, καθώς τα κουμπιά δεν είναι αντικείμενα που μπορούν να αρπάξουν, και αντ 'αυτού σας επιτρέπουμε να πατήσετε απλώς ένα κουμπί χρησιμοποιώντας επιταχυντές κάψουλας που δημιουργούνται ανάμεσα σε καθεμία από τις αρθρώσεις των δακτύλων στο δυναμικό πλέγμα χεριών. Μπορείτε να κάνετε κάθε λογής παράξενα και διασκεδαστικά πράγματα εξαιτίας αυτού—όπως να χρησιμοποιήσετε μόνο το ροζ ή την άρθρωση του δακτύλου σας για να αλληλεπιδράσετε με κάθε κουμπί στο παιχνίδι, αν το θέλετε πραγματικά.

Αυτή η εφαρμογή διαφέρει ελαφρώς από τον τρόπο με τον οποίο τα χειριστήρια αφής αλληλεπιδρούν με τα κουμπιά στο παιχνίδι, καθώς συνήθως περιμένουμε από τους παίκτες να χρησιμοποιήσουν το κουμπί λαβής στο χειριστήριό τους για να ρυθμίσουν το χέρι ως ένα πλέγμα που δείχνει το δάχτυλο για να λάβουν ένα ακριβές κουμπί στο παιχνίδι. πιέστε στην άκρη τους. Με την παρακολούθηση χεριών, υπάρχει προφανώς πολύ μεγαλύτερη ευελιξία στη στάση που μπορείτε να δημιουργήσετε με το χέρι σας και επομένως πολύ περισσότεροι τρόποι να πατάτε κουμπιά με το ίδιο επίπεδο ακρίβειας.

Αλληλεπιδράσεις μενού/UI

Για την αλληλεπίδραση με τα μενού, καταλήξαμε να ακολουθούμε το ίδιο παράδειγμα αλληλεπίδρασης που χρησιμοποιεί το Meta για την πλατφόρμα Quest: ένα τσίμπημα με δύο δάχτυλα μεταξύ του αντίχειρα και του δείκτη, και στα δύο χέρια. Αυτό μπορεί να χρησιμοποιηθεί τόσο για το άνοιγμα του μενού μας στο παιχνίδι όσο και για την αλληλεπίδραση με στοιχεία του μενού. Δεν έχει νόημα να εφεύρουμε ξανά τον τροχό εδώ, όταν οι παίκτες έχουν ήδη διδαχθεί να το κάνουν αυτό στα μενού σε επίπεδο λειτουργικού συστήματος όταν ενεργοποιούν για πρώτη φορά την παρακολούθηση χεριών στο Quest!

Κοινοποίηση όλων αυτών στον παίκτη

Επειδή η παρακολούθηση χεριών δεν είναι τόσο κοινή είσοδος στο Quest όσο τα χειριστήρια αφής και επειδή μπορεί να παίζουν μερικοί Myst για πρώτη φορά (ή ακόμα και παίζοντας το πρώτο τους παιχνίδι VR!), προσπαθήσαμε να είμαστε προσεκτικοί με τον τρόπο με τον οποίο επικοινωνούμε όλες αυτές τις πληροφορίες σχετικά με την παρακολούθηση χεριών στον παίκτη. Φροντίσαμε να συμπεριλάβουμε μια άλλη έκδοση του "διαγράμματος ελεγκτή" μας ειδικά προσαρμοσμένης για να περιγράφει τις αλληλεπιδράσεις παρακολούθησης χεριών (όταν είναι ενεργοποιημένο στο Myst), και δείχνουμε στον παίκτη εξειδικευμένες ειδοποιήσεις που του λένε πώς ακριβώς να κινούνται με τα χέρια τους.

Επιπλέον, θεωρήσαμε ότι θα ήταν ζωτικής σημασίας να υπενθυμίσουμε στον παίκτη πώς να έχει μια ομαλή εμπειρία παρακολούθησης χεριών, αφού ενεργοποιηθεί. Ο παίκτης ειδοποιείται σε MystΣύμφωνα με το μενού του, η σταθερότητα παρακολούθησης χεριών είναι πολύ καλύτερη εάν διασφαλίζουν ότι βρίσκονται σε ένα καλά φωτισμένο δωμάτιο και κρατούν τα χέρια τους εντός του οπτικού τους πεδίου.

Το Meta ενημερώνει επίσης τους παίκτες ότι αυτά είναι βασικά για ένα περιβάλλον παρακολούθησης χεριών με καλή παρακολούθηση, αλλά αναγνωρίζουμε ότι ορισμένοι παίκτες μπορεί να πηδήξουν σε ένα παιχνίδι χωρίς πρώτα να αναλύσουν τις ειδοποιήσεις του Meta σχετικά με αυτό, γι' αυτό επιλέξαμε να το υπενθυμίζουμε στους ανθρώπους σε περίπτωση που το ξεχάσουν.

Συνέχεια στη σελίδα 2: Τροποποιήσεις κινητήρα Made in Unreal »