Il tracciamento delle mani è diventato disponibile per la prima volta su Oculus Quest alla fine del 2019. Spinto dall'entusiasmo per questo nuovo metodo di input, ho pubblicato una demo di Cubismo a SideQuest con supporto sperimentale per il tracciamento delle mani solo pochi giorni dopo. Inutile dire che questa demo iniziale aveva diversi difetti e non teneva veramente conto dei limiti della tecnologia, motivo per cui ho deciso di omettere inizialmente il supporto del tracciamento delle mani dalla versione completa di Cubismo su Oculus Store. Ci sono voluti più sviluppo, basandomi sulle lezioni apprese dal lavoro di altri sviluppatori, per creare qualcosa che ero felice di rilasciare nel recente Cubismo aggiornamento del tracciamento delle mani. Ecco uno sguardo all'interno del processo di progettazione.
Ospite Articolo di Thomas Van Bouwel
Thomas è uno sviluppatore di realtà virtuale belga-brasiliano attualmente con sede a Bruxelles. Sebbene il suo background originale sia in architettura, il suo attuale lavoro in VR spazia da giochi indipendenti come Cubismo al software aziendale per architetti e ingegneri come Risolvere.
Questo aggiornamento si basa sulle lezioni apprese da molti altri giochi e sviluppatori che hanno esplorato il tracciamento delle mani nell'ultimo anno (La curiosa storia degli animali domestici rubati, Simulatore di vacanza, Luca Mefisto, Denny Kuhnerte molti altri).
In questo articolo vorrei condividere alcune cose che ho imparato affrontando le sfide specifiche per Cubismo interazioni con le mani.
Ottimizzazione per interazioni precise
Cubismo le interazioni ruotano attorno al posizionamento di piccoli pezzi di puzzle irregolari in una griglia di puzzle. Ciò significava che il requisito principale per l'input di tracciamento della mano era la precisione, sia nel raccogliere e posizionare i pezzi sulla griglia, sia nel selezionare con precisione i pezzi da un puzzle completato. Questo ha informato la maggior parte delle decisioni di progettazione riguardanti l'input manuale.
Mani fantasma
Ho deciso subito di farlo non rendi le mani basate sulla fisica, ma lasciale invece passare attraverso i pezzi fino a quando uno non viene afferrato attivamente.
Ciò ha evitato di spingere maldestramente via i pezzi del puzzle fluttuante quando si tenta di afferrarli a mezz'aria, ma, cosa più importante, ha reso più facile strappare i pezzi nel mezzo di un puzzle completo poiché puoi semplicemente infilare le dita e afferrare un pezzo invece di bisogno di capire come estrarli fisicamente.
Segnalate dalla loro trasparenza, le mani non sono fisiche, rendendo più facile scegliere i pezzi dal centro di un puzzle.
Contatta Grabbing
Esistono diversi approcci per rilevare un utente intento ad afferrare e rilasciare oggetti, come concentrarsi sui pizzichi delle dita o sulla rotazione totale delle articolazioni delle dita durante il controllo di una zona di interazione generale nel palmo della mano.
Nel Cubismo pezzi di puzzle piccoli e irregolari tuttavia, l'approccio che sembrava gestire i requisiti di precisione il migliore era un approccio basato sul contatto, in cui un pezzo viene afferrato non appena il pollice e l'indice intersecano lo stesso pezzo e vengono riuniti su una piccola distanza, senza richiedere un pizzico pieno.
Simile al avvicinarsi La curiosa storia degli animali domestici rubati, le dita sono bloccate in posizione non appena inizia una presa, per dare l'impressione di una presa dall'aspetto più stabile. Il pezzo è genitore alla radice della mano (il polso) mentre viene afferrato. Poiché questo sembra essere il giunto cingolato più stabile, aiuta a produrre una presa più stabile e garantisce che il pezzo rimanga allineato con le dita bloccate.
Il pezzo viene afferrato quando il pollice e l'indice lo intersecano e si uniscono leggermente. La rotazione dell'indice e del pollice vengono quindi bloccati in posizione per dare l'impressione di una presa stabile.
Non appena un pezzo viene afferrato, la distanza tra pollice e indice viene salvata e un margine di rilascio viene calcolato in base a quella distanza. Una volta che il pollice e l'indice si allontanano oltre quel margine, il pezzo viene rilasciato.
Diverse misure di sicurezza cercano di prevenire rilasci involontari: non controlliamo il rilascio quando la sicurezza del tracciamento è inferiore a una certa soglia e, dopo che la sicurezza del tracciamento è stata riacquistata, attendiamo diversi frame fino a quando non verifichiamo nuovamente il rilascio. Le dita devono anche essere oltre il margine di rilascio per diversi fotogrammi prima di rilasciare effettivamente.
Visualizzazione debug: durante una presa, viene salvata la distanza iniziale della presa tra i polpastrelli (cerchio rosso esterno). Il brano viene rilasciato quando la posizione reale dei polpastrelli si sposta oltre un certo margine (cerchio blu).
Esiste anche un sistema simile a Metodo overgrab di Vacation Simulator. A causa della mancanza di feedback tattile quando si afferra un pezzo, non è raro che le dita si avvicinino l'una all'altra durante una presa. Se si chiudono oltre una certa soglia, i margini di rilascio vengono regolati per facilitare il rilascio del pezzo.
Prova tu stesso: per vedere queste visualizzazioni di debug nel gioco, vai su "Impostazioni> Monitoraggio delle mani> Visualizzazioni di debug" e attiva i "Widget delle interazioni".
Visualizzazione di debug: se le dita si spostano l'una verso l'altra durante una presa oltre una certa soglia (cerchio rosso interno), i margini di rilascio vengono riadattati per rendere il rilascio del brano meno "appiccicoso".
Un limite a questo approccio è che rende un po 'più difficile sostenere la presa con le dita diverse dall'indice. Un'implementazione precedente consentiva anche di afferrare tra il dito medio e il pollice, ma questo spesso portava a falsi positivi quando si estraevano pezzi da una griglia completa del puzzle, poiché era difficile valutare con quale dito il giocatore intendeva afferrare un pezzo specifico.
Questo non sarebbe stato un problema se l'afferrare ruotasse attorno a pizzichi di dita intere, poiché ciò si traduce in un binario di input più chiaro da cui determinare l'intento dell'utente (al costo di una posa di afferrare meno naturale).
Controllo del punto medio
Oltre a controllare quale pezzo si intersecano l'indice e il pollice, viene eseguito un ulteriore controllo nel punto medio tra la punta del dito indice e la punta del pollice.
Qualunque pezzo su cui si trova questo punto medio avrà la priorità per l'afferrare, il che aiuta a evitare falsi positivi quando un giocatore cerca di afferrare un pezzo in una griglia completa.
Nell'esempio seguente, se il giocatore intende afferrare il pezzo verde dal suo bordo destro, afferrerebbe involontariamente il pezzo giallo se non facessimo questo controllo del punto medio.
Sinistra: pollice, indice e punto medio tra i polpastrelli sono in giallo → afferrare il giallo. A destra: pollice e indice sono in giallo, il punto medio è in verde → afferrare il verde
Afferrando il puzzle
Afferrare il puzzle funziona in modo simile all'afferrare i pezzi del puzzle, tranne per il fatto che viene avviato eseguendo un pizzico completo all'interno della zona di afferrare attorno al puzzle.
La dimensione di questa zona aumenta dinamicamente quando si passa dai controller alle mani. Questo lo rende un po 'più facile da afferrare e aiuta a ridurre la probabilità di afferrare accidentalmente un pezzo nella griglia invece della griglia stessa.
La zona di presa intorno al puzzle si espande quando si passa dai controller alle mani, rendendo più facile afferrare. Sebbene richieda un pizzico completo, afferrare il puzzle funziona in modo simile ad afferrare i pezzi del puzzle.
Levigatura dinamica delle mani
I dati di tracciamento della mano forniti da Oculus Quest possono ancora avere un po 'di jitter, anche quando la sicurezza del tracciamento è alta. Ciò può effettivamente influire anche sul gioco, poiché il jitter può essere molto più evidente quando si tiene la griglia del puzzle o un lungo pezzo del puzzle per il bordo, rendendo più difficile il posizionamento preciso dei pezzi sulla griglia.
La levigatura dei dati di tracciamento può fare molto per produrre prese dall'aspetto più stabile, ma deve essere eseguita con moderazione poiché una levigatura eccessiva si tradurrà in una sensazione di "ritardo" nelle mani. Per bilanciare questo, levigare a mano Cubismo viene regolato dinamicamente a seconda che la tua mano stia tenendo qualcosa o meno.
Provalo tu stesso: per vedere l'impatto della levigatura delle mani, prova a spegnerlo sotto
"Impostazioni> Tracciamento mano> Levigatura mano".
Aumentare la levigatezza delle posizioni delle mani mentre si tengono oggetti aiuta a produrre una presa più stabile, rendendo un po 'più facile il posizionamento preciso sulla griglia.
Premendo i pulsanti
Una cosa che ho notato Cubismo La demo originale del tracciamento delle mani era che la maggior parte delle persone provava a premere i pulsanti anche se al momento non era supportato. Pertanto, uno dei miei obiettivi con questa nuova versione del tracciamento delle mani era rendere i pulsanti effettivamente premibili.
I pulsanti possono essere posizionati sopra quando un raycast dalla punta del dito indice colpisce un collisore sul retro del pulsante. Se il dito indice si interseca quindi con il collisore, viene registrata una stampa. Se l'indice interseca il collisore senza prima passarlo con il mouse, non viene registrata alcuna stampa. Questo aiuta a prevenire falsi positivi quando il dito si sposta dal basso verso l'alto.
Ci sono alcuni controlli in più per evitare falsi positivi: il raycast è disabilitato quando il dito non è rivolto verso il pulsante o quando il giocatore non guarda il dito quando lo preme.
Prova tu stesso: per vedere questa visualizzazione di debug nel gioco, vai su "Impostazioni> Monitoraggio delle mani> Visualizzazioni di debug" e attiva i "Widget delle interazioni".
Visualizzazione di debug: un raycast dalla punta dell'indice controlla se il dito passa sopra un pulsante. Per aiutare a prevenire falsi positivi, l'interazione è disabilitata quando il dito non è rivolto verso il pulsante o quando il giocatore non guarda il proprio dito.
Interazioni guida
Una delle sfide principali della creazione di qualsiasi interazione per il tracciamento delle mani è che, a differenza dei pulsanti su un controller che vengono premuti o non premuti, ci sono molti modi diversi in cui le persone possono provare ad avvicinarsi a un'interazione con le loro mani aspettandosi lo stesso risultato .
Il playtest con un gruppo diversificato di persone può aiutarti a capire come le persone si avvicinano alle interazioni presentate loro e può aiutare a perfezionare gli indizi di interazione che li guidano verso i gesti previsti. Il playtest può anche aiutarti ad apprendere alcuni dei valori anomali che potresti voler rilevare aggiungendo una certa ridondanza di interazione.
Segnali di interazione
Ci sono diversi spunti mentre afferri un pezzo. Quando un utente si posiziona per la prima volta su un pezzo, il suo indice e il pollice assumono il colore di quel pezzo, sia per indicare che può essere afferrato, sia per segnalare quali dita possono afferrarlo (ispirato dal lavoro precedente di Luca Mefisto, Barrett Fox e Martin Schubert). Il pezzo è anche evidenziato per indicare che può essere afferrato.
Diversi segnali indicano anche quando la presa ha successo: i polpastrelli diventano solidi, i punti salienti sul pezzo lampeggiano e viene riprodotto un breve segnale audio.
Vari spunti sia sulla mano che sul pezzo del puzzle guidano e confermano l'interazione con la presa.
I pulsanti hanno diversi segnali per indicare che possono essere premuti. Proprio come con i pezzi di un puzzle, la punta del dito indice è evidenziata in bianco una volta che si passa con il mouse su un pulsante, indicando quale dito può interagire. Come hanno fatto con i controller, i pulsanti si estendono verso l'esterno quando si passa con il mouse, ma questa volta il pulsante esteso può essere effettivamente premuto: una volta che l'indice lo tocca, segue il dito fino a quando non è completamente premuto, a quel punto un segnale audio conferma il clic.
Una sottile ombra sulla superficie del pulsante indica dove si trova la posizione e la distanza dell'indice dal pulsante e aiuta a guidare l'interazione con la stampa.
Vari segnali guidano le interazioni con i pulsanti: i pulsanti si estendono verso l'esterno quando si passa con il mouse, la punta del dito indice è evidenziata, un'ombra esterna mostra dove la punta interagirà e il pulsante segue il dito quando viene premuto.
Ridondanza di interazione
Poiché alcune persone possono avvicinarsi ad alcune interazioni in modi non intenzionali, può essere utile cercare di renderne conto, ove possibile, aggiungendo un po 'di ridondanza ai modi in cui le persone possono usare le mani per interagire. I segnali di interazione possono comunque guidarli all'interazione prevista, ma la ridondanza può aiutare a evitare che si blocchino inutilmente.
Quando si tratta di afferrare i pezzi, alcuni tester proverebbero ad afferrare i pezzi inizialmente facendo un pugno invece di usare la punta delle dita. Facendo in modo che i collisori coprano l'intero dito invece del solo polpastrello, verrà comunque registrata una discreta quantità di queste prime prese.
Dovrei notare che questo approccio necessita ancora di qualche miglioramento, poiché introduce anche alcuni problemi che producono prese non intenzionali nei casi in cui ci sono molti pezzi che fluttuano intorno all'area di gioco. Un approccio migliore in futuro potrebbe essere quello di eseguire anche un controllo sulla rotazione totale delle dita per tenere conto invece delle prese con il pugno.
Sebbene l'afferrare sia progettato attorno alla punta delle dita, i collisori sull'indice e sul pollice coprono l'intero dito per aiutare a catturare diverse forme di afferrare.
Con i pulsanti, c'erano alcuni playtester che avrebbero provato a pizzicarli invece di spingerli. In parte questo sembrava accadere quando in precedenza avevano imparato a pizzicare i pulsanti nella schermata iniziale di Oculus, subito prima di avviare il gioco.
Per questo motivo, i pulsanti possono anche essere cliccati pizzicandoli una volta che sono stati spostati, e si spera che segnali come l'indice evidenziato e l'ombra discendente li guideranno alla pressione dei pulsanti.
Anche pizzicare mentre si passa con il mouse sui pulsanti viene registrato come un clic.
Il primo pulsante che i giocatori incontrano quando usano le mani dice anche esplicitamente "Premi per iniziare", per aiutare le persone a passare dal pizzicare alla spinta dopo essere usciti dal menu Home di Oculus.
Limitazioni dell'insegnamento
Sebbene la qualità del tracciamento delle mani di Quest sia migliorata nell'ultimo anno, ha ancora i suoi limiti e la consapevolezza di questi limiti da parte di un giocatore può avere un grande impatto su quanto bene percepisce la propria esperienza.
Cubismo implementa alcuni modi per insegnare ai giocatori le attuali limitazioni del tracciamento delle mani su Quest.
Quando il giocatore passa per la prima volta al rilevamento delle mani (al lancio oa metà partita), un modale lo informa di alcune best practice, come giocare in uno spazio ben illuminato ed evitare di incrociare le mani.
Quando un utente passa al tracciamento delle mani, un modale lo informa sui limiti e sulle best practice. L'istruzione "Push to Start" aiuta a insegnare ai nuovi utenti che i pulsanti possono essere premuti naturalmente in questo gioco.
È importante riconoscere che è probabile che la maggior parte delle persone ignori immediatamente le modali come questa o dimentichi rapidamente le sue linee guida, quindi è importante anche segnalare perché le cose possono andare storte durante l'esperienza.
In Cubismo, le lancette diventeranno rosse per segnalare quando il rilevamento è stato perso. In alcuni test di gioco, le persone tenevano una mano sulle ginocchia e giocavano con l'altra, rimanendo perplesse sul perché la loro mano sul grembo sembrasse congelata. Per aiutare a informare casi come questo, viene visualizzato un messaggio sulla mano per indicare chiaramente perché la mano è bloccata se la perdita di rilevamento persiste. Se il rilevamento viene perso specificamente perché il giocatore sta incrociando le mani, il messaggio cambia per informarlo di non farlo.
Sinistra: le lancette diventano rosse quando il rilevamento viene perso per la prima volta. In mezzo: quando il rilevamento della perdita persiste, un messaggio informa il giocatore su cosa sta succedendo. A destra: se il rilevamento viene perso a causa di mani occluse, questo è anche indicato
Per i giocatori più esperti, o per i giocatori che preferiscono giocare con una mano, questa funzione può essere sostituita nelle impostazioni facendo sbiadire le mani quando perdono il tracciamento, più simile al comportamento nel menu principale di Oculus.
Le lancette rosse e i messaggi di avvertenza possono essere sostituiti nelle impostazioni dissolvendo le mani.
Lavoro futuro
Il monitoraggio delle mani su Quest ha ancora i suoi limiti, e tuttavia Cubismo il supporto è già nella sua seconda versione, c'è ancora molto margine di miglioramento.
Indipendentemente da ciò, sono entusiasta di iniziare a esplorare e supportare questi nuovi metodi di input. A breve termine, penso che possano aiutare a rendere esperienze come questa più accessibili e più facili da condividere con i nuovi utenti di realtà virtuale.
I filmati di realtà mista catturati su un iPhone con l'app Reality Mixer di Fabio Dela Antonio danno un'idea di come potrebbe essere giocare a Cubism su un auricolare AR in futuro.
A lungo termine, sembra esserci una buona possibilità che il tracciamento delle mani sarà l'input per i futuri dispositivi AR autonomi, quindi si spera che questo aggiornamento possa essere un primo piccolo passo verso una versione AR di Cubismo.
Se ti è piaciuto questo sguardo al design del tracciamento delle mani in Cubism, assicurati di dare un'occhiata Il precedente articolo per gli ospiti di Thomas che illustra il design del gioco più ampio.
Il post Caso di studio: il design dietro l'hand-tracking del "cubismo" apparve prima Strada per VR.
- '
- "
- &
- 2019
- WRI
- Assoluta
- Il mio account
- aggiuntivo
- già
- Sebbene il
- quantità
- Un altro
- App
- approccio
- AR
- architettura
- RISERVATA
- in giro
- articolo
- Audio
- disponibile
- consapevolezza
- sfondo
- diventare
- MIGLIORE
- best practice
- Po
- Bruxelles
- costruire
- Costruzione
- costruisce
- caso di studio
- casi
- lotta
- sfide
- verifica
- Controlli
- Cerchio
- più vicino
- arrivo
- fiducia
- controllore
- Corrente
- dati
- Design
- Costruttori
- sviluppatori
- Mercato
- dispositivi
- DID
- diverso
- distanza
- giù
- Cadere
- Presto
- bordo
- Ingegneri
- Impresa
- software aziendale
- esempio
- Tranne
- espande
- previsto
- esperienza
- Esperienze
- estendere
- di fronte
- dissolvenza
- caratteristica
- feedback
- figura
- Nome
- Cromatografia
- difetti
- forme
- pieno
- futuro
- gioco
- Giochi
- Generale
- ottenere
- Obiettivi
- andando
- buono
- afferrare
- Green
- Griglia
- GUEST
- guida
- linee guida
- contento
- avendo
- Aiuto
- aiuta
- Alta
- Evidenziato
- Casa
- Come
- Tutorial
- HTTPS
- idea
- Impact
- implementazione
- importante
- è aumentato
- Index
- fonte di ispirazione
- intenzione
- intento
- interazione
- iPhone
- problema
- sicurezza
- IT
- stessa
- lanciare
- lancio
- IMPARARE
- imparato
- Guidato
- Lezioni apprese
- bloccato
- Lunghi
- cerca
- FA
- Fare
- Scopri di più
- maggior parte
- cambiano
- Naturale
- Altro
- Persone
- Fisico
- pezzo
- Giocare
- giocatore
- giocatori
- Abbondanza
- possibile
- stampa
- processi
- produrre
- qualità
- ricerca
- rapidamente
- Realtà
- ridurre
- registrato
- rilasciare
- Uscite
- sostituito
- necessario
- Requisiti
- Risultati
- allo
- condito
- set
- Shadow
- Condividi
- Corti
- simile
- Taglia
- piccole
- So
- Software
- qualcosa
- lo spazio
- in particolare
- standalone
- inizia a
- inizio
- Regione / Stato
- stati
- rubare
- Tornare al suo account
- Studio
- di successo
- supporto
- supportato
- Supporto
- superficie
- sistema
- Insegnamento
- Tecnologia
- Attraverso
- tempo
- suggerimenti
- insieme
- top
- Tracking
- Trasparenza
- Aggiornanento
- uso
- utenti
- visualizzazione
- vr
- aspettare
- Che
- Che cosa è l'
- se
- OMS
- entro
- senza
- Lavora
- lavori
- anno
- youtube