Hand Tracking wurde erstmals Ende 2019 auf der Oculus Quest verfügbar. Aus Begeisterung für diese neue Eingabemethode veröffentlichte ich eine Demo von Kubismus nur wenige Tage später zu SideQuest mit experimenteller Hand-Tracking-Unterstützung. Unnötig zu erwähnen, dass diese anfängliche Demo mehrere Mängel aufwies und die Einschränkungen der Technologie nicht wirklich berücksichtigte, weshalb ich mich entschied, die Unterstützung für die Handverfolgung bei der vollständigen Veröffentlichung von zunächst wegzulassen Kubismus im Oculus Store. Es bedurfte weiterer Entwicklungen, die sich auf Lehren aus der Arbeit anderer Entwickler stützten, um etwas zu entwickeln, das ich in den letzten Jahren gerne veröffentlicht hatte Kubismus Hand-Tracking-Update. Hier ist ein Einblick in den Designprozess.
Gastartikel von Thomas van Bouwel
Thomas ist ein belgisch-brasilianischer VR-Entwickler, der derzeit in Brüssel lebt. Obwohl sein ursprünglicher Hintergrund in der Architektur liegt, umfasst seine aktuelle Arbeit in VR Indie-Spiele wie Kubismus zu Unternehmenssoftware für Architekten und Ingenieure wie Lösen.
Dieses Update baut auf Lehren aus vielen anderen Spielen und Entwicklern auf, die sich im letzten Jahr mit Hand-Tracking befasst haben (Die seltsame Geschichte der gestohlenen Haustiere, Urlaubssimulator, Luca Mefisto, Dennys Kühnertund mehrere andere).
In diesem Artikel möchte ich einige Dinge mitteilen, die ich bei der Bewältigung der spezifischen Herausforderungen gelernt habe Kubismus Handinteraktionen.
Optimierung für präzise Interaktionen
Kubismus Interaktionen drehen sich um das Platzieren kleiner unregelmäßiger Puzzleteile in einem Puzzle-Raster. Dies bedeutete, dass die Hauptanforderung für die Handverfolgungseingabe die Präzision war, sowohl beim Aufnehmen und Platzieren von Teilen auf dem Gitter als auch beim präzisen Auswählen von Teilen aus einem fertigen Puzzle. Dies informierte die meisten Entwurfsentscheidungen bezüglich der Handeingabe.
Geisterhände
Ich habe mich schon früh dafür entschieden nicht Machen Sie die Hände physikbasiert, aber lassen Sie sie stattdessen durch Teile gehen, bis man aktiv gepackt wird.
Dadurch wurde vermieden, dass die schwebenden Puzzleteile ungeschickt weggeschoben wurden, wenn Sie versuchen, sie in der Luft zu greifen. Noch wichtiger ist jedoch, dass das Zupfen von Teilen mitten in einem vollständigen Puzzle einfacher wurde, da Sie einfach Ihre Finger hineinstecken und stattdessen ein Teil greifen können müssen herausfinden, wie man sie physisch heraushebelt.
Durch ihre Transparenz signalisiert, sind Hände nicht physisch, was es einfacher macht, Teile aus der Mitte eines Puzzles herauszusuchen.
Kontakt Grabbing
Es gibt verschiedene Ansätze zum Erkennen der Absicht eines Benutzers, Objekte zu greifen und freizugeben, z. B. das Fokussieren auf Fingerklemmen oder die vollständige Drehung des Fingergelenks, während eine allgemeine Interaktionszone in der Handfläche überprüft wird.
Aussichten für Kubismus kleine und unregelmäßige Puzzleteile Der Ansatz, der die Präzisionsanforderungen am besten zu erfüllen schien, war jedoch ein kontaktbasierter Ansatz, bei dem ein Teil ergriffen wird, sobald Daumen und Index dasselbe Teil schneiden und über eine kleine Distanz zusammengeführt werden, ohne dass dies erforderlich ist eine volle Prise.
Ähnlich wie bei der Ansatz in Die seltsame Geschichte der gestohlenen HaustiereSobald der Greifer beginnt, werden die Finger eingerastet, um den Eindruck eines stabileren Greifers zu erwecken. Das Stück wird beim Greifen an der Handwurzel (dem Handgelenk) befestigt. Da dies das stabilste Kettengelenk zu sein scheint, sorgt es für einen stabileren Griff und garantiert, dass das Teil mit den verriegelten Fingern ausgerichtet bleibt.
Das Stück wird ergriffen, wenn Daumen und Index es schneiden und leicht zusammengebracht werden. Die Drehung von Index und Daumen wird dann arretiert, um den Eindruck eines stabilen Greifers zu erwecken.
Sobald ein Stück ergriffen wird, wird der Abstand zwischen Daumen und Index gespeichert und anhand dieses Abstands ein Freigabespalt berechnet. Sobald sich Daumen und Index über diesen Rand hinaus bewegen, wird das Stück freigegeben.
Mehrere Sicherheitsvorkehrungen versuchen, unbeabsichtigte Veröffentlichungen zu verhindern: Wir prüfen nicht auf Freigabe, wenn das Tracking-Vertrauen unter einem bestimmten Schwellenwert liegt, und nachdem das Tracking-Vertrauen wieder hergestellt wurde, warten wir mehrere Frames, bis erneut auf Freigabe geprüft wird. Es ist auch erforderlich, dass sich die Finger für mehrere Frames außerhalb des Freigaberandes befinden, bevor sie tatsächlich freigegeben werden.
Debug-Visualisierung: Während eines Greifens wird der anfängliche Greifabstand zwischen den Fingerspitzen gespeichert (äußerer roter Kreis). Das Stück wird freigegeben, wenn sich die tatsächliche Position der Fingerspitzen über einen bestimmten Rand hinaus bewegt (blauer Kreis).
Es gibt auch ein ähnliches System wie Die Overgrab-Methode von Vacation Simulator. Aufgrund des Mangels an haptischem Feedback beim Greifen eines Stücks ist es nicht ungewöhnlich, dass Finger während eines Greifens näher aneinander driften. Wenn sie über einen bestimmten Schwellenwert hinaus schließen, werden die Freigaberänder angepasst, um das Freigeben des Stücks zu erleichtern.
Probieren Sie es selbst aus: Um diese Debug-Visualisierungen im Spiel anzuzeigen, gehen Sie zu "Einstellungen> Handverfolgung> Debug-Visualisierungen" und aktivieren Sie "Interaktions-Widgets".
Debug-Visualisierung: Wenn die Finger während eines Greifens über einen bestimmten Schwellenwert (innerer roter Kreis) zueinander driften, werden die Freigaberänder neu angepasst, damit sich das Freigeben des Stücks weniger „klebrig“ anfühlt.
Eine Grenze für diesen Ansatz besteht darin, dass das Stützen mit anderen Fingern als dem Index etwas schwieriger wird. Eine frühere Implementierung erlaubte auch das Greifen zwischen Mittelfinger und Daumen, aber dies führte häufig zu Fehlalarmen, wenn Teile aus einem vollständigen Puzzle-Raster herausgegriffen wurden, da es schwierig war zu bewerten, mit welchem Finger der Spieler ein bestimmtes Teil greifen wollte.
Dies wäre kein Problem gewesen, wenn sich das Greifen um volle Fingerklemmen gedreht hätte, da dies zu einer klareren Eingabe-Binärdatei führt, anhand derer die Benutzerabsicht bestimmt werden kann (auf Kosten einer weniger natürlichen Griff-Pose).
Mittelpunktprüfung
Neben der Überprüfung, welches Stück sich Index und Daumen schneiden, erfolgt eine zusätzliche Überprüfung in der Mitte zwischen Zeigefingerspitze und Daumenfingerspitze.
Unabhängig davon, über welchem Stück sich dieser Mittelpunkt befindet, wird das Greifen priorisiert. Dies hilft, Fehlalarme zu vermeiden, wenn ein Spieler versucht, ein Stück in einem vollständigen Raster zu greifen.
Wenn der Spieler im folgenden Beispiel beabsichtigt, das grüne Stück am rechten Rand zu greifen, greift er unbeabsichtigt nach dem gelben Stück, wenn wir diese Mittelpunktprüfung nicht durchführen.
Links: Daumen, Index und Mittelpunkt zwischen den Fingerspitzen sind gelb → greifen gelb. Rechts: Daumen & Index sind gelb, Mittelpunkt ist grün → Greifgrün
Das Puzzle greifen
Das Ergreifen des Puzzles funktioniert ähnlich wie das Ergreifen von Puzzleteilen, außer dass es durch eine vollständige Prise innerhalb der Greifzone um das Puzzle ausgelöst wird.
Die Größe dieser Zone wird beim Wechsel von Controllern zu Zeigern dynamisch erhöht. Dies erleichtert das Greifen und verringert die Wahrscheinlichkeit, versehentlich ein Teil des Gitters anstelle des Gitters selbst zu greifen.
Die Greifzone um das Puzzle erweitert sich beim Wechsel von Controllern zu Händen, was das Greifen erleichtert. Obwohl es eine volle Prise erfordert, funktioniert das Ergreifen des Puzzles ähnlich wie das Ergreifen von Puzzleteilen.
Dynamische Handglättung
Die von Oculus Quest bereitgestellten Hand-Tracking-Daten können auch bei hohem Tracking-Vertrauen noch etwas nervös sein. Dies kann sich auch auf das Spiel auswirken, da Jitter viel deutlicher auftreten kann, wenn Sie das Puzzle-Gitter oder ein langes Puzzleteil am Rand halten, wodurch die präzise Platzierung der Teile auf dem Gitter schwieriger wird.
Das Glätten der Tracking-Daten kann viel dazu beitragen, stabilere Grabs zu erzielen, muss jedoch in Maßen durchgeführt werden, da zu viel Glätten zu einem „verzögerten“ Gefühl für die Hände führt. Um dies auszugleichen, glätten Sie die Hand ein Kubismus wird dynamisch angepasst, je nachdem, ob Ihre Hand etwas hält oder nicht.
Probieren Sie es selbst aus: Um die Auswirkungen der Handglättung zu sehen, schalten Sie sie unter aus
'Einstellungen> Handverfolgung> Handglättung'.
Durch das Erhöhen der Glättung der Handpositionen beim Halten von Objekten wird ein stabilerer Griff erzielt, wodurch die präzise Platzierung auf dem Gitter etwas erleichtert wird.
Tasten drücken
Eines ist mir aufgefallen Kubismus Die ursprüngliche Demo zur Handverfolgung bestand darin, dass die meisten Leute versuchten, die Tasten zu drücken, obwohl dies zu diesem Zeitpunkt nicht unterstützt wurde. Daher war eines meiner Ziele bei dieser neuen Version der Handverfolgung, die Tasten tatsächlich drückbar zu machen.
Tasten können über den Mauszeiger bewegt werden, wenn ein Raycast von der Zeigefingerspitze auf einen Collider auf der Rückseite der Taste trifft. Wenn sich der Zeigefinger dann mit dem Collider schneidet, wird ein Druck registriert. Wenn der Index den Collider schneidet, ohne ihn zuerst zu bewegen, wird kein Druck registriert. Dies hilft, Fehlalarme zu vermeiden, wenn sich der Finger von unten nach oben bewegt.
Es gibt noch einige weitere Überprüfungen, um Fehlalarme zu vermeiden: Der Raycast ist deaktiviert, wenn der Finger nicht auf die Taste zeigt oder wenn der Spieler beim Drücken nicht auf den Finger schaut.
Probieren Sie es selbst aus: Um diese Debug-Visualisierung im Spiel zu sehen, gehen Sie zu "Einstellungen> Hand-Tracking> Debug-Visualisierungen" und aktivieren Sie "Interaktions-Widgets".
Debug-Visualisierung: Ein Raycast von der Indexspitze prüft, ob der Finger über einer Schaltfläche schwebt. Um Fehlalarme zu vermeiden, ist die Interaktion deaktiviert, wenn der Finger nicht auf die Schaltfläche zeigt oder wenn der Spieler nicht auf den Finger schaut.
Leitinteraktionen
Eine der Hauptherausforderungen beim Aufbau einer Interaktion für die Handverfolgung besteht darin, dass es im Gegensatz zu Tasten auf einem Controller, die entweder gedrückt oder nicht gedrückt werden, viele verschiedene Möglichkeiten gibt, wie Menschen versuchen können, sich einer Interaktion mit ihren Händen zu nähern, während sie dasselbe Ergebnis erwarten .
Durch das Testen mit einer Vielzahl von Personen können Sie lernen, wie Personen mit den ihnen präsentierten Interaktionen umgehen, und die Interaktionshinweise verfeinern, die sie zu den erwarteten Gesten führen. Playtesting kann Ihnen auch dabei helfen, einige der Ausreißer zu lernen, die Sie möglicherweise abfangen möchten, indem Sie Interaktionsredundanz hinzufügen.
Interaktionshinweise
Es gibt mehrere Hinweise, während Sie ein Stück greifen. Wenn ein Benutzer zum ersten Mal über ein Stück schwebt, nehmen sein Index und sein Daumen die Farbe dieses Stücks an, um anzuzeigen, dass es ergriffen werden kann, und um zu signalisieren, welche Finger es greifen können (inspiriert von früheren Arbeiten von Luca Mefisto, Barrett Fox und Martin Schubert). Das Stück wird auch hervorgehoben, um anzuzeigen, dass es ergriffen werden kann.
Mehrere Cues zeigen auch an, wann das Greifen erfolgreich ist: Die Fingerspitzen werden fest, die Highlights auf dem Stück blinken und ein kurzer Audio-Cue wird abgespielt.
Verschiedene Hinweise sowohl auf der Hand als auch auf der Puzzleteilführung und bestätigen die Greifinteraktion.
Schaltflächen haben mehrere Hinweise, die darauf hinweisen, dass sie gedrückt werden können. Ähnlich wie bei Puzzleteilen wird die Zeigefingerspitze weiß hervorgehoben, sobald Sie mit der Maus über eine Schaltfläche fahren, um anzuzeigen, welcher Finger interagieren kann. Wie bei Controllern erstrecken sich die Tasten beim Schweben nach außen, aber diesmal kann die erweiterte Taste tatsächlich gedrückt werden: Sobald der Index ihn berührt, folgt er dem Finger, bis er vollständig gedrückt ist. An diesem Punkt bestätigt ein Audio-Cue den Klick.
Ein subtiler Schlagschatten auf der Tastenoberfläche zeigt an, wo sich die Position und der Abstand des Index zur Taste befinden, und hilft dabei, die Interaktion mit der Presse zu steuern.
Verschiedene Hinweise leiten die Interaktion mit Tasten: Tasten bewegen sich beim Bewegen nach außen, die Zeigefingerspitze wird hervorgehoben, ein Schlagschatten zeigt an, wo die Spitze interagiert, und die Taste folgt dem Finger, wenn sie gedrückt wird.
Interaktionsredundanz
Da einige Personen möglicherweise auf unbeabsichtigte Weise an bestimmte Interaktionen herangehen, kann es sinnvoll sein, dies nach Möglichkeit zu berücksichtigen, indem die Art und Weise, wie Benutzer mit ihren Händen interagieren können, um Redundanz erweitert wird. Interaktionshinweise können sie weiterhin zur beabsichtigten Interaktion führen, aber Redundanz kann dazu beitragen, dass sie nicht unnötig hängen bleiben.
Wenn es darum geht, Stücke zu greifen, würden einige Spieletester versuchen, Stücke zu greifen, indem sie zuerst eine Faust machen, anstatt ihre Fingerspitzen zu benutzen. Wenn die Collider den gesamten Finger anstatt nur die Fingerspitze bedecken, wird immer noch eine anständige Menge dieser ersten Zupacken registriert.
Ich sollte beachten, dass dieser Ansatz noch verbessert werden muss, da er auch einige Probleme mit sich bringt, die zu unbeabsichtigten Greifern führen, wenn viele Teile im Spielbereich herumschweben. Ein besserer Ansatz in der Zukunft könnte darin bestehen, auch die gesamte Fingerdrehung zu überprüfen, um stattdessen Faustgriffe zu berücksichtigen.
Obwohl das Greifen um die Fingerspitzen herum konzipiert ist, bedecken Kollider auf Zeigefinger und Daumen den gesamten Finger, um verschiedene Formen des Greifens zu erfassen.
Mit Knöpfen gab es einige Spieletester, die versuchten, sie zu kneifen, anstatt sie zu drücken. Zum Teil schien dies zu geschehen, als sie zuvor kurz vor dem Start des Spiels gelernt hatten, wie man Schaltflächen auf dem Oculus-Startbildschirm drückt.
Aus diesem Grund können Schaltflächen auch durch Drücken angeklickt werden, sobald sie den Mauszeiger bewegen. Hoffentlich führen Hinweise wie der hervorgehobene Index und der Schlagschatten sie schließlich dazu, stattdessen die Schaltflächen zu drücken.
Das Kneifen beim Bewegen des Mauszeigers über Schaltflächen wird ebenfalls als Klick registriert.
Die erste Schaltfläche, auf die Spieler bei der Verwendung von Händen stoßen, lautet ausdrücklich „Push to Start“, um den Übergang von Kneifen zu Drücken zu erleichtern, nachdem sie das Oculus Home-Menü aufgerufen haben.
Unterrichtsbeschränkungen
Obwohl sich die Qualität der Handverfolgung von Quest im letzten Jahr verbessert hat, hat sie immer noch ihre Grenzen - und das Bewusstsein eines Spielers für diese Einschränkungen kann einen großen Einfluss darauf haben, wie gut er seine Erfahrung wahrnimmt.
Kubismus implementiert einige Methoden, um Spielern die aktuellen Einschränkungen der Handverfolgung bei Quest beizubringen.
Wenn der Spieler zum ersten Mal zur Handverfolgung wechselt (entweder beim Start oder während des Spiels), informiert ihn ein Modal über einige bewährte Methoden, z. B. das Spielen in einem gut beleuchteten Raum und das Vermeiden von Handkreuzungen.
Wenn ein Benutzer zur Handverfolgung wechselt, informiert ihn ein Modal über Einschränkungen und Best Practices. Die Anweisung „Push to Start“ hilft neuen Benutzern zu lehren, dass Tasten in diesem Spiel auf natürliche Weise gedrückt werden können.
Es ist wichtig anzuerkennen, dass die meisten Menschen solche Modalitäten wahrscheinlich sofort ablehnen oder ihre Richtlinien schnell vergessen. Daher ist es auch wichtig zu signalisieren, warum während der Erfahrung etwas schief gehen kann.
In KubismusDie Hände werden rot, um anzuzeigen, wenn die Verfolgung verloren gegangen ist. Bei einigen Spieltests hielten die Leute eine Hand auf ihrem Schoß und spielten mit der anderen und waren verwirrt, warum ihre Schoßhand eingefroren erschien. Um solche Fälle zu informieren, wird auf der Hand eine Meldung angezeigt, aus der hervorgeht, warum die Hand eingefroren ist, wenn der Tracking-Verlust weiterhin besteht. Wenn die Verfolgung speziell verloren geht, weil der Spieler die Hände kreuzt, ändert sich die Nachricht, um ihn zu informieren, dass er dies nicht tun soll.
Links: Die Hände werden rot, wenn die Verfolgung zum ersten Mal verloren geht. Mitte: Wenn der Verfolgungsverlust weiterhin besteht, informiert eine Nachricht den Spieler darüber, was gerade passiert. Rechts: Wenn die Verfolgung aufgrund von verschlossenen Händen verloren geht, wird dies ebenfalls angezeigt
Für erfahrene Spieler oder Spieler, die es vorziehen, mit einer Hand zu spielen, kann diese Funktion in den Einstellungen ersetzt werden, indem die Hände ausgeblendet werden, wenn sie stattdessen die Verfolgung verlieren. Dies ähnelt eher dem Verhalten im Oculus-Startmenü.
Die roten Zeiger und Warnmeldungen können in den Einstellungen durch Ausblenden der Zeiger ersetzt werden.
Future Work
Hand-Tracking auf Quest hat immer noch seine Grenzen, und obwohl Kubismus Unterstützung dafür gibt es bereits in der zweiten Version, es gibt noch viel Raum für Verbesserungen.
Unabhängig davon freue ich mich darauf, diese neuen Eingabemethoden zu erforschen und zu unterstützen. Kurzfristig denke ich, dass sie dazu beitragen können, Erfahrungen wie diese zugänglicher zu machen und sie leichter mit neuen VR-Benutzern zu teilen.
Mixed-Reality-Material, das mit der App Reality Mixer von Fabio Dela Antonio auf einem iPhone aufgenommen wurde, gibt eine Vorstellung davon, wie es sein könnte, Cubism in Zukunft auf einem AR-Headset zu spielen.
Langfristig scheint es eine gute Chance zu geben, dass Hand-Tracking die erste Eingabe für zukünftige eigenständige AR-Geräte sein wird. Hoffentlich kann dieses Update ein erster kleiner Schritt in Richtung einer AR-Version von sein Kubismus.
Wenn Ihnen dieser Blick auf das Hand-Tracking-Design im Kubismus gefallen hat, sollten Sie es sich unbedingt ansehen Thomas 'vorheriger Gastartikel, der einen Überblick über das Design des breiteren Spiels gibt.
Die Post Fallstudie: Das Design hinter dem Hand-Tracking des Kubismus erschien zuerst auf Straße nach VR.
- '
- "
- &
- 2019
- Über Uns
- Absolute
- Konto
- Zusätzliche
- bereits
- Obwohl
- Betrag
- Ein anderer
- App
- Ansatz
- AR
- Architektur
- Bereich
- um
- Artikel
- Audio-
- verfügbar
- Bewusstsein
- Hintergrund
- werden
- BESTE
- Best Practices
- Bit
- Brüssel
- bauen
- Building
- baut
- Fallstudie
- Fälle
- Ringen
- Herausforderungen
- Überprüfung
- Schecks
- Kreis
- näher
- Kommen
- Vertrauen
- Controller
- Strom
- technische Daten
- Design
- Entwickler:in / Unternehmen
- Entwickler
- Entwicklung
- Geräte
- DID
- anders
- Abstand
- nach unten
- Drop
- Früh
- Edge
- Ingenieure
- Unternehmen
- Unternehmenssoftware
- Beispiel
- Außer
- dehnt sich aus
- erwartet
- ERFAHRUNGEN
- Erfahrungen
- erweitern
- zugewandt
- verblassen
- Merkmal
- Feedback
- Abbildung
- Vorname
- Blinken (Flash)
- Mängel
- Formen
- voller
- Zukunft
- Spiel
- Games
- Allgemeines
- bekommen
- Ziele
- gehen
- gut
- greifen
- Grün
- Gitter
- GUEST
- Guide
- Richtlinien
- glücklich
- mit
- Hilfe
- hilft
- GUTE
- Besondere
- Startseite
- Ultraschall
- Hilfe
- HTTPS
- Idee
- Impact der HXNUMXO Observatorien
- Implementierung
- wichtig
- hat
- Index
- inspirierte
- Beabsichtigen
- Absicht
- Interaktion
- iPhone
- Problem
- Probleme
- IT
- selbst
- starten
- Start
- LERNEN
- gelernt
- geführt
- Lessons Learned
- verschlossen
- Lang
- suchen
- MACHT
- Making
- mehr
- vor allem warme
- schlauer bewegen
- Natürliche
- Andere
- Personen
- physikalisch
- Stück
- Play
- Spieler
- Reichlich
- möglich
- Presse
- Prozessdefinierung
- produziert
- Qualität
- Suche
- schnell
- Realität
- Veteran
- eingetragen
- Release
- Mitteilungen
- ersetzt
- falls angefordert
- Voraussetzungen:
- Die Ergebnisse
- Bildschirm
- gewürzt
- kompensieren
- Shadow
- Teilen
- Short
- ähnlich
- Größe
- klein
- So
- Software
- etwas
- Raumfahrt
- speziell
- standalone
- Anfang
- beginnt
- Bundesstaat
- Staaten
- gestohlen
- speichern
- Studie
- erfolgreich
- Support
- Unterstützte
- Unterstützung
- Oberfläche
- System
- Einführungen
- Technologie
- Durch
- Zeit
- Tipps
- gemeinsam
- Top
- Tracking
- Transparenz
- Aktualisierung
- -
- Nutzer
- Visualisierung
- vr
- warten
- Was
- Was ist
- ob
- WHO
- .
- ohne
- Arbeiten
- Werk
- Jahr
- Youtube