Erkundung der Interaktionen der XR-Benutzeroberfläche in „Idea Engine“

Ideenmotor ermöglicht es Ihnen, VR- und Mixed-Reality-Erlebnisse zu erstellen und zu teilen. Der Aufbau eines solchen Allzwecktools erfordert komplexe Benutzeroberflächen. In diesem Gastartikel teilt Entwickler Brett Jackson seine Ansätze zur UI-Interaktion.

Gastartikel von Brett Jackson

Brett Jackson entwickelt seit 2015 VR-Projekte und ist Direktor des neuen Unternehmens mit Sitz in Großbritannien X82 Ltd. Zu seinen früheren Veröffentlichungen gehören: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR und mobile VR) und 120Hz (SideQuest).

Es ist üblich, eine Benutzeroberfläche in XR über interaktive 2D-Panels darzustellen. Es ist keine aufregende Aussicht, aber sie ist vertraut und effizient. Doch selbst wenn wir diesen 2D-Eingriff in unsere XR-Welten akzeptieren, gibt es immer noch neue Überlegungen und Möglichkeiten, sich von 2D-Paradigmen zu befreien.

Schnell wurde ich der Laserpointer überdrüssig, die meine Handbewegungen auf weit entfernten Panels übertrieben zeigten, zusammen mit ihren inkonsistenten Zielvektoren und der intermittierenden Einklemmerkennung. Ich bevorzuge es, die Welt zu erreichen und mit ihr zu interagieren. Ich möchte das Panel direkt vor mir haben, damit ich es bequem positionieren und wie ein echtes Gerät verwenden kann.

Mein neuestes Projekt, Ideenmotor, wird mit entwickelt StereoKit, eine Open-Source-OpenXR-Bibliothek. Es verfolgt eine Hands-First-Philosophie und bietet sofort einsatzbereite Hand-Tracking-Unterstützung sowie Controller-Unterstützung. Es ermöglicht die effiziente Erstellung dynamischer Fenster mit typischen UI-Steuerelementen. Es ist ein hervorragendes Tool zum schnellen Erstellen von XR-Projekten und bietet viele weitere Vorteile.

Abdeckplatten

Mein Ausgangspunkt ist also ein UI-Panel, das wir an jedem Punkt greifen können (keine speziellen Griffe oder Kanten zu finden) mit einer schönen Aura, die angezeigt wird, wenn wir uns in Greifreichweite befinden. Lassen Sie uns nun weitere XR-Überlegungen hinzufügen.

In XR kann es für einen Benutzer leicht passieren, dass er hinter einem UI-Panel landet. Anstatt eine leere Rückseite oder eine umgekehrte Benutzeroberfläche anzuzeigen, drehe ich die Benutzeroberfläche auf die Seite, auf die der Benutzer schaut – ganz einfach. Es klingt trivial, aber es lohnt sich, XR-spezifische Szenarien in Betracht zu ziehen. Ein anderer Ansatz besteht darin, das Panel automatisch zu drehen, um es ständig dem Spieler zuzuwenden. Dadurch wird dem Benutzer jedoch die Kontrolle entzogen. Wenn sie das Panel in einem seltsamen Winkel haben möchten, lassen Sie es zu, sie haben vielleicht einen guten Grund.

Ein einzelnes Panel sollte klein gehalten werden (Seitengröße / Monitorgröße), damit der Benutzer den Inhalt problemlos aufnehmen kann, ohne den Kopf drehen zu müssen, aber XR bietet uns reichlich Platz. Ich suche gerne nach Möglichkeiten, die Seitengrenzen zu durchbrechen. Meine scrollbaren Bereiche verfügen über einen Griff zum Greifen und Verschieben des Inhalts. Während Sie greifen, sehen Sie eine stark erweiterte Ansicht des Inhaltsbereichs und können in diesem Modus per Drag-and-Drop ziehen, wodurch ein größerer Platzierungsbereich entsteht.

Ich zeige Tipps neben den Panels, mit einer Linie zu der UI-Komponente, die sie beschreiben. Dadurch wird die Textmenge auf dem Panel reduziert. Benutzer können Tipps durchblättern und bekannte Tipps ausblenden.

In einem anderen Projekt habe ich den Prototyp eines 3D-Gantt-Diagramms erstellt, das horizontal von der Seite verschwand und in der Ferne verschwand. Das Hauptaugenmerk des Nutzers lag weiterhin auf dem normalgroßen Mittelfeld, optional konnte er aber auch den größeren Kontext erfassen.

Obwohl Panels praktisch und vertraut sind, sollten wir uns durch ihre Grenzen nicht eingeschränkt fühlen und es macht Spaß, nach Wegen zu suchen, aus denen wir ausbrechen können.

Menüs

StereoKit machte mich mit dem Radialhand-Menü bekannt, das ich dann erweitert habe. Ich mag diese Idee, weil man sie mit einer Hand bedienen kann und daher bequem und zugänglich ist. Ich stelle das gleiche Menüsystem sowohl auf der rechten als auch auf der linken Seite zur Verfügung und verwende aus Gründen der Konsistenz den gleichen Ansatz für Popup-Menüs in Bedienfeldern.

Mein volumetrisches Menü geht noch einen Schritt weiter und basiert ausschließlich auf dem Wunsch, diese 3. Dimension zu nutzen. Ich verwende es, um Teleportziele auszuwählen (mit einem Zeiger auf jedes Ziel) und um nahegelegene Knoten zum Bearbeiten auszuwählen. Ich verwende es auch für die Tastatureingabe beim Durchsuchen von Metaverse-Adressen. Das ist ziemlich experimentell. Dies hat den Vorteil, dass alle Symbole den gleichen Abstand von der Mitte haben und Sie Ihre Eingabe sehen können, ohne wegschauen zu müssen (ein häufiges Problem bei virtuellen Tastaturen). Der Nachteil besteht darin, dass es den Benutzern unbekannt ist, daher erwarte ich einen gewissen Widerstand dagegen. Beachten Sie, dass die Buchstaben im Video in alphabetischer Reihenfolge spiralförmig von vorne nach hinten verlaufen, so dass Ihnen ihre Position nach kurzer Zeit bekannt vorkommen dürfte.

Bald können Sie Menüs wie diese zu Ihren eigenen Idea Engine-Projekten hinzufügen.

3D-Widgets

Ein Farbwähler bot eine ideale Gelegenheit zum Experimentieren, da er über drei Werte (Farbton, Sättigung und Wert) verfügte, die drei Dimensionen zugeordnet werden konnten. In meinem 3D-Farbwähler können Sie alle drei Werte gleichzeitig ändern oder den Farbton, die Sättigung oder den Wert einzeln festlegen. Meiner Meinung nach ist die Interaktion damit interessanter als mit den Schiebereglern auf einer 3D-Seite.

Ähnlich verhält es sich mit der Fortbewegung: Ich möchte mich in 3D bewegen, also habe ich einen 3D-Joystick für sanfte, handverfolgte Bewegungen erstellt. Ziehen Sie die Kugel einfach in die Richtung, in die Sie sich bewegen möchten, und rollen Sie Ihr Handgelenk, um sie einrasten oder sanft drehen zu lassen. Es funktioniert im Geh- oder Flugmodus und die Drehung kann deaktiviert werden, wenn der Benutzer es zu viel findet, um alles in einer Steuerung zu berücksichtigen. Ich unterstütze immer noch traditionelle Controller-basierte Bewegungen, aber diese Einhandsteuerung dupliziert die Funktionalität mehrerer Joysticks/Tasten und ist ein interessantes Beispiel dafür, wie 3D-Handbewegungen Anforderungen auf neue Weise erfüllen können.

Hände

In allen meinen Beispielvideos sehen Sie, dass ich die Hand des Benutzers verstecke, sobald er mit der Benutzeroberfläche interagiert. Viele Entwickler investieren viel Mühe in die sorgfältige Erstellung von Greifhaltungen für verschiedene Zwecke, und das sieht ordentlich aus, aber für mich ist eine gut positionierte Hand, die nicht meine eigene Handposition widerspiegelt, ablenkender als gar keine Hand. Eine Hand kann auch ein Sichthindernis sein, sobald die Interaktion begonnen hat.

Wenn die Hand weg ist, kann ich die Handbewegung auch ohne visuelle Konflikte dämpfen oder übertreiben. Ich dämpfe die Handbewegung im Farbwähler, um die Empfindlichkeit zu verringern und die Handbewegung beim Scrollen zu übertreiben, wenn viel Inhalt vorhanden ist.

Text

Während Idea Engine Sketchfab beim Herunterladen von 3D-Modellen, KI beim Generieren von Bildern und beim Importieren von Fotos/Audio unterstützt, ist die Einfachheit und Zugänglichkeit von Text und gesprochenem Wort zur Vermittlung komplexer Erzählungen kaum zu überbieten. Vor diesem Hintergrund brauchte ich eine angemessene Textunterstützung, damit Benutzer alle verfügbaren Formate zusammenführen können, um ihre Geschichten zu erzählen.

Text sieht in VR im Allgemeinen nicht gut aus, daher verblasse ich ihn, wenn Sie weggehen, um unansehnliche Artefakte zu entfernen und auch Textfelder zu schließen. Benutzer möchten eher die Umgebung erkunden als Text lesen, daher habe ich die Möglichkeit, dass ein Erzähler automatisch jeden Blocktext vorliest, auf den Sie stoßen.

Die Texteingabe war eine Herausforderung ohne großartige Lösung. Ich habe eine Texteingabe im mobilen Stil mit Unterstützung für Ausschneiden und Einfügen und automatischer Paginierung über eine virtuelle Tastatur erstellt. Als ich fertig war, dachte ich, das ist in Ordnung, aber ich möchte keine lange Passage in XR tippen. Dann habe ich Voice-to-Text-Unterstützung hinzugefügt. Das hat geholfen, aber ich stellte fest, dass ich nach meinem Diktat viel bearbeiten musste und das immer noch langsamer war als mit herkömmlichen Mitteln. Jetzt erlaube ich Benutzern, über einen Browser auf jedem ihrer Geräte eine Verbindung zu ihrem Headset herzustellen und Text über eine Webseite zu importieren. Ich verwende regelmäßig alle drei Techniken, wobei der Browser für die Langtexteingabe verwendet wird.

Meine Lektion hier war, dass man nicht immer alles in XR lösen muss. Manchmal ist es besser, geeignetere Geräte zu verwenden und die Ergebnisse dann zu importieren.

Versuch es

Von pädagogischen Mindmaps bis hin zu interaktiven Geschichten und Spielen können Sie CC-Assets nutzen und Ihre eigenen Fotos, Sounds und Texte importieren, um Ihre Idee umzusetzen. Erwecken Sie es dann zum Leben, indem Sie Zustände, Ereignisse und High-Level-Scripting hinzufügen und es auf unserem X82-Metaversum teilen. Ein funktionsreiches Endbenutzer-Tool zur Erkundung der Möglichkeiten von XR.

Das Die öffentliche Alphaversion ist jetzt verfügbar und kann kostenlos im App Lab heruntergeladen werden, damit Sie alle besprochenen Funktionen ausprobieren und mir Ihr Feedback geben können.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/