「アイデアエンジン」での XR ユーザーインターフェイスインタラクションの探求

プラトン再発行

フォロワー： 0

アイデアエンジン VR および複合現実体験を作成して共有できます。このような汎用ツールを構築するには、複雑なユーザーインターフェイスが必要です。このゲスト記事では、開発者の Brett Jackson が UI インタラクションへのアプローチを共有しています。

ブレット・ジャクソンによるゲスト記事

Brett Jackson は 2015 年から VR プロジェクトを開発しており、英国に拠点を置く新しい会社のディレクターです X82株式会社。彼の以前のリリースには、Dimensional (PC VR)、Breath Tech (PC VR)、Jigsaw 360 (PC VR およびモバイル VR)、120Hz (SideQuest) が含まれます。

XR では 2D インタラクティブパネルを通じて UI を表示するのが一般的です。これは刺激的な見通しではありませんが、馴染みがあり効率的です。ただし、XR 世界への 2D の侵入を受け入れたとしても、2D パラダイムから抜け出すための新たな考慮事項と機会がまだあります。

私は、離れたパネル上で手の動きを誇張するレーザーポインター、一貫性のないターゲットベクトル、断続的なピンチ検出にすぐにうんざりしました。私の好みは、世界に手を伸ばして交流することです。パネルを目の前に配置して、快適に配置して実際のデバイスのように使用できるようにしたいと考えています。

私の最新のプロジェクト、アイデアエンジンを使用して開発されています。ステレオキット、オープンソースの OpenXR ライブラリ。ハンズファーストの理念を持ち、すぐに使用できるハンドトラッキングサポートとコントローラーサポートを提供します。これにより、一般的な UI コントロールを使用して動的ウィンドウを効率的に作成できます。これは、XR プロジェクトを迅速に作成するための優れたツールであり、他にも多くの利点があります。

パネル一覧

したがって、私の出発点は、いつでも掴むことができる (特別なハンドルやエッジを見つける必要はない) UI パネルであり、掴む範囲内にいるときに素晴らしいオーラが表示されます。ここで、XR に関する考慮事項をさらに追加しましょう。

XR では、ユーザーが UI パネルの背後にいてしまいがちです。空白の背面または反転した UI を表示するのではなく、シンプルに UI をユーザーが見ている側に反転します。些細なことのように聞こえますが、XR 固有のシナリオを検討する価値があります。もう 1 つのアプローチは、パネルを自動回転して常にプレーヤーの方を向くというものですが、これではユーザーが制御できなくなります。彼らがパネルを奇妙な角度にしたい場合は、彼らに任せてください。彼らには正当な理由があるかもしれません。

ユーザーが頭を振り向かなくてもコンテンツを簡単に吸収できるように、個々のパネルは小さいサイズ (ページサイズ / モニターサイズ) に抑える必要がありますが、XR は豊富なスペースを提供します。私はページの境界を突破する機会を探すのが好きです。スクロール可能な領域には、コンテンツを取得して移動するためのハンドルがあります。掴まれている間は、コンテンツ領域が大幅に拡大されたビューが表示され、このモードではドラッグアンドドロップができるため、配置範囲が広がります。

パネルの側面にヒントを表示し、説明する UI コンポーネントへの線を付けます。これにより、パネル上のテキストの量が減ります。ユーザーはヒントを循環したり、よく知っているヒントを非表示にしたりできます。

別のプロジェクトでは、ページを水平方向にスクロールして遠くにフェードインする 3D ガントチャートのプロトタイプを作成しました。ユーザーの主な焦点は依然として通常サイズの中央パネルにありましたが、オプションでより広いコンテキストを取り込むことができました。

パネルは便利で馴染みのあるものではありますが、その限界に縛られる必要はなく、そこから抜け出す方法を探すのは楽しいことです。

メニュー

StereoKit はラジアルハンドメニューを紹介し、それを拡張しました。このアイデアは片手で操作できるので便利でアクセスしやすいので気に入っています。一貫性を保つために、同じメニューシステムを右手と左手の両方で使用できるようにし、パネル上のポップアップメニューにも同じアプローチを使用します。

私のボリュームメニューはさらに一歩進んでおり、純粋にその 3 次元を利用したいという願望によって動かされました。これを使用して、テレポートの宛先 (各宛先へのポインターを使用) を選択し、編集する近くのノードを選択します。メタバースアドレスを参照するときのキーボード入力にも使用します。これはかなり実験的なものです。すべての記号が中心から等距離にあり、目をそらすことなく入力を確認できるという利点があります (仮想キーボードの一般的な問題)。欠点は、ユーザーにとって馴染みがないため、多少の抵抗があることが予想されることです。ビデオでは、文字がアルファベット順に前から後ろに螺旋状に遠ざかっていることに注目してください。そのため、すぐにその位置に慣れるはずです。

このようなメニューを独自の Idea Engine プロジェクトに追加できるようになります。

3D ウィジェット

カラーピッカーは、3 次元にマッピングできる 3 つの値 (色相、彩度、明度) を備えており、実験する理想的な機会を提供してくれました。私の 2D カラーピッカーでは、XNUMX つの値すべてを一度に変更したり、色相、彩度、値を個別に設定したりできます。 XNUMXD ページ上のスライダーよりも操作するのが面白いと思います。

移動も同様に 3D で移動したいので、手で滑らかに移動できる 3D ジョイスティックを作成しました。移動したい方向に球をドラッグし、手首を回転させるだけでスナップまたはスムーズに回転できます。歩行モードまたは飛行モードで動作し、ユーザーがすべてを 3 つのコントロールで考えるのが面倒だと感じた場合は、回転を無効にすることができます。私は依然として従来のコントローラーベースの動きをサポートしていますが、この片手コントロールは複数のジョイスティック/ボタンの機能を複製しており、XNUMXD 手の動きがどのように新しい方法で要件を満たすことができるかを示す興味深い例です。

ハンド

私のすべてのサンプルビデオでは、ユーザーが UI との対話を開始するとすぐにユーザーの手を非表示にしていることがわかります。多くの開発者は、さまざまな目的に合わせてグラブポーズを慎重に作成することに労力を費やしており、それはきれいに見えますが、私にとっては、自分の手の位置を反映していない適切なポーズの手のほうが、手をまったく持たないよりも気が散ります。インタラクションが開始されると、手も視覚的な障害になる可能性があります。

手がなくなったので、視覚的な矛盾を生じることなく、手の動きを自由に弱めたり誇張したりすることもできます。カラーピッカーの手の動きを弱めて感度を下げ、コンテンツが多い場合にスクロールするときの手の動きを誇張します。

テキスト

Idea Engine は、3D モデルをダウンロードする Sketchfab、画像を生成する AI、写真/音声のインポートをサポートしていますが、複雑な物語を伝えるためのテキストと話し言葉の使いやすさとアクセシビリティに勝るものはありません。これを念頭に置いて、ユーザーが利用可能なすべての形式を結合してストーリーを伝えることができるように、テキストに対する適切なサポートが必要でした。

一般に、VR ではテキストは見栄えがよくないため、ユーザーが立ち去るときにテキストをフェードアウトして、見苦しいアーティファクトを削除し、テキストパネルも閉じます。ユーザーはテキストを読むよりも環境を探索することに熱心なので、遭遇したブロックテキストをナレーターが自動的に読み上げるオプションを用意しています。

テキスト入力は、優れた解決策がなければ課題でした。仮想キーボードを使用して、カットアンドペーストのサポートと自動ページネーションを備えたモバイルスタイルのテキスト入力を作成しました。終わったとき、それはそれでいい、でも XR で長い文章を入力したくない、と思いました。次に、音声からテキストへのサポートを追加しました。それは役に立ちましたが、ディクテーション後に多くの編集を行う必要があり、それでも従来の手段を使用するよりも時間がかかることがわかりました。今後は、ユーザーが所有するデバイスのブラウザからヘッドセットに接続し、Web ページ経由でテキストをインポートできるようになります。私は 3 つのテクニックすべてを定期的に使用しており、長いテキストの入力にはブラウザーを使用します。

ここで得た教訓は、必ずしもすべてを XR で解決する必要はないということです。場合によっては、より適切なデバイスを使用して結果をインポートする方が望ましい場合があります。

やってみよう

教育用マインドマップからインタラクティブなストーリーやゲームまで、CC アセットを活用し、独自の写真、サウンド、テキストをインポートしてアイデアを構築できます。次に、状態、イベント、高レベルのスクリプトを追加してそれを実現し、X82 メタバースで共有します。 XR の可能性を探求するための機能満載のエンドユーザーツール。