'아이디어 엔진'에서 XR 사용자 인터페이스 상호 작용 탐색

아이디어 엔진 VR 및 혼합 현실 경험을 만들고 공유할 수 있습니다. 이러한 범용 도구를 구축하려면 복잡한 사용자 인터페이스가 필요합니다. 이 게스트 기사에서는 개발자 Brett Jackson이 UI 상호 작용에 대한 접근 방식을 공유합니다.

브렛 잭슨의 게스트 기사

브렛 잭슨(Brett Jackson)은 2015년부터 VR 프로젝트를 개발해 왔으며 영국에 본사를 둔 새로운 회사의 이사입니다. X82 주식회사. 그의 이전 릴리스로는 Dimensional(PC VR), Breath Tech(PC VR), Jigsaw 360(PC VR 및 모바일 VR) 및 120Hz(SideQuest)가 있습니다.

XR에서는 2D 대화형 패널을 통해 UI를 표시하는 것이 일반적입니다. 흥미로운 전망은 아니지만 친숙하고 효율적입니다. 그러나 XR 세계에 대한 이러한 2D 침입을 수용하더라도 2D 패러다임에서 벗어날 수 있는 새로운 고려 사항과 기회가 여전히 있습니다.

나는 일관되지 않은 목표 벡터와 간헐적인 핀치 감지와 함께 먼 패널에서 내 손의 움직임을 과장하는 레이저 포인터에 금방 싫증이 났습니다. 제가 가장 선호하는 것은 세상에 다가가서 소통하는 것입니다. 패널을 내 바로 앞에 두어 편안하게 배치하고 실제 장치처럼 사용할 수 있기를 바랍니다.

나의 최신 프로젝트, 아이디어 엔진는 다음을 사용하여 개발되었습니다. 스테레오킷, 오픈 소스 OpenXR 라이브러리입니다. 손 우선 철학을 갖고 있으며 즉시 사용 가능한 손 추적 지원과 컨트롤러 지원을 제공합니다. 일반적인 UI 컨트롤을 사용하여 동적 창을 효율적으로 생성할 수 있습니다. XR 프로젝트를 빠르게 생성할 수 있는 탁월한 도구이며 다른 많은 이점도 있습니다.

패널

그래서 나의 출발점은 우리가 잡을 수 있는 범위에 있을 때 멋진 아우라가 표시되는 어느 지점에서든 잡을 수 있는(특별한 핸들이나 가장자리가 없음) UI 패널입니다. 이제 더 많은 XR 고려사항을 추가해 보겠습니다.

XR에서는 사용자가 UI 패널 뒤에 있기가 쉽습니다. 빈 뒷면이나 반전된 UI를 표시하는 대신 사용자가 보고 있는 쪽으로 UI를 뒤집습니다. 간단합니다. 사소하게 들리지만 XR 관련 시나리오를 고려해 볼 가치가 있습니다. 또 다른 접근 방식은 패널을 자동 회전하여 지속적으로 플레이어를 바라보는 것입니다. 하지만 이렇게 하면 사용자가 제어할 수 없게 됩니다. 패널을 이상한 각도로 바꾸고 싶다면 그렇게 하도록 하십시오. 그럴 만한 이유가 있을 것입니다.

개별 패널은 사용자가 고개를 돌리지 않고도 쉽게 내용을 흡수할 수 있도록 작은 크기(페이지 크기/모니터 크기)로 유지되어야 하는데, XR은 넉넉한 공간을 제공합니다. 나는 페이지 경계를 벗어날 수 있는 기회를 찾는 것을 좋아합니다. 스크롤 가능한 영역에는 콘텐츠를 잡고 이동할 수 있는 핸들이 있습니다. 잡는 동안 콘텐츠 영역이 크게 확장된 보기를 볼 수 있으며, 이 모드에 있는 동안 끌어서 놓을 수 있어 더 넓은 배치 범위를 제공합니다.

패널 측면에 팁이 설명된 UI 구성 요소에 대한 줄과 함께 표시됩니다. 이렇게 하면 패널의 텍스트 양이 줄어듭니다. 사용자는 팁을 순환하고 익숙한 팁을 숨길 수 있습니다.

다른 프로젝트에서는 페이지를 수평으로 스크롤하고 멀리서 사라지는 3D 간트 차트의 프로토타입을 만들었습니다. 사용자의 주요 초점은 여전히 ​​보통 크기의 중앙 패널에 있었지만 선택적으로 더 넓은 맥락을 받아들일 수 있었습니다.

패널은 편리하고 익숙하지만, 경계에 얽매일 필요는 없고, 탈출할 방법을 찾는 것도 재미있습니다.

메뉴

StereoKit은 나에게 방사형 손 메뉴를 소개했고, 그 후 나는 그 메뉴를 확장했습니다. 이 아이디어는 한 손으로 조작할 수 있어 편리하고 접근성이 좋기 때문에 마음에 듭니다. 나는 오른쪽과 왼쪽 모두에서 동일한 메뉴 시스템을 사용할 수 있도록 만들고 일관성을 위해 패널의 팝업 메뉴에 동일한 접근 방식을 사용합니다.

내 볼륨 메뉴는 한 단계 더 발전했으며 순전히 3차원을 활용하려는 욕구에 의해 추진되었습니다. 나는 이를 사용하여 순간 이동 목적지(각 목적지에 대한 포인터 포함)를 선택하고 편집할 근처 노드를 선택합니다. 메타버스 주소를 검색할 때 키보드 입력에도 사용합니다. 이것은 꽤 실험적입니다. 모든 기호가 중심에서 등거리에 있고 눈을 떼지 않고도 입력 내용을 볼 수 있다는 장점이 있습니다(가상 키보드의 일반적인 문제). 단점은 유저들에게 낯설기 때문에 다소 거부감이 있을 것으로 예상됩니다. 동영상에서 글자가 알파벳 순서로 앞에서 뒤로 나선형으로 늘어나므로 잠시 후에 그 위치가 익숙해질 것입니다.

곧 귀하의 Idea Engine 프로젝트에 이와 같은 메뉴를 추가할 수 있게 될 것입니다.

3D 위젯

색상 선택기는 3차원에 매핑될 수 있는 세 가지 값(색조, 채도, 명도)을 가지고 실험할 수 있는 이상적인 기회를 제공했습니다. 내 3D 색상 선택기에서는 세 가지 값을 모두 한 번에 변경하거나 색조, 채도 또는 값을 개별적으로 설정할 수 있습니다. 2D 페이지의 슬라이더보다 상호 작용하는 것이 더 흥미롭다고 생각합니다.

이동과 마찬가지로 3D로 움직이고 싶기 때문에 부드러운 손 추적 움직임을 위해 3D 조이스틱을 만들었습니다. 이동하려는 방향으로 구를 끌고 손목을 굴리면 스냅되거나 부드럽게 회전됩니다. 걷기 또는 비행 모드에서 작동하며 사용자가 하나의 컨트롤로 모든 것을 생각하기에는 너무 많은 경우 회전을 비활성화할 수 있습니다. 나는 여전히 전통적인 컨트롤러 기반 움직임을 지원하지만 이 한 손 컨트롤은 여러 조이스틱/버튼의 기능을 복제하며 3D 손 움직임이 어떻게 새로운 방식으로 요구 사항을 충족할 수 있는지 보여주는 흥미로운 예입니다.

손

모든 예시 동영상에서 사용자가 UI와 상호작용을 시작하자마자 사용자의 손을 숨기는 것을 볼 수 있습니다. 많은 개발자들이 다양한 목적에 맞는 잡기 포즈를 세심하게 만드는 데 노력을 쏟고 있으며 이는 깔끔해 보이지만, 나에게는 손이 전혀 없는 것보다 포즈를 잘 취한 손이 내 손 위치를 반영하지 않는 것이 더 산만합니다. 상호작용이 시작된 후에는 손이 시각적 방해물이 될 수도 있습니다.

손이 사라진 상태에서는 시각적인 충돌 없이 자유롭게 손 움직임을 약화시키거나 과장할 수도 있습니다. 콘텐츠가 많을 때 스크롤할 때 민감도를 낮추기 위해 색상 선택기에서 손 움직임을 약화시키고, 손 움직임을 과장합니다.

본문

Idea Engine은 3D 모델 다운로드를 위한 Sketchfab, 이미지 생성을 위한 AI, 사진/오디오 가져오기를 지원하지만, 복잡한 내러티브를 전달하기 위한 텍스트와 음성의 용이성과 접근성을 능가하는 것은 어렵습니다. 이를 염두에 두고 사용자가 사용 가능한 모든 형식을 병합하여 스토리를 전달할 수 있도록 텍스트에 대한 적절한 지원이 필요했습니다.

텍스트는 일반적으로 VR에서 보기에 좋지 않기 때문에 보기 흉한 인공물을 제거하고 텍스트 패널도 닫기 위해 자리를 떠날 때 텍스트를 페이드 아웃합니다. 사용자는 텍스트를 읽는 것보다 환경을 탐색하는 데 관심이 있으므로 내레이터가 사용자가 접하는 블록 텍스트를 자동으로 읽도록 하는 옵션이 있습니다.

텍스트 입력은 훌륭한 솔루션 없이는 어려운 일이었습니다. 잘라내어 붙여넣기를 지원하고 가상 키보드를 사용하여 자동 페이지 매김 기능을 갖춘 모바일 스타일의 텍스트 입력을 만들었습니다. 다 마쳤을 때 괜찮다고 생각했습니다. 하지만 XR에 긴 문장을 입력하고 싶지는 않았습니다. 그런 다음 음성-텍스트 지원을 추가했습니다. 도움이 되었지만 받아쓰기 후에 편집 작업을 많이 해야 하고 기존 방법을 사용하는 것보다 속도가 여전히 느리다는 것을 알게 되었습니다. 이제 사용자는 자신이 소유한 모든 장치의 브라우저에서 헤드셋에 연결하고 웹 페이지를 통해 텍스트를 가져올 수 있습니다. 나는 긴 텍스트 입력에 사용되는 브라우저와 함께 세 가지 기술을 모두 정기적으로 사용합니다.

여기서 제가 얻은 교훈은 항상 XR에서 모든 것을 해결할 필요는 없다는 것입니다. 더 적합한 장치를 사용한 다음 결과를 가져오는 것이 더 나은 경우도 있습니다.

사용해보기

교육용 마인드 맵부터 대화형 스토리 및 게임에 이르기까지 CC 자산을 활용하고 자신의 사진, 사운드 및 텍스트를 가져와서 아이디어를 구축할 수 있습니다. 그런 다음 상태, 이벤트 및 높은 수준의 스크립팅을 추가하여 이를 생생하게 구현하고 X82 메타버스에서 공유하세요. XR의 가능성을 탐색할 수 있는 다양한 기능을 갖춘 최종 사용자 도구입니다.

XNUMXD덴탈의 공개 알파는 이제 App Lab에서 무료로 다운로드할 수 있습니다., 오셔서 논의된 기능을 사용해 보시고 의견을 보내주실 수 있습니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/