Khám phá các tương tác giao diện người dùng XR trong ‘Idea Engine’

Công cụ ý tưởng cho phép bạn tạo và chia sẻ trải nghiệm VR và thực tế hỗn hợp. Việc xây dựng một công cụ có mục đích chung như vậy đòi hỏi giao diện người dùng phức tạp. Trong Bài viết dành cho khách này, nhà phát triển Brett Jackson chia sẻ các phương pháp tiếp cận của mình đối với tương tác giao diện người dùng.

Bài viết của khách bởi Brett Jackson

Brett Jackson đã phát triển các dự án VR từ năm 2015 và là giám đốc của công ty mới có trụ sở tại Vương quốc Anh Công ty TNHH X82. Các bản phát hành trước đây của anh bao gồm: Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR & mobile VR) và 120Hz (SideQuest).

Việc trình bày giao diện người dùng thông qua bảng tương tác 2D trong XR là điều phổ biến. Đó không phải là một viễn cảnh thú vị nhưng nó quen thuộc và hiệu quả. Tuy nhiên, ngay cả khi chúng tôi chấp nhận sự xâm nhập 2D này vào thế giới XR của mình, vẫn có những cân nhắc và cơ hội mới để thoát khỏi mô hình 2D.

Tôi nhanh chóng cảm thấy mệt mỏi với các con trỏ laser phóng đại chuyển động tay của tôi trên các bảng ở xa, cùng với các vectơ mục tiêu không nhất quán và khả năng phát hiện chụm không liên tục của chúng. Sở thích của tôi là tiếp cận và tương tác với thế giới. Tôi muốn bảng điều khiển ở ngay trước mặt để tôi có thể đặt nó một cách thoải mái và sử dụng nó như một thiết bị trong thế giới thực.

Dự án mới nhất của tôi, Công cụ ý tưởng, được phát triển bằng cách sử dụng Bộ âm thanh nổi, một thư viện OpenXR mã nguồn mở. Nó có triết lý thực hiện bằng tay và cung cấp hỗ trợ theo dõi bàn tay ngay lập tức cũng như hỗ trợ bộ điều khiển. Nó cho phép tạo các cửa sổ động một cách hiệu quả với các điều khiển giao diện người dùng điển hình. Đây là một công cụ tuyệt vời để tạo nhanh các dự án XR và có nhiều lợi ích khác.

Panels

Vì vậy, điểm xuất phát của tôi là một bảng điều khiển giao diện người dùng mà chúng ta có thể lấy ở bất kỳ điểm nào (không cần tìm tay cầm hoặc cạnh đặc biệt) với cảm giác đẹp mắt được hiển thị khi chúng ta ở trong phạm vi lấy. Bây giờ, hãy bổ sung thêm những cân nhắc về XR.

Trong XR, người dùng rất dễ dàng truy cập vào bảng điều khiển UI. Thay vì hiển thị giao diện người dùng trống ở phía sau hoặc đảo ngược, tôi lật giao diện người dùng sang phía người dùng đang nhìn—đơn giản. Nghe có vẻ tầm thường nhưng đáng để xem xét các kịch bản cụ thể của XR. Một cách tiếp cận khác là tự động xoay bảng điều khiển để liên tục đối mặt với người chơi, nhưng điều này sẽ loại bỏ quyền kiểm soát của người dùng. Nếu họ muốn bảng điều khiển ở một góc độ lạ, hãy để họ, họ có thể có lý do chính đáng.

Một bảng điều khiển riêng lẻ nên được giữ ở kích thước nhỏ (kích thước trang / kích thước màn hình) để người dùng có thể dễ dàng tiếp thu nội dung mà không cần phải quay đầu lại, nhưng XR cung cấp cho chúng ta rất nhiều không gian. Tôi thích tìm kiếm cơ hội để thoát ra khỏi ranh giới trang. Các vùng có thể cuộn của tôi có tay cầm để lấy và di chuyển nội dung. Trong khi được lấy, bạn sẽ thấy chế độ xem khu vực nội dung được mở rộng đáng kể và bạn có thể kéo và thả khi ở chế độ này, mang lại phạm vi vị trí lớn hơn.

Tôi hiển thị các mẹo ở bên cạnh bảng điều khiển, với một đường dẫn đến thành phần giao diện người dùng mà chúng mô tả. Điều này làm giảm số lượng văn bản trên bảng điều khiển. Người dùng có thể duyệt qua các mẹo và ẩn những mẹo mà họ quen thuộc.

Trong một dự án khác, tôi đã tạo nguyên mẫu biểu đồ Gantt 3D cuộn ra khỏi trang theo chiều ngang và mờ dần về phía xa. Trọng tâm chính của người dùng vẫn là bảng điều khiển trung tâm có kích thước bình thường, nhưng họ có thể tùy ý xem bối cảnh rộng hơn.

Mặc dù các bảng điều khiển rất tiện lợi và quen thuộc nhưng chúng ta sẽ không cảm thấy bị ràng buộc bởi giới hạn của chúng và thật thú vị khi tìm cách bứt phá.

Menus

StereoKit đã giới thiệu cho tôi menu bàn tay hướng tâm, sau đó tôi đã mở rộng menu này. Tôi thích ý tưởng này vì bạn thao tác bằng một tay nên rất tiện lợi, dễ tiếp cận. Tôi cung cấp cùng một hệ thống menu ở cả bên phải và bên trái và sử dụng cùng một cách tiếp cận cho các menu bật lên trên bảng để đảm bảo tính nhất quán.

Menu thể tích của tôi đưa mọi thứ tiến thêm một bước và được thúc đẩy hoàn toàn bởi mong muốn tận dụng chiều thứ 3 đó. Tôi sử dụng nó để chọn các điểm đến dịch chuyển tức thời (với một con trỏ tới từng điểm đến) và chọn các nút lân cận để chỉnh sửa. Tôi cũng sử dụng nó để nhập bằng bàn phím khi duyệt các địa chỉ metaverse. Điều này khá thử nghiệm. Nó có ưu điểm là tất cả các ký hiệu đều cách đều tâm và bạn có thể nhìn thấy nội dung đầu vào của mình mà không cần phải rời mắt (một vấn đề thường gặp với bàn phím ảo). Hạn chế là nó không quen thuộc với người dùng, vì vậy tôi mong đợi một số phản kháng đối với nó. Lưu ý trong video, các chữ cái xoắn ốc từ trước ra sau theo thứ tự bảng chữ cái, vì vậy sau một thời gian ngắn, vị trí của chúng sẽ trở nên quen thuộc.

Bạn sẽ sớm có thể thêm các menu như thế này vào các dự án Idea Engine của riêng mình.

Tiện ích 3D

Công cụ chọn màu mang lại cơ hội lý tưởng để thử nghiệm, có ba giá trị (màu sắc, độ bão hòa và giá trị) có thể được ánh xạ tới 3 chiều. Trong bộ chọn màu 3D của tôi, bạn có thể thay đổi cả ba giá trị cùng một lúc hoặc đặt riêng màu sắc, độ bão hòa hoặc giá trị. Tôi cảm thấy việc tương tác thú vị hơn so với thanh trượt trên trang 2D.

Tương tự với chuyển động, tôi muốn di chuyển ở chế độ 3D, vì vậy tôi đã tạo cần điều khiển 3D để chuyển động theo dõi bằng tay mượt mà. Chỉ cần kéo quả cầu theo hướng bạn muốn di chuyển và cuộn cổ tay để xoay nhanh hoặc mượt mà. Nó hoạt động ở chế độ đi bộ hoặc bay và tính năng xoay có thể bị tắt nếu người dùng thấy quá nhiều việc phải suy nghĩ về tất cả trong một điều khiển. Tôi vẫn hỗ trợ chuyển động dựa trên bộ điều khiển truyền thống, nhưng điều khiển bằng một tay này sao chép chức năng của nhiều cần điều khiển/nút và là một ví dụ thú vị về cách chuyển động tay 3d có thể đáp ứng yêu cầu theo những cách mới.

Tay bài

Trong tất cả các video ví dụ của tôi, bạn sẽ thấy tôi ẩn bàn tay của người dùng ngay khi họ bắt đầu tương tác với giao diện người dùng. Nhiều nhà phát triển đầu tư công sức vào việc cẩn thận tạo ra các tư thế nắm lấy cho các mục đích khác nhau và điều đó trông có vẻ gọn gàng, nhưng đối với tôi, một bàn tay được đặt đúng tư thế không phản ánh vị trí bàn tay của chính tôi sẽ gây mất tập trung hơn là không có bàn tay nào cả. Bàn tay cũng có thể là vật cản tầm nhìn khi sự tương tác đã bắt đầu.

Khi không còn tay, tôi cũng có thể tự do giảm bớt hoặc phóng đại chuyển động của tay mà không có bất kỳ xung đột thị giác nào. Tôi giảm bớt chuyển động của tay trong bộ chọn màu để giảm độ nhạy và phóng đại chuyển động của tay khi cuộn khi có nhiều nội dung.

bản văn

Mặc dù Idea Engine hỗ trợ Sketchfab tải xuống mô hình 3D, AI để tạo hình ảnh và nhập ảnh/âm thanh, nhưng thật khó để đánh bại sự dễ dàng và khả năng tiếp cận của văn bản cũng như lời nói để truyền tải những câu chuyện phức tạp. Với suy nghĩ này, tôi cần sự hỗ trợ phù hợp cho văn bản để người dùng có thể hợp nhất tất cả các định dạng có sẵn để kể câu chuyện của họ.

Văn bản thường trông không đẹp trong VR, vì vậy tôi làm mờ nó khi bạn bước đi để loại bỏ các đồ tạo tác khó coi và cũng đóng các bảng văn bản. Người dùng sẽ thích khám phá môi trường hơn là đọc văn bản, vì vậy tôi có tùy chọn để người kể chuyện tự động đọc bất kỳ văn bản khối nào bạn gặp phải.

Nhập văn bản là một thách thức mà không có giải pháp tuyệt vời. Tôi đã tạo kiểu nhập văn bản kiểu di động với tính năng hỗ trợ cắt và dán cũng như tự động phân trang bằng bàn phím ảo. Khi hoàn thành, tôi nghĩ, điều đó ổn thôi, nhưng tôi không muốn gõ một đoạn văn dài trong XR. Sau đó, tôi đã thêm hỗ trợ chuyển giọng nói thành văn bản. Điều đó có ích, nhưng tôi thấy rằng tôi cần phải chỉnh sửa rất nhiều sau khi đọc chính tả và việc đó vẫn chậm hơn so với sử dụng các phương tiện truyền thống. Giờ đây, tôi cho phép người dùng kết nối với tai nghe của họ từ trình duyệt trên bất kỳ thiết bị nào họ sở hữu và nhập văn bản qua trang web. Tôi thường xuyên sử dụng cả ba kỹ thuật, với trình duyệt được sử dụng để nhập văn bản dài.

Bài học của tôi ở đây là không phải lúc nào bạn cũng cần giải quyết mọi thứ trong XR. Đôi khi nên sử dụng các thiết bị phù hợp hơn rồi nhập kết quả vào.

Dùng thử

Từ bản đồ tư duy mang tính giáo dục đến các câu chuyện và trò chơi tương tác, bạn có thể tận dụng nội dung CC và nhập ảnh, âm thanh và văn bản của riêng mình để xây dựng ý tưởng. Sau đó, làm cho nó trở nên sống động bằng cách thêm các trạng thái, sự kiện và tập lệnh cấp cao rồi chia sẻ nó trên siêu dữ liệu X82 của chúng tôi. Một công cụ dành cho người dùng cuối, có nhiều tính năng để khám phá các khả năng của XR.

Sản phẩm bản alpha công khai hiện có sẵn và tải xuống miễn phí trên App Lab, để bạn có thể đến dùng thử bất kỳ tính năng nào được thảo luận và đưa ra phản hồi cho tôi.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/