Video cung cấp cái nhìn thoáng qua về hiệu suất theo dõi và loại trừ bằng tay của Apple Vision Pro

Một video do nhà phát triển Vision Pro đăng tải dường như cho thấy mức độ hiệu suất theo dõi và chặn tay hiện tại mà tai nghe mới của Apple có thể thực hiện được.

tầm nhìn táo chuyên nghiệp, dự kiến ​​sẽ ra mắt trong vài tháng tới, sẽ sử dụng tính năng theo dõi bàn tay làm phương thức nhập liệu chính. Trong khi các tương tác ở cấp hệ thống kết hợp theo dõi bằng tay với theo dõi bằng mắt để tạo ra phương thức 'nhìn và chạm', thì các nhà phát triển cũng có thể xây dựng các ứng dụng cho phép người dùng tương tác trực tiếp với các ứng dụng bằng tay của họ.

Theo dõi tay trên Vision Pro có thể được chia thành hai khả năng riêng biệt: 'theo dõi tay' và 'tắc tay'.

Theo dõi bàn tay là mô hình 3D ước tính của bàn tay, các khớp và vị trí của đầu ngón tay. Mô hình này được sử dụng để xác định khi nào đồ vật được chạm, nắm và tương tác.

Việc tắc tay liên quan đến cách hệ thống phủ bàn tay thật của bạn lên nội dung ảo. Thay vì vẽ mô hình 3D của bàn tay ảo vào hiện trường, Vision Pro sẽ cắt hình ảnh bàn tay thật của bạn để hiển thị chúng trong hiện trường. Làm như vậy sẽ thêm một lớp hiện thực khác vào nội dung ảo vì bạn có thể nhìn thấy bàn tay độc đáo của riêng mình.

Một nhà phát triển xây dựng Vision Pro sử dụng Unity đã đăng một video cung cấp cái nhìn rõ ràng về cả hoạt động theo dõi và vận động của tay.

Trong video ở trên, bàn tay thật hiển thị hệ thống tắc đang hoạt động, trong khi các chấm màu xanh lá cây hiển thị vị trí 3D ước tính của bàn tay.

Chúng ta có thể thấy khớp cắn tay rất tốt nhưng chưa hoàn hảo; khi được bao quanh hoàn toàn bởi nội dung ảo và di chuyển nhanh, bạn có thể thấy một số vết cắt xung quanh các cạnh của bàn tay.

Trong khi đó, vị trí theo dõi tay thực tế lại chậm hơn so với vị trí bám tay, khoảng 100–200 mili giây. Tuy nhiên, chúng tôi không thể xác định được độ trễ thực sự của tính năng theo dõi bàn tay của Vision Pro vì chúng tôi chỉ có hình ảnh về các bàn tay theo dõi tắc để so sánh với (bản thân chúng sẽ có một số độ trễ so với bàn tay thật).

Trong bối cảnh này, video xuất phát từ cuộc trò chuyện của nhà phát triển Unity nói rằng các thử nghiệm ban đầu của họ với Vision Pro cho thấy độ trễ theo dõi tay rất cao, rõ ràng là so với các khả năng theo dõi tay mới nhất của Quest. Các nhà phát triển Unity khác đồng ý rằng họ nhận thấy độ trễ tương tự trên các thiết bị Vision Pro của riêng họ.

Tuy nhiên, video được đề cập là sự tích hợp tính năng theo dõi bằng tay bên trong ứng dụng Unity, có nghĩa là hiệu suất và độ trễ theo dõi bằng tay có thể có các yếu tố bổ sung liên quan đến Unity mà không có khi sử dụng các công cụ phát triển Vision Pro bên thứ nhất của Apple. Và vì tai nghe vẫn chưa ra mắt và những công cụ này vẫn đang được phát triển nên chúng ta có thể thấy những cải tiến bổ sung vào thời điểm tai nghe thực sự đến cửa hàng.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://www.roadtovr.com/apple-vision-pro-unity-hand-tracking-occlusion/