Các nhà nghiên cứu Meta chứng minh tính năng Theo dõi cơ thể của Nhiệm vụ 2 mà không cần thêm công cụ theo dõi

Các nhà nghiên cứu Meta đã chứng minh tính năng theo dõi cơ thể của Quest 2 mà không cần thêm trình theo dõi.

Các hệ thống VR hiện tại đi kèm tai nghe và bộ điều khiển được giữ, vì vậy chỉ theo dõi vị trí của đầu và tay của bạn. Vị trí của khuỷu tay, thân mình và chân của bạn có thể được ước tính bằng cách sử dụng một lớp thuật toán được gọi là chuyển động học nghịch đảo (IK), nhưng đây chỉ là đôi khi chính xác cho khuỷu tay và hiếm khi chính xác cho chân. Chỉ có quá nhiều giải pháp tiềm năng cho mỗi vị trí đầu và tay nhất định.

Với những hạn chế của IK, một số Các ứng dụng VR ngày nay chỉ hiển thị bàn tay của bạn và nhiều ứng dụng chỉ cho bạn phần trên cơ thể. Tai nghe PC sử dụng hỗ trợ theo dõi SteamVR đã đeo thêm các bộ theo dõi như Trình theo dõi Vive của HTC, nhưng ba cái cần thiết để theo dõi cơ thể có giá 350 đô la và do đó, điều này không được hỗ trợ trong hầu hết các trò chơi.

nhưng trong một bài báo mới có tiêu đề QuestSimCác nhà nghiên cứu Meta đã chứng minh một hệ thống được điều khiển bởi mạng nơ-ron có thể ước tính tư thế toàn thân hợp lý chỉ với dữ liệu theo dõi từ Quest 2 và các bộ điều khiển của nó. Không cần thêm bộ theo dõi hoặc cảm biến bên ngoài.

Chuyển động hình đại diện kết quả khớp với chuyển động thực của người dùng khá chặt chẽ. Các nhà nghiên cứu thậm chí còn tuyên bố độ chính xác và độ rung kết quả vượt trội so với các thiết bị theo dõi IMU đã mòn - các thiết bị chỉ có gia tốc kế và con quay hồi chuyển như Pico 4 đã công bố Ban nhạc thể dục Pico (Pico tuyên bố họ đang làm việc trên thuật toán học máy của riêng mình).

Tuy vậy, có một cái bắt ở đây. Như đã thấy trong video, hệ thống này được thiết kế để ưu tiên sản xuất toàn cơ thể tạo dáng để đảm bảo bàn tay của hình đại diện khớp với vị trí chính xác của tay người dùng. Độ trễ của hệ thống cũng là 160ms - hơn 11 khung hình ở tần số 72Hz. Với những vấn đề này, QuestSim sẽ chỉ thích hợp để nhìn thấy cơ thể đại diện của người khác, không nhìn thấy cơ thể của chính bạn khi nhìn xuống.

Tuy nhiên, việc nhìn thấy chuyển động toàn thân trên avatar của người khác sẽ thích hơn nhiều so với phần thân trên không chân thường bị chỉ trích trong các avatar hiện tại của Meta. Vậy liệu hệ thống này, hay một cái gì đó tương tự, sẽ đến với Nhiệm vụ 2?

Meta CTO Andrew Bosworth chắc chắn có vẻ gợi ý về điều này vào tuần trước. Khi nào đã hỏi về theo dõi chân trong Instagram "hỏi tôi bất cứ điều gì" Bosworth trả lời:

“Vâng, chúng tôi đã bị chế giễu rất nhiều vì những hình đại diện không chân, và tôi nghĩ điều đó rất công bằng và tôi nghĩ nó khá buồn cười.

Việc có đôi chân trên ảnh đại diện không khớp với đôi chân thật của bạn khiến mọi người rất khó chịu. Nhưng tất nhiên chúng ta có thể gác chân lên người khác mà bạn có thể thấy, và điều đó không làm phiền bạn chút nào.

Vì vậy, chúng tôi đang nghiên cứu về đôi chân trông tự nhiên đối với những người đứng ngoài cuộc - bởi vì họ không biết chân thật của bạn được định vị như thế nào - nhưng có thể bạn khi nhìn vào chân của chính mình sẽ tiếp tục không thấy gì. Đó là chiến lược hiện tại của chúng tôi ”.

Tuy nhiên, giải pháp ngắn hạn có thể không có cùng chất lượng với thuật toán này. Các tài liệu nghiên cứu về máy học có xu hướng chạy trên GPU PC mạnh mẽ ở tốc độ khung hình tương đối thấp. Bài báo không đề cập đến hiệu suất của hệ thống được mô tả, nhưng một chiếc RTX 3080 được liệt kê là đang được sử dụng để đào tạo.

Sự kiện AR / VR hàng năm của Meta Connect diễn ra chỉ trong hơn 2 tuần, vì vậy, bất kỳ thông báo theo dõi cơ thể nào cũng có thể diễn ra trong thời gian đó.