Nhiệm vụ 3 hiện có tính năng theo dõi cơ thể từ trong ra ngoài & loại trừ MR

Nhiệm vụ 3 hiện có tính năng theo dõi cơ thể từ trong ra ngoài & loại trừ MR

Dấu thời gian: ngày 14 tháng 2023 năm 8 02:XNUMX chiều

Các nhà phát triển Quest 3 hiện có thể tích hợp ba tính năng mới chính để cải thiện cả thực tế ảo và thực tế hỗn hợp.

Theo dõi cơ thể từ trong ra ngoài (IOBT) và Chân sáng tạo là được công bố cùng với Nhiệm vụ 3 như sắp đến vào tháng 12. Loại trừ thực tế hỗn hợp thông qua API độ sâu là trước đây là một tính năng thử nghiệm, nghĩa là các nhà phát triển có thể thử nghiệm nó nhưng không thể gửi nó trong các bản dựng Quest Store hoặc App Lab.

Tất cả ba tính năng hiện đều có sẵn như một phần của SDK v60 dành cho Unity và mã gốc. Trong khi đó, tích hợp Unreal Engine v60 bao gồm API độ sâu, nhưng không bao gồm IOBT hoặc Generative Legs.

Theo dõi phần thân trên từ trong ra ngoài

Theo dõi cơ thể từ trong ra ngoài (IOBT) sử dụng các camera bên của Quest 3, hướng xuống dưới, để theo dõi cổ tay, khuỷu tay, vai và thân của bạn bằng thuật toán thị giác máy tính tiên tiến.

IOBT ngăn ngừa các vấn đề với cánh tay ước tính động học nghịch đảo (IK), thường không chính xác và khiến bạn cảm thấy không thoải mái vì hệ thống chỉ đưa ra phỏng đoán từ vị trí của đầu và bàn tay của bạn. Khi các nhà phát triển tích hợp IOBT, bạn sẽ thấy cánh tay và hình xuyến của mình ở vị trí thực tế – không phải ước tính.

Tính năng theo dõi phần trên cơ thể này cũng cho phép các nhà phát triển cố định chuyển động của ngón tay cái theo hướng cơ thể của bạn, không chỉ đầu hoặc tay của bạn và bạn có thể thực hiện các hành động mới như nghiêng người qua một gờ đá và hiển thị điều này một cách thực tế trên hình đại diện của bạn.

Đôi chân sáng tạo AI

IOBT chỉ có tác dụng với phần thân trên của bạn. Đối với phần thân dưới của bạn, Meta đã ra mắt Generative Legs.

Generative Legs sử dụng mô hình AI “tiên tiến” để ước tính vị trí chân của bạn – một công nghệ mà công ty đã sử dụng nghiên cứu trong nhiều năm. 

Trong Quest 3, Generative Legs đưa ra ước tính thực tế hơn so với các tai nghe trước đó nhờ sử dụng tính năng theo dõi phần trên cơ thể làm đầu vào, nhưng nó cũng hoạt động trên Quest Pro và Quest 2 chỉ sử dụng đầu và tay.

Tuy nhiên, hệ thống Generative Legs chỉ là một công cụ ước tính, không theo dõi, vì vậy, mặc dù có thể phát hiện việc nhảy và cúi xuống nhưng nó sẽ không ghi nhận nhiều chuyển động thực tế như nâng đầu gối của bạn lên.

Cùng với nhau, tính năng theo dõi phần trên cơ thể từ trong ra ngoài và Generative Legs cho phép tạo ra toàn bộ cơ thể hợp lý trong VR, được gọi là Tổng hợp toàn bộ cơ thể mà không cần phần cứng bên ngoài.

Meta trước đó đã thông báo rằng Tổng hợp toàn thân sẽ đến với Supernatural, Swordsman VR và Drunken Bar Fight.

API độ sâu để loại trừ trong thực tế hỗn hợp

In đánh giá Quest 3 của chúng tôi chúng tôi chỉ trích gay gắt việc thiếu tắc động thực tế hỗn hợp. Mặc dù các vật thể ảo có thể xuất hiện phía sau Lưới Cảnh thô được tạo ra bởi quá trình quét thiết lập phòng, nhưng chúng luôn hiển thị phía trước các vật thể chuyển động như cánh tay của bạn và những người khác ngay cả khi ở xa hơn, trông có vẻ chói tai và không tự nhiên.

Nhiệm vụ 3 hiện có tính năng Theo dõi cơ thể từ trong ra ngoài & Loại trừ MR PlatoBlockchain Data Intelligence. Tìm kiếm dọc. Ái.
Mô tả cơ bản về khái niệm chung về tắc từ Meta.

Các nhà phát triển đã có thể triển khai tính năng tắc động cho bàn tay của bạn bằng cách sử dụng lưới Theo dõi bàn tay, nhưng ít người làm được vì điều này cắt đứt cổ tay của bạn nên phần còn lại của cánh tay không được bao gồm.

API độ sâu mới cung cấp cho các nhà phát triển bản đồ độ sâu thô trên mỗi khung hình do tai nghe tạo ra theo quan điểm của nó. Điều này có thể được sử dụng để thực hiện tắc, cho cả đối tượng chuyển động và chi tiết tốt hơn của đối tượng tĩnh vì những đối tượng đó có thể chưa được ghi lại trong Scene Mesh.

Tính năng che khuất động sẽ làm cho thực tế hỗn hợp trong Nhiệm vụ 3 trông tự nhiên hơn. Tuy nhiên, độ phân giải cảm biến độ sâu của tai nghe là rất thấp, do đó, nó sẽ không nhận được các chi tiết như khoảng cách giữa các ngón tay của bạn và bạn sẽ thấy một khoảng trống xung quanh các cạnh của vật thể.

Bản đồ độ sâu cũng chỉ được đề xuất nâng lên đến 4 mét, sau đó “độ chính xác giảm đáng kể”, vì vậy các nhà phát triển cũng có thể muốn sử dụng Scene Mesh để chặn tĩnh.

Có hai cách mà các nhà phát triển có thể triển khai tắc: Cứng và Mềm. Hard về cơ bản là miễn phí nhưng có các cạnh lởm chởm, trong khi Soft có giá GPU nhưng trông đẹp hơn. Nhìn vào clip ví dụ của Meta, thật khó để tưởng tượng bất kỳ nhà phát triển nào sẽ chọn Hard.

Tuy nhiên, trong cả hai trường hợp, việc tắc nghẽn đều yêu cầu sử dụng các trình đổ bóng tắc đặc biệt của Meta hoặc triển khai cụ thể nó trong các trình đổ bóng tùy chỉnh của bạn. Đây không phải là giải pháp một cú nhấp chuột và có thể sẽ là một nỗ lực đáng kể để các nhà phát triển hỗ trợ.

Ngoài khả năng che khuất, các nhà phát triển cũng có thể sử dụng API Độ sâu để triển khai các hiệu ứng hình ảnh dựa trên chiều sâu trong thực tế hỗn hợp, chẳng hạn như sương mù.

Kiểm tra UploadVR tắc API độ sâu.

Bạn có thể tìm thấy tài liệu cho Đoàn kết ở đây va cho Không có thật ở đây. Lưu ý rằng tài liệu chưa được cập nhật để phản ánh bản phát hành công khai.

Dấu thời gian:

Thêm từ UploadVR