Tech Demo cho thấy sức mạnh thực sự của tính năng theo dõi khuôn mặt của Quest Pro

Khả năng theo dõi khuôn mặt của Quest Pro sẽ nhanh chóng được đưa vào sử dụng để làm cho hình đại diện của Meta biểu cảm hơn, nhưng hình đại diện thế hệ tiếp theo sẽ được hưởng lợi nhiều hơn từ công nghệ mới.

Một trong những tính năng mới quan trọng của Quest Pro là hệ thống theo dõi khuôn mặt sử dụng camera bên trong để cảm nhận chuyển động của mắt và một số bộ phận trên khuôn mặt bạn. Kết hợp với mô hình học máy không cần hiệu chỉnh, tai nghe sẽ lấy những gì nó nhìn thấy và biến nó thành đầu vào có thể điều khiển hoạt ảnh của bất kỳ hình đại diện nào.

Bảo hiểm Key Quest Pro:

Quest Pro được tiết lộ - Thông số kỹ thuật đầy đủ, giá cả và ngày phát hành

Thực hành Quest Pro - Bình minh của Kỷ nguyên tai nghe thực tế hỗn hợp

Phân tích kỹ thuật Quest Pro - Điều gì hứa hẹn và điều gì không

Bộ điều khiển Touch Pro được tiết lộ - Cũng tương thích với Nhiệm vụ 2

Trong thời gian tới, tính năng này sẽ được áp dụng với các avatar hiện có của Meta. Và mặc dù điều đó chắc chắn khiến chúng biểu cảm hơn nhưng trông chúng vẫn có phần ngốc nghếch.

Đây có thể là kết quả của việc hệ thống avatar Meta hiện tại không được xây dựng với mức độ theo dõi khuôn mặt này. 'Sự gian lận'—khung hoạt hình cơ bản của mô hình—dường như không hoàn toàn phù hợp với nhiệm vụ. Việc ghép các đầu vào theo dõi khuôn mặt của Quest Pro vào hệ thống hiện tại không thực sự phát huy hết khả năng thực sự của nó.

May mắn thay, Meta đã xây dựng một bản demo công nghệ cho thấy những gì có thể xảy ra khi hình đại diện được thiết kế có tính đến tính năng theo dõi khuôn mặt của Quest Pro (và khi gần như toàn bộ sức mạnh xử lý của tai nghe được dành riêng để hiển thị hình đại diện đó).

[Nhúng nội dung]

Đúng, nó vẫn hơi run, nhưng mọi chuyển động bạn nhìn thấy ở đây đều do người dùng điều khiển thực hiện các chuyển động giống nhau, bao gồm những hành động như phồng má hoặc di chuyển miệng từ bên này sang bên kia. Nhìn chung, đó là sự thể hiện đầy đủ hơn nhiều về một khuôn mặt mà tôi cho rằng có thể tránh đi vào thung lũng kỳ lạ.

Tôi phải tự mình thử bản demo này thực hành gần đây với Quest Pro nơi tôi nhìn vào gương và xuất hiện với tư cách là nhân vật này (mà Meta gọi là Aura). Tôi thực sự ấn tượng rằng, ngay cả khi không có hiệu chỉnh đặc biệt, khuôn mặt tôi nhìn thấy trong gương dường như bắt chước bất kỳ chuyển động nào mà tôi có thể nghĩ sẽ thực hiện với khuôn mặt của mình.

Tôi đặc biệt bị thu hút bởi các chi tiết trên da. Nếu tôi nheo mắt và nhăn mũi, tôi có thể thấy vùng da xung quanh nó chụm lại một cách thực tế và điều tương tự xảy ra khi tôi nhướng mày. Những chi tiết tinh tế này, chẳng hạn như nếp nhăn trên má di chuyển khi miệng, thực sự tạo thêm ấn tượng rằng đây không chỉ là một vật thể ở trước mặt tôi mà còn có một sinh vật sống đằng sau nó.

Biểu thức có thực sự trông giống hay không me khi tôi là người đằng sau chiếc mặt nạ lại là một câu hỏi khác. Vì khuôn mặt của avatar này không giống với khuôn mặt của tôi nên thực sự rất khó để nói. Nhưng ít nhất các phong trào đó có vẻ thực tế là bước quan trọng đầu tiên hướng tới hình đại diện ảo mang lại cảm giác tự nhiên và đáng tin cậy.

Meta cho biết họ sẽ phát hành bản demo Aura dưới dạng một dự án nguồn mở để các nhà phát triển có thể xem cách họ gắn đầu vào theo dõi khuôn mặt vào hình đại diện. Công ty cũng cho biết các nhà phát triển sẽ có thể sử dụng một bộ công cụ duy nhất để điều khiển các avatar hình người hoặc các avatar không phải con người như động vật hoặc quái vật mà không cần phải chỉnh sửa từng avatar riêng lẻ.

Meta cho biết các nhà phát triển sẽ có thể khai thác API theo dõi khuôn mặt sử dụng các giá trị tương ứng với FACS, một hệ thống được công nhận rộng rãi để mô tả chuyển động của các cơ khác nhau trên khuôn mặt con người.

Đây là một hệ thống hiệu quả không chỉ trong việc thể hiện khuôn mặt mà còn tạo thành một rào cản hữu ích về quyền riêng tư cho người dùng. Theo Meta, các nhà phát triển thực sự không thể truy cập vào hình ảnh thô của khuôn mặt người dùng. Thay vào đó, họ nhận được “một loạt các giá trị từ 0 đến 1 tương ứng với một tập hợp các chuyển động chung trên khuôn mặt, chẳng hạn như khi bạn nhăn mũi hoặc nhíu mày,” Meta nói. “Những tín hiệu này giúp nhà phát triển dễ dàng duy trì ý nghĩa ngữ nghĩa của chuyển động ban đầu của người chơi khi ánh xạ tín hiệu từ API Theo dõi khuôn mặt tới nhân vật của chính họ, cho dù nhân vật của họ là hình người hay thậm chí là thứ gì đó kỳ ảo hơn.”

Meta tuyên bố ngay cả bản thân công ty cũng không thể nhìn thấy hình ảnh được chụp bởi camera của tai nghe, dù là bên trong hay bên ngoài. Theo công ty, chúng được xử lý trên tai nghe và sau đó bị xóa ngay lập tức mà không bao giờ được gửi lên đám mây hoặc cho các nhà phát triển.