Giới thiệu Siêu thực tế: Cái nhìn về các công nghệ cần thiết để kết hợp một cách thuyết phục giữa thế giới ảo và thế giới vật lý

Thực tế hỗn hợp (MR) có thể mở ra nhiều trải nghiệm độc đáo, từ năng suất và cộng tác trong thời gian thực với đồng nghiệp đến đi chơi với bạn bè và gia đình cho đến các loại trò chơi và ứng dụng tương tác mới mà chúng ta thậm chí chưa từng mơ tới. Trong khi VR giúp bạn hoàn toàn đắm chìm trong môi trường kỹ thuật số, thì MR cho phép bạn tự do di chuyển và tương tác với mọi người cũng như đồ vật trong không gian thực của mình trong khi thưởng thức nội dung ảo, mở ra một lớp trải nghiệm mới giống như AR trong VR giúp tăng cường không gian thực của bạn.

“Việc có thể nhìn thấy thế giới thực xung quanh bạn và kết hợp nó với nội dung ảo sẽ mở ra những khả năng mới cho VR ngày nay—như các trò chơi ở cùng vị trí mà bạn có thể chơi với bạn bè trong cùng một phòng thực hoặc trải nghiệm năng suất kết hợp màn hình ảo khổng lồ với các công cụ vật lý ,” Giám đốc sản phẩm Meta Sarthak Ray giải thích. “Và đó là một bước hướng tới tầm nhìn dài hạn của chúng tôi về thực tế tăng cường.”

Có một quan niệm sai lầm phổ biến rằng thực tế hỗn hợp có thể được thực hiện đơn giản bằng cách hiển thị nguồn cấp dữ liệu video có độ phân giải cao theo thời gian thực về thế giới vật lý bên trong tai nghe, nhưng sự thật phức tạp hơn nhiều. Trải nghiệm MR đáng tin cậy đòi hỏi khả năng kết hợp thế giới ảo và thế giới thực một cách thuyết phục—điều đó có nghĩa là tai nghe phải làm được nhiều việc hơn là chỉ hiển thị môi trường xung quanh thực tế của bạn dưới dạng video 2D. Nó thực sự phải tái tạo lại căn phòng của bạn bằng kỹ thuật số như một không gian 3D với sự hiểu biết về các vật thể và bề mặt xung quanh bạn. Điều đó đòi hỏi một hệ thống phức tạp gồm nhiều công nghệ phần cứng và phần mềm như cảm biến có độ phân giải cao, Chuyển qua, được hỗ trợ bởi AI Hiểu cảnhvà Neo không gian, tất cả đều phối hợp với nhau một cách liền mạch và thoải mái.

Tại Meta, chúng tôi liên tục đầu tư vào nghiên cứu và phát triển ban đầu để tạo ra các công nghệ VR hàng đầu mà chúng tôi cung cấp cho người tiêu dùng trên quy mô lớn—tất cả đồng thời đặt con người lên hàng đầu trong thiết kế của chúng tôi. Chúng tôi tập trung vào các chi tiết, dựa trên sự hiểu biết sâu sắc về cách mọi người nhìn nhận thế giới xung quanh và nỗ lực kết nối nhận thức đó với những trải nghiệm sống động khiến mọi người phấn khích về khả năng của thực tế ảo và thực tế hỗn hợp. Hôm nay, chúng tôi sẽ giới thiệu tên mới cho hệ thống thực tế hỗn hợp độc đáo của chúng tôi—Meta Reality—và cung cấp cho bạn cái nhìn sâu sắc về những gì tạo nên trải nghiệm MR thực sự hạng nhất.

Truyền màu lập thể cho nhận thức không gian

Đầu tiên và quan trọng nhất, trải nghiệm MR thực sự phải thoải mái và có cảm giác giống như trải nghiệm xem tự nhiên—nguồn cấp dữ liệu video trực tiếp không truyền tải được cảm giác về chiều sâu và không thể mang lại điều đó, ngay cả khi nó có độ phân giải cao. Ngoài ra, nếu Truyền qua là đơn sắc (nhìn từ một góc nhìn duy nhất) và/hoặc thiếu tín hiệu về chiều sâu, điều đó có thể gây khó chịu cho người xem. Vì Chuyển qua để thoải mái, hình ảnh được hiển thị trên vùng đệm mắt riêng lẻ cần phải được tạo từ hai góc riêng biệt cung cấp tín hiệu lập thể. Điều này, cùng với sự hiện diện của thông tin về độ sâu và màu sắc, rất quan trọng để tái tạo lại trải nghiệm thoải mái.

Giải pháp Truyền qua màu lập thể của chúng tôi sử dụng kiến ​​trúc phần cứng tùy chỉnh, thuật toán thị giác máy tính tiên tiến và công nghệ học máy tiên tiến mô hình hóa cách mắt bạn nhìn thế giới xung quanh một cách tự nhiên để đáp ứng thách thức này. Camera và độ phân giải màn hình tốt hơn giúp chất lượng hình ảnh được cải thiện, với camera của Meta Quest Pro có khả năng chụp ảnh gấp bốn lần pixel so với camera của Meta Quest 2. Nhưng có lẽ quan trọng hơn, khả năng hiển thị dựa trên hình ảnh, tái tạo hình học âm thanh nổi và hiểu biết sâu sắc của nó sẽ thiết lập vị trí của các vật thể liên quan đến khung cảnh trong một căn phòng nhất định. Ngăn xếp thuật toán mới này cho phép Meta Quest Pro xác định các khía cạnh của hình học phòng và xác định chính xác vị trí của các vật thể trong không gian 3D. Vì vậy, khi bạn với lấy cốc cà phê trên bàn trong khi xem nó bằng tính năng Truyền qua màu lập thể, não của bạn sẽ hiểu rằng chiếc cốc ở xa tay bạn hơn chiếc bút đặt ngay cạnh bạn.

Ricardo Silveira Cabral, Giám đốc Kỹ thuật Thị giác Máy tính của Meta, giải thích: “Meta Quest Pro kết hợp hai chế độ xem camera để tái tạo độ sâu thực tế, đảm bảo trải nghiệm thực tế hỗn hợp được xây dựng bằng cách sử dụng Truyền qua màu sắc mang lại sự thoải mái cho mọi người”. “Ngoài ra, các tín hiệu kết cấu âm thanh nổi cho phép bộ não của người dùng thực hiện phần còn lại và suy ra độ sâu ngay cả khi việc tái tạo độ sâu không hoàn hảo hoặc nằm ngoài phạm vi của hệ thống.”

Ghi Cái nhìn sâu sắc—công nghệ của chúng tôi đã hỗ trợ hệ thống theo dõi “từ trong ra ngoài” độc lập đầy đủ tính năng đầu tiên cho thiết bị VR dành cho người tiêu dùng? Chúng tôi đã nâng cấp khả năng cảm biến độ sâu của nó để tạo ra hình ảnh 3D dày đặc của một không gian nhất định trong thời gian thực. Trong khi Insight sử dụng khoảng 100 điểm quan tâm trong phòng để xác định vị trí của tai nghe trong không gian, giải pháp cảm biến độ sâu của chúng tôi trên Meta Quest Pro tạo ra tới 10,000 điểm mỗi khung hình cách xa tới 3 mét trong nhiều điều kiện ánh sáng tự nhiên và nhân tạo. Chúng tôi sử dụng thông tin này để tạo lưới 3D của thế giới vật lý, kết hợp đầu ra này trên một vài khung hình để tạo ra hình ảnh không gian XNUMXD dày đặc và ổn định theo thời gian. Lưới này sau đó được sử dụng với kết xuất dự đoán để tạo ra hình ảnh của thế giới vật chất. Điều đó có nghĩa là các bản tái tạo được biến dạng riêng lẻ theo chế độ xem mắt trái và mắt phải của tai nghe bằng cách sử dụng TimeWarp không đồng bộ công nghệ dự đoán vị trí mắt của người dùng trong vài mili giây trong tương lai để bù đắp cho độ trễ hiển thị.

Cuối cùng, việc thêm màu sắc sẽ làm cho toàn bộ trải nghiệm trông thực tế hơn. Silveira Cabral cho biết: “Máy ảnh màu được sử dụng để tô màu cho chế độ xem lập thể nhằm mang lại trải nghiệm gần với thế giới vật lý nhất có thể”. “Với kiến ​​trúc này cộng với các tối ưu hóa được thực hiện trên toàn bộ quy trình, chúng tôi có thể cung cấp Truyền qua màu lập thể trên Meta Quest Pro cho tất cả các tựa game Meta Quest 2 hiện có và các ứng dụng MR sắp ra mắt dưới dạng trải nghiệm mặc định mà không cần thêm tài nguyên tính toán. Điều đó có nghĩa là các ứng dụng hiện có sử dụng Passthrough trên Meta Quest 2 sẽ hoạt động với công nghệ Passthrough màu lập thể mới của Meta Quest Pro ngay lập tức.”

Khi bạn cộng tất cả lại, tính năng Truyền qua màu lập thể của Meta Quest Pro mang lại trải nghiệm thoải mái hơn với khả năng cảm nhận chiều sâu và ít biến dạng hình ảnh hơn so với các giải pháp đơn sắc, mở khóa trải nghiệm thực tế hỗn hợp chất lượng ở quy mô phòng.

Hiểu cảnh để trộn nội dung ảo vào thế giới thực

Được giới thiệu như một phần của Nền tảng hiện diện trong sự kiện Connect 2021, Hiểu cảnh cho phép các nhà phát triển nhanh chóng xây dựng trải nghiệm MR phức tạp và nhận biết cảnh, cho phép tương tác phong phú với môi trường của người dùng.

Giám đốc sản phẩm Meta Wei Lyu lưu ý: “Để giảm thiểu sự phức tạp và cho phép các nhà phát triển tập trung vào việc xây dựng trải nghiệm và hoạt động kinh doanh của họ, chúng tôi đã giới thiệu Scene Hiểu như một giải pháp hệ thống”.

• Mô hình cảnh là sự thể hiện duy nhất, toàn diện, cập nhật và được hệ thống quản lý về môi trường bao gồm thông tin hình học và ngữ nghĩa. Các thành phần cơ bản của Mô hình cảnh là các Điểm neo và mỗi Điểm neo có thể được gắn với nhiều thành phần khác nhau. Ví dụ: phòng khách của người dùng được tổ chức xung quanh các Điểm neo riêng lẻ với các nhãn ngữ nghĩa, chẳng hạn như sàn nhà, trần nhà, tường, bàn làm việc và ghế dài. Mỗi cái cũng được gắn với một biểu diễn hình học đơn giản: ranh giới 2D hoặc hộp giới hạn 3D.
• Chụp cảnh là một quy trình do hệ thống hướng dẫn cho phép người dùng đi lại xung quanh và nắm bắt kiến ​​trúc cũng như đồ nội thất trong phòng của họ để tạo Mô hình cảnh. Trong tương lai, mục tiêu của chúng tôi là cung cấp phiên bản Chụp cảnh tự động không yêu cầu mọi người phải chụp môi trường xung quanh theo cách thủ công.
• API cảnh là giao diện mà các ứng dụng có thể truy vấn và truy cập thông tin không gian trong Mô hình cảnh cho nhiều trường hợp sử dụng khác nhau bao gồm vị trí nội dung, vật lý, điều hướng, v.v. Với API cảnh, nhà phát triển có thể sử dụng Mô hình cảnh để tạo một quả bóng ảo nảy ra khỏi các bề mặt vật lý trong phòng thực tế hoặc một robot ảo có thể mở rộng các bức tường vật lý.

Ray cho biết: “Sự hiểu biết về cảnh giúp giảm ma sát cho các nhà phát triển, cho phép họ xây dựng trải nghiệm MR đáng tin cậy và hấp dẫn nhất có thể với các hiệu ứng va chạm và tắc nghẽn trong thời gian thực”.

Điểm neo không gian để đặt đối tượng ảo

Laura Onu, Giám đốc Sản phẩm Meta cho biết: “Nếu Truyền qua màu lập thể và Hiểu cảnh thực hiện công việc nặng nhọc để cho phép trải nghiệm MR hòa quyện giữa thế giới thực và ảo, thì khả năng neo đậu của chúng tôi sẽ cung cấp mô liên kết giữ tất cả lại với nhau”.

Neo không gian là khả năng cốt lõi giúp các nhà phát triển bắt đầu xây dựng trải nghiệm thực tế hỗn hợp hạng nhất. Chúng cho phép ứng dụng tạo khung tham chiếu hoặc ghim trong không gian cho phép một vật thể ảo tồn tại trong không gian theo thời gian. Nhờ có Điểm neo không gian, nhà thiết kế sản phẩm có thể cố định một số sơ đồ 3D vào vị trí Phác thảo trọng lựchoặc một nhóm bạn có thể neo giữ thế giới trò chơi trong Demeo lên mặt bàn để họ có thể quay lại thiết lập cũ và tiếp tục trò chơi vào ngày hôm sau.

Điểm neo không gian có thể được sử dụng kết hợp với Điểm neo mô hình cảnh (tường, bàn, sàn, v.v.) để tạo ra trải nghiệm phong phú và vị trí tự động ở quy mô phòng. Phòng của người dùng trở thành một khung vẽ không gian cho cả lối chơi và năng suất. Nhà phát triển có thể chọn neo một cánh cửa ảo vào một bức tường vật lý. Sau đó, người dùng có thể mở nó để khám phá một thế giới ảo hoàn toàn đắm chìm, hoàn chỉnh với các nhân vật của riêng mình và sau đó có thể bước vào không gian vật lý.

Onu lưu ý: “Bằng cách kết hợp Hiểu cảnh với Neo không gian, bạn có thể kết hợp và điều chỉnh trải nghiệm MR của mình với môi trường của người dùng để tạo ra một thế giới mới đầy khả năng”. "Bạn có thể trở thành đặc vụ bí mật trong phòng khách của riêng bạn, đặt đồ nội thất ảo trong phòng của bạn hoặc phác thảo một phần mở rộng ở nhà bạn, tạo trò chơi vật lý, và hơn thế nữa."

Điểm neo không gian được chia sẻ cho trải nghiệm cùng vị trí

Cuối cùng nhưng không kém phần quan trọng, chúng tôi đã thêm Điểm neo không gian được chia sẻ đến Nền tảng hiện diện. Điểm neo không gian được chia sẻ cho phép các điểm neo do một người tạo ra có thể được chia sẻ với những người khác trong cùng một không gian vật lý. Điều này cho phép các nhà phát triển xây dựng trải nghiệm nhiều người chơi cục bộ bằng cách tạo một khung tham chiếu chung có khóa thế giới cho nhiều người dùng. Ví dụ: hai hoặc nhiều người có thể ngồi cùng một bàn thực tế và chơi trò chơi board ảo trên đó. Bấm vào đây để tìm hiểu thêm.

Một sự kết hợp chiến thắng cho thực tế hỗn hợp

Bạn cần Truyền qua màu lập thể, Hiểu cảnh, Neo không gian và Neo không gian chung cùng với thông tin tắc nghẽn và va chạm trong thời gian thực, phát hiện đối tượng và ánh sáng—được kết hợp trong một gói để mang lại trải nghiệm MR chân thực, có ý nghĩa. Và tất cả đều cần phải đi kèm với các hạn chế như chi phí hiệu năng, điện toán và nhiệt. Nhưng trên hết, đảm bảo trải nghiệm thoải mái là điều quan trọng.

Giám đốc sản phẩm Meta Avinav Pashine thừa nhận: “Giống như hầu hết mọi thứ trong lĩnh vực công nghệ, đều có sự đánh đổi. “Mặc dù giải pháp hiện tại của chúng tôi không hoàn hảo nhưng nó vẫn duy trì khả năng tính toán trong khi tối đa hóa sự thoải mái cho người dùng—và nhờ đó, chúng tôi có thể cung cấp các công cụ dành cho nhà phát triển theo chiều sâu và chiều rộng tốt hơn.”

Điều này chỉ là khởi đầu. Meta Reality sẽ tiếp tục phát triển thông qua các bản cập nhật phần mềm—và với những tiến bộ về phần cứng được cung cấp trong các sản phẩm Meta Quest trong tương lai.

Silveira Cabral cho biết thêm: “Meta Quest Pro là thiết bị đầu tiên trong số nhiều thiết bị MR khám phá tiềm năng thú vị của công nghệ mới nổi này. “Chúng tôi muốn cùng học hỏi với các nhà phát triển khi họ xây dựng những trải nghiệm hấp dẫn nhằm xác định lại những gì có thể làm được với tai nghe VR. Câu chuyện này vẫn chưa hoàn chỉnh—đây mới chỉ là trang một thôi.”