Công nghệ này có thể biến thế giới thực thành nghệ thuật sống

Các nhà nghiên cứu có thể lấy một hình ảnh và sử dụng nó làm điểm tham chiếu để tạo ra một thế giới ảo, vật thể hoặc con người.

Khi các công ty khám phá ra sự hiện diện metaverse thông qua một cặp song sinh kỹ thuật số, khả năng nhanh chóng và dễ dàng xây dựng nội dung 3D cách điệu và thế giới ảo sẽ chỉ trở nên quan trọng hơn trong tương lai.

Một công bố gần đây Đại học Cornell Paper đã khám phá xu hướng ngày càng tăng này và phát triển một giải pháp sản xuất trường bức xạ thần kinh cách điệu (SNeRF) có thể được sử dụng để tạo ra một loạt các cảnh ảo động với tốc độ lớn hơn các phương pháp truyền thống.

Sử dụng các hình ảnh tham khảo khác nhau, nhóm nghiên cứu của Thu Nguyen-Phước, Phùng Lưuvà Lôi Tiêu đã có thể tạo ra các cảnh 3D cách điệu có thể được sử dụng trong nhiều môi trường ảo khác nhau. Ví dụ: hãy tưởng tượng đeo một chiếc tai nghe VR và xem thế giới thực sẽ trông như thế nào qua một ống kính cách điệu, chẳng hạn như bức tranh của Pablo Picasso.

Quá trình này cho phép nhóm không chỉ tạo các đối tượng ảo một cách nhanh chóng mà còn tận dụng môi trường thế giới thực của chúng như một phần của thế giới ảo với tính năng phát hiện đối tượng 3D. 

Điều quan trọng cần lưu ý là nhóm nghiên cứu cũng có thể quan sát cùng một đối tượng thông qua các hướng xem khác nhau ở cùng một góc nhìn, hay còn được gọi là tính nhất quán giữa các góc nhìn. Điều này tạo ra hiệu ứng 3D sống động khi xem trong VR.

Bằng cách xen kẽ các bước tối ưu hóa NeRF và cách điệu, nhóm nghiên cứu có thể chụp ảnh và sử dụng nó làm kiểu tham chiếu để sau đó tạo lại môi trường, đối tượng hoặc con người trong thế giới thực theo cách điều chỉnh cách điệu của hình ảnh đó, do đó tăng tốc quá trình tạo.

“Chúng tôi giới thiệu một phương pháp đào tạo mới để giải quyết vấn đề này bằng cách xen kẽ các bước tối ưu hóa NeRF và cách điệu,” nhóm nghiên cứu cho biết. “Phương pháp như vậy cho phép chúng tôi tận dụng tối đa dung lượng bộ nhớ phần cứng của mình để vừa tạo ra hình ảnh ở độ phân giải cao hơn vừa áp dụng các phương pháp truyền tải phong cách hình ảnh biểu cảm hơn. Các thử nghiệm của chúng tôi cho thấy rằng phương pháp của chúng tôi tạo ra các NeRF cách điệu cho nhiều loại nội dung, bao gồm các cảnh trong nhà, ngoài trời và động, đồng thời tổng hợp các chế độ xem mới lạ chất lượng cao với tính nhất quán giữa các chế độ xem ”.

Do giới hạn bộ nhớ của NeRF, các nhà nghiên cứu cũng phải giải quyết một vấn đề khác là làm thế nào họ có thể hiển thị hình ảnh 3D độ nét cao hơn với tốc độ giống thời gian thực hơn. Giải pháp là tạo một vòng lặp các khung nhìn được kết xuất mà với mỗi lần lặp lại có thể nhắm mục tiêu các điểm cách điệu nhất quán hơn với mỗi lần đi qua và sau đó xây dựng lại hình ảnh với nhiều chi tiết hơn. 

Công nghệ cũng cải tiến hình đại diện. Phương pháp cách điệu SNeRF của nhóm nghiên cứu cho phép họ tạo ra một hình đại diện biểu cảm hơn trong các cuộc trò chuyện. Kết quả là hình đại diện 4D động có thể truyền tải một cách chân thực các cảm xúc như tức giận, sợ hãi, phấn khích và bối rối, tất cả mà không cần phải sử dụng biểu tượng cảm xúc hoặc nhấn nút trên bộ điều khiển VR.

Công việc nghiên cứu vẫn đang tiếp tục, nhưng tại thời điểm này, nhóm đã có thể phát triển một phương pháp cách điệu cảnh 3D bằng cách sử dụng các biểu diễn thần kinh tiềm ẩn tác động đến môi trường và hình đại diện của họ. Ngoài ra, cách tiếp cận của họ sử dụng phương pháp cách điệu xen kẽ cho phép họ tận dụng việc sử dụng đầy đủ khả năng bộ nhớ phần cứng của mình để cách điệu cả cảnh 3D tĩnh và động, cho phép nhóm tạo ra hình ảnh ở độ phân giải cao hơn và áp dụng kiểu truyền hình ảnh biểu cảm hơn các phương pháp trong VR. 

Nếu bạn quan tâm đến việc đào sâu vào chi tiết, bạn có thể truy cập báo cáo của họ tại đây.

Tín dụng hình ảnh: Đại học Cornell