Meta giới thiệu Audio2PhotoReal cho các tương tác Metaverse

Meta giới thiệu Audio2PhotoReal cho các tương tác Metaverse

Dấu thời gian: ngày 8 tháng 2024 năm 8 50:XNUMX sáng

Meta đã giới thiệu một khái niệm AI khác vào ngành công nghiệp metaverse. Theo một tweet gần đây của Allen T., một nhà giáo dục và phát triển AI, công ty đã phát hành một framework mới có tên Audio2Photoreal.

Audio2Photoreal là một khuôn khổ để tạo ra các hình đại diện chân thực toàn thân được điều khiển bằng cử chỉ một cách tự nhiên bởi giọng nói của tác giả. Những hình đại diện này trở nên sống động thông qua âm thanh lời nói được tích hợp vào chuyển động cử chỉ của con người.

Với lời nói âm thanh thô từ các cá nhân, một mô hình được tạo để tạo ra các cử chỉ chân thực tương ứng. Hệ thống này bao gồm hai mô hình tổng quát đại diện cho mã biểu cảm và tư thế cơ thể của hình đại diện.

Theo các clip do Allen T tải lên, các bộ phận khác nhau của một cá nhân, bao gồm miệng, tay và mặt, đều bị ảnh hưởng bởi sự bổ sung này.

Một số bản demo được phát hành là nhiều mẫu được tạo, hai cuộc trò chuyện cá nhân, một mẫu hình đại diện nữ được tạo và các tư thế hướng dẫn thúc đẩy mô hình khuếch tán. Allen T. nói thêm rằng metaverse sẽ rất thú vị với sự phát triển này. Ở những nơi khác, cộng đồng công nghệ có vẻ hào hứng sau những bình luận về bài đăng. Một người dùng @EverettWorld tweeted, "Nếu Metaverse trông như thế này thì tôi sẽ tham gia!"

Tuy nhiên, một người dùng khác lại kích động rằng anh ấy không còn tin tưởng Meta nữa. Theo @AIandDesign, Meta có hại cho con người theo dõi toàn bộ vụ Cambridge Analytica. Người dùng thêm vào,

“Mọi chuyện thật tuyệt vời. Tôi chỉ ước đó không phải là Meta. Tôi không còn tin tưởng họ nhiều nữa. Sau toàn bộ chuyện Cambridge Analytica, tôi đã hoàn toàn xong việc với Meta. Chúng có hại cho nhân loại. Theo đúng nghĩa đen. Tôi đang dùng FB nhưng chỉ nói chuyện gia đình thôi.”

Công nghệ đằng sau khái niệm Audio2Photoreal

arXiv, một nền tảng chia sẻ nghiên cứu được tuyển chọn mở để các nhà khoa học chia sẻ nghiên cứu trước khi nó được bình duyệt, đã cung cấp thêm thông tin chi tiết về Audio2Photoreal.

Chuyển động cơ thể của hình đại diện được tổng hợp bằng cách sử dụng mô hình khuếch tán tương ứng dựa trên âm thanh hoặc văn bản. Đối với chuyển động của khuôn mặt, mô hình khuếch tán điều hòa âm thanh được xây dựng từ đầu vào âm thanh.

Tuy nhiên, cơ thể và khuôn mặt có động lực rất khác nhau, trong đó khuôn mặt có mối tương quan chặt chẽ với âm thanh đầu vào trong khi cơ thể có mối tương quan yếu hơn với lời nói.

Audio2Photoreal của Meta hiện cho phép hình đại diện quang học được hỗ trợ bằng giọng nói

Audio2Photoreal của Meta hiện cho phép hình đại diện quang học được hỗ trợ bằng giọng nói

Tầm quan trọng của Audio2Photoreal trong metaverse 

Sự tham gia của Meta vào Metaverse nhằm mục đích làm cho hệ sinh thái trở nên thực tế hơn. Những hình đại diện Audio2Photoreal này có thể phản chiếu nét mặt và cử chỉ cơ thể của một cá nhân thông qua việc sử dụng âm thanh.

Nó tạo ra một kết nối tương tự như khi các cá nhân đang trò chuyện trực tiếp. Người đó sẽ có những đặc điểm thể chất độc đáo như chiều cao, màu da và tóc, hình dáng cơ thể và các đặc tính chính xác khác. Làm việc ở Hệ sinh thái Metaverse trở nên linh hoạt hơn vì nó không yêu cầu webcam, video hoặc máy ảnh điện thoại thông minh chất lượng.

Facebook, X và Instagram kiện Ohio để ngăn chặn luật truyền thông xã hội

Trong một diễn biến khác gần đây, NetChoice, một công ty đại diện cho các nền tảng truyền thông xã hội như Facebook, Instagram và X, đã đệ đơn kiện. vụ kiện chống lại luật truyền thông xã hội mới của Ohio vào ngày 5 tháng XNUMX.

Công ty đã đưa ra một vụ kiện dài 34 trang nhằm ngăn chặn Đạo luật thông báo dành cho phụ huynh trên mạng xã hội của Ohio, đạo luật này lẽ ra sẽ có hiệu lực vào ngày 15 tháng XNUMX, nhưng chỉ đối với các tài khoản được tạo sau ngày nói trên.

Luật truyền thông xã hội khẳng định rằng các nền tảng phải có sự đồng ý của phụ huynh đối với người dùng từ 16 tuổi trở xuống. Tuy nhiên, vụ kiện nêu rõ rằng luật này sẽ “đặt ra rào cản đáng kể đối với khả năng tham gia phát biểu trên các trang web đó của một số trẻ vị thành niên”.

Dấu thời gian:

Thêm từ MetaNews