Meta introduce Audio2PhotoReal pentru interacțiunile metaverse

Meta introduce Audio2PhotoReal pentru interacțiunile metaverse

Marca temporală: 8 ianuarie 2024 8:50

Meta a introdus un alt concept AI în industria metaverselor. Potrivit unui tweet recent al lui Allen T., un educator și dezvoltator AI, compania a lansat un nou cadru numit Audio2Photoreal.

Audio2Photoreal este un cadru pentru generarea de avatare fotorealiste complete, care sunt în mod natural determinate de gesturi de vocea autorului. Acești avataruri prind viață prin sunetul vorbirii care este integrat în mișcarea gestuală a oamenilor.

Având în vedere vorbirea audio brută de la indivizi, este creat un model pentru a genera gesturi fotorealiste corespunzătoare. Sistemul constă din două modele generative care reprezintă codurile de expresie ale avatarului și pozițiile corpului.

Potrivit clipurilor încărcate de Allen T, diferite părți ale unui individ, inclusiv gura, mâinile și fața, sunt afectate de această adăugare.

Unele dintre demo-urile lansate sunt mai multe mostre generate, două conversații personale, un eșantion de avatare feminine generate și ghiduri-poziții care conduc modelul de difuzare. Allen T. a adăugat că metaversul va fi distractiv cu această dezvoltare. În altă parte, comunitatea tehnologică pare entuziasmată în urma comentariilor la postare. Un utilizator @EverettWorld tweeter, „Dacă Metaverse arată așa, eu sunt!”

Totuși, un alt utilizator s-a agitat că nu mai are mare încredere în Meta. Potrivit @AIandDesign, Meta este dăunător pentru oameni urmând toată chestia cu Cambridge Analytica. Utilizatorul adaugă,

„Este atât de grozav. Mi-aș dori doar să nu fie Meta. Nu mai am mare încredere în ei. După toată chestia cu Cambridge Analytica, am terminat complet cu Meta. Sunt dăunătoare omenirii. Literalmente. Sunt pe FB, dar numai pentru chestii de familie.”

Tehnologia din spatele conceptului Audio2Photoreal

arXiv, o platformă organizată de partajare a cercetării, deschisă pentru ca oamenii de știință să partajeze cercetările înainte ca acestea să fie revizuite de colegi, a oferit mai multe informații despre Audio2Photoreal.

Mișcarea corpului unui avatar este sintetizată folosind un model de difuzie condiționat de audio sau, respectiv, text. Pentru mișcarea facială, a fost construit un model de difuzie condiționat audio din intrarea audio.

Cu toate acestea, corpul și fața urmează dinamici foarte diferite, în care fața este puternic corelată cu sunetul de intrare, în timp ce corpul are o corelație mai slabă cu vorbirea.

Audio2Photoreal de la Meta permite acum avatare fotorealiste cu voce

Audio2Photoreal de la Meta permite acum avatare fotorealiste cu voce

Importanța Audio2Photoreal în metavers 

Implicarea lui Meta în Metaverse are scopul de a face ecosistemul mai realist. Aceste avatare Audio2Photoreal pot oglindi expresia facială și gesturile corpului unui individ prin utilizarea audio.

Se creează o conexiune similară cu atunci când indivizii poartă o conversație față în față. Persoana va avea trăsături fizice unice, cum ar fi înălțimea, culoarea pielii și a părului, forma corpului și alte proprietăți precise. Lucrând în Ecosistem metavers devine mai flexibil, deoarece nu necesită camere web, videoclipuri sau camere de calitate pentru smartphone-uri.

Facebook, X și Instagram dau în judecată Ohio pentru a opri legea rețelelor sociale

Într-o altă dezvoltare recentă, NetChoice, o companie care reprezintă platforme de social media precum Facebook, Instagram și X, a depus un proces împotriva noii legi a rețelelor sociale din Ohio pe 5 ianuarie.

Compania a lansat un proces de 34 de pagini pentru a bloca Legea de notificare parentală a rețelelor sociale din Ohio, care ar fi intrat în vigoare pe 15 ianuarie, dar numai pentru conturile create după data menționată.

Legea rețelelor sociale insistă că platformele ar trebui să obțină consimțământul părinților pentru utilizatorii lor cu vârsta de 16 sau mai puțin. Cu toate acestea, procesul afirmă că legea „ar pune un obstacol semnificativ asupra capacității unor minori de a se angaja în discursuri pe acele site-uri web”.

Timestamp-ul:

Mai mult de la MetaNews