Meta introducerer Audio2PhotoReal til metaverse interaktioner

Meta introducerer Audio2PhotoReal til metaverse interaktioner

Tidsstempel: 8. januar 2024 kl. 8

Meta har introduceret et andet AI-koncept i metaverse-industrien. Ifølge et nyligt tweet af Allen T., en AI-underviser og -udvikler, udgav virksomheden en ny ramme kaldet Audio2Photoreal.

Audio2Photoreal er en ramme til at generere fyldige fotorealistiske avatarer, der naturligt er gestus-drevet af forfatterens stemme. Disse avatarer kommer til live gennem talelyd, der er integreret i menneskers gestusbevægelser.

Givet rå lydtale fra enkeltpersoner skabes en model til at generere tilsvarende fotorealistiske bevægelser. Systemet består af to generative modeller, der repræsenterer en avatars udtrykskoder og kropsstillinger.

Ifølge klip uploadet af Allen T, er forskellige dele af en person, inklusive mund, hænder og ansigt, påvirket af denne tilføjelse.

Nogle af de udgivne demoer er genereret flere samples, to personlige samtaler, en prøve af genererede kvindelige avatarer og guide-positurer, der driver diffusionsmodellen. Allen T. tilføjede, at metaverset bliver sjovt med denne udvikling. Andre steder virker teknologisamfundet begejstret efter kommentarer til opslaget. En bruger @EverettWorld Tweetet, "Hvis Metaverse ser sådan ud, er jeg med!"

En anden bruger var dog ophidset over, at han ikke stoler meget på Meta længere. Ifølge @AIandDesign, Meta er skadeligt for mennesker efter hele Cambridge Analytica-tinget. Brugeren tilføjer,

"Det hele er så fedt. Jeg ville bare ønske, det ikke var Meta. Jeg stoler ikke meget på dem længere. Efter hele Cambridge Analytica-tinget er jeg helt færdig med Meta. De er skadelige for menneskeheden. Bogstaveligt talt. Jeg er på FB, men kun til familieting."

Teknologien bag Audio2Photoreal konceptet

arXiv, en kurateret forskningsdelingsplatform, der er åben for videnskabsfolk til at dele forskning, før den er blevet peer-reviewet, gav mere indsigt i Audio2Photoreal.

En avatars kropsbevægelse syntetiseres ved hjælp af en diffusionsmodel, der er betinget af henholdsvis lyd eller tekst. Til ansigtsbevægelsen blev en audiokonditioneret diffusionsmodel konstrueret ud fra lydindgangen.

Kroppen og ansigtet følger dog meget forskellig dynamik, hvor ansigtet er stærkt korreleret med inputlyden, mens kroppen har en svagere korrelation med tale.

Metas Audio2Photoreal tillader nu stemmedrevne fotorealistiske avatarer

Metas Audio2Photoreal tillader nu stemmedrevne fotorealistiske avatarer

Betydningen af ​​Audio2Photoreal i metaverset 

Metas involvering i Metaverse er rettet mod at gøre økosystemet mere realistisk. Disse Audio2Photoreal-avatarer kan spejle en persons ansigtsudtryk og kropsbevægelser gennem brug af lyd.

Det skaber en forbindelse svarende til, når individer har en samtale ansigt til ansigt. Personen vil have unikke fysiske egenskaber som højde, hud- og hårfarve, kropsform og andre nøjagtige egenskaber. Arbejder i Metaverse økosystem bliver mere fleksibel, da det ikke kræver webcams, videoer eller kvalitetssmartphone-kameraer.

Facebook, X og Instagram sagsøger Ohio for at stoppe loven om sociale medier

I en anden nylig udvikling indgav NetChoice, en virksomhed, der repræsenterer sociale medieplatforme som Facebook, Instagram og X, en retssag mod Ohios nye lov om sociale medier den 5. januar.

Virksomheden udgav en 34-siders retssag for at blokere Ohios Social Media Parental Notification Act, som ville være trådt i kraft den 15. januar, men kun på konti oprettet efter den nævnte dato.

Loven om sociale medier insisterer på, at platforme skal have forældresamtykke for deres brugere på 16 år eller derunder. Imidlertid hedder det i retssagen, at loven ville "sætte en betydelig hindring for nogle mindreåriges evne til at tale på disse websteder."

Tidsstempel:

Mere fra MetaNews