Meta introducerar Audio2PhotoReal för metaversa interaktioner

Meta introducerar Audio2PhotoReal för metaversa interaktioner

Tidsstämpel: 8 januari 2024 8:50

Meta har introducerat ett annat AI-koncept i metaversebranschen. Enligt en nyligen tweet av Allen T., en AI-utbildare och utvecklare, släppte företaget ett nytt ramverk som heter Audio2Photoreal.

Audio2Photoreal är ett ramverk för att generera fylliga fotorealistiska avatarer som är naturligt gestdrivna av författarens röst. Dessa avatarer kommer till liv genom talljud som är integrerat i människors geströrelser.

Givet rått ljudtal från individer skapas en modell för att generera motsvarande fotorealistiska gester. Systemet består av två generativa modeller som representerar en avatars uttryckskoder och kroppsställningar.

Enligt klipp som laddats upp av Allen T påverkas olika delar av en individ, inklusive mun, händer och ansikte, av detta tillägg.

Några av demonerna som släpps är flera genererade samplingar, två personliga samtal, ett urval av genererade kvinnliga avatarer och guideposer som driver spridningsmodellen. Allen T. tillade att metaversen kommer att bli kul med den här utvecklingen. På andra håll verkar teknikgemenskapen upprymd efter kommentarer på inlägget. En användare @EverettWorld Tweeted, "Om Metaverse ser ut så här är jag med!"

En annan användare upprördes dock över att han inte litar så mycket på Meta längre. Enligt @AIandDesign, Meta är skadligt för människor följa hela Cambridge Analytica-grejen. Användaren lägger till,

"Det här är så coolt alltihop. Jag önskar bara att det inte var Meta. Jag litar inte så mycket på dem längre. Efter hela Cambridge Analytica-grejen är jag helt klar med Meta. De är skadliga för mänskligheten. Bokstavligen. Jag är på FB men bara för familjesaker."

Tekniken bakom Audio2Photoreal-konceptet

ArXiv, en kurerad forskningsdelningsplattform öppen för forskare att dela forskning innan den har granskats av fackmän, gav fler insikter om Audio2Photoreal.

Kroppsrörelsen hos en avatar syntetiseras med hjälp av en diffusionsmodell betingad av ljud respektive text. För ansiktsrörelsen konstruerades en ljudkonditionerad diffusionsmodell från ljudingången.

Kroppen och ansiktet följer dock mycket olika dynamik, där ansiktet är starkt korrelerat med ingångsljudet medan kroppen har en svagare korrelation med tal.

Metas Audio2Photoreal tillåter nu röststyrda fotorealistiska avatarer

Metas Audio2Photoreal tillåter nu röststyrda fotorealistiska avatarer

Vikten av Audio2Photoreal i metaversen 

Metas engagemang i Metaverse syftar till att göra ekosystemet mer realistiskt. Dessa Audio2Photoreal-avatarer kan spegla en individs ansiktsuttryck och kroppsgester genom att använda ljud.

Det skapar en koppling som liknar när individer har ett samtal ansikte mot ansikte. Personen kommer att ha unika fysiska egenskaper som höjd, hud- och hårfärg, kroppsform och andra exakta egenskaper. Arbetar i Metaversa ekosystem blir mer flexibel eftersom den inte kräver några webbkameror, videor eller smarttelefonkameror av hög kvalitet.

Facebook, X och Instagram stämmer Ohio för att stoppa lagen om sociala medier

I en annan ny utveckling har NetChoice, ett företag som representerar sociala medieplattformar som Facebook, Instagram och X, lämnat in en stämning mot Ohios nya lag om sociala medier den 5 januari.

Företaget släppte en 34-sidig stämningsansökan för att blockera Ohios sociala medier Parental Notification Act, som skulle ha trätt i kraft den 15 januari, men bara på konton som skapats efter nämnda datum.

Lagen om sociala medier insisterar på att plattformar ska få förälders samtycke för sina användare som är 16 år eller yngre. Men stämningsansökan säger att lagen skulle "sätta ett betydande hinder för vissa minderårigas förmåga att delta i tal på dessa webbplatser."

Tidsstämpel:

Mer från MetaNews