Meta apresenta Audio2PhotoReal para interações do metaverso

Meta apresenta Audio2PhotoReal para interações do metaverso

Carimbo de data / hora: 8 de janeiro de 2024 8h50

Meta introduziu outro conceito de IA na indústria do metaverso. De acordo com um tweet recente de Allen T., educador e desenvolvedor de IA, a empresa lançou uma nova estrutura chamada Audio2Photoreal.

Áudio2Fotoreal é uma estrutura para gerar avatares fotorrealistas encorpados que são naturalmente movidos por gestos pela voz do autor. Esses avatares ganham vida por meio de áudio de fala integrado ao movimento gestual dos humanos.

Dada a fala de áudio bruta de indivíduos, um modelo é criado para gerar gestos fotorrealistas correspondentes. O sistema consiste em dois modelos generativos que representam os códigos de expressão e poses corporais de um avatar.

De acordo com os clipes enviados por Allen T, diferentes partes de um indivíduo, incluindo boca, mãos e rosto, são afetadas por essa adição.

Algumas das demos lançadas são múltiplas amostras geradas, duas conversas pessoais, uma amostra de avatares femininos gerados e poses-guia que impulsionam o modelo de difusão. Allen T. acrescentou que o metaverso será divertido com esse desenvolvimento. Em outros lugares, a comunidade tecnológica parece entusiasmada com os comentários na postagem. Um usuário @EverettWorld twittou, “Se o Metaverso estiver assim, estou dentro!”

No entanto, outro usuário afirmou que não confia mais no Meta. De acordo com @AIandDesign, Meta é prejudicial aos humanos acompanhando toda a coisa da Cambridge Analytica. O usuário adiciona,

“Isso tudo é tão legal. Eu só queria que não fosse Meta. Eu não confio mais neles. Depois de toda aquela coisa da Cambridge Analytica, terminei totalmente com o Meta. Eles são prejudiciais à humanidade. Literalmente. Estou no Facebook, mas apenas para assuntos de família.”

A tecnologia por trás do conceito Audio2Photoreal

ArXiv, uma plataforma de compartilhamento de pesquisas com curadoria aberta para cientistas compartilharem pesquisas antes que elas sejam revisadas por pares, forneceu mais insights sobre Áudio2Fotoreal.

O movimento corporal de um avatar é sintetizado usando um modelo de difusão condicionado a áudio ou texto, respectivamente. Para o movimento facial, um modelo de difusão com áudio condicionado foi construído a partir da entrada de áudio.

No entanto, o corpo e o rosto seguem dinâmicas muito diferentes, onde o rosto está fortemente correlacionado com o áudio de entrada, enquanto o corpo tem uma correlação mais fraca com a fala.

Audio2Photoreal da Meta agora permite avatares fotorrealistas alimentados por voz

Audio2Photoreal da Meta agora permite avatares fotorrealistas alimentados por voz

Importância do Audio2Photoreal no metaverso 

O envolvimento da Meta no Metaverso visa tornar o ecossistema mais realista. Esses avatares Audio2Photoreal podem espelhar a expressão facial e os gestos corporais de um indivíduo por meio do uso de áudio.

Isso cria uma conexão semelhante a quando os indivíduos estão conversando cara a cara. A pessoa terá características físicas únicas, como altura, cor da pele e do cabelo, formato do corpo e outras propriedades precisas. Trabalhando no Ecossistema do metaverso torna-se mais flexível, pois não requer webcams, vídeos ou câmeras de smartphones de qualidade.

Facebook, X e Instagram processam Ohio para impedir lei de mídia social

Em outro desenvolvimento recente, a NetChoice, uma empresa que representa plataformas de mídia social como Facebook, Instagram e X, entrou com um pedido ação judicial contra a nova lei de mídia social de Ohio em 5 de janeiro.

A empresa abriu um processo de 34 páginas para bloquear a Lei de Notificação aos Pais nas Mídias Sociais de Ohio, que entraria em vigor em 15 de janeiro, mas apenas em contas criadas após essa data.

A lei das redes sociais insiste que as plataformas devem obter o consentimento dos pais para os seus utilizadores com 16 anos ou menos. No entanto, o processo afirma que a lei “colocaria um obstáculo significativo à capacidade de alguns menores de falar nesses sites”.

Carimbo de hora:

Mais de MetaNotícias