Meta führt Audio2PhotoReal für Metaverse-Interaktionen ein

Meta hat ein weiteres KI-Konzept in die Metaverse-Branche eingeführt. Laut einem aktuellen Tweet von Allen T., einem KI-Lehrer und Entwickler, hat das Unternehmen ein neues Framework namens Audio2Photoreal veröffentlicht.

Audio2Photoreal ist ein Framework zur Generierung vollmundiger fotorealistischer Avatare, die auf natürliche Weise von der Stimme des Autors durch Gesten gesteuert werden. Diese Avatare werden durch Sprachaudio zum Leben erweckt, das in die Gestenbewegungen der Menschen integriert ist.

Anhand der rohen Audiosprache einzelner Personen wird ein Modell erstellt, um entsprechende fotorealistische Gesten zu generieren. Das System besteht aus zwei generativen Modellen, die die Ausdruckscodes und Körperhaltungen eines Avatars darstellen.

Laut von Allen T hochgeladenen Clips sind verschiedene Teile einer Person, darunter Mund, Hände und Gesicht, von diesem Zusatz betroffen.

Meta stellt Audio2Photoreal vor

Generierung vollmundiger fotorealistischer Avatare, deren Gesten auf natürliche Weise von der Stimme des Autors gesteuert werden

Das Metaversum wird Spaß machen.

6 lustige Beispiele und Demo unten: pic.twitter.com/EeImouEakC

– Allen T (@Mr_AllenT) 4. Januar 2024

Einige der veröffentlichten Demos bestehen aus mehreren generierten Beispielen, zwei persönlichen Gesprächen, einem Beispiel generierter weiblicher Avatare und Führungsposen, die das Diffusionsmodell steuern. Allen T. fügte hinzu, dass das Metaversum mit dieser Entwicklung Spaß machen wird. An anderer Stelle scheint die Tech-Community nach den Kommentaren zu dem Beitrag begeistert zu sein. Ein Benutzer @EverettWorld twitterte, „Wenn Metaverse so aussieht, bin ich dabei!“

Ein anderer Benutzer äußerte jedoch, dass er Meta nicht mehr sehr traue. Laut @AIandDesign, Meta ist schädlich für den Menschen Ich verfolge die ganze Sache mit Cambridge Analytica. Der Benutzer fügt hinzu:

„Das ist alles so cool. Ich wünschte nur, es wäre nicht Meta. Ich vertraue ihnen nicht mehr sehr. Nach der ganzen Sache mit Cambridge Analytica bin ich mit Meta völlig fertig. Sie sind schädlich für die Menschheit. Buchstäblich. Ich bin auf FB, aber nur für Familienthemen.“

Die Technologie hinter dem Audio2Photoreal-Konzept

ArXiv, eine kuratierte Plattform zum Austausch von Forschungsergebnissen, auf der Wissenschaftler ihre Forschungsergebnisse vor der Peer-Review austauschen können, gab weitere Einblicke Audio2Photoreal.

Die Körperbewegung eines Avatars wird mithilfe eines Diffusionsmodells synthetisiert, das auf Audio bzw. Text basiert. Für die Gesichtsbewegung wurde aus dem Audioeingang ein audiokonditioniertes Diffusionsmodell erstellt.

Körper und Gesicht folgen jedoch einer sehr unterschiedlichen Dynamik, wobei das Gesicht stark mit dem Eingangsaudio korreliert, während der Körper eine schwächere Korrelation mit der Sprache aufweist.

Bedeutung von Audio2Photoreal im Metaversum 

Die Beteiligung von Meta am Metaverse zielt darauf ab, das Ökosystem realistischer zu machen. Diese Audio2Photoreal-Avatare können mithilfe von Audio den Gesichtsausdruck und die Körpergesten einer Person widerspiegeln.

Es entsteht eine Verbindung, ähnlich wie bei einem persönlichen Gespräch. Die Person verfügt über einzigartige körperliche Merkmale wie Größe, Haut- und Haarfarbe, Körperform und andere genaue Eigenschaften. Arbeiten im Metaverse-Ökosystem wird flexibler, da keine Webcams, Videos oder hochwertige Smartphone-Kameras erforderlich sind.

Facebook, X und Instagram verklagen Ohio, um das Social-Media-Gesetz zu stoppen

In einer weiteren aktuellen Entwicklung hat NetChoice, ein Unternehmen, das Social-Media-Plattformen wie Facebook, Instagram und X vertritt, eine Klage eingereicht Klage gegen Ohios neues Social-Media-Gesetz am 5. Januar.

Das Unternehmen veröffentlichte eine 34-seitige Klage, um den Social Media Parental Notification Act in Ohio zu blockieren, der am 15. Januar in Kraft getreten wäre, jedoch nur für Konten, die nach diesem Datum erstellt wurden.

Das Social-Media-Gesetz verlangt, dass Plattformen für ihre Nutzer, die 16 Jahre oder jünger sind, die Zustimmung der Eltern einholen müssen. Allerdings heißt es in der Klage, dass das Gesetz „die Fähigkeit einiger Minderjähriger, sich auf diesen Websites zu äußern, erheblich einschränken würde“.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://metanews.com/meta-introduces-audio2photoreal-to-facilitate-metaverse-interactions/