Η Meta παρουσιάζει το Audio2PhotoReal για τις αλληλεπιδράσεις Metaverse

Η Meta παρουσιάζει το Audio2PhotoReal για τις αλληλεπιδράσεις Metaverse

Χρονική σήμανση: 8 Ιανουαρίου 2024 8:50 π.μ.

Η Meta εισήγαγε μια άλλη ιδέα τεχνητής νοημοσύνης στη βιομηχανία του metaverse. Σύμφωνα με ένα πρόσφατο tweet του Allen T., ενός εκπαιδευτή και προγραμματιστή AI, η εταιρεία κυκλοφόρησε ένα νέο πλαίσιο που ονομάζεται Audio2Photoreal.

Audio2Photoreal είναι ένα πλαίσιο για τη δημιουργία γεμάτων φωτορεαλιστικών avatar που καθοδηγούνται φυσικά από χειρονομίες από τη φωνή του συγγραφέα. Αυτά τα άβαταρ ζωντανεύουν μέσω του ήχου ομιλίας που είναι ενσωματωμένος στη χειρονομιακή κίνηση των ανθρώπων.

Λαμβάνοντας υπόψη την ακατέργαστη ηχητική ομιλία από άτομα, δημιουργείται ένα μοντέλο για τη δημιουργία αντίστοιχων φωτορεαλιστικών χειρονομιών. Το σύστημα αποτελείται από δύο μοντέλα παραγωγής που αντιπροσωπεύουν τους κώδικες έκφρασης ενός avatar και τις στάσεις του σώματος.

Σύμφωνα με κλιπ που ανέβασε ο Allen T, διάφορα μέρη ενός ατόμου, συμπεριλαμβανομένου του στόματος, των χεριών και του προσώπου, επηρεάζονται από αυτήν την προσθήκη.

Μερικά από τα demo που κυκλοφόρησαν είναι πολλαπλά δείγματα που δημιουργήθηκαν, δύο προσωπικές συνομιλίες, ένα δείγμα γυναικείων avatar που δημιουργήθηκαν και πόζες οδηγών που οδηγούν το μοντέλο διάχυσης. Ο Allen T. πρόσθεσε ότι το metaverse θα είναι διασκεδαστικό με αυτή την εξέλιξη. Κατά τα άλλα, η τεχνολογική κοινότητα φαίνεται ενθουσιασμένη μετά τα σχόλια στην ανάρτηση. Ένας χρήστης @EverettWorld tweeted, "Αν το Metaverse μοιάζει με αυτό, είμαι μέσα!"

Ωστόσο, ένας άλλος χρήστης ταράχτηκε ότι δεν εμπιστεύεται πλέον πολύ τον Meta. Σύμφωνα με το @AIandDesign, Το Meta είναι επιβλαβές για τον άνθρωπο ακολουθώντας όλο το θέμα της Cambridge Analytica. Ο χρήστης προσθέτει,

«Είναι πολύ ωραίο όλο αυτό. Μακάρι να μην ήταν ο Meta. Δεν τους εμπιστεύομαι πολύ πια. Μετά από όλο το Cambridge Analytica, τελείωσα τελείως με το Meta. Είναι επιβλαβείς για την ανθρωπότητα. Κυριολεκτικά. Είμαι στο FB αλλά μόνο για οικογενειακά πράγματα».

Η τεχνολογία πίσω από την ιδέα Audio2Photoreal

ArXiv, μια επιμελημένη πλατφόρμα ανταλλαγής έρευνας που είναι ανοιχτή στους επιστήμονες να μοιράζονται την έρευνα προτού υποβληθεί σε αξιολόγηση από ομοτίμους, έδωσε περισσότερες πληροφορίες για Audio2Photoreal.

Η κίνηση του σώματος ενός avatar συντίθεται χρησιμοποιώντας ένα μοντέλο διάχυσης που εξαρτάται από ήχο ή κείμενο, αντίστοιχα. Για την κίνηση του προσώπου, κατασκευάστηκε ένα μοντέλο διάχυσης με κλιματισμό από την είσοδο ήχου.

Ωστόσο, το σώμα και το πρόσωπο ακολουθούν πολύ διαφορετική δυναμική, όπου το πρόσωπο συσχετίζεται έντονα με τον ήχο εισόδου ενώ το σώμα έχει πιο αδύναμη συσχέτιση με την ομιλία.

Το Audio2Photoreal της Meta επιτρέπει πλέον φωτορεαλιστικά Avatar με φωνητική ενέργεια

Το Audio2Photoreal της Meta επιτρέπει πλέον φωτορεαλιστικά Avatar με φωνητική ενέργεια

Η σημασία του Audio2Photoreal στο μετασύμπαντο 

Η συμμετοχή του Meta στο Metaverse έχει ως στόχο να κάνει το οικοσύστημα πιο ρεαλιστικό. Αυτά τα είδωλα Audio2Photoreal μπορούν να αντικατοπτρίζουν την έκφραση του προσώπου και τις χειρονομίες του σώματος ενός ατόμου μέσω της χρήσης ήχου.

Δημιουργεί μια σύνδεση παρόμοια με εκείνη όταν τα άτομα έχουν μια συνομιλία πρόσωπο με πρόσωπο. Το άτομο θα έχει μοναδικά φυσικά χαρακτηριστικά όπως ύψος, χρώμα δέρματος και μαλλιών, σχήμα σώματος και άλλες ακριβείς ιδιότητες. Εργασία στο Μετασυμπαντικό οικοσύστημα γίνεται πιο ευέλικτο καθώς δεν απαιτεί webcam, βίντεο ή ποιοτικές κάμερες smartphone.

Το Facebook, το X και το Instagram μήνυσαν το Οχάιο για να σταματήσει ο νόμος για τα μέσα κοινωνικής δικτύωσης

Σε μια άλλη πρόσφατη εξέλιξη, η NetChoice, μια εταιρεία που εκπροσωπεί πλατφόρμες κοινωνικών μέσων όπως το Facebook, το Instagram και το X, υπέβαλε αγωγή ενάντια στον νέο νόμο του Οχάιο για τα μέσα κοινωνικής δικτύωσης στις 5 Ιανουαρίου.

Η εταιρεία κυκλοφόρησε μια αγωγή 34 σελίδων για να μπλοκάρει τον Νόμο γονικής ειδοποίησης μέσων κοινωνικής δικτύωσης του Οχάιο, ο οποίος θα είχε τεθεί σε ισχύ στις 15 Ιανουαρίου, αλλά μόνο σε λογαριασμούς που δημιουργήθηκαν μετά την εν λόγω ημερομηνία.

Ο νόμος για τα μέσα κοινωνικής δικτύωσης επιμένει ότι οι πλατφόρμες πρέπει να λαμβάνουν τη γονική συναίνεση για τους χρήστες τους ηλικίας 16 ετών και κάτω. Ωστόσο, η μήνυση αναφέρει ότι ο νόμος «θα θέσει ένα σημαντικό εμπόδιο στην ικανότητα ορισμένων ανηλίκων να μιλούν σε αυτούς τους ιστότοπους».

Σφραγίδα ώρας:

Περισσότερα από MetaNews