Para peneliti di Institute for Intelligent Computing di Alibaba Group telah mengembangkan alat AI yang dikenal sebagai EMO: Emote Portrait Alive, yang menjadikan potret menjadi hidup.
Alat ini memungkinkan pengguna untuk menambahkan audio dan video ke gambar diam. Dengan menggunakan alat ini, seseorang dapat bermain-main dengan potret lama seperti La Gioconda karya Leonardo da Vinci, yang lebih dikenal sebagai Mona Lisa, membuatnya berbicara dan bernyanyi dengan pose kepala, gerakan, ekspresi wajah, dan sinkronisasi bibir yang akurat.
Alat pembuat video potret berbasis audio yang ekspresif
Dalam laporan mereka, โEMO: Emote Portrait Alive: Menghasilkan Video Potret Ekspresif dengan Model Difusi Audio2Video dalam Kondisi Lemah,โ para peneliti memberikan wawasan tentang alat baru mereka, fungsinya, dan cara menggunakannya untuk hasil yang sempurna.
Dengan alat AI pembuat potret berbasis audio yang ekspresif, pengguna dapat membuat video avatar vokal dengan ekspresi wajah. Menurut para peneliti, alat ini memungkinkan mereka membuat video dengan durasi berapa pun โtergantung pada panjang audio masukanโ.
โMasukkan gambar karakter tunggal dan audio vokal, seperti nyanyian, dan metode kami dapat menghasilkan video avatar vokal dengan ekspresi wajah ekspresif dan berbagai pose kepala,โ kata peneliti.
โMetode kami mendukung lagu dalam berbagai bahasa dan menghidupkan beragam gaya potret. Ini secara intuitif mengenali variasi nada dalam audio, memungkinkan pembuatan avatar yang dinamis dan kaya ekspresi.โ
Baca juga: OpenAI Mengklaim The New York Times โMeretasโ ChatGPT Untuk Mengembangkan Kasus Hak Cipta
Berbicara, bernyanyi dari potret
Menurut para peneliti, alat bertenaga AI ini tidak hanya memproses musik tetapi juga mengakomodasi audio lisan dalam berbagai bahasa.
โSelain itu, metode kami memiliki kemampuan untuk menganimasikan potret dari masa lalu, lukisan, dan model 3D serta konten yang dihasilkan AI, sehingga memberikan gerakan dan realisme yang nyata,โ kata para peneliti.
Tapi itu tidak berakhir di sana. Pengguna juga dapat bermain-main dengan potret dan gambar bintang film yang membawakan monolog atau pertunjukan dalam berbagai gaya dan bahasa.
Beberapa penggemar AI yang menggunakan platform X menggambarkannya sebagai โmenakjubkan.โ
2. Mona Lisa berbicara Shakespeare foto.twitter.com/26k29aAz1P
โ Min Choi (@minchoi) Februari 28, 2024
Menipisnya batas antara nyata dan AI
Berita tentang alat EMO oleh Alibaba telah membuat pengguna lain berpikir bahwa batasan antara AI dan kenyataan akan segera hilang seiring dengan terus dikeluarkannya produk-produk baru oleh perusahaan-perusahaan teknologi.
โPerbedaan antara AI dan dunia nyata kini semakin tipis,โ tulis Ruben pada X, sementara yang lain berpikir Tiktok akan segera dibanjiri dengan kreasi.
โIni pertama kalinya saya melihat hasil yang begitu presisi dan realistis. Video AI tahun ini menjanjikan kredibilitas,โ kata Paul Terselubung.
Meskipun ada yang berpendapat bahwa hal ini dapat membawa perubahan besar bagi para kreatif, Min Choi juga berhati-hati mengenai hal ini.
โMudah-mudahan hanya untuk hal-hal kreatif. Ini bisa berbahaya jika berada di tangan yang salah.โ
Menggunakan alat
Menjelaskan prosesnya, para peneliti menyoroti bahwa kerangka EMO memiliki dua tahap, yang pertama dikenal sebagai Frames Encoding, di mana ReferenNet digunakan untuk mengekstrak fitur dari gambar referensi dan bingkai gerak.
Tahap berikutnya adalah tahap Proses Difusi, di mana encoder audio yang telah dilatih sebelumnya โmemproses penyematan audioโ. Untuk menciptakan citra wajah yang sempurna, pengguna mengintegrasikan masker wilayah wajah dan noise multi-bingkai.
โMekanisme ini penting untuk menjaga identitas karakter dan memodulasi pergerakan karakter,โ demikian bunyi sebagian penjelasannya.
โSelain itu, Modul Temporal digunakan untuk memanipulasi dimensi temporal dan mengatur kecepatan gerak.โ
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://metanews.com/the-mona-lisa-can-now-talk-thanks-to-emo/
- :memiliki
- :adalah
- :bukan
- :Di mana
- 12
- 28
- 3d
- a
- Tentang Kami
- tentang itu
- mengakomodasi
- Menurut
- tepat
- menambahkan
- AI
- Bertenaga AI
- Alibaba
- Alibaba Group
- hidup
- memungkinkan
- juga
- an
- dan
- Menghidupkan
- Apa pun
- ADALAH
- sekitar
- AS
- At
- audio
- avatar
- Avatar
- BE
- Lebih baik
- antara
- kedua
- batas
- Membawa
- tapi
- by
- CAN
- kemampuan
- berhati-hati
- Changer
- karakter
- ChatGPT
- klaim
- komputasi
- Kondisi
- Konten
- terus
- hak cipta
- bisa
- membuat
- kreasi
- Kreatif
- materi iklan
- kredibel
- da
- Berbahaya
- mengantarkan
- dikerahkan
- dijelaskan
- mengembangkan
- dikembangkan
- berbeda
- Difusi
- Dimensi
- menghilang
- beberapa
- tidak
- lamanya
- dinamis
- Tepi
- embedding
- memungkinkan
- memungkinkan
- encoding
- akhir
- peminat
- penting
- pERNAH
- penjelasan
- ekspresi
- ekspresif
- ekstrak
- wajah
- terkenal
- Fitur
- perusahaan
- Pertama
- pertama kali
- kebanjiran
- Untuk
- Kerangka
- dari
- fungsi
- permainan
- game-changer
- menghasilkan
- menghasilkan
- generasi
- GitHub
- Memberikan
- Kelompok
- tangan
- Memiliki
- kepala
- dia
- High
- Disorot
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTTPS
- i
- identitas
- gambar
- gambar
- in
- memasukkan
- wawasan
- Lembaga
- mengintegrasikan
- Cerdas
- IT
- NYA
- jpg
- hanya
- dikenal
- Bahasa
- Panjang
- Hidup
- seperti kehidupan
- 'like'
- terbuat
- Membuat
- masker
- max-width
- mekanisme
- metode
- menit
- model
- model
- Modul
- gerakan
- gerak-gerik
- film
- musik
- New
- produk baru
- NY
- berikutnya
- Kebisingan
- sekarang
- of
- Tua
- on
- ONE
- hanya
- or
- Lainnya
- Lainnya
- kami
- lukisan
- bagian
- sempurna
- pertunjukan
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- Bermain
- potret
- potret
- pose
- perlu
- melestarikan
- proses
- Produk
- menjanjikan
- Baca
- nyata
- realisme
- realistis
- Kenyataan
- mengakui
- referensi
- wilayah
- melaporkan
- peneliti
- masing-masing
- mengakibatkan
- Hasil
- Tersebut
- terlihat
- tunggal
- segera
- lisan
- Tahap
- magang
- Bintang
- Masih
- seperti itu
- Mendukung
- sinkronisasi.
- Berbicara
- pembicaraan
- tech
- dari
- Terima kasih
- bahwa
- Grafik
- The New York Times
- mereka
- Mereka
- Sana.
- hal
- berpikir
- ini
- tahun ini
- waktu
- kali
- untuk
- mengambil
- alat
- benar
- dua
- bawah
- melepaskan
- menggunakan
- Pengguna
- menggunakan
- dimanfaatkan
- variasi
- berbagai
- Kecepatan
- Video
- Video
- vokal
- lemah
- yang
- sementara
- SIAPA
- akan
- dengan
- Salah
- tangan yang salah
- X
- tahun
- York
- zephyrnet.dll