Deepfake real-time dapat dikalahkan dengan pandangan ke samping

Video deepfake real-time, yang digembar-gemborkan sebagai pembawa era baru ketidakpastian internet, tampaknya memiliki kelemahan mendasar: Mereka tidak dapat menangani profil samping.

Itulah kesimpulan yang ditarik dalam a melaporkan [PDF] dari Metaphysic.ai, yang mengkhususkan diri dalam avatar 3D, teknologi deepfake, dan rendering gambar 3D dari foto 2D. Dalam pengujian yang dilakukan menggunakan aplikasi deepfake real-time yang populer DeepFaceLive, belokan keras ke samping membuatnya mudah terlihat bahwa orang di layar tidak seperti yang terlihat. 

Beberapa model digunakan dalam pengujian – beberapa dari komunitas deepfake dan model yang termasuk dalam DeepFaceLive – tetapi tampilan wajah 90 derajat menyebabkan kedipan dan distorsi karena Jaringan Penyelarasan Wajah yang digunakan untuk memperkirakan pose berjuang untuk mencari tahu apa yang dilihatnya. 

“Kebanyakan algoritme penyelarasan wajah berbasis 2D hanya menetapkan 50-60 persen dari jumlah landmark dari tampilan muka ke tampilan profil,” kata kontributor Metaphysic.ai Martin Anderson, yang menulis studi tersebut. posting blog.

Tanpa dapat melihat titik referensi yang cukup, perangkat lunak tidak tahu bagaimana memproyeksikan wajah palsunya.

Menggelincirkan deepfake

Hanya dalam beberapa tahun, deepfake telah berkembang dari kemampuan untuk menempatkan wajah ke dalam gambar, hingga melakukan hal yang sama dalam video yang telah direkam sebelumnya. Kemajuan terbaru memungkinkan pertukaran wajah secara real-time, yang menghasilkan lebih banyak deepfake yang digunakan dalam penipuan online dan kejahatan dunia maya.

A belajar dari VMware menemukan bahwa dua pertiga responden menemukan deepfake berbahaya sebagai bagian dari serangan, meningkat 13 persen dari tahun sebelumnya. Perhatikan bahwa studi VMware tidak menentukan apakah serangan deepfake yang dihadapi responden direkam sebelumnya atau waktu nyata, dan hanya memiliki ukuran sampel 125 orang.

FBI memperingatkan pada bulan Juni tentang scammers yang menggunakan teknologi deepfake selama wawancara kerja jarak jauh. Mereka yang menggunakan teknik ini terlihat sedang melakukan wawancara untuk pekerjaan sensitif yang akan memberi mereka akses ke data pelanggan dan informasi kepemilikan bisnis, kata FBI. 

Video deepfake juga telah digunakan untuk mengelabui perangkat lunak pengenalan wajah langsung, menurut hingga startup penangkal penipuan online, Sensity AI. Tes Sensity menemukan bahwa sembilan dari sepuluh aplikasi vendor berhasil dibuka menggunakan video deepfake-altered yang dialirkan dari ponsel.

Kekhawatiran atas teknologi telah menjadi cukup serius bagi Uni Eropa untuk lulus hukum mengenakan denda pada perusahaan yang gagal memerangi deepfake dan sumber disinformasi lainnya. Cina juga menyusun hukum palsu yang mengancam hukuman hukum atas penyalahgunaan teknologi, serta memerlukan pemberian izin untuk setiap penggunaan deepfake yang sah, yang disebut China sebagai “sintesis mendalam.” 

Solusi untuk berapa lama?

Menurut laporan Metaphysic, bahkan teknologi seperti Nvidia medan pancaran saraf (NeRF), yang dapat menghasilkan pemandangan 3D hanya dari beberapa gambar diam, mengalami keterbatasan yang membuatnya sulit untuk mengembangkan tampilan profil samping yang baik. 

NeRFs “secara teori, dapat memperkirakan sejumlah sudut wajah hanya dari beberapa gambar. [Namun] masalah seputar resolusi, mobilitas wajah, dan stabilitas temporal menghalangi NeRF untuk menghasilkan data kaya yang diperlukan untuk melatih model autoencoder yang dapat menangani gambar profil dengan baik,” tulis Anderson. Kami telah menghubungi Nvidia untuk mempelajari lebih lanjut, tetapi belum mendapat tanggapan. 

Pembaca akan mencatat bahwa demonstrasi Metafisika hanya mencakup wajah selebriti, yang banyak dari tampilan profil telah ditangkap di film dan di foto. Sebaliknya, yang tidak terkenal di antara kita, tidak mungkin memiliki banyak foto profil samping.

"Kecuali Anda pernah ditangkap di beberapa titik, kemungkinan Anda tidak memiliki satu pun gambar seperti itu, baik di media sosial atau di koleksi offline," tulis Anderson.

Gaurav Oberoi, seorang insinyur perangkat lunak dan pendiri startup AI Lexion, menemukan hal yang sama ketika meneliti deepfake pada tahun 2018. Dalam sebuah posting di blognya, Oberoi merinci bagaimana deepfake komedian John Oliver ditumpangkan pada pembawa acara larut malam Jimmy Fallon bekerja dengan baik, tetapi tidak di profil.

“Secara umum, gambar pelatihan target Anda perlu mendekati orientasi, ekspresi wajah, dan pencahayaan dalam video yang ingin Anda tempelkan,” kata Oberoi. “Jadi, jika Anda membuat alat pertukaran wajah untuk kebanyakan orang, mengingat sebagian besar foto mereka akan menghadap ke depan, batasi pertukaran wajah untuk sebagian besar video yang menghadap ke depan.”

Artinya, penipu yang menggunakan deepfake real-time tidak mungkin memiliki data yang diperlukan untuk membuat tampilan profil samping yang tidak langsung dikenali sebagai palsu (asalkan mereka tidak menggunakan wajah selebriti yang difoto dengan baik) . 

Sampai kita tahu deepfakers telah menemukan cara untuk mengatasi kekurangan ini, ada baiknya untuk mengadopsi kebijakan meminta orang di ujung lain Zoom untuk menunjukkan kepada Anda tampilan samping wajah mereka – terkenal atau tidak. ®