Deepfakes แบบเรียลไทม์สามารถเอาชนะได้ด้วยการชำเลืองมอง

วิดีโอ Deepfake แบบเรียลไทม์ซึ่งได้รับการประกาศในฐานะผู้นำยุคใหม่ของความไม่แน่นอนทางอินเทอร์เน็ต ดูเหมือนจะมีข้อบกพร่องพื้นฐาน: พวกเขาไม่สามารถจัดการกับโปรไฟล์ด้านข้างได้

นั่นคือข้อสรุปที่วาดใน รายงาน [PDF] จาก Metaphysic.ai ซึ่งเชี่ยวชาญด้านอวาตาร์ 3 มิติ เทคโนโลยี Deepfake และการแสดงภาพ 3 มิติจากภาพถ่าย 2 มิติ ในการทดสอบนั้นดำเนินการโดยใช้แอพ deepfake แบบเรียลไทม์ยอดนิยม DeepFaceLiveการหันไปด้านข้างอย่างแข็งกร้าวทำให้เห็นได้ชัดว่าคนบนหน้าจอไม่ใช่คนที่พวกเขาดูเหมือน 

มีการใช้แบบจำลองหลายแบบในการทดสอบ – หลายรุ่นจากชุมชน Deepfake และแบบจำลองที่รวมอยู่ใน DeepFaceLive – แต่การมองใบหน้า 90 องศาทำให้เกิดการสั่นไหวและบิดเบี้ยวเนื่องจากเครือข่ายการจัดตำแหน่งใบหน้าใช้เพื่อประเมินท่าทางพยายามดิ้นรนเพื่อค้นหาว่าเห็นอะไร 

"อัลกอริธึมการจัดตำแหน่งใบหน้าแบบ 2D ส่วนใหญ่กำหนดเพียง 50-60 เปอร์เซ็นต์ของจำนวนจุดสังเกตจากมุมมองด้านหน้าไปยังมุมมองโปรไฟล์" ผู้ร่วมวิจัย Metaphysic.ai Martin Anderson ผู้เขียนรายงาน โพสต์บล็อก.

หากไม่เห็นจุดอ้างอิงเพียงพอ ซอฟต์แวร์ก็ไม่รู้ว่าจะแสดงใบหน้าปลอมอย่างไร

ตกราง deepfakes

ในเวลาเพียงไม่กี่ปี ความก้าวหน้าล่าสุดทำให้สามารถสลับใบหน้าแบบเรียลไทม์ได้ ซึ่งส่งผลให้มีการปลอมแปลงอย่างล้ำลึกมากขึ้นในการฉ้อโกงออนไลน์และอาชญากรรมทางอินเทอร์เน็ต

A ศึกษา จาก VMware พบว่า 13 ใน 125 ของผู้ตอบแบบสอบถามพบ Deepfakes ที่เป็นอันตรายซึ่งเป็นส่วนหนึ่งของการโจมตี เพิ่มขึ้น XNUMX เปอร์เซ็นต์จากปีก่อนหน้า โปรดทราบว่าการศึกษาของ VMware ไม่ได้ระบุว่าผู้ตอบการโจมตีแบบ Deepfake ถูกบันทึกล่วงหน้าหรือแบบเรียลไทม์ และมีขนาดกลุ่มตัวอย่างเพียง XNUMX คนเท่านั้น

FBI เตือนมิถุนายนถึงพวกมิจฉาชีพที่ใช้เทคโนโลยี Deepfake ระหว่างการสัมภาษณ์งานทางไกล. ผู้ที่ใช้เทคนิคนี้ถูกพบว่าสัมภาษณ์งานที่มีความละเอียดอ่อน ซึ่งจะทำให้พวกเขาเข้าถึงข้อมูลลูกค้าและข้อมูลที่เป็นกรรมสิทธิ์ของธุรกิจได้ FBI กล่าว 

วิดีโอ Deepfake ยังถูกใช้เพื่อหลอกซอฟต์แวร์จดจำใบหน้าแบบสด ตาม สู่การเริ่มต้นต่อสู้กับการฉ้อโกงออนไลน์ Sensity AI การทดสอบของ Sensity พบว่า XNUMX ใน XNUMX แอปของผู้ขายสามารถปลดล็อกได้สำเร็จโดยใช้วิดีโอที่มีการดัดแปลงแบบ Deepfake ซึ่งสตรีมจากโทรศัพท์มือถือ

ความกลัวต่อเทคโนโลยีได้กลายเป็นเรื่องร้ายแรงเพียงพอสำหรับสหภาพยุโรปที่จะ ผ่านกฎหมาย เรียกเก็บค่าปรับสำหรับบริษัทที่ไม่สามารถต่อสู้กับ Deepfax และแหล่งข้อมูลอื่น ๆ ที่บิดเบือนได้อย่างเพียงพอ จีนยังร่าง กฎหมายล้ำลึก ที่คุกคามการลงโทษทางกฎหมายสำหรับการใช้เทคโนโลยีในทางที่ผิด เช่นเดียวกับการต้องอนุญาตให้ใช้ Deepfakes อย่างถูกกฎหมาย ซึ่งจีนเรียกว่า "การสังเคราะห์เชิงลึก" 

วิธีแก้ปัญหานานแค่ไหน?

ตามรายงานของ Metaphysic แม้แต่เทคโนโลยีอย่าง Nvidia's สนามแสงประสาท (NeRF) ซึ่งสามารถสร้างฉาก 3 มิติจากภาพนิ่งเพียงไม่กี่ภาพ มีข้อจำกัดที่ทำให้การพัฒนามุมมองด้านข้างที่ดีเป็นเรื่องยาก 

ในทางทฤษฎีแล้ว NeRFs สามารถคาดการณ์มุมใบหน้าจำนวนเท่าใดก็ได้จากภาพเพียงไม่กี่ภาพ [อย่างไรก็ตาม] ปัญหาเกี่ยวกับความละเอียด การเคลื่อนตัวของใบหน้า และความเสถียรชั่วคราวขัดขวาง NeRF จากการสร้างข้อมูลที่จำเป็นในการฝึกโมเดลตัวเข้ารหัสอัตโนมัติที่สามารถจัดการกับรูปโปรไฟล์ได้ดี” Anderson เขียน เราได้ติดต่อ Nvidia เพื่อเรียนรู้เพิ่มเติมแล้ว แต่ยังไม่ได้รับการตอบกลับ 

ผู้อ่านจะสังเกตว่าการสาธิตของอภิปรัชญานั้นรวมเฉพาะใบหน้าของคนดัง ซึ่งมีการดูโปรไฟล์มากมายในภาพยนตร์และในภาพถ่าย ในทางกลับกัน คนที่ไม่มีชื่อเสียงในหมู่พวกเราไม่น่าจะมีภาพด้านข้างมากมายอยู่ในมือ

“ถ้าคุณไม่ถูกจับในบางครั้ง เป็นไปได้ว่าคุณไม่มีแม้แต่ภาพเดียว ไม่ว่าจะบนโซเชียลมีเดียหรือในคอลเลกชั่นออฟไลน์” Anderson เขียน

Gaurav Oberoi วิศวกรซอฟต์แวร์และผู้ก่อตั้ง Lexion สตาร์ทอัพ AI ค้นพบสิ่งเดียวกันเมื่อค้นคว้า Deepfakes ในปี 2018 ใน โพสต์บนบล็อกของเขา, Oberoi ให้รายละเอียดว่านักแสดงตลก John Oliver จอมปลอมจอมปลอมที่นำแสดงโดย Jimmy Fallon พิธีกรช่วงดึกนั้นทำงานได้ดีเพียงใด แต่ไม่ได้อยู่ในโปรไฟล์

“โดยทั่วไป รูปภาพการฝึกเป้าหมายของคุณจำเป็นต้องใกล้เคียงกับการวางแนว การแสดงออกทางสีหน้า และการจัดแสงในวิดีโอที่คุณต้องการจะใส่เข้าไป” Oberoi กล่าว “ดังนั้น หากคุณกำลังสร้างเครื่องมือสลับใบหน้าสำหรับคนทั่วไป เนื่องจากภาพถ่ายส่วนใหญ่จะเป็นแบบหันหน้าเข้าหากัน จำกัดการสลับหน้าเป็นวิดีโอที่หันหน้าเข้าหากันเป็นส่วนใหญ่”

ที่จริงแล้วหมายความว่านักต้มตุ๋นที่ใช้ Deepfakes แบบเรียลไทม์ไม่น่าจะมีข้อมูลที่จำเป็นในการสร้างมุมมองโปรไฟล์ด้านข้างที่ไม่สามารถระบุได้ในทันทีว่าเป็นของปลอม (โดยที่พวกเขาไม่ได้ใช้ใบหน้าคนดังที่ถ่ายรูปมาอย่างดี) . 

จนกว่าเราจะรู้ว่า Deepfakers ได้พบวิธีแก้ไขข้อบกพร่องนี้แล้ว เป็นความคิดที่ดีที่จะนำนโยบายในการขอให้บุคคลที่อยู่อีกด้านหนึ่งของ Zoom แสดงมุมมองด้านข้างของใบหน้าแก่คุณ ไม่ว่าคุณจะมีชื่อเสียงหรือไม่ก็ตาม ®