被誉为互联网不确定性新时代带来者的实时 deepfake 视频似乎有一个根本缺陷：它们无法处理侧面轮廓。
这就是在a中得出的结论 报告 [PDF] 来自 Metaphysic.ai，该公司专门研究 3D 化身、deepfake 技术和从 3D 照片渲染 2D 图像。 在使用流行的实时 deepfake 应用程序进行的测试中 深脸直播，硬转向一边，很明显屏幕上的人并不是他们看起来的那个人。
测试中使用了多个模型——其中几个来自 deepfake 社区和 DeepFaceLive 中包含的模型——但 90 度的面部视图会导致闪烁和失真，因为用于估计姿势的面部对齐网络难以弄清楚它看到的是什么。
来自形而上学测试的一对图像显示了一个深造的金凯瑞，以及转向一边的结果。
“大多数基于 2D 的面部对齐算法仅将 50-60% 的地标从正面视图分配到侧面视图，”撰写该研究的 Metaphysic.ai 撰稿人 Martin Anderson 说 博客文章.
由于无法看到足够的参考点，该软件根本不知道如何投影它的假脸。
出轨深造
在短短几年的时间里，deepfakes 已经从能够将人脸叠加到图像上，发展到在预先录制的视频中做同样的事情。 最新进展允许实时换脸，这导致更多的深度伪造被用于在线欺诈和网络犯罪。
A 根据一项研究， 来自 VMware 的调查发现，三分之二的受访者在攻击中遇到了恶意深度伪造，比上一年增加了 13%。 请注意，VMware 研究没有具体说明受访者遇到的 deepfake 攻击是预先记录的还是实时的，样本量仅为 125 人。
FBI 在 XNUMX 月警告使用 deepfake 技术的诈骗者 在远程工作面试中. FBI 表示，那些使用该技术的人被发现面试敏感工作，这些工作将使他们能够访问客户数据和企业的专有信息。
Deepfake 视频也被用来欺骗实时面部识别软件， 根据 到在线打击欺诈的初创公司 Sensity AI。 Sensity 的测试发现，十个供应商的应用程序中有九个是使用从手机流式传输的深度伪造视频成功解锁的。
对该技术的担忧已经严重到足以让欧盟 通过法律 对未能充分打击深度造假和其他虚假信息来源的公司处以罚款。 中国还起草了 深度伪造法律 这威胁到对滥用该技术的法律惩罚，以及要求对任何合法使用深度伪造的许可给予许可，中国称之为“深度合成”。
解决方法多长时间？
根据 Metaphysic 的报告，即使是像 Nvidia 这样的技术 神经辐射场 (NeRF) 只能从几张静止图像中生成 3D 场景，但其局限性在于难以开发出良好的侧面剖面图。
NeRF“理论上可以从几张图片中推断出任意数量的面部角度。 [然而] 围绕分辨率、面部移动性和时间稳定性的问题阻碍了 NeRF 生成训练能够很好地处理个人资料图像的自动编码器模型所需的丰富数据，”安德森写道。 我们已联系英伟达了解更多信息，但尚未收到回复。
读者会注意到，形而上学的演示只包括名人面孔，其中大量的个人资料视图已在电影和照片中捕捉到。 另一方面，我们当中不知名的人不太可能手头有很多侧面照片。
“除非你在某个时候被捕过，否则你很可能连一张这样的照片都没有，无论是在社交媒体上还是在离线收藏中，”安德森写道。
人工智能初创公司 Lexion 的软件工程师和创始人 Gaurav Oberoi 在 2018 年研究 deepfakes 时发现了很多相同的情况。 在他的博客上发帖, Oberoi 详细介绍了喜剧演员约翰·奥利弗 (John Oliver) 的深度伪造如何叠加在深夜主持人吉米·法伦 (Jimmy Fallon) 上，效果很好，但不是在个人资料中。
“一般来说，你的目标的训练图像需要近似于你想要将它们粘贴到的视频中的方向、面部表情和照明，”Oberoi 说。 “因此，如果你正在为普通人构建一个面部交换工具，考虑到他们中的大多数照片将是正面的，那么将面部交换限制在主要面向前方的视频中。”
实际上，这意味着使用实时深度伪造的诈骗者不太可能拥有创建无法立即识别为假的侧面视图所需的数据（前提是他们没有使用拍摄精美的名人脸） .
在我们知道 deepfaker 找到解决这个缺点的方法之前，最好采用让 Zoom 另一端的人向您展示他们脸部的侧面的政策——无论是否出名。 ®
