リアルタイムのディープフェイク動画は、インターネットの不確実性の新時代をもたらすものとして予告されていますが、基本的な欠陥があるようです。サイド プロファイルを処理できません。
それがAで導き出された結論です レポート [PDF] 3D アバター、ディープフェイク技術、3D 写真からの 2D イメージのレンダリングを専門とする Metaphysic.ai から。 人気のリアルタイム ディープフェイク アプリを使用して実施したテストでは、 ディープフェイスライブ、横に強く向きを変えると、画面上の人物が実際の人物ではないことがすぐに明らかになりました。
テストでは複数のモデルが使用されました。そのいくつかは、ディープフェイク コミュニティと DeepFaceLive に含まれるモデルからのものでした。しかし、ポーズを推定するために使用されるフェイシャル アラインメント ネットワークが、何を見ているのかを理解するのに苦労したため、顔の 90 度ビューはちらつきと歪みを引き起こしました。
ディープフェイクのジム・キャリーを示す Metaphysic のテストからの XNUMX 枚の画像と、横を向いた結果。
「ほとんどの 2D ベースの顔の位置合わせアルゴリズムは、正面から見た顔から横顔のビューまで、ランドマークの数の 50 ～ 60% しか割り当てません」と、Metaphysic.ai の寄稿者である Martin Anderson は述べています。 ブログ投稿.
十分な基準点を確認できなければ、ソフトウェアは偽の顔を投影する方法を単純に知りません。
ディープフェイクの脱線
ほんの数年で、ディープフェイクは、画像に顔を重ね合わせることができるものから、事前に記録されたビデオで同じことを行うものへと進歩しました. 最新の進歩により、リアルタイムの顔交換が可能になり、オンライン詐欺やサイバー犯罪で使用されるディープフェイクが増えています.
A 研究 VMware の調査では、回答者の 13 分の 125 が攻撃の一環として悪意のあるディープフェイクに遭遇したことがわかりました。これは、前年から XNUMX% 増加しています。 VMware の調査では、回答者が遭遇したディープフェイク攻撃が事前に記録されたものかリアルタイムのものかは特定されておらず、サンプル サイズは XNUMX 人のみであったことに注意してください。
FBI は XNUMX 月に、ディープフェイク技術を使用した詐欺師について警告しました リモートでの就職面接中. FBI によると、この手法を使用している人々は、顧客データや企業の機密情報にアクセスできる機密性の高い仕事の面接を行っているのが発見されています。
ディープフェイク動画は、ライブの顔認識ソフトウェアをだますためにも使用されています。 従った オンライン詐欺対策スタートアップ Sensity AI に。 Sensity のテストでは、XNUMX 社中 XNUMX 社のベンダーのアプリが、携帯電話からストリーミングされたディープフェイクで改ざんされたビデオを使用してロック解除に成功したことがわかりました。
この技術に対する懸念は、欧州連合が 合格法 ディープフェイクやその他の偽情報源と十分に闘わなかった企業に罰金を課す。 中国も起草 ディープフェイク法 中国が「深層合成」と呼んでいるディープフェイクの合法的な使用には許可が必要なだけでなく、技術の悪用に対する法的処罰を脅かすものです。
回避策はいつまで？
Metaphysic のレポートによると、Nvidia のような技術でさえ、 神経放射輝度場 (NeRF) は、わずか数枚の静止画像から 3D シーンを生成できますが、適切な側面図を作成するのが難しいという制限があります。
NeRF は「理論的には、ほんの一握りの写真から顔の角度をいくつでも推測できます。 [しかし]解像度、顔の可動性、および時間的安定性に関する問題により、NeRF はプロファイル画像を適切に処理できるオートエンコーダー モデルをトレーニングするために必要な豊富なデータを生成できません」とアンダーソン氏は書いています。 詳細については Nvidia に連絡しましたが、まだ連絡がありません。
読者は、Metaphysic のデモンストレーションには有名人の顔しか含まれていないことに気付くでしょう。有名人の顔の多くは、フィルムや写真に収められています。 一方、私たちの間で有名でない人は、多くの横顔のショットを手元に持っている可能性は低い.
「ある時点で逮捕されていない限り、ソーシャル メディアやオフライン コレクションにそのような画像が XNUMX つもない可能性があります」とアンダーソン氏は書いています。
ソフトウェア エンジニアで AI スタートアップ Lexion の創設者である Gaurav Oberoi は、2018 年にディープフェイクを調査したときに、ほとんど同じことを発見しました。 彼のブログに投稿する、オベロイは、コメディアンのジョン・オリバーのディープフェイクが深夜のホストであるジミー・ファロンに重ねられた方法を詳しく説明しましたが、プロファイルではありませんでした.
「一般に、ターゲットのトレーニング画像は、貼り付けたいビデオの向き、顔の表情、および照明に近似する必要があります」と Oberoi 氏は述べています。 「したがって、平均的な人向けの顔交換ツールを構築している場合、ほとんどの写真が正面を向いていることを考えると、顔の交換を主に前向きのビデオに限定してください。」
つまり、リアルタイム ディープフェイクを使用する詐欺師は、すぐに偽物と認識できない横顔を作成するために必要なデータを持っている可能性は低いということです (ただし、有名人の顔がよく写っている場合を除きます)。 .
ディープフェイカーがこの欠点を回避する方法を見つけるまでは、Zoom の反対側にいる人に、有名かどうかにかかわらず、顔の側面図を見せるように依頼するというポリシーを採用することをお勧めします。 ®
