Дипфейки в реальному часі можна подолати косим поглядом

Відео з глибокими фейками в реальному часі, проголошені новинками нової ери невизначеності в Інтернеті, мають фундаментальний недолік: вони не можуть працювати з бічними профілями.

Такий висновок зроблено в а звітом [PDF] від Metaphysic.ai, який спеціалізується на 3D-аватарах, технології deepfake і рендерингу 3D-зображень із 2D-фотографій. У тестах він проводився за допомогою популярного додатка deepfake у реальному часі DeepFaceLiveрізкий поворот убік зробив очевидним, що людина на екрані не є тим, ким вона здається. 

У тесті було використано кілька моделей – кілька зі спільнот deepfake і моделей, включених у DeepFaceLive, – але огляд обличчя під кутом 90 градусів викликав мерехтіння та спотворення, оскільки мережа вирівнювання обличчя, яка використовується для оцінки поз, намагалася зрозуміти, що вона бачить. 

«Більшість алгоритмів вирівнювання обличчя на основі 2D призначають лише 50-60 відсотків кількості орієнтирів із вигляду обличчя спереду на вигляд профілю», — сказав автор Metaphysic.ai Мартін Андерсон, автор дослідження. блог.

Не маючи можливості побачити достатньо опорних точок, програмне забезпечення просто не знає, як спроектувати своє фальшиве обличчя.

Знищення дипфейків

Лише за кілька років deepfakes просунулися від можливості накладати обличчя на зображення до того ж у попередньо записаному відео. Останні досягнення дозволяють змінювати обличчя в режимі реального часу, що призвело до збільшення кількості глибоких фейків, які використовуються в онлайн-шахрайстві та кіберзлочинах.

A вчитися від VMware виявили, що дві третини респондентів зіткнулися зі зловмисними дипфейками як частиною атаки, що на 13 відсотків більше, ніж у попередньому році. Зауважте, що дослідження VMware не вказувало, чи були атаки deepfake, з якими стикалися респонденти, попередньо записані чи в режимі реального часу, а вибірка складала лише 125 осіб.

У червні ФБР попередило про шахраїв, які використовують технологію deepfake під час дистанційної співбесіди. Ті, хто використовує цю техніку, були помічені на співбесідах на конфіденційні посади, які дадуть їм доступ до даних про клієнтів і конфіденційної інформації компаній, повідомило ФБР. 

Відео Deepfake також використовували, щоб обдурити програмне забезпечення для розпізнавання обличчя в реальному часі, відповідно стартапу Sensity AI, що бореться з онлайн-шахрайством. Тести Sensity показали, що дев’ять із десяти додатків постачальників було успішно розблоковано за допомогою підробленого відео, яке транслювалося з мобільного телефону.

Побоювання щодо технології стали досить серйозними для Європейського Союзу приймати закони накладення штрафів на компанії, які недостатньо борються з дипфейками та іншими джерелами дезінформації. Китай також брав участь deepfake закони які загрожують юридичним покаранням за неправильне використання технології, а також вимагають надання дозволу на будь-яке законне використання deepfakes, що в Китаї називають «глибоким синтезом». 

Як довго можна вирішити проблему?

Згідно зі звітом Metaphysic, навіть такі технології, як Nvidia поле нейронного випромінювання (NeRF), який може генерувати 3D-сцену лише з кількох нерухомих зображень, страждає від обмежень, які ускладнюють створення хорошого бічного профілю. 

NeRF «теоретично може екстраполювати будь-яку кількість ракурсів обличчя лише з кількох зображень. [Однак] проблеми, пов’язані з роздільною здатністю, рухливістю обличчя та тимчасовою стабільністю, заважають NeRF створювати багаті дані, необхідні для навчання моделі автокодувальника, яка може добре обробляти зображення профілю”, – написав Андерсон. Ми звернулися до Nvidia, щоб дізнатися більше, але ще не отримали відповіді. 

Читачі зауважать, що демонстрації Metaphysic включали лише обличчя знаменитостей, багато профілів яких було зафіксовано на плівку та фотографії. З іншого боку, невідомі серед нас навряд чи матимуть під рукою багато знімків у профіль.

«Якщо вас не заарештували в якийсь момент, цілком ймовірно, що у вас немає жодного такого зображення в соціальних мережах або в офлайн-колекції», — написав Андерсон.

Гаурав Оберої, інженер-програміст і засновник стартапу Lexion зі штучним інтелектом, виявив приблизно те саме, досліджуючи глибокі фейки в 2018 році. опублікувати у своєму блозі, Оберой розповів, як глибокі фейки коміка Джона Олівера, накладені на ведучого Джиммі Феллона, працювали добре, але не в профіль.

«Загалом, тренувальні зображення вашої цілі повинні приблизно відповідати орієнтації, виразу обличчя та освітленню у відео, у яке ви хочете їх вставити», — сказав Оберой. «Тож якщо ви створюєте інструмент заміни обличчя для звичайної людини, враховуючи, що більшість фотографій буде орієнтованою на передню сторону, обмежте заміну обличчя лише відео, спрямованими переважно вперед».

По суті, це означає, що шахраї, які використовують глибокі фейки в реальному часі, навряд чи матимуть дані, необхідні для створення бічного профілю, який не можна відразу розпізнати як фальшивий (за умови, що вони не використовують добре сфотографоване обличчя знаменитості). . 

Поки ми не дізнаємося, що дипфейкери знайшли спосіб обійти цей недолік, було б гарною ідеєю прийняти політику, попросивши людину на іншому кінці Zoom показати вам вид збоку свого обличчя – відомого чи ні. ®