Глубокие подделки в реальном времени можно победить, взглянув сбоку

Глубокие фейковые видео в реальном времени, провозглашенные вестниками новой эры интернет-неуверенности, по-видимому, имеют фундаментальный недостаток: они не могут обрабатывать сторонние профили.

Такой вывод сделан в отчету [PDF] от Metaphysic.ai, которая специализируется на 3D-аватарах, технологии дипфейков и рендеринге 3D-изображений из 2D-фотографий. В тестах он проводился с использованием популярного приложения для создания дипфейков в реальном времени. DeepFaceLive, резкий поворот в сторону сделал очевидным, что человек на экране не тот, кем кажется. 

В тесте использовалось несколько моделей — несколько из сообществ дипфейков и модели, включенные в DeepFaceLive, — но 90-градусный обзор лица вызывал мерцание и искажение, поскольку сеть выравнивания лица, используемая для оценки поз, изо всех сил пыталась понять, что она видит. 

«Большинство 2D-алгоритмов выравнивания лица присваивают только 50-60% ориентиров от вида лица спереди к виду профиля», — сказал участник Metaphysic.ai Мартин Андерсон, написавший исследование. блоге.

Не имея возможности видеть достаточное количество контрольных точек, программное обеспечение просто не знает, как спроецировать свое фальшивое лицо.

Срыв дипфейков

Всего за несколько лет дипфейки продвинулись от способности накладывать лица на изображения до того же в предварительно записанном видео. Последние достижения позволяют менять лица в режиме реального времени, что привело к увеличению количества дипфейков, используемых в онлайн-мошенничестве и киберпреступности.

A Исследование из VMware обнаружили, что две трети респондентов столкнулись с вредоносными дипфейками как частью атаки, что на 13% больше, чем в предыдущем году. Обратите внимание, что исследование VMware не указывало, были ли дипфейковые атаки, с которыми столкнулись респонденты, предварительно записанными или в режиме реального времени, и имело размер выборки всего 125 человек.

В июне ФБР предупредило о мошенниках, использующих технологию дипфейков. во время удаленных собеседований при приеме на работу. По словам ФБР, те, кто использует эту технику, были замечены на собеседованиях для получения конфиденциальных вакансий, которые дадут им доступ к данным клиентов и частной информации бизнеса. 

Видео Deepfake также использовалось для обмана программного обеспечения для распознавания лиц в реальном времени. согласно стартапу по борьбе с онлайн-мошенничеством Sensity AI. Тесты Sensity показали, что девять из десяти приложений поставщиков были успешно разблокированы с помощью видео, измененного дипфейком, которое транслировалось с мобильного телефона.

Опасения по поводу технологии стали достаточно серьезными, чтобы Европейский Союз принимать законы наложение штрафов на компании, которые не в состоянии в достаточной мере бороться с дипфейками и другими источниками дезинформации. Китай также подготовил дипфейковые законы которые угрожают юридическим наказанием за неправомерное использование технологии, а также требуют предоставления разрешения на любое законное использование дипфейков, которые Китай называет «глубоким синтезом». 

Обходной путь, как долго?

Согласно отчету Metaphysic, даже такие технологии, как Nvidia, поле нервного излучения (NeRF), который может генерировать 3D-сцену всего из нескольких неподвижных изображений, имеет ограничения, из-за которых сложно получить хороший вид сбоку. 

NeRF «теоретически может экстраполировать любое количество ракурсов лица всего из нескольких изображений. [Однако] проблемы, связанные с разрешением, подвижностью лица и временной стабильностью, мешают NeRF создавать обширные данные, необходимые для обучения модели автоэнкодера, которая может хорошо обрабатывать изображения профиля», — написал Андерсон. Мы связались с Nvidia, чтобы узнать больше, но пока не получили ответа. 

Читатели заметят, что в демонстрациях «Метафизики» участвовали только лица знаменитостей, множество профилей которых запечатлено на пленке и фотографиях. С другой стороны, малоизвестные среди нас вряд ли будут иметь под рукой много снимков в профиль.

«Если вы не были арестованы в какой-то момент, вполне вероятно, что у вас нет ни одного такого изображения ни в социальных сетях, ни в офлайн-коллекции», — написал Андерсон.

Гаурав Оберой, инженер-программист и основатель AI-стартапа Lexion, обнаружил почти то же самое, исследуя дипфейки в 2018 году. разместить в своем блоге, Оберой подробно рассказал, как хорошо работали дипфейки комика Джона Оливера, наложенные на ночного ведущего Джимми Фэллона, но не в профиль.

«Как правило, тренировочные изображения вашей цели должны приблизительно соответствовать ориентации, выражению лица и освещению в видеороликах, в которые вы хотите их вставить», — сказал Оберой. «Поэтому, если вы создаете инструмент смены лица для обычного человека, учитывая, что большинство фотографий из них будут обращены лицом вперед, ограничьте смену лица видео, обращенным в основном лицом вперед».

На самом деле это означает, что мошенники, использующие дипфейки в реальном времени, вряд ли будут располагать данными, необходимыми для создания бокового профиля, который нельзя сразу распознать как подделку (при условии, что они не используют хорошо сфотографированное лицо знаменитости). . 

До тех пор, пока мы не узнаем, что дипфейкеры не нашли способ обойти этот недостаток, хорошей идеей будет придерживаться политики, когда вы просите человека на другом конце Zoom показать вам его лицо сбоку — известное или нет. ®