Echtzeit-Deepfakes können durch einen Seitenblick geschlagen werden

Echtzeit-Deepfake-Videos, die als Überbringer eines neuen Zeitalters der Internet-Unsicherheit angekündigt werden, scheinen einen grundlegenden Fehler zu haben: Sie können nicht mit Seitenprofilen umgehen.

Das ist die Schlussfolgerung in a berichten [PDF] von Metaphysic.ai, das sich auf 3D-Avatare, Deepfake-Technologie und das Rendern von 3D-Bildern aus 2D-Fotografien spezialisiert hat. In Tests, die mit der beliebten Echtzeit-Deepfake-App durchgeführt wurden DeepFaceLive, eine harte Drehung zur Seite machte deutlich, dass die Person auf dem Bildschirm nicht die war, die sie zu sein schien. 

Im Test wurden mehrere Modelle verwendet – mehrere aus Deepfake-Communities und Modelle, die in DeepFaceLive enthalten sind – aber eine 90-Grad-Ansicht des Gesichts verursachte Flimmern und Verzerrungen, da das Facial Alignment Network, das zur Schätzung von Posen verwendet wurde, Schwierigkeiten hatte, herauszufinden, was es sah. 

„Die meisten 2D-basierten Gesichtsausrichtungsalgorithmen ordnen nur 50–60 Prozent der Anzahl der Orientierungspunkte von einer frontalen Gesichtsansicht einer Profilansicht zu“, sagte Metaphysic.ai-Mitarbeiter Martin Anderson, der die Studie verfasst hat Blog-Post.

Ohne genügend Referenzpunkte sehen zu können, weiß die Software einfach nicht, wie sie ihr falsches Gesicht projizieren soll.

Entgleisende Deepfakes

Innerhalb weniger Jahre haben sich Deepfakes von der Möglichkeit, Gesichter auf Bilder zu überlagern, zu vorab aufgezeichneten Videos entwickelt. Die neuesten Fortschritte ermöglichen den Austausch von Gesichtern in Echtzeit, was dazu geführt hat, dass mehr Deepfakes bei Online-Betrug und Cyberkriminalität verwendet werden.

A Studie von VMware stellte fest, dass zwei Drittel der Befragten im Rahmen eines Angriffs auf bösartige Deepfakes stießen, eine Steigerung von 13 Prozent gegenüber dem Vorjahr. Beachten Sie, dass in der VMware-Studie nicht angegeben wurde, ob die Deepfake-Angriffe, denen die Befragten begegneten, vorab aufgezeichnet oder in Echtzeit erfolgten, und dass die Stichprobengröße nur 125 Personen betrug.

Das FBI warnte im Juni vor Betrügern, die Deepfake-Technologie verwenden bei Remote-Bewerbungsgesprächen. Diejenigen, die die Technik anwenden, wurden bei Vorstellungsgesprächen für sensible Jobs gesichtet, die ihnen Zugang zu Kundendaten und geschützten Informationen von Unternehmen verschaffen würden, sagte das FBI. 

Deepfake-Videos wurden auch verwendet, um Live-Gesichtserkennungssoftware auszutricksen. gemäß an das Online-Betrugsbekämpfungs-Startup Sensity AI. Die Tests von Sensity ergaben, dass neun von zehn Apps von Anbietern erfolgreich mit einem Deepfake-veränderten Video entsperrt wurden, das von einem Mobiltelefon gestreamt wurde.

Die Befürchtungen über die Technologie sind für die Europäische Union ernst genug geworden Gesetze verabschieden Verhängung von Bußgeldern gegen Unternehmen, die Deepfakes und andere Desinformationsquellen nicht ausreichend bekämpfen. China auch eingezogen Deepfake-Gesetze die eine rechtliche Bestrafung für den Missbrauch der Technologie androhen und eine Genehmigung für jede legitime Verwendung von Deepfakes erfordern, was China als „tiefe Synthese“ bezeichnet. 

Ein Workaround für wie lange?

Laut dem Bericht von Metaphysic sogar Technologie wie die von Nvidia neurales Strahlungsfeld (NeRF), das eine 3D-Szene aus nur wenigen Standbildern erzeugen kann, leidet unter Einschränkungen, die es schwierig machen, eine gute Seitenprofilansicht zu entwickeln. 

NeRFs „können theoretisch eine beliebige Anzahl von Gesichtswinkeln aus nur einer Handvoll Bildern extrapolieren. [Jedoch] Probleme in Bezug auf Auflösung, Gesichtsmobilität und zeitliche Stabilität hindern NeRF daran, die reichhaltigen Daten zu produzieren, die zum Trainieren eines Autoencodermodells erforderlich sind, das Profilbilder gut verarbeiten kann“, schrieb Anderson. Wir haben uns an Nvidia gewandt, um mehr zu erfahren, aber noch keine Antwort erhalten. 

Die Leser werden feststellen, dass die Demonstrationen von Metaphysic nur prominente Gesichter enthielten, von denen viele Profilansichten auf Film und Fotos festgehalten wurden. Die Nicht-Berühmten unter uns hingegen werden wahrscheinlich nicht viele Seitenprofilaufnahmen zur Hand haben.

„Wenn Sie nicht irgendwann verhaftet wurden, haben Sie wahrscheinlich nicht einmal ein solches Bild, weder in den sozialen Medien noch in einer Offline-Sammlung“, schrieb Anderson.

Gaurav Oberoi, ein Software-Ingenieur und Gründer des KI-Startups Lexion, fand 2018 bei der Recherche zu Deepfakes ein ähnliches Ergebnis. In a auf seinem Blog posten, Oberoi erläuterte, wie Deepfakes des Komikers John Oliver, die über den Late-Night-Moderator Jimmy Fallon gelegt wurden, gut funktionierten, aber nicht im Profil.

„Im Allgemeinen müssen Trainingsbilder Ihres Ziels der Ausrichtung, dem Gesichtsausdruck und der Beleuchtung in den Videos entsprechen, in die Sie sie einfügen möchten“, sagte Oberoi. „Wenn Sie also ein Tool zum Austauschen von Gesichtern für die durchschnittliche Person entwickeln, beschränken Sie den Austausch von Gesichtern auf hauptsächlich nach vorne gerichtete Videos, da die meisten Fotos von ihnen nach vorne gerichtet sind.“

Das bedeutet, dass Betrüger, die Echtzeit-Deepfakes verwenden, wahrscheinlich nicht über die erforderlichen Daten verfügen, um eine Seitenprofilansicht zu erstellen, die nicht sofort als Fälschung erkennbar ist (vorausgesetzt, sie verwenden kein gut fotografiertes Promi-Gesicht). . 

Bis wir wissen, dass Deepfaker einen Weg gefunden haben, dieses Manko zu umgehen, ist es eine gute Idee, die Person am anderen Ende von Zoom zu bitten, Ihnen eine Seitenansicht ihres Gesichts zu zeigen – ob berühmt oder nicht. ®