Realtime deepfakes kunnen worden verslagen door een zijdelingse blik

Realtime deepfake-video's, aangekondigd als de brengers van een nieuw tijdperk van internetonzekerheid, lijken een fundamentele fout te hebben: ze kunnen geen zijprofielen aan.

Dat is de conclusie die wordt getrokken in a verslag [PDF] van Metaphysic.ai, dat gespecialiseerd is in 3D-avatars, deepfake-technologie en het renderen van 3D-beelden van 2D-foto's. In tests uitgevoerd met behulp van de populaire realtime deepfake-app DeepFaceLive, maakte een harde draai naar de zijkant duidelijk dat de persoon op het scherm niet was wie hij leek te zijn. 

Er werden meerdere modellen gebruikt in de test – verschillende van deepfake-gemeenschappen en modellen die zijn opgenomen in DeepFaceLive – maar een 90-graden beeld van het gezicht veroorzaakte flikkering en vervorming omdat het Facial Alignment Network dat werd gebruikt om poses in te schatten, moeite had om erachter te komen wat het zag. 

"De meeste op 2D gebaseerde algoritmen voor gezichtsuitlijning wijzen slechts 50-60 procent van het aantal oriëntatiepunten toe van een frontaal gezichtsaanzicht tot een profielaanzicht", zegt Martin Anderson, een medewerker van Metaphysic.ai, die de studie schreef. blogpost.

Zonder voldoende referentiepunten te kunnen zien, weet de software gewoon niet hoe hij zijn nepgezicht moet projecteren.

Ontsporende deepfakes

In slechts een paar jaar tijd zijn deepfakes geëvolueerd van het kunnen plaatsen van gezichten op afbeeldingen, naar hetzelfde doen in vooraf opgenomen video. De nieuwste ontwikkelingen maken realtime face swapping mogelijk, wat ertoe heeft geleid dat er meer deepfakes worden gebruikt bij online fraude en cybercriminaliteit.

A studies van VMware ontdekte dat tweederde van de respondenten kwaadaardige deepfakes tegenkwam als onderdeel van een aanval, een stijging van 13 procent ten opzichte van het voorgaande jaar. Merk op dat het VMware-onderzoek niet specificeerde of de deepfake-aanvallen die respondenten tegenkwamen vooraf waren opgenomen of in realtime, en slechts een steekproefgrootte van 125 mensen hadden.

De FBI waarschuwde in juni voor oplichters die deepfake-technologie gebruiken tijdens sollicitatiegesprekken op afstand. Degenen die de techniek gebruiken, zijn gespot tijdens sollicitatiegesprekken voor gevoelige banen die hen toegang zouden geven tot klantgegevens en bedrijfseigen informatie, aldus de FBI. 

Deepfake-video's zijn ook gebruikt om live gezichtsherkenningssoftware te misleiden, volgens tot online fraudebestrijdende startup Sensity AI. Uit tests van Sensity bleek dat negen van de tien apps van leveranciers met succes werden ontgrendeld met behulp van een deepfake-veranderde video die werd gestreamd vanaf een mobiele telefoon.

De angst voor de technologie is ernstig genoeg geworden voor de Europese Unie om wetten goedkeuren boetes opleggen aan bedrijven die deepfakes en andere bronnen van desinformatie onvoldoende bestrijden. China ook opgesteld deepfake-wetten die dreigen met juridische bestraffing voor misbruik van de technologie, evenals het vereisen van toestemming voor elk legitiem gebruik van deepfakes, wat China 'diepe synthese' noemt. 

Een oplossing voor hoe lang?

Volgens het rapport van Metaphysic kan zelfs technologie zoals die van Nvidia neurale stralingsveld (NeRF), dat een 3D-scène kan genereren uit slechts een paar stilstaande beelden, heeft beperkingen die het lastig maken om een ​​goed zijprofiel te ontwikkelen. 

NeRF's "kunnen in theorie een willekeurig aantal gezichtshoeken extrapoleren uit slechts een handvol foto's. [Echter] problemen rond resolutie, gezichtsmobiliteit en temporele stabiliteit belemmeren NeRF om de rijke gegevens te produceren die nodig zijn om een ​​autoencoder-model te trainen dat profielafbeeldingen goed aankan", schreef Anderson. We hebben contact opgenomen met Nvidia voor meer informatie, maar hebben nog niets gehoord. 

Lezers zullen opmerken dat de demonstraties van Metaphysic alleen gezichten van beroemdheden bevatten, waarvan veel profielweergaven op film en op foto's zijn vastgelegd. De niet-beroemdheden onder ons daarentegen zullen waarschijnlijk niet veel zijprofielfoto's bij de hand hebben.

"Tenzij je ooit bent gearresteerd, heb je waarschijnlijk niet eens zo'n afbeelding, noch op sociale media, noch in een offline verzameling", schreef Anderson.

Gaurav Oberoi, een software-engineer en oprichter van AI-startup Lexion, vond vrijwel hetzelfde bij het onderzoeken van deepfakes in 2018. In een post op zijn blog, Oberoi gedetailleerd hoe deepfakes van komiek John Oliver bovenop de late-night host Jimmy Fallon werkten goed, maar niet in profiel.

"Over het algemeen moeten trainingsafbeeldingen van je doelwit de oriëntatie, gezichtsuitdrukkingen en verlichting benaderen in de video's waarin je ze wilt plakken," zei Oberoi. "Dus als je een tool voor het verwisselen van gezichten voor de gemiddelde persoon bouwt, aangezien de meeste foto's van hen naar voren gericht zijn, beperk je het verwisselen van gezichten tot voornamelijk naar voren gerichte video's."

Wat dat in feite betekent, is dat oplichters die realtime deepfakes gebruiken waarschijnlijk niet over de gegevens beschikken die nodig zijn om een ​​zijprofiel te maken dat niet meteen als nep herkenbaar is (op voorwaarde dat ze geen goed gefotografeerd beroemdheidsgezicht gebruiken) . 

Totdat we weten dat deepfakers een manier hebben gevonden om deze tekortkoming te omzeilen, is het een goed idee om de persoon aan de andere kant van Zoom te vragen om je een zijaanzicht van hun gezicht te laten zien - beroemd of niet. ®