Deepfakes i realtid kan slås af et sideblik

Deepfake-videoer i realtid, der er bebudet som bringerne af en ny tidsalder af internetusikkerhed, ser ud til at have en grundlæggende fejl: De kan ikke håndtere sideprofiler.

Det er konklusionen i en indberette [PDF] fra Metaphysic.ai, som har specialiseret sig i 3D-avatarer, deepfake-teknologi og gengivelse af 3D-billeder fra 2D-fotografier. I test er det udført ved hjælp af populær real-time deepfake app DeepFaceLive, en hård vending til siden gjorde det let tydeligt, at personen på skærmen ikke var den, de så ud til at være. 

Der blev brugt flere modeller i testen – flere fra deepfake-fællesskaber og modeller inkluderet i DeepFaceLive – men en 90-graders visning af ansigtet forårsagede flimren og forvrængning, da Facial Alignment Network, der blev brugt til at estimere stillinger, kæmpede for at finde ud af, hvad det så. 

"De fleste 2D-baserede ansigtsjusteringsalgoritmer tildeler kun 50-60 procent af antallet af vartegn fra en front-on face view til en profil view," sagde Metaphysic.ai bidragyder Martin Anderson, der skrev undersøgelsens blogindlæg.

Uden at kunne se nok referencepunkter ved softwaren simpelthen ikke, hvordan den skal projicere sit falske ansigt.

Afsporing af deepfakes

I løbet af få år har deepfakes udviklet sig fra at være i stand til at overlejre ansigter på billeder til at gøre det samme i forudindspillet video. De seneste fremskridt tillader ansigtsbytte i realtid, hvilket har resulteret i, at flere deepfakes er blevet brugt i onlinesvindel og cyberkriminalitet.

A studere fra VMware fandt ud af, at to tredjedele af de adspurgte stødte på ondsindede deepfakes som en del af et angreb, en stigning på 13 procent fra året før. Bemærk, at VMware-undersøgelsen ikke specificerede, om de deepfake-angreb, respondenterne stødte på, var forudoptaget eller i realtid, og kun havde en stikprøvestørrelse på 125 personer.

FBI advarede i juni om svindlere, der bruger deepfake-teknologi under fjernjobsamtaler. De, der bruger teknikken, er blevet set interviewe for følsomme job, der ville give dem adgang til kundedata og virksomheders proprietære information, sagde FBI. 

Deepfake-videoer er også blevet brugt til at narre live ansigtsgenkendelsessoftware, ifølge til online svigbekæmpende startup Sensity AI. Sensitys test viste, at ni ud af ti leverandørers apps blev låst op med succes ved hjælp af en deepfake-ændret video streamet fra en mobiltelefon.

Frygten over teknologien er blevet alvorlig nok til, at EU kan vedtage love opkræver bøder af virksomheder, der ikke i tilstrækkelig grad bekæmper deepfakes og andre kilder til desinformation. Kina har også udarbejdet dybe falske love der truer med juridisk straf for misbrug af teknologien, samt kræver en tilladelse til enhver lovlig brug af deepfakes, som Kina kalder "dyb syntese." 

En løsning for hvor længe?

Ifølge Metaphysics rapport, selv teknologi som Nvidias neuralt udstrålingsfelt (NeRF), som kan generere en 3D-scene fra kun få stillbilleder, lider af begrænsninger, der gør det vanskeligt at udvikle en god sideprofilvisning. 

NeRF'er "kan i teorien ekstrapolere et hvilket som helst antal ansigtsvinkler fra blot en håndfuld billeder. [Men] problemer omkring opløsning, ansigtsmobilitet og tidsmæssig stabilitet forhindrer NeRF i at producere de rige data, der er nødvendige for at træne en autoencoder-model, der kan håndtere profilbilleder godt," skrev Anderson. Vi har kontaktet Nvidia for at lære mere, men har ikke hørt tilbage endnu. 

Læsere vil bemærke, at Metaphysics demonstrationer kun omfattede berømthedsansigter, hvoraf masser af profilvisninger er blevet fanget på film og på billeder. De ikke-berømte blandt os har derimod næppe mange sideprofilskud på hånden.

"Medmindre du er blevet arresteret på et tidspunkt, er det sandsynligt, at du ikke engang har et sådant billede, hverken på sociale medier eller i en offline samling," skrev Anderson.

Gaurav Oberoi, en softwareingeniør og grundlægger af AI-startup Lexion, fandt meget det samme, da han forskede i deepfakes i 2018. I en indlæg på sin blog, Oberoi detaljerede, hvordan deepfakes af komikeren John Oliver overlejret over sent på aftenværten Jimmy Fallon fungerede godt, men ikke i profil.

"Generelt skal træningsbilleder af dit mål tilnærme orienteringen, ansigtsudtrykket og belysningen i de videoer, du vil sætte dem ind i," sagde Oberoi. "Så hvis du bygger et ansigtsbytteværktøj til den gennemsnitlige person, da de fleste billeder af dem vil være fremadvendte, skal du begrænse ansigtsbytte til for det meste fremadvendte videoer."

Hvad det i virkeligheden betyder, er, at svindlere, der bruger deepfakes i realtid, næppe har de nødvendige data til at skabe en sideprofilvisning, der ikke umiddelbart kan genkendes som falsk (forudsat at de ikke bruger et velfotograferet berømthedsansigt) . 

Indtil vi ved, at deepfakers har fundet en måde at omgå denne mangel på, er det en god idé at vedtage politikken med at bede personen i den anden ende af Zoom om at vise dig et sidebillede af deres ansigt – berømt eller ej. ®