Deepfakes i sanntid kan bli slått av et sideblikk

Deepfake-videoer i sanntid, varslet som bringerne til en ny tidsalder av internett-usikkerhet, ser ut til å ha en grunnleggende feil: De kan ikke håndtere sideprofiler.

Det er konklusjonen trukket i en rapporterer [PDF] fra Metaphysic.ai, som spesialiserer seg på 3D-avatarer, deepfake-teknologi og gjengivelse av 3D-bilder fra 2D-fotografier. I tester den utførte ved hjelp av en populær sanntidsdeepfake-app DeepFaceLive, en hard sving til siden gjorde det klart at personen på skjermen ikke var den de så ut til å være. 

Flere modeller ble brukt i testen – flere fra deepfake-miljøer og modeller inkludert i DeepFaceLive – men en 90-graders visning av ansiktet forårsaket flimring og forvrengning da Facial Alignment Network brukte til å estimere positurer slet med å finne ut hva det så. 

"De fleste 2D-baserte ansiktsjusteringsalgoritmer tildeler bare 50-60 prosent av antall landemerker fra en front-on face view til en profilvisning," sa Metaphysic.ai-bidragsyter Martin Anderson, som skrev studiens blogginnlegg.

Uten å kunne se nok referansepunkter, vet programvaren rett og slett ikke hvordan den skal projisere sitt falske ansikt.

Avsporing av deepfakes

I løpet av bare noen få år har deepfakes avansert fra å kunne legge ansikter over bilder, til å gjøre det samme i forhåndsinnspilt video. De siste fremskritt tillater ansiktsbytte i sanntid, noe som har resultert i at flere dype forfalskninger har blitt brukt i nettsvindel og nettkriminalitet.

A studere fra VMware fant at to tredjedeler av respondentene møtte ondsinnede deepfakes som en del av et angrep, en økning på 13 prosent fra året før. Merk at VMware-studien ikke spesifiserte om deepfake-angrepene respondentene møtte var forhåndsinnspilt eller sanntid, og hadde bare en prøvestørrelse på 125 personer.

FBI advarte i juni om svindlere som bruker deepfake-teknologi under eksterne jobbintervjuer. De som bruker teknikken har blitt sett intervjue for sensitive jobber som ville gi dem tilgang til kundedata og bedrifters proprietære informasjon, sa FBI. 

Deepfake-videoer har også blitt brukt til å lure live ansiktsgjenkjenningsprogramvare, ifølge til nettbasert svindelbekjempende oppstart Sensity AI. Sensitys tester fant at ni av ti leverandørers apper ble låst opp med en deepfake-endret video streamet fra en mobiltelefon.

Frykten for teknologien har blitt alvorlig nok til at EU kan gjøre det vedta lover bøter på selskaper som ikke klarer å bekjempe deepfakes og andre kilder til desinformasjon tilstrekkelig. Kina utarbeidet også dypfalske lover som truer med juridisk avstraffelse for misbruk av teknologien, i tillegg til at det kreves en tillatelse for all lovlig bruk av deepfakes, som Kina kaller «dyp syntese». 

En løsning for hvor lenge?

Ifølge Metaphysics rapport, til og med teknologi som Nvidias nevrale utstrålingsfelt (NeRF), som kan generere en 3D-scene fra bare noen få stillbilder, lider av begrensninger som gjør det vanskelig å utvikle en god sideprofilvisning. 

NeRFs "kan i teorien ekstrapolere et hvilket som helst antall ansiktsvinkler fra bare en håndfull bilder. [Men] problemer rundt oppløsning, ansiktsmobilitet og tidsstabilitet hindrer NeRF i å produsere de rike dataene som trengs for å trene en autoencoder-modell som kan håndtere profilbilder godt», skrev Anderson. Vi har tatt kontakt med Nvidia for å lære mer, men har ikke hørt tilbake ennå. 

Lesere vil merke seg at Metaphysics demonstrasjoner bare inkluderte kjendisansikter, hvorav mange profilvisninger har blitt fanget på film og i bilder. De ikke-kjente blant oss har derimot neppe mange sideprofilskudd på hånden.

"Med mindre du har blitt arrestert på et tidspunkt, er det sannsynlig at du ikke en gang har ett slikt bilde, verken på sosiale medier eller i en offline samling," skrev Anderson.

Gaurav Oberoi, en programvareingeniør og grunnlegger av AI-oppstarten Lexion, fant mye av det samme da han forsket på dype forfalskninger i 2018. I en innlegg på bloggen hans, beskrev Oberoi hvordan deepfakes av komikeren John Oliver lagt over sent på kvelden verten Jimmy Fallon fungerte bra, men ikke i profil.

"Generelt må treningsbilder av målet ditt tilnærme orienteringen, ansiktsuttrykkene og lyssettingen i videoene du vil feste dem inn i," sa Oberoi. "Så hvis du bygger et ansiktsbytteverktøy for den gjennomsnittlige personen, gitt at de fleste bildene av dem vil være frontvendt, begrense ansiktsbytte til stort sett fremovervendte videoer."

Det som i realiteten betyr er at svindlere som bruker sanntidsdeepfakes neppe har de nødvendige dataene for å lage en sideprofilvisning som ikke umiddelbart kan gjenkjennes som falsk (forutsatt at de ikke bruker et godt fotografert kjendisansikt) . 

Inntil vi vet at deepfakers har funnet en måte å omgå denne mangelen på, er det en god idé å ta i bruk policyen med å be personen i den andre enden av Zoom om å vise deg et sidebilde av ansiktet deres – kjent eller ikke. ®