Deepfakes i realtid kan slås av en blick från sidan

Deepfake-videor i realtid, förebådade som upphovsmännen till en ny tid av internetosäkerhet, verkar ha ett grundläggande fel: de kan inte hantera sidoprofiler.

Det är slutsatsen som dras i a rapport [PDF] från Metaphysic.ai, som specialiserar sig på 3D-avatarer, deepfake-teknik och rendering av 3D-bilder från 2D-fotografier. I tester som genomfördes med den populära realtidsdeepfake-appen DeepFaceLive, en hård sväng åt sidan gjorde det lätt uppenbart att personen på skärmen inte var den de såg ut att vara. 

Flera modeller användes i testet – flera från deepfake-gemenskaper och modeller som ingår i DeepFaceLive – men en 90-graders vy av ansiktet orsakade flimmer och förvrängning när Facial Alignment Network som användes för att uppskatta poser kämpade för att ta reda på vad det såg. 

"De flesta 2D-baserade algoritmer för ansiktsjustering tilldelar endast 50-60 procent av antalet landmärken från en front-on face view till en profilvy", säger Metaphysic.ai-bidragsgivaren Martin Anderson, som skrev studiens blogginlägg.

Utan att kunna se tillräckligt många referenspunkter, vet programvaran helt enkelt inte hur den ska projicera sitt falska ansikte.

Urspårning av deepfakes

På bara några år har deepfakes avancerat från att kunna lägga ansikten ovanpå bilder till att göra detsamma i förinspelad video. De senaste framstegen tillåter ansiktsbyte i realtid, vilket har resulterat i att fler djupförfalskningar används i onlinebedrägerier och cyberbrottslighet.

A studera från VMware fann att två tredjedelar av de tillfrågade stötte på skadliga deepfakes som en del av en attack, en ökning med 13 procent från föregående år. Observera att VMware-studien inte specificerade om de deepfake-attacker som respondenterna stötte på var förinspelade eller i realtid och endast hade en urvalsstorlek på 125 personer.

FBI varnade i juni för bedragare som använder deepfake-teknik under fjärranställningsintervjuer. De som använder tekniken har setts intervjua för känsliga jobb som skulle ge dem tillgång till kunddata och företags proprietära information, sa FBI. 

Deepfake-videor har också använts för att lura live ansiktsigenkänningsprogram, enligt till onlinebedrägeribekämpande startup Sensity AI. Sensitys tester visade att nio av tio leverantörers appar framgångsrikt låstes upp med hjälp av en djupfalsk-förändrad video streamad från en mobiltelefon.

Rädslan för tekniken har blivit tillräckligt allvarlig för att EU ska kunna göra det stifta lagar att ta ut böter på företag som inte tillräckligt bekämpar deepfakes och andra källor till desinformation. Kina utarbetade också djupfalska lagar som hotar med laglig bestraffning för missbruk av tekniken, samt kräver ett tillstånd för all legitim användning av djupförfalskningar, som Kina kallar "djup syntes". 

En lösning för hur länge?

Enligt Metaphysics rapport, även teknik som Nvidias neuralt strålningsfält (NeRF), som kan generera en 3D-scen från endast ett fåtal stillbilder, lider av begränsningar som gör det svårt att utveckla en bra sidoprofilvy. 

NeRFs "kan i teorin extrapolera valfritt antal ansiktsvinklar från bara en handfull bilder. [Men] problem kring upplösning, ansiktsrörlighet och tidsstabilitet hindrar NeRF från att producera den rika data som behövs för att träna en autoencoder-modell som kan hantera profilbilder bra”, skrev Anderson. Vi har kontaktat Nvidia för att lära oss mer, men vi har inte hört något ännu. 

Läsare kommer att notera att Metaphysics demonstrationer endast inkluderade kändisansikten, av vilka många profilvyer har fångats på film och i foton. De icke-berömda bland oss ​​har å andra sidan knappast många sidoprofilskott till hands.

"Om du inte har arresterats någon gång, är det troligt att du inte ens har en sådan bild, varken på sociala medier eller i en offlinesamling", skrev Anderson.

Gaurav Oberoi, en mjukvaruingenjör och grundare av AI-startupen Lexion, fann ungefär samma sak när han undersökte deepfakes 2018. I en inlägg på sin blogg, berättade Oberoi hur djupförfalskningar av komikern John Oliver överlagrats över sent nattvärd Jimmy Fallon fungerade bra, men inte i profil.

"I allmänhet måste träningsbilder av ditt mål approximera orienteringen, ansiktsuttrycken och ljuset i videorna du vill fästa dem i," sa Oberoi. "Så om du bygger ett ansiktsbyteverktyg för den genomsnittliga personen, med tanke på att de flesta bilderna av dem kommer att vara framvända, begränsa ansiktsbyten till mestadels framåtvända videor."

Vad det i själva verket betyder är att bedragare som använder djupförfalskningar i realtid sannolikt inte har den information som krävs för att skapa en sidoprofilvy som inte omedelbart känns igen som falsk (förutsatt att de inte använder ett välfotograferat kändisansikte) . 

Tills vi vet att deepfakers har hittat ett sätt att komma runt denna brist, är det en bra idé att anta policyn att be personen i andra änden av Zoom att visa dig en sidovy av sitt ansikte – känd eller inte. ®