A valós idejű mélyhamisításokat egy oldalpillantással is legyőzhetjük

Real-time deepfake videos, heralded as the bringers of a new age of internet uncertainty, appear to have a fundamental flaw: They can’t handle side profiles.

That’s the conclusion drawn in a jelentést [PDF] a Metaphysic.ai webhelyről, amely 3D-s avatarokra, mélyhamisítási technológiára és 3D-s képek 2D-s fényképekből való megjelenítésére specializálódott. A teszteket a népszerű valós idejű mélyhamisítási alkalmazással végezte DeepFaceLive, a hard turn to the side made it readily apparent that the person on screen wasn’t who they appeared to be. 

Multiple models were used in the test – several from deepfake communities and models included in DeepFaceLive – but a a 90-degree view of the face caused flickering and distortion as the Facial Alignment Network used to estimate poses struggled to figure out what it was seeing. 

“Most 2D-based facial alignments algorithms assign only 50-60 percent of the number of landmarks from a front-on face view to a profile view,” said Metaphysic.ai contributor Martin Anderson, who wrote the study’s blogbejegyzés.

Without being able to see enough reference points, the software simply doesn’t know how to project its fake face.

Kisikló mélyhamisítások

Néhány év leforgása alatt a mélyhamisítások az arcok képekre való rárakásáról az előre felvett videóknál is hasonlóvá fejlődtek. A legújabb fejlesztések lehetővé teszik a valós idejű arccserét, ami azt eredményezte, hogy több mélyhamisítást használnak fel az online csalásban és a kiberbűnözésben.

A tanulmány from VMware found that two thirds of respondents encountered malicious deepfakes as part of an attack, a 13 percent increase from the previous year. Note that the VMware study didn’t specify if the deepfake attacks respondents encountered were prerecorded or real time, and only had a sample size of 125 people.

Az FBI júniusban figyelmeztetett a mélyhamisítási technológiát használó csalókra távoli állásinterjúk során. Those using the technique have been spotted interviewing for sensitive jobs that would give them access to customer data and businesses’ proprietary information, the FBI said. 

Deepfake videókat is használtak élő arcfelismerő szoftverek becsapására, szerint to online fraud-combatting startup Sensity AI. Sensity’s tests found that nine out of ten vendors’ apps were successfully unlocked using a deepfake-altered video streamed from a mobile phone.

A technológiával kapcsolatos félelmek elég komolyak lettek az Európai Unió számára törvényeket hozni pénzbírságok kiszabása azokra a cégekre, amelyek nem küzdenek kellőképpen a mélyhamisítások és a félretájékoztatás egyéb forrásai ellen. Kína is draftolt mély hamis törvények that threaten legal punishment for misuse of the technology, as well as requiring a grant of permission for any legitimate use of deepfakes, which China calls “deep synthesis.” 

Megoldás meddig?

According to Metaphysic’s report, even technology like Nvidia’s idegi sugárzási mező (NeRF), amely csak néhány állóképből tud 3D-s jelenetet létrehozni, olyan korlátoktól szenved, amelyek megnehezítik a jó oldalsó profilnézet kialakítását. 

NeRFs “can, in theory, extrapolate any number of facial angles from just a handful of pictures. [However] issues around resolution, facial mobility and temporal stability hinder NeRF from producing the rich data needed to train an autoencoder model that can handle profile images well,” Anderson wrote. We’ve reached out to Nvidia to learn more, but haven’t heard back yet. 

Readers will note that Metaphysic’s demonstrations only included celebrity faces, of which plenty of profile views have been captured on film and in photos. The non-famous among us, on the other hand, are unlikely to have many side profile shots on hand.

“Unless you’ve been arrested at some point, it’s likely that you don’t have even one such image, either on social media or in an offline collection,” Anderson wrote.

Gaurav Oberoi szoftvermérnök és a Lexion AI startup alapítója nagyjából ugyanezt tapasztalta 2018-ban a mélyhamisítások kutatása során. bejegyzést a blogján, Oberoi bemutatta, hogy a komikus, John Oliver mélyhamisításai hogyan működtek jól a késő esti műsorvezető Jimmy Fallonra, de profilban nem.

“In general, training images of your target need to approximate the orientation, facial expressions, and lighting in the videos you want to stick them into,” Oberoi said. “So if you’re building a face swap tool for the average person, given that the most photos of them will be front-facing, limit face swaps to mostly forward facing videos.”

What that means, in effect, is that scammers using real-time deepfakes are unlikely to have the data necessary to create a side profile view that isn’t immediately recognizable as fake (provided they’re not using a well-photographed celebrity face). 

Until we know deepfakers have found a way to get around this shortcoming, it’s a good idea to adopt the policy of asking the person on the other end of Zoom to show you a side view of their face – famous or not. ®