Deepfake w czasie rzeczywistym można pokonać krzywym spojrzeniem

Filmy deepfake w czasie rzeczywistym, zapowiadane jako zwiastuny nowej ery niepewności w Internecie, wydają się mieć podstawową wadę: nie radzą sobie z profilami bocznymi.

Taki wniosek wyciągnięto w raport [PDF] firmy Metaphysic.ai, która specjalizuje się w awatarach 3D, technologii deepfake i renderowaniu obrazów 3D ze zdjęć 2D. W testach przeprowadzonych przy użyciu popularnej aplikacji deepfake działającej w czasie rzeczywistym DeepFace na żywo, mocny zwrot w bok sprawił, że łatwo stało się jasne, że osoba na ekranie nie jest tym, na kogo wyglądała. 

W teście wykorzystano wiele modeli – kilka ze społeczności deepfake i modele zawarte w DeepFaceLive – ale 90-stopniowy widok twarzy powodował migotanie i zniekształcenia, ponieważ Facial Alignment Network używała do szacowania póz, aby dowiedzieć się, co widzi. 

„Większość opartych na 2D algorytmów wyrównywania twarzy przypisuje tylko 50–60 procent liczby punktów orientacyjnych z widoku twarzy z przodu do widoku profilu” — powiedział współautor Metaphysic.ai, Martin Anderson, który napisał raport dotyczący badania. blogu.

Bez możliwości zobaczenia wystarczającej liczby punktów odniesienia, oprogramowanie po prostu nie wie, jak wyświetlić swoją fałszywą twarz.

Wykolejenie deepfake

W ciągu zaledwie kilku lat deepfake przeszły z możliwości nakładania twarzy na obrazy do robienia tego samego w nagranym wideo. Najnowsze osiągnięcia umożliwiają zamianę twarzy w czasie rzeczywistym, co zaowocowało większą liczbą deepfake'ów wykorzystywanych w oszustwach internetowych i cyberprzestępczości.

A „The Puzzle of Monogamous Marriage” firmy VMware ustaliło, że dwie trzecie respondentów zetknęło się ze złośliwymi deepfake w ramach ataku, co stanowi 13-procentowy wzrost w porównaniu z poprzednim rokiem. Zwróć uwagę, że badanie VMware nie określiło, czy napotkane przez respondentów ataki typu deepfake były wcześniej rejestrowane, czy w czasie rzeczywistym, i obejmowały tylko próbkę 125 osób.

FBI ostrzegło w czerwcu przed oszustami wykorzystującymi technologię deepfake podczas zdalnych rozmów kwalifikacyjnych. FBI powiedziało, że osoby korzystające z tej techniki zostały zauważone podczas rozmów kwalifikacyjnych na poufne stanowiska, które dałyby im dostęp do danych klientów i informacji zastrzeżonych firm. 

Filmy Deepfake zostały również wykorzystane do oszukania oprogramowania do rozpoznawania twarzy na żywo, według do startupu Sensity AI zajmującego się zwalczaniem oszustw online. Testy Sensity wykazały, że dziewięciu z dziesięciu aplikacji producentów zostało pomyślnie odblokowanych za pomocą wideo z funkcją deepfake, przesyłanego strumieniowo z telefonu komórkowego.

Obawy związane z technologią stały się na tyle poważne, że Unia Europejska przekazywać prawa nakładanie grzywien na firmy, które nie zwalczają w wystarczającym stopniu podróbek i innych źródeł dezinformacji. Chiny również opracowały głębokie fałszywe prawa grożących karą prawną za niewłaściwe wykorzystanie technologii, a także wymaganiem udzielenia pozwolenia na jakiekolwiek legalne wykorzystanie deepfake, które Chiny nazywają „głęboką syntezą”. 

Obejście na jak długo?

Według raportu Metaphysic, nawet technologia taka jak Nvidia neuronowe pole promieniowania (NeRF), który może generować scenę 3D z zaledwie kilku nieruchomych obrazów, ma ograniczenia, które utrudniają uzyskanie dobrego widoku profilu bocznego. 

NeRF „mogą teoretycznie ekstrapolować dowolną liczbę kątów twarzy z zaledwie kilku zdjęć. [Jednak] problemy z rozdzielczością, ruchliwością twarzy i stabilnością czasową utrudniają NeRF tworzenie bogatych danych potrzebnych do wytrenowania modelu autokodera, który dobrze radzi sobie z obrazami profilowymi” – napisał Anderson. Skontaktowaliśmy się z Nvidią, aby dowiedzieć się więcej, ale jeszcze nie otrzymaliśmy odpowiedzi. 

Czytelnicy zauważą, że pokazy Metaphysic obejmowały tylko twarze celebrytów, z których wiele widoków profilowych zostało uchwyconych na filmach i zdjęciach. Z drugiej strony niesławni z nas raczej nie będą mieli pod ręką wielu ujęć z profilu bocznego.

„O ile w pewnym momencie nie zostałeś aresztowany, prawdopodobnie nie masz ani jednego takiego obrazu, ani w mediach społecznościowych, ani w kolekcji offline” – napisał Anderson.

Gaurav Oberoi, inżynier oprogramowania i założyciel startupu AI Lexion, odkrył to samo podczas badania deepfake w 2018 roku. post na swoim blogu, Oberoi szczegółowo opisał, jak głębokie podróbki komika Johna Olivera nałożone na prowadzącego późną nocą Jimmy'ego Fallona działały dobrze, ale nie z profilu.

„Ogólnie rzecz biorąc, obrazy treningowe celu muszą przybliżać orientację, mimikę twarzy i oświetlenie w filmach, w które chcesz je wkleić” – powiedział Oberoi. „Więc jeśli tworzysz narzędzie do zamiany twarzy dla przeciętnej osoby, biorąc pod uwagę, że większość z nich będzie skierowana do przodu, ogranicz zamianę twarzy do głównie filmów skierowanych do przodu”.

W efekcie oznacza to, że oszuści korzystający z deepfake'ów w czasie rzeczywistym prawdopodobnie nie będą mieli danych niezbędnych do stworzenia widoku profilu bocznego, który nie jest od razu rozpoznawalny jako fałszywy (pod warunkiem, że nie używają dobrze sfotografowanej twarzy celebryty). . 

Dopóki nie dowiemy się, że deepfakerzy znaleźli sposób na obejście tego niedociągnięcia, dobrym pomysłem jest przyjęcie zasady proszenia osoby po drugiej stronie Zoomu o pokazanie bocznego widoku swojej twarzy – sławnej lub nie. ®