Deepfakes em tempo real podem ser derrotados por um olhar de soslaio

Vídeos deepfake em tempo real, anunciados como os portadores de uma nova era de incerteza na internet, parecem ter uma falha fundamental: eles não conseguem lidar com perfis secundários.

Essa é a conclusão tirada em um Denunciar [PDF] da Metaphysic.ai, especializada em avatares 3D, tecnologia deepfake e renderização de imagens 3D a partir de fotografias 2D. Em testes realizados usando o popular aplicativo deepfake em tempo real DeepFace Live, uma virada brusca para o lado tornou evidente que a pessoa na tela não era quem parecia ser. 

Vários modelos foram usados ​​no teste - vários de comunidades deepfake e modelos incluídos no DeepFaceLive - mas uma visão de 90 graus do rosto causou cintilação e distorção, pois a Rede de Alinhamento Facial usada para estimar poses lutava para descobrir o que estava vendo. 

“A maioria dos algoritmos de alinhamento facial baseados em 2D atribui apenas 50-60% do número de pontos de referência de uma vista frontal para uma vista de perfil”, disse Martin Anderson, colaborador do Metaphysic.ai, que escreveu o estudo no blog.

Sem poder ver pontos de referência suficientes, o software simplesmente não sabe como projetar sua face falsa.

Desviando deepfakes

Em questão de apenas alguns anos, os deepfakes avançaram da capacidade de sobrepor rostos em imagens para fazer o mesmo em vídeos pré-gravados. Os avanços mais recentes permitem a troca de rostos em tempo real, o que resultou em mais deepfakes sendo usados ​​em fraudes online e crimes cibernéticos.

A estudo da VMware descobriram que dois terços dos entrevistados encontraram deepfakes maliciosos como parte de um ataque, um aumento de 13% em relação ao ano anterior. Observe que o estudo da VMware não especificou se os ataques de deepfake encontrados pelos entrevistados foram pré-gravados ou em tempo real, e teve apenas uma amostra de 125 pessoas.

O FBI alertou em junho sobre golpistas usando tecnologia deepfake durante entrevistas de emprego remotas. Aqueles que usam a técnica foram vistos em entrevistas para empregos confidenciais que lhes dariam acesso a dados de clientes e informações proprietárias das empresas, disse o FBI. 

Vídeos deepfake também foram usados ​​para enganar softwares de reconhecimento facial ao vivo, segundo à startup de combate à fraude online Sensity AI. Os testes da Sensity descobriram que nove em cada dez aplicativos de fornecedores foram desbloqueados com sucesso usando um vídeo alterado por deepfake transmitido de um telefone celular.

Os temores sobre a tecnologia se tornaram sérios o suficiente para que a União Européia aprovar leis cobrança de multas a empresas que não combatem suficientemente as deepfakes e outras fontes de desinformação. A China também elaborou leis de deepfake que ameaçam punição legal pelo uso indevido da tecnologia, além de exigir uma concessão de permissão para qualquer uso legítimo de deepfakes, que a China chama de “síntese profunda”. 

Uma solução alternativa por quanto tempo?

De acordo com o relatório da Metaphysic, mesmo tecnologias como a da Nvidia campo de radiação neural (NeRF), que pode gerar uma cena 3D a partir de apenas algumas imagens estáticas, sofre de limitações que dificultam o desenvolvimento de uma boa visão de perfil lateral. 

Os NeRFs “podem, em teoria, extrapolar qualquer número de ângulos faciais de apenas um punhado de fotos. [No entanto] problemas em torno da resolução, mobilidade facial e estabilidade temporal impedem o NeRF de produzir os dados ricos necessários para treinar um modelo de autoencoder que pode lidar bem com imagens de perfil”, escreveu Anderson. Entramos em contato com a Nvidia para saber mais, mas ainda não recebemos resposta. 

Os leitores notarão que as demonstrações da Metaphysic incluíram apenas rostos de celebridades, dos quais muitas visualizações de perfil foram capturadas em filme e em fotos. Os não famosos entre nós, por outro lado, dificilmente terão muitas fotos de perfil lateral à mão.

“A menos que você tenha sido preso em algum momento, é provável que você não tenha uma imagem dessas, seja nas mídias sociais ou em uma coleção offline”, escreveu Anderson.

Gaurav Oberoi, engenheiro de software e fundador da startup de IA Lexion, descobriu o mesmo ao pesquisar deepfakes em 2018. postar no blog dele, Oberoi detalhou como as deepfakes do comediante John Oliver sobrepostas ao apresentador Jimmy Fallon funcionaram bem, mas não de perfil.

“Em geral, as imagens de treinamento de seu alvo precisam se aproximar da orientação, expressões faciais e iluminação nos vídeos em que você deseja colocá-los”, disse Oberoi. “Portanto, se você estiver construindo uma ferramenta de troca de rosto para uma pessoa comum, já que a maioria das fotos será voltada para a frente, limite as trocas de rosto para principalmente vídeos voltados para a frente.”

O que isso significa, na verdade, é que os golpistas que usam deepfakes em tempo real provavelmente não terão os dados necessários para criar uma visualização de perfil lateral que não seja imediatamente reconhecível como falsa (desde que não estejam usando um rosto de celebridade bem fotografado) . 

Até que saibamos que os deepfakers encontraram uma maneira de contornar essa deficiência, é uma boa ideia adotar a política de pedir à pessoa do outro lado do Zoom que mostre uma visão lateral de seu rosto - famoso ou não. ®