Los deepfakes en tiempo real se pueden vencer con una mirada de soslayo

Los videos falsos profundos en tiempo real, anunciados como los portadores de una nueva era de incertidumbre en Internet, parecen tener un defecto fundamental: no pueden manejar los perfiles secundarios.

Esa es la conclusión extraída en un reporte [PDF] de Metaphysic.ai, que se especializa en avatares 3D, tecnología deepfake y renderización de imágenes 3D a partir de fotografías 2D. En las pruebas que realizó utilizando la popular aplicación deepfake en tiempo real cara profunda en vivo, un giro brusco hacia un lado hizo evidente que la persona en la pantalla no era quien parecía ser. 

Se usaron varios modelos en la prueba, varios de comunidades deepfake y modelos incluidos en DeepFaceLive, pero una vista de 90 grados de la cara causó parpadeo y distorsión, ya que la red de alineación facial utilizada para estimar las poses tuvo problemas para descubrir qué estaba viendo. 

"La mayoría de los algoritmos de alineación facial basados ​​en 2D asignan solo entre el 50 y el 60 por ciento de la cantidad de puntos de referencia desde una vista frontal a una vista de perfil", dijo el colaborador de Metaphysic.ai Martin Anderson, quien escribió el estudio. del blog.

Sin poder ver suficientes puntos de referencia, el software simplemente no sabe cómo proyectar su cara falsa.

Descarrilando deepfakes

En cuestión de unos pocos años, los deepfakes han pasado de ser capaces de superponer rostros en imágenes a hacer lo mismo en videos pregrabados. Los últimos avances permiten el intercambio de rostros en tiempo real, lo que ha dado lugar a que se utilicen más falsificaciones profundas en fraudes en línea y delitos cibernéticos.

A estudio de VMware descubrió que dos tercios de los encuestados encontraron deepfakes maliciosos como parte de un ataque, un aumento del 13 por ciento con respecto al año anterior. Tenga en cuenta que el estudio de VMware no especificó si los ataques de falsificación profunda que encontraron los encuestados fueron pregrabados o en tiempo real, y solo tuvo un tamaño de muestra de 125 personas.

El FBI advirtió en junio sobre los estafadores que utilizan tecnología deepfake durante entrevistas de trabajo remotas. Se ha visto a quienes utilizan la técnica en entrevistas para trabajos confidenciales que les darían acceso a datos de clientes e información de propiedad de las empresas, dijo el FBI. 

Los videos falsos también se han utilizado para engañar al software de reconocimiento facial en vivo, conforme a la startup de lucha contra el fraude en línea Sensity AI. Las pruebas de Sensity encontraron que nueve de cada diez aplicaciones de los proveedores se desbloquearon con éxito utilizando un video alterado por deepfake transmitido desde un teléfono móvil.

Los temores sobre la tecnología se han vuelto lo suficientemente serios como para que la Unión Europea aprobar leyes imponer multas a las empresas que no luchan lo suficiente contra los deepfakes y otras fuentes de desinformación. China también redactó leyes falsas que amenazan con el castigo legal por el mal uso de la tecnología, además de requerir una concesión de permiso para cualquier uso legítimo de falsificaciones profundas, lo que China llama "síntesis profunda". 

¿Una solución por cuánto tiempo?

Según el informe de Metaphysic, incluso tecnología como la de Nvidia campo de radiación neural (NeRF), que puede generar una escena 3D a partir de unas pocas imágenes fijas, tiene limitaciones que dificultan el desarrollo de una buena vista de perfil lateral. 

Los NeRF “pueden, en teoría, extrapolar cualquier número de ángulos faciales a partir de solo un puñado de imágenes. [Sin embargo] los problemas relacionados con la resolución, la movilidad facial y la estabilidad temporal impiden que NeRF produzca los datos enriquecidos necesarios para entrenar un modelo de codificador automático que pueda manejar bien las imágenes de perfil”, escribió Anderson. Nos comunicamos con Nvidia para obtener más información, pero aún no hemos recibido respuesta. 

Los lectores notarán que las demostraciones de Metaphysic solo incluyeron rostros de celebridades, de los cuales se han capturado muchas vistas de perfil en películas y fotografías. Los no famosos entre nosotros, por otro lado, es poco probable que tengan muchas fotos de perfil lateral a mano.

“A menos que haya sido arrestado en algún momento, es probable que no tenga ni una de esas imágenes, ya sea en las redes sociales o en una colección fuera de línea”, escribió Anderson.

Gaurav Oberoi, ingeniero de software y fundador de la startup de IA Lexion, descubrió lo mismo cuando investigaba deepfakes en 2018. En un publicar en su blog, Oberoi detalló cómo las falsificaciones profundas del comediante John Oliver superpuestas sobre el presentador nocturno Jimmy Fallon funcionaron bien, pero no de perfil.

“En general, las imágenes de entrenamiento de su objetivo deben aproximarse a la orientación, las expresiones faciales y la iluminación de los videos en los que desea insertarlas”, dijo Oberoi. “Entonces, si está creando una herramienta de intercambio de rostros para la persona promedio, dado que la mayoría de las fotos de ellos serán frontales, limite los intercambios de rostros a videos en su mayoría frontales”.

Lo que eso significa, en efecto, es que es poco probable que los estafadores que usan deepfakes en tiempo real tengan los datos necesarios para crear una vista de perfil lateral que no se reconozca inmediatamente como falsa (siempre que no estén usando una cara de celebridad bien fotografiada) . 

Hasta que sepamos que los deepfakers han encontrado una manera de sortear esta deficiencia, es una buena idea adoptar la política de pedirle a la persona al otro lado de Zoom que le muestre una vista lateral de su rostro, sea famoso o no. ®