새로운 시대의 인터넷 불확실성을 예고하는 실시간 딥페이크 비디오에는 근본적인 결함이 있는 것으로 보입니다. 바로 측면 프로필을 처리할 수 없다는 것입니다.
에서 내린 결론이다. 신고 3D 아바타, 딥페이크 기술 및 3D 사진에서 2D 이미지 렌더링을 전문으로 하는 Metaphysic.ai의 [PDF]. 인기 있는 실시간 딥페이크 앱을 사용하여 수행한 테스트에서 딥페이스라이브, 옆으로 세게 돌린 덕분에 화면에 등장하는 사람이 실제 인물이 아님이 쉽게 분명해졌습니다.
테스트에는 DeepFaceLive에 포함된 모델 및 deepfake 커뮤니티의 여러 모델이 사용되었지만 얼굴의 90도 보기는 포즈를 추정하는 데 사용된 얼굴 정렬 네트워크가 보고 있는 것을 파악하는 데 어려움을 겪으면서 깜박임과 왜곡을 유발했습니다.
딥페이크된 Jim Carrey를 보여주는 Metaphysic 테스트의 한 쌍의 이미지와 옆으로 돌린 결과.
"대부분의 2D 기반 얼굴 정렬 알고리즘은 정면 얼굴 보기에서 프로필 보기까지 랜드마크 수의 50-60%만 할당합니다."라고 Metaphysic.ai 기고자 Martin Anderson은 말했습니다. 블로그 게시물.
충분한 기준점을 볼 수 없으면 소프트웨어는 가짜 얼굴을 투영하는 방법을 모릅니다.
딥페이크 탈선
불과 몇 년 만에 딥페이크는 얼굴을 이미지에 중첩할 수 있는 것에서 사전 녹화된 비디오에서 동일한 작업을 수행하는 것으로 발전했습니다. 최신 기술을 통해 실시간 얼굴 교환이 가능해지면서 온라인 사기 및 사이버 범죄에 더 많은 딥페이크가 사용되었습니다.
A 공부 VMware의 조사에 따르면 응답자의 13/125가 공격의 일환으로 악성 딥페이크를 경험했으며 이는 전년도보다 XNUMX% 증가한 수치입니다. VMware 연구에서는 응답자가 경험한 딥페이크 공격이 사전 녹음인지 실시간인지를 지정하지 않았으며 표본 크기는 XNUMX명에 불과했습니다.
FBI는 XNUMX월에 딥페이크 기술을 사용하는 사기꾼에 대해 경고했습니다. 원격 면접 중. FBI는 이 기술을 사용하는 사람들이 고객 데이터와 기업의 독점 정보에 접근할 수 있는 민감한 직무를 인터뷰하는 것이 포착됐다고 말했다.
딥페이크 비디오는 라이브 안면 인식 소프트웨어를 속이기 위해 사용되기도 했습니다. 따라 온라인 사기 근절 스타트업 Sensity AI에 Sensity의 테스트에 따르면 벤더의 앱 XNUMX개 중 XNUMX개가 휴대폰에서 스트리밍된 딥페이크 변경 비디오를 사용하여 성공적으로 잠금 해제되었습니다.
기술에 대한 두려움은 유럽연합(EU)이 법을 통과 딥페이크 및 기타 허위 정보 출처와 충분히 싸우지 못하는 회사에 벌금을 부과합니다. 중국도 드래프트 딥페이크 법칙 이 기술의 오용에 대한 법적 처벌을 위협하고 중국이 "딥 합성"이라고 부르는 딥페이크의 합법적인 사용에 대한 허가를 요구합니다.
얼마 동안의 해결 방법?
Metaphysic의 보고서에 따르면 Nvidia와 같은 기술도 신경 방사장 (NeRF)는 몇 장의 정지영상으로 3D 장면을 생성할 수 있지만 좋은 측면 보기를 개발하기가 까다롭다는 한계가 있습니다.
NeRF는 “이론적으로는 몇 장의 사진에서 여러 얼굴 각도를 추정할 수 있습니다. [그러나] 해상도, 안면 이동성 및 시간적 안정성과 관련된 문제로 인해 NeRF는 프로필 이미지를 잘 처리할 수 있는 자동 인코더 모델을 훈련하는 데 필요한 풍부한 데이터를 생성하지 못합니다.”라고 Anderson은 썼습니다. 더 자세히 알아보기 위해 Nvidia에 연락했지만 아직 답변을 듣지 못했습니다.
독자들은 Metaphysic의 시연에 유명인의 얼굴만 포함되어 있었으며 그 중 많은 프로필 보기가 필름과 사진으로 포착되었음을 알 수 있습니다. 반면에 우리 사이에서 유명하지 않은 사람들은 측면 프로필 사진을 많이 가지고 있지 않을 것입니다.
앤더슨은 "어느 시점에서 체포되지 않는 한 소셜 미디어나 오프라인 컬렉션에 그런 이미지가 없을 것"이라고 적었다.
소프트웨어 엔지니어이자 AI 신생 기업인 Lexion의 설립자인 Gaurav Oberoi는 2018년 딥페이크를 조사할 때 거의 동일한 것을 발견했습니다. 그의 블로그에 게시, Oberoi는 코미디언 John Oliver의 딥페이크가 심야 호스트 Jimmy Fallon 위에 겹쳐진 딥페이크가 어떻게 잘 작동했는지 자세히 설명했지만 프로필에는 그렇지 않았습니다.
Oberoi는 "일반적으로 대상의 훈련 이미지는 원하는 비디오의 방향, 표정 및 조명에 근접해야 합니다."라고 말했습니다. "따라서 일반 사람을 위한 얼굴 교체 도구를 구축하는 경우 대부분의 사진이 앞면을 향하게 되므로 얼굴 교체를 대부분 앞면을 향한 비디오로 제한하십시오."
이것이 의미하는 바는 실제로 실시간 딥페이크를 사용하는 사기꾼이 가짜로 즉시 인식되지 않는 측면 프로필 보기를 만드는 데 필요한 데이터가 없을 가능성이 높다는 것입니다(잘 찍은 유명인의 얼굴을 사용하지 않는 한) .
딥페이커가 이 단점을 해결할 방법을 찾을 때까지 Zoom의 반대편에 있는 사람에게 유명하든 아니든 얼굴의 측면을 보여달라고 요청하는 정책을 채택하는 것이 좋습니다. ®
