Vamos jogar: Deepfake News Anchor ou uma pessoa real?

Republicado por Platão

seguidores: 0

Vídeos deepfake on-line com âncoras de notícias geradas por IA jorrando propaganda do governo pró-chinês provavelmente são criações de uma prolífica equipe de desinformação apelidada de Spamouflage.

Esses vídeos representam “a primeira vez que a Graphika observou atores de IO [operação de influência] alinhados ao estado usando imagens de vídeo de pessoas fictícias geradas por IA em suas operações”, relataram os pesquisadores da empresa de análise de mídia social, detalhando os deepfakes Spamouflage em um relatório [PDF] essa semana.

Os vídeos mostram um locutor e uma locutora, ambos fazendo reportagens para uma empresa de mídia chamada Wolf News. Em uma delas, o âncora do noticiário condena os Estados Unidos por seus fracassos em deter a violência armada. O outro enfatiza a necessidade de cooperação China-EUA nos esforços de recuperação econômica global.

“À primeira vista, os âncoras do Wolf News se apresentam como pessoas reais”, disse Graphika. “Nossa hipótese inicial era que eles eram atores pagos que foram recrutados para aparecer nos vídeos.”

Isso se alinharia com o modus operandi usual do Spamouflage, de acordo com Graphika e outros pesquisadores incluindo o Google, que rastreia os criminosos como Dragonbridge e documentou o uso de pessoas reais na câmera em suas campanhas anteriores de desinformação.

Algumas das outras operações de influência da tripulação incluíram tentativas de intrometer-se nas eleições de meio de mandato americanas de 2022 e corrico empresas de mineração de terras raras usando milhares de contas falsas de mídia social, levando o Pentágono a apontar o dedo severamente.

“Mas uma investigação mais aprofundada revelou que os apresentadores do Wolf News foram quase certamente criados usando tecnologia fornecida por uma empresa britânica de vídeo AI chamada Synthesia”, afirmaram os pesquisadores da Graphika.

Pesquisas reversas de imagens desenterraram uma tonelada de vídeos não relacionados mostrando o mesmo homem e mulher “âncoras de notícias” que aparecem na transmissão do Spamouflage Wolf News. As pessoas geradas por IA falam em vários idiomas nesses vídeos, incluindo árabe, romeno, espanhol e inglês, como este promoção de serviços de corretagem de frete.

Nele, o âncora masculino diz: “Olá, meu nome é Sr. Cruise. E eu sou um avatar.”

Cruzeiro é um dos Os avatares “100+” da Synthesia, e acontece que seu nome é Jason. A âncora feminina dos vídeos do Wolf News é Anna.

da Synthesia página de ética diz que “não oferecerá [seu] software para uso público. Todo o conteúdo passará por um processo de triagem interno explícito antes de ser liberado para nossos clientes confiáveis”.

Além disso, seus página de perguntas frequentes sobre avatar diz que há limites quanto ao que os avatares podem e não podem dizer: “Conteúdo político, sexual, pessoal, criminal e discriminatório não é tolerado ou aprovado.”

As notícias falsas de Spamouflage violariam ambas as políticas. A Synthesia não foi encontrada para comentar. Victor Riparbelli, co-fundador e executivo-chefe da Synthesia, disse o New York Times no início desta semana Spamouflage quebrou os termos de serviço da Synthesia usando a tecnologia para fazer seus vídeos.

Ou seja, Spamouflage de alguma forma se apoderou e usou a tecnologia da Synthesia para produzir seu conteúdo, contrariando as regras da Synthesia. Não há nenhuma sugestão de irregularidade por parte da Synthesia.

Enquanto agências governamentais e pesquisadores de segurança ambos soaram o alarme sobre deepfakes sendo usados em operações de influência política em um futuro não muito distante, até agora a mídia gerada por IA tem sido amplamente limitada a rostos falsos - não inteiramente pessoas falsas, de acordo com Graphika.

No entanto, apesar do uso de avatares, o resto dos vídeos do Spamouflage parecem “spam político de baixa qualidade”, escreveram os pesquisadores, ecoando avaliação do Google dos vídeos da equipe no YouTube, 83% dos quais tiveram menos de 100 visualizações.

Além disso, o elemento deepfake dos noticiários “quase certamente foi criado usando um serviço comercial” em oposição à capacidade interna, concluiu o relatório. Isso sugere que Spamouflage e outros não têm conhecimento técnico para realizar deepfakes altamente sofisticados e continuarão a usar as ferramentas comerciais disponíveis.

No entanto, como observa Graphika, “isso também levanta questões sobre como moderar efetivamente o uso desses produtos e serviços”. ®