Lad os spille et spil: Deepfake-nyhedsanker eller en rigtig person?

Deepfake-videoer online med AI-genererede nyhedsankre, der sprøjter pro-kinesisk regeringspropaganda, er sandsynligvis skabelsen af ​​et produktivt desinformationshold kaldet Spamouflage.

Disse videoer repræsenterer "første gang, Graphika har observeret statslige IO [påvirkningsoperation]-aktører ved at bruge videooptagelser af AI-genererede fiktive mennesker i deres operationer," rapporterede analytics-firmaets forskere på sociale medier og detaljerede spamouflage-deepfakes i en rapport [PDF] denne uge.

Videoerne viser en mandlig og kvindelig tv-udsender, der begge foregiver at rapportere for et medieselskab kaldet Wolf News. I den ene fordømmer nyhedsankeret Amerika for dets fejl i at stoppe våbenvolden. Den anden understreger behovet for samarbejde mellem Kina og USA om bestræbelser på global økonomisk genopretning.

"Ved første øjekast præsenterer Wolf News-ankrene sig som rigtige mennesker," sagde Graphika. "Vores oprindelige hypotese var, at de var betalte skuespillere, der var blevet rekrutteret til at optræde i videoerne."

Dette ville passe med Spamouflages sædvanlige modus operandi, ifølge Graphika og andre forskere inklusiv Google, der sporer ondsindede som Dragonbridge og har dokumenteret deres brug af rigtige mennesker på kamera i deres tidligere desinformationskampagner.

Nogle af besætningens øvrige indflydelsesoperationer har omfattet forsøg på blande sig ved det amerikanske midtvejsvalg i 2022 og trolling sjældne jordarters minedriftsselskaber ved at bruge tusindvis af falske sociale mediekonti, hvilket fik Pentagon til at logre med fingeren.

"Men yderligere undersøgelser afslørede, at Wolf News-værterne næsten helt sikkert blev skabt ved hjælp af teknologi leveret af et britisk AI-videofirma kaldet Synthesia," hævdede Graphika-forskere. 

Omvendt billedsøgning afslørede et væld af ikke-relaterede videoer, der viser den samme mand og kvinde "nyhedsankre", som optræder i Spamouflage Wolf News-udsendelsen. De AI-genererede mennesker taler på flere sprog i disse videoer, herunder arabisk, rumænsk, spansk og engelsk, som f.eks. denne promovering af fragtmæglertjenester.

I den siger det mandlige anker: "Hej, mit navn er Mr Cruise. Og jeg er en avatar."

Cruise er en af Synthesias "100+" avatarer, og det viser sig, at han hedder Jason. Det kvindelige anker fra Wolf News-videoerne er Anna.

Syntese etik side siger, at det "ikke vil tilbyde [sin] software til offentlig brug. Alt indhold vil gennemgå en eksplicit intern screeningsproces, før det frigives til vores betroede kunder."

Derudover er dens side med ofte stillede spørgsmål om avatar siger, at der er grænser for, hvad avatarerne kan og ikke kan sige: "Politisk, seksuelt, personligt, kriminelt og diskriminerende indhold er ikke tolereret eller godkendt."

Spamouflages falske nyhedshistorier ville overtræde begge politikker. Synthesia kunne ikke nås for en kommentar. Victor Riparbelli, Synthesias medstifter og administrerende direktør, fortalt New York Times tidligere på ugen brød Spamouflage Synthesias servicevilkår ved at bruge teknologien til at lave sine videoer.

Det vil sige, at Spamouflage på en eller anden måde fik fat i og brugte Synthesias teknologi til at producere dets indhold, i modstrid med Synthesias regler. Der er ingen antydning af forseelser fra Synthesia.

Mens regeringsorganer , sikkerhedsforskere både har slået alarm om deepfakes, der bliver brugt i politiske indflydelsesoperationer i en ikke alt for fjern fremtid, indtil nu har AI-genererede medier stort set været begrænset til falske ansigter - ikke helt falske mennesker, ifølge Graphika. 

Men på trods af brugen af ​​avatarer ligner resten af ​​Spamouflage-videoerne "politisk spam af lav kvalitet", skrev forskerne og gentog Googles vurdering af besætningens YouTube-videoer, hvoraf 83 procent havde færre end 100 visninger.

Derudover blev det dybe falske element i nyhedsudsendelserne "næsten sikkert skabt ved hjælp af en kommerciel tjeneste" i modsætning til intern kapacitet, konkluderede rapporten. Dette tyder på, at Spamouflage og andre ikke har den tekniske ekspertise til at udføre meget sofistikerede deepfakes og vil fortsætte med at bruge tilgængelige kommercielle værktøjer.

Men som Graphika bemærker, "det rejser også spørgsmål om, hvordan man effektivt modererer brugen af ​​disse produkter og tjenester." ®

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. Adgang her.
• Kilde: https://go.theregister.com/feed/www.theregister.com/2023/02/11/deepfake_news_anchors/