Låt oss spela ett spel: Deepfake News Anchor or A Real Person?

Återutgiven av Platon

anhängare: 0

Deepfake-videor online med AI-genererade nyhetsankare som sprutar pro-kinesisk regeringspropaganda är sannolikt skapelserna av ett produktivt desinformationsteam kallat Spamouflage.

Dessa videor representerar "första gången Graphika har observerat statligt anpassade IO [inflytande operation]-aktörer som använder videofilmer av AI-genererade fiktiva personer i sina verksamheter", rapporterade analysföretaget för sociala medier och beskriver Spamouflage deepfakes i en rapport [PDF] Denna vecka.

Videorna visar en manlig och kvinnlig sändare som båda utger sig för att rapportera för ett medieföretag som heter Wolf News. I ett fördömer nyhetsankaret Amerika för dess misslyckanden med att stoppa vapenvåld. Den andra betonar behovet av samarbete mellan Kina och USA om globala ekonomiska återhämtningsansträngningar.

"Vid första anblicken presenterar Wolf News ankare som riktiga människor," sa Graphika. "Vår första hypotes var att de var betalda skådespelare som hade rekryterats för att synas i videorna."

Detta skulle överensstämma med Spamouflages vanliga modus operandi, enligt Graphika och andra forskare inklusive Google som spårar skurkarna som Dragonbridge och har dokumenterat deras användning av riktiga människor på kamera i sina tidigare desinformationskampanjer.

Några av besättningens övriga påverkansoperationer har innefattat försök att lägga sig i det amerikanska mellanårsvalet 2022 och trolling gruvföretag med sällsynta jordartsmetaller genom att använda tusentals falska konton på sociala medier, vilket fick Pentagon att vifta med fingret.

"Men ytterligare undersökningar avslöjade att Wolf News-presentatörerna nästan säkert skapades med hjälp av teknik från ett brittiskt AI-videoföretag som heter Synthesia," hävdade Graphika-forskare.

Omvända bildsökningar grävde fram massor av orelaterade videor som visar samma man och kvinna "nyhetsankare" som dyker upp i Spamouflage Wolf News-sändningen. De AI-genererade människorna talar på flera språk i dessa videor, inklusive arabiska, rumänska, spanska och engelska, som denna främja fraktförmedlingstjänster.

I den säger det manliga ankaret: "Hej, jag heter Mr Cruise. Och jag är en avatar."

Cruise är en av Synthesias "100+"-avatarer, och det visar sig att han heter Jason. Det kvinnliga ankaret från Wolf News-videorna är Anna.

Syntes etiksida säger att det "inte kommer att erbjuda [sin] programvara för allmänt bruk. Allt innehåll kommer att genomgå en explicit intern screeningprocess innan det släpps till våra betrodda kunder.”

Dessutom är dess sidan med vanliga frågor om avatar säger att det finns gränser för vad avatarerna kan och inte kan säga: "Politiskt, sexuellt, personligt, kriminellt och diskriminerande innehåll tolereras eller godkänns inte."

Spamouflages falska nyheter skulle bryta mot båda policyerna. Synthesia kunde inte nås för en kommentar. Victor Riparbelli, Synthesias medgrundare och verkställande direktör, berättade New York Times tidigare i veckan bröt Spamouflage Synthesias användarvillkor genom att använda tekniken för att göra sina videor.

Det vill säga, Spamouflage fick på något sätt tag i och använde Synthesias teknologi för att producera dess innehåll, i strid med Synthesias regler. Det finns inget som tyder på fel från Synthesia.

Medan statliga myndigheter och säkerhetsforskare likadana har slagit larm om djupförfalskningar som används i politiska påverkansoperationer inom en inte alltför avlägsen framtid, fram tills nu har AI-genererad media till stor del varit begränsad till falska ansikten - inte helt falska personer, enligt Graphika.

Men trots användningen av avatarer ser resten av Spamouflage-videorna ut som "politisk spam av låg kvalitet", skrev forskarna och ekade Googles bedömning av besättningens YouTube-videor, varav 83 procent hade färre än 100 visningar.

Dessutom skapades det deepfake-elementet i nyhetssändningarna "nästan säkert med hjälp av en kommersiell tjänst" i motsats till intern kapacitet, avslutades rapporten. Detta tyder på att Spamouflage och andra inte har den tekniska expertis som krävs för att ta fram mycket sofistikerade deepfakes och kommer att fortsätta att använda tillgängliga kommersiella verktyg.

Men som Graphika noterar, "det här väcker också frågor om hur man effektivt kan moderera användningen av dessa produkter och tjänster." ®