La oss spille et spill: Deepfake News Anchor Eller en ekte person?

Publisert av Platon

Følgere: 0

Dypfalske videoer på nettet med AI-genererte nyhetsankere som spruter pro-kinesisk regjeringspropaganda, er sannsynligvis skapelsene av et produktivt desinformasjonsteam kalt Spamouflage.

Disse videoene representerer «første gang Graphika har observert statsjusterte IO [påvirkningsoperasjon]-aktører som bruker videoopptak av AI-genererte fiktive personer i deres operasjoner,» rapporterte analysefirmaet til sosiale medier, og beskrev Spamouflage-deepfakes i en rapport [PDF] denne uka.

Videoene viser en mannlig og kvinnelig kringkaster, som begge utgir seg for å rapportere for et medieselskap kalt Wolf News. I den ene fordømmer nyhetsankeret Amerika for deres feil med å stoppe våpenvold. Den andre understreker behovet for samarbeid mellom Kina og USA om global økonomisk gjenoppretting.

"Ved første øyekast presenterer Wolf News-ankrene seg som ekte mennesker," sa Graphika. "Vår første hypotese var at de var betalte skuespillere som hadde blitt rekruttert til å vises i videoene."

Dette ville samsvare med Spamouflages vanlige modus operandi, ifølge Graphika og andre forskere inkludert Google som sporer skurkene som Dragonbridge og har dokumentert deres bruk av ekte mennesker på kamera i sine tidligere desinformasjonskampanjer.

Noen av mannskapets andre påvirkningsoperasjoner har inkludert forsøk på blande seg i det amerikanske mellomvalget i 2022 og trolling gruveselskaper fra sjeldne jordarter ved å bruke tusenvis av falske sosiale medier-kontoer, noe som får Pentagon til å vinke strengt med fingeren.

"Men ytterligere undersøkelser avslørte at Wolf News-presentatørene nesten helt sikkert ble opprettet ved hjelp av teknologi levert av et britisk AI-videoselskap kalt Synthesia," hevdet Graphika-forskere.

Omvendt bildesøk avdekket massevis av ikke-relaterte videoer som viser den samme mannen og kvinnen "nyhetsankere" som dukker opp i Spamouflage Wolf News-sendingen. De AI-genererte menneskene snakker på flere språk i disse videoene, inkludert arabisk, rumensk, spansk og engelsk, som dette fremme fraktmeglertjenester.

I den sier det mannlige ankeret: «Hei, jeg heter Mr Cruise. Og jeg er en avatar."

Cruise er en av Synthesias «100+»-avatarer, og det viser seg at han heter Jason. Det kvinnelige ankeret fra Wolf News-videoene er Anna.

Syntese etikksiden sier at den "ikke vil tilby [sin] programvare for offentlig bruk. Alt innhold vil gå gjennom en eksplisitt intern screeningsprosess før det blir gitt ut til våre pålitelige kunder.»

I tillegg er det avatar FAQ-side sier at det er grenser for hva avatarene kan og ikke kan si: «Politisk, seksuelt, personlig, kriminelt og diskriminerende innhold er ikke tolerert eller godkjent.»

Spamouflages falske nyhetssaker vil bryte begge retningslinjene. Synthesia kunne ikke nås for kommentar. Victor Riparbelli, Synthesias medgründer og administrerende direktør, fortalte The New York Times tidligere denne uken brøt Spamouflage Synthesias vilkår for bruk ved å bruke teknologien til å lage videoene sine.

Det vil si at Spamouflage på en eller annen måte fikk tak i og brukte Synthesias teknologi for å produsere innholdet, i strid med Synthesias regler. Det er ingen antydninger om urett av Synthesia.

Samtidig som offentlige etater og sikkerhetsforskere både har slått alarm om deepfakes som brukes i politiske påvirkningsoperasjoner i en ikke altfor fjern fremtid, til nå har AI-genererte medier stort sett vært begrenset til falske ansikter - ikke helt falske mennesker, ifølge Graphika.

Til tross for bruken av avatarer, ser imidlertid resten av Spamouflage-videoene ut som "politisk spam av lav kvalitet," skrev forskerne og gjentok Googles vurdering av mannskapets YouTube-videoer, hvorav 83 prosent hadde færre enn 100 visninger.

I tillegg ble det dype falske elementet i nyhetssendingene "nesten sikkert opprettet ved hjelp av en kommersiell tjeneste" i motsetning til intern kapasitet, konkluderte rapporten. Dette tyder på at Spamouflage og andre ikke har den tekniske ekspertisen til å utføre svært sofistikerte deepfakes og vil fortsette å bruke tilgjengelige kommersielle verktøy.

Imidlertid, som Graphika bemerker, "dette reiser også spørsmål om hvordan man effektivt kan moderere bruken av disse produktene og tjenestene." ®