Laten we een spelletje spelen: deepfake-nieuwsanker of een echt persoon?

Heruitgegeven door Plato

volgers: 0

Deepfake-video's online met door AI gegenereerde nieuwsankers die pro-Chinese overheidspropaganda spuwen, zijn waarschijnlijk de creaties van een productieve desinformatieploeg genaamd Spamouflage.

Deze video's vertegenwoordigen "de eerste keer dat Graphika op de staat afgestemde IO [invloedoperatie] -actoren heeft waargenomen die videobeelden gebruiken van door AI gegenereerde fictieve mensen in hun operaties", rapporteerden de onderzoekers van het socialemedia-analysebedrijf, waarin de Spamouflage-deepfakes in een rapport werden beschreven [PDF] deze week.

De video's tonen een mannelijke en vrouwelijke omroep, die beiden beweren te rapporteren voor een mediabedrijf genaamd Wolf News. In een ervan veroordeelt het nieuwsanker Amerika omdat het er niet in is geslaagd een einde te maken aan wapengeweld. De andere benadrukt de noodzaak van samenwerking tussen China en de VS bij inspanningen voor wereldwijd economisch herstel.

"Op het eerste gezicht lijken de ankers van Wolf News op echte mensen", zei Graphika. "Onze aanvankelijke hypothese was dat het betaalde acteurs waren die waren gerekruteerd om in de video's te verschijnen."

Dit zou overeenkomen met de gebruikelijke modus operandi van Spamouflage, volgens Graphika en andere onderzoekers waaronder Google die de onverlaten volgen als Dragonbridge en hun gebruik van echte mensen op camera hebben gedocumenteerd in hun eerdere desinformatiecampagnes.

Enkele van de andere invloedsoperaties van de bemanning omvatten pogingen om tornen bij de Amerikaanse tussentijdse verkiezingen van 2022 en trolling mijnbouwbedrijven van zeldzame aardmetalen door gebruik te maken van duizenden nep-accounts op sociale media, wat leidde tot een streng vingerkwispelen door het Pentagon.

"Maar verder onderzoek wees uit dat de presentatoren van Wolf News vrijwel zeker zijn gemaakt met behulp van technologie van een Brits AI-videobedrijf genaamd Synthesia", beweerden Graphika-onderzoekers.

Omgekeerd zoeken naar afbeeldingen leverde een heleboel niet-gerelateerde video's op met dezelfde man en vrouw "nieuwsankers" die verschijnen in de uitzending van Spamouflage Wolf News. De door AI gegenereerde mensen spreken in meerdere talen in deze video's, waaronder Arabisch, Roemeens, Spaans en Engels deze bevordering van vrachtmakelaarsdiensten.

Daarin zegt het mannelijke anker: "Hallo, mijn naam is meneer Cruise. En ik ben een avatar.”

Cruise is er een van Synthesia's "100+" avatars, en het blijkt dat zijn naam Jason is. Het vrouwelijke anker van de Wolf News-video's is Anna.

Synthesia's ethische pagina zegt dat het “[zijn] software niet zal aanbieden voor openbaar gebruik. Alle inhoud doorloopt een expliciet intern screeningproces voordat het wordt vrijgegeven aan onze vertrouwde klanten.”

Bovendien is het pagina met veelgestelde vragen over avatars zegt dat er grenzen zijn aan wat de avatars wel en niet kunnen zeggen: "Politieke, seksuele, persoonlijke, criminele en discriminerende inhoud wordt niet getolereerd of goedgekeurd."

De nepnieuwsverhalen van Spamouflage zouden in strijd zijn met beide beleidsregels. Synthesia was niet bereikbaar voor commentaar. Victor Riparbelli, mede-oprichter en CEO van Synthesia, vertelde de New York Times eerder deze week brak Spamouflage de servicevoorwaarden van Synthesia door de technologie te gebruiken om zijn video's te maken.

Dat wil zeggen, Spamouflage heeft op de een of andere manier de technologie van Synthesia in handen gekregen en gebruikt om de inhoud ervan te produceren, in strijd met de regels van Synthesia. Er is geen suggestie van wangedrag door Synthesia.

Terwijl overheidsinstellingen en beveiligingsonderzoekers hebben allebei alarm geslagen over het gebruik van deepfakes bij politieke beïnvloedingsoperaties in de niet al te verre toekomst, maar tot nu toe waren AI-gegenereerde media grotendeels beperkt tot nepgezichten – niet helemaal nepmensen, volgens Graphika.

Ondanks het gebruik van avatars zien de rest van de Spamouflage-video's eruit als "politieke spam van lage kwaliteit", schreven de onderzoekers, in navolging van De beoordeling van Google van de YouTube-video's van de crew, waarvan 83 procent minder dan 100 views had.

Bovendien werd het deepfake-element van de nieuwsuitzendingen "vrijwel zeker gemaakt met behulp van een commerciële dienst" in tegenstelling tot interne capaciteit, concludeerde het rapport. Dit suggereert dat Spamouflage en anderen niet over de technische expertise beschikken om zeer geavanceerde deepfakes uit te voeren en beschikbare commerciële tools zullen blijven gebruiken.

Maar, zoals Graphika opmerkt: "dit roept ook vragen op over hoe het gebruik van deze producten en diensten effectief kan worden gemodereerd." ®