Spielen wir ein Spiel: Deepfake-Nachrichtensprecher oder eine echte Person?

Neuauflage von Plato

Verfolger: 0

Deepfake-Videos im Internet, in denen KI-generierte Nachrichtensprecher pro-chinesische Regierungspropaganda verbreiten, sind wahrscheinlich die Kreationen einer produktiven Desinformations-Crew namens Spamouflage.

Diese Videos stellen „das erste Mal dar, dass Graphika staatlich ausgerichtete IO-Akteure (Influence Operation) beobachtet hat, die Videomaterial von KI-generierten fiktiven Personen in ihren Operationen verwenden“, berichteten die Forscher des Social-Media-Analyseunternehmens und detailliert die Spamouflage-Deepfakes in einem Bericht [PDF] diese Woche.

Die Videos zeigen einen Mann und eine Frau, die beide vorgeben, für ein Medienunternehmen namens Wolf News zu berichten. In einem verurteilt der Nachrichtensprecher Amerika für sein Versäumnis, Waffengewalt zu stoppen. Der andere betont die Notwendigkeit einer Zusammenarbeit zwischen China und den USA bei den Bemühungen zur Erholung der Weltwirtschaft.

„Auf den ersten Blick erscheinen die Moderatoren von Wolf News als echte Menschen“, sagte Graphika. „Unsere anfängliche Hypothese war, dass es sich um bezahlte Schauspieler handelt, die angeworben wurden, um in den Videos aufzutreten.“

Laut Graphika und würde dies mit der üblichen Vorgehensweise von Spamouflage übereinstimmen andere Forscher einschließlich Google, die die Schurken als Dragonbridge verfolgen und in ihren früheren Desinformationskampagnen dokumentiert haben, dass sie echte Menschen vor der Kamera eingesetzt haben.

Einige der anderen Einflussoperationen der Besatzung haben Versuche dazu beinhaltet einmischen bei den amerikanischen Zwischenwahlen 2022 und trolling Bergbauunternehmen für seltene Erden, indem sie Tausende von gefälschten Social-Media-Konten verwenden, was zu einem strengen erhobenen Zeigefinger des Pentagon führt.

„Weitere Untersuchungen ergaben jedoch, dass die Wolf News-Moderatoren mit ziemlicher Sicherheit mithilfe einer Technologie erstellt wurden, die von einer britischen KI-Videofirma namens Synthesia bereitgestellt wurde“, behaupteten die Forscher von Graphika.

Reverse-Image-Suchen brachten eine Menge unzusammenhängender Videos zutage, die denselben Mann und dieselbe Frau als „Nachrichtensprecher“ zeigen, die in der Sendung „Spamouflage Wolf News“ erscheinen. Die von der KI generierten Personen sprechen in diesen Videos in mehreren Sprachen, darunter Arabisch, Rumänisch, Spanisch und Englisch diese hier. Förderung von Frachtmaklerdiensten.

Darin sagt der männliche Moderator: „Hallo, mein Name ist Mr. Cruise. Und ich bin ein Avatar.“

Cruise ist eine davon Synthesias „100+“ Avatare, und es stellt sich heraus, dass er Jason heißt. Die weibliche Moderatorin aus den Videos von Wolf News ist Anna.

Synthesias Ethik Seite sagt, dass es „[seine] Software nicht zur öffentlichen Nutzung anbieten wird. Alle Inhalte durchlaufen einen expliziten internen Screening-Prozess, bevor sie an unsere vertrauenswürdigen Kunden freigegeben werden.“

Darüber hinaus ist es Avatar-FAQ-Seite sagt, dass es Grenzen gibt, was die Avatare sagen können und was nicht: „Politische, sexuelle, persönliche, kriminelle und diskriminierende Inhalte werden nicht toleriert oder genehmigt.“

Die gefälschten Nachrichten von Spamouflage würden gegen beide Richtlinien verstoßen. Synthesia war für eine Stellungnahme nicht erreichbar. Victor Riparbelli, Mitbegründer und Geschäftsführer von Synthesia, sagte die New York Times Anfang dieser Woche hat Spamouflage gegen die Nutzungsbedingungen von Synthesia verstoßen, indem es die Technologie zur Erstellung seiner Videos verwendet hat.

Das heißt, Spamouflage ist irgendwie in die Hände von Synthesias Technologie gekommen und hat sie verwendet, um seinen Inhalt entgegen den Regeln von Synthesia zu produzieren. Es gibt keinen Hinweis auf Fehlverhalten von Synthesia.

Während Regierungsbehörden und Sicherheitsforscher haben gleichermaßen Alarm geschlagen, dass Deepfakes in nicht allzu ferner Zukunft bei Operationen zur politischen Einflussnahme eingesetzt werden, bis jetzt waren KI-generierte Medien weitgehend auf gefälschte Gesichter beschränkt – laut Graphika nicht vollständig gefälschte Personen.

Trotz der Verwendung von Avataren sehen die restlichen Spamouflage-Videos jedoch wie „politischer Spam von geringer Qualität“ aus, schrieben die Forscher und wiederholten Googles Einschätzung der YouTube-Videos der Crew, von denen 83 Prozent weniger als 100 Aufrufe hatten.

Darüber hinaus wurde das Deepfake-Element der Nachrichtensendungen „mit ziemlicher Sicherheit mit einem kommerziellen Dienst erstellt“, im Gegensatz zu internen Möglichkeiten, schloss der Bericht. Dies deutet darauf hin, dass Spamouflage und andere nicht über das technische Know-how verfügen, um hochentwickelte Deepfakes zu erstellen, und weiterhin verfügbare kommerzielle Tools verwenden werden.

Wie Graphika jedoch feststellt, „wirft dies auch Fragen auf, wie die Nutzung dieser Produkte und Dienste effektiv moderiert werden kann.“ ®