Über 100 bösartige Code-Ausführungsmodelle auf Hugging Face

Forscher haben über 100 bösartige Modelle für maschinelles Lernen (ML) auf der Hugging Face AI-Plattform entdeckt, die es Angreifern ermöglichen können, bösartigen Code auf Benutzercomputern einzuschleusen.

Obwohl Hugging Face Sicherheitsmaßnahmen implementiert, verdeutlichen die Ergebnisse das wachsende Risiko, öffentlich verfügbare Modelle als „Waffen“ einzusetzen, da sie eine Hintertür für Angreifer schaffen können.

Die Ergebnisse von JFrog Security Research sind Teil einer laufenden Studie zur Analyse, wie Hacker ML nutzen können, um Benutzer anzugreifen.

Schädlicher Inhalt

Gemäß einem Artikel von InformatikDie Forscher entwickelten ein fortschrittliches Scansystem, um Modelle zu untersuchen, die auf der Hugging Face AI-Plattform wie PyTorch und Tensorflow Keras gehostet werden.

Hugging Face ist eine Plattform, die für den Austausch von KI-Modellen, Datensätzen und Anwendungen entwickelt wurde. Bei der Analyse der Modelle entdeckten die Forscher schädliche Nutzlasten „innerhalb scheinbar harmloser Modelle“.

Dies trotz der Tatsache, dass Hugging Face Sicherheitsmaßnahmen wie Malware- und Pickle-Scanning durchführt. Allerdings schränkt die Plattform den Download potenziell schädlicher Modelle nicht ein und ermöglicht auch die öffentliche Verfügbarkeit KI-Modelle von Benutzern missbraucht und als Waffe eingesetzt werden.

Bei der Untersuchung der Plattform und der vorhandenen Modelle entdeckten die Sicherheitsforscher von JFrog ihren Angaben zufolge etwa 100 KI-Modelle mit bösartiger Funktionalität berichten.

Einige dieser Modelle, heißt es in dem Bericht, seien in der Lage, Code auf den Computern der Benutzer auszuführen und so „eine dauerhafte Hintertür für Angreifer zu schaffen“.

Die Forscher wiesen auch darauf hin, dass solche Ergebnisse falsch positive Ergebnisse ausschließen. Sie sagten, diese seien ein genaues Abbild der Verbreitung bösartiger Modelle auf der Plattform.

Lies auch: Apple lenkt das Autoteam nach der Marktabschwächung bei Elektrofahrzeugen auf KI um

Die Beispiele

Laut dem Bericht von JFrog handelt es sich bei einem der „alarmierenden“ Fälle um a PyTorch Modell. Berichten zufolge wurde das Modell von einem Benutzer namens „baller423“ hochgeladen und anschließend von der Hugging Face-Plattform gelöscht.

Bei der weiteren Untersuchung des Modells stellten die Forscher fest, dass es eine schädliche Nutzlast enthielt, die es ihm ermöglichte, eine Reverse-Shell auf einem bestimmten Host (210.117.212.93) einzurichten.

David Cohen, leitender Sicherheitsforscher bei JFrog, sagte: „(Es) ist deutlich aufdringlicher und potenziell bösartig, da es eine direkte Verbindung zu einem externen Server herstellt, was eher auf eine potenzielle Sicherheitsbedrohung als auf eine bloße Demonstration einer Schwachstelle hinweist“, schrieb er.

Dies nutzt „die ‚_reduce_‘-Methode des Pickle-Moduls von Python, um beim Laden der Modelldatei beliebigen Code auszuführen und so herkömmliche Erkennungsmethoden effektiv zu umgehen.“

Die Forscher erkannten auch, dass dieselbe Nutzlast Verbindungen zu unterschiedlichen IP-Adressen herstellte, „was darauf hindeutet, dass es sich bei den Betreibern möglicherweise eher um Forscher als um böswillige Hacker handelt.“

Ein Weckruf

Das JFrog-Team stellte fest, dass die Ergebnisse ein Weckruf für Hugging Face seien und zeigten, dass seine Plattform anfällig für Manipulationen und potenzielle Bedrohungen sei.

„Diese Vorfälle sind eine eindringliche Erinnerung an die anhaltenden Bedrohungen für Hugging Face-Repositories und andere beliebte Repositories wie Kaggle, die möglicherweise die Privatsphäre und Sicherheit von Organisationen gefährden könnten, die diese Ressourcen nutzen, und außerdem eine Herausforderung für KI/ML-Ingenieure darstellen“, sagte er die Forscher.

Das kommt als Bedrohungen der Cybersicherheit Auf der ganzen Welt nehmen die Zahlen zu, angetrieben durch die Verbreitung von KI-Tools, die von böswilligen Akteuren für böswillige Absichten missbraucht werden. Hacker nutzen KI auch, um Phishing-Angriffe voranzutreiben und Menschen auszutricksen.

Das JFrog-Team machte jedoch noch andere Entdeckungen.

Ein Spielplatz für Forscher

Das stellten die Forscher auch fest Gesicht umarmen hat sich zu einem Spielplatz für Forscher entwickelt, „die neue Bedrohungen bekämpfen wollen, wie die vielfältigen Taktiken zur Umgehung seiner Sicherheitsmaßnahmen zeigen“.

Beispielsweise initiierte die von „baller423“ hochgeladene Nutzlast eine Reverse-Shell-Verbindung zu einem IP-Adressbereich, der zu Kreonet (Korea Research Environment Open Network) gehört.

Laut Dunkles LesenKreonet ist ein Hochgeschwindigkeitsnetzwerk in Südkorea, das fortschrittliche Forschungs- und Bildungsaktivitäten unterstützt. „Daher ist es möglich, dass KI-Forscher oder -Praktiker hinter dem Modell stecken.“

„Wir können sehen, dass die meisten ‚bösartigen‘ Payloads tatsächlich Versuche von Forschern und/oder Bug-Bounty-Programmen sind, die Codeausführung für scheinbar legitime Zwecke zu erreichen“, sagte Cohen.

Trotz der legitimen Zwecke warnte das JFrog-Team jedoch, dass die von den Forschern eingesetzten Strategien deutlich zeigen, dass Plattformen wie Hugging Face anfällig für Angriffe auf die Lieferkette seien. Diese können nach Angaben des Teams angepasst werden, um sich auf bestimmte demografische Gruppen zu konzentrieren, beispielsweise auf KI- oder ML-Ingenieure.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://metanews.com/over-100-malicious-code-execution-models-on-hugging-face-backdoors-users-devices/