Forscher haben etwa 100 Modelle für maschinelles Lernen (ML) entdeckt, die auf die Plattform für künstliche Intelligenz (KI) von Hugging Face hochgeladen wurden und es Angreifern möglicherweise ermöglichen, bösartigen Code in Benutzercomputer einzuschleusen. Die Ergebnisse unterstreichen zusätzlich die wachsende Bedrohung, die auf Angreifer lauert vergiften öffentlich verfügbare KI-Modelle für schändliche Aktivitäten.
Die Entdeckung der Schadmodelle durch JFrog Security Research ist Teil der laufenden Forschung des Unternehmens darüber, wie Angreifer ML-Modelle nutzen können, um Benutzerumgebungen zu kompromittieren, heißt es a blog post Diese Woche veröffentlicht.
Insbesondere JFrog hat eine Scan-Umgebung entwickelt, um Modelldateien zu untersuchen, die auf Hugging Face – ein weit verbreitetes öffentliches KI-Modell-Repository – hochgeladen wurden, um neu auftretende Bedrohungen zu erkennen und zu neutralisieren. insbesondere durch die Codeausführung.
Beim Ausführen dieses Tools stellten die Forscher fest, dass in das Repository geladene Modelle schädliche Nutzlasten enthielten. In einem Beispiel markierte der Scanner ein PyTorch-Modell, das von einem Benutzer namens baller423 – einem inzwischen gelöschten Konto – in ein Repository hochgeladen wurde und es Angreifern ermöglicht, beliebigen Python-Code in einen Schlüsselprozess einzufügen. Dies könnte möglicherweise zu bösartigem Verhalten führen, wenn das Modell auf den Computer eines Benutzers geladen wird.
Hugging-Face-Payload-Analyse
Während in KI-Modellen eingebettete Nutzlasten, die von Forschern hochgeladen werden, typischerweise darauf abzielen, Schwachstellen aufzuzeigen oder Proof-of-Concept zu präsentieren, ohne Schaden anzurichten, unterschieden sich die von baller423 hochgeladenen Nutzlasten erheblich, schrieb David Cohen, leitender Sicherheitsforscher bei JFrog, in dem Beitrag.
Es wurde eine Reverse-Shell-Verbindung zu einer tatsächlichen IP-Adresse, 210.117.212.93, initiiert. Verhalten, das „deutlich aufdringlicher ist und potenziell bösartig, da es eine direkte Verbindung zu einem externen Server herstellt, was eher auf eine potenzielle Sicherheitsbedrohung als auf eine bloße Demonstration einer Schwachstelle hinweist“, schrieb er.
JFrog stellte fest, dass der IP-Adressbereich zu Kreonet gehört, was für „Korea Research Environment Open Network“ steht. Kreonet dient als Hochgeschwindigkeitsnetzwerk in Südkorea zur Unterstützung fortschrittlicher Forschungs- und Bildungsbemühungen; Daher ist es möglich, dass KI-Forscher oder -Praktiker hinter dem Modell stecken.
„Ein Grundprinzip der Sicherheitsforschung besteht jedoch darin, keine wirklich funktionierenden Exploits oder bösartigen Code zu veröffentlichen“, ein Grundsatz, der verletzt wurde, als der bösartige Code versuchte, eine Verbindung zu einer echten IP-Adresse herzustellen, bemerkte Cohen.
Darüber hinaus stießen die Forscher kurz nach der Entfernung des Modells auf weitere Instanzen derselben Nutzlast mit unterschiedlichen IP-Adressen, von denen eine weiterhin aktiv blieb.
Weitere Untersuchungen zu Hugging Face deckten rund 100 potenziell bösartige Modelle auf und verdeutlichten damit die weitreichenderen Auswirkungen allgemeine Sicherheitsbedrohung durch bösartige KI-Modelle, was ständige Wachsamkeit und proaktivere Sicherheit erfordert, schrieb Cohen.
Wie bösartige KI-Modelle funktionieren
Um zu verstehen, wie Angreifer Hugging Face ML-Modelle als Waffe einsetzen können, muss man verstehen, wie ein bösartiges PyTorch-Modell wie das von baller423 hochgeladene im Kontext funktioniert Python- und KI-Entwicklung.
Die Codeausführung kann beim Laden bestimmter Arten von ML-Modellen erfolgen – beispielsweise eines Modells, das das sogenannte „Pickle“-Format verwendet, ein gängiges Format zur Serialisierung von Python-Objekten. Das liegt daran, dass Pickle-Dateien laut JFrog auch beliebigen Code enthalten können, der beim Laden der Datei ausgeführt wird.
Das Laden von PyTorch-Modellen mit Transformatoren, ein gängiger Ansatz von Entwicklern, beinhaltet die Verwendung der Funktion Torch.load(), die das Modell aus einer Datei deserialisiert. Insbesondere beim Umgang mit PyTorch-Modellen, die mit der Transformers-Bibliothek von Hugging Face trainiert wurden, verwenden Entwickler laut JFrog häufig diese Methode, um das Modell zusammen mit seiner Architektur, seinen Gewichten und allen zugehörigen Konfigurationen zu laden.
Cohen stellte fest, dass Transformer einen umfassenden Rahmen für Aufgaben der Verarbeitung natürlicher Sprache bieten und die Erstellung und Bereitstellung anspruchsvoller Modelle erleichtern.
„Es scheint, dass die bösartige Nutzlast mithilfe der __reduce__-Methode des Pickle-Moduls in die PyTorch-Modelldatei eingeschleust wurde“, schrieb er. „Diese Methode ermöglicht es Angreifern, beliebigen Python-Code in den Deserialisierungsprozess einzufügen, was möglicherweise zu böswilligem Verhalten beim Laden des Modells führt.“
Obwohl Hugging Face über eine Reihe hochwertiger integrierter Sicherheitsfunktionen verfügt – darunter Malware-Scans, Pickle-Scans und Secrets-Scans – wird der Download von Pickle-Modellen nicht vollständig blockiert oder eingeschränkt. Stattdessen werden sie lediglich als „unsicher“ markiert, was bedeutet, dass jemand weiterhin potenziell schädliche Modelle herunterladen und ausführen kann.
Darüber hinaus ist es wichtig zu beachten, dass nicht nur Pickle-basierte Modelle anfällig für die Ausführung von Schadcode sind. Der zweithäufigste Modelltyp auf Hugging Face ist beispielsweise Tensorflow Keras, der ebenfalls beliebigen Code ausführen kann, auch wenn es laut JFrog für Angreifer nicht so einfach ist, diese Methode auszunutzen.
Risikominderung durch vergiftete KI-Modelle
Dies ist nicht das erste Mal, dass Forscher in Hugging Face, einer Plattform, auf der die ML-Community an Modellen, Datensätzen und Anwendungen zusammenarbeitet, ein KI-Sicherheitsrisiko entdeckt haben. Forscher des KI-Sicherheits-Startups Lasso Security sagten zuvor, dass sie mithilfe von Meta auf die LLM-Repositorys Bloom, Meta-Llama und Pythia zugreifen konnten ungesicherte API-Zugriffstoken, die sie auf GitHub und dem Hugging Face entdeckt haben Plattform für LLM-Entwickler.
Der Zugriff hätte einem Gegner ermöglicht Trainingsdaten stillschweigend vergiften In diesen weit verbreiteten LLMs stehlen sie Modelle und Datensätze und führen möglicherweise andere böswillige Aktivitäten aus.
Tatsächlich wächst die Existenz öffentlich zugänglicher und somit potenziell bösartige KI/ML-Modelle stellt laut JFrog ein großes Risiko für die Lieferkette dar, insbesondere bei Angriffen, die speziell auf Zielgruppen wie KI/ML-Ingenieure und Pipeline-Maschinen abzielen.
Um dieses Risiko zu mindern, sollten KI-Entwickler neue Tools nutzen, die ihnen zur Verfügung stehen, wie z Jäger, eine Bug-Bounty-Plattform, die speziell auf KI-Schwachstellen zugeschnitten ist, um die Sicherheitslage von KI-Modellen und -Plattformen zu verbessern, schrieb Cohen.
„Diese gemeinsame Anstrengung ist unerlässlich, um die Hugging Face-Repositories zu stärken und die Privatsphäre und Integrität von KI/ML-Ingenieuren und Organisationen zu schützen, die auf diese Ressourcen angewiesen sind“, schrieb er.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- :hast
- :Ist
- :nicht
- :Wo
- 100
- 210
- 212
- 7
- a
- Fähig
- Über Uns
- Zugang
- Nach
- Konto
- aktiv
- Aktivitäten
- Aktivität
- präsentieren
- Adresse
- Adressen
- advanced
- Nach der
- AI
- KI-Modelle
- KI-Plattform
- AI / ML
- Ziel
- erlaubt
- entlang
- ebenfalls
- an
- Analyse
- und
- jedem
- Bienen
- API-Zugriff
- erscheint
- Anwendungen
- Ansatz
- willkürlich
- Architektur
- SIND
- künstlich
- künstliche Intelligenz
- Künstliche Intelligenz (AI)
- AS
- damit verbundenen
- At
- Anschläge
- Versuche
- verfügbar
- Zurück
- weil
- war
- Verhalten
- hinter
- Sein
- gehört
- Blockieren
- Blog
- Blühen
- eingebaut
- by
- namens
- CAN
- verursacht
- sicher
- Kette
- Code
- Cohen
- zusammenarbeitet
- Collective
- COM
- gemeinsam
- community
- umfassend
- Kompromiss
- Vernetz Dich
- Verbindung
- konstante
- enthalten
- Kontext
- könnte
- Schaffung
- technische Daten
- Datensätze
- Christian
- Behandlung
- Anforderungen
- Demographie
- zeigen
- Einsatz
- entdecken
- Entwickler
- Direkt
- entdeckt
- Entdeckung
- doesn
- herunterladen
- Einfache
- Bildungs-
- Anstrengung
- eingebettet
- aufstrebenden
- ermöglichen
- ermöglicht
- bemüht sich
- Ingenieure
- zu steigern,
- Arbeitsumfeld
- Umgebungen
- etabliert
- Sogar
- Beispiel
- ausführen
- ausgeführt
- Ausführung
- Ausführung
- Existenz
- Ausnutzen
- Abenteuer
- extern
- Gesicht
- erleichtern
- Reichen Sie das
- Mappen
- Befund
- Fest
- Vorname
- erstes Mal
- markiert
- Aussichten für
- Format
- gefunden
- Unser Ansatz
- für
- Funktion
- fundamental
- weiter
- GitHub
- persönlichem Wachstum
- passieren
- schaden
- schädlich
- Haben
- he
- Hervorheben
- Ultraschall
- aber
- HTTPS
- Impact der HXNUMXO Observatorien
- Imperativ
- wichtig
- in
- Einschließlich
- Anzeige
- initiiert
- injizieren
- Instanz
- beantragen müssen
- Integrität
- Intelligenz
- in
- aufdringlich
- Untersuchung
- beinhaltet
- IP
- IP Address
- IP-Adressen
- isn
- IT
- SEINE
- jpg
- nur
- keras
- Wesentliche
- Korea
- Sprache
- grosse
- führen
- führenden
- lernen
- Bibliothek
- Gefällt mir
- LLM
- Belastung
- Laden
- Maschine
- Maschinelles Lernen
- Maschinen
- Dur
- böswilligen
- Malware
- Kann..
- Mittel
- bloß
- Meta
- Methode
- Mildern
- mildernd
- ML
- Modell
- für
- Modul
- mehr
- Namens
- Natürliche
- Verarbeitung natürlicher Sprache
- Netzwerk
- Neu
- vor allem
- beachten
- bekannt
- Anzahl
- Objekte
- of
- vorgenommen,
- on
- EINEM
- laufend
- auf zu
- XNUMXh geöffnet
- offenes Netzwerk
- or
- Organisationen
- Andere
- geradezu
- Teil
- besonders
- Pipeline
- Plattform
- Plattformen
- Plato
- Datenintelligenz von Plato
- PlatoData
- Gift
- Posen
- möglich
- Post
- Potenzial
- möglicherweise
- vorherrschend
- vorher
- Prinzip
- Datenschutz
- Proaktives Handeln
- Prozessdefinierung
- Verarbeitung
- die
- Öffentlichkeit
- öffentlich
- veröffentlicht
- Publishing
- Python
- Pytorch
- Qualität
- Angebot
- lieber
- echt
- sich auf
- bleibt bestehen
- Entfernt
- Quelle
- erfordert
- Forschungsprojekte
- Forscher
- Forscher
- Downloads
- eine Beschränkung
- rückgängig machen
- durcheinander gebracht
- Risiko
- Laufen
- s
- Sicherung
- Said
- gleich
- Scannen
- Sicherheitdienst
- Sicherheitsstart
- Senior
- Server
- dient
- Sets
- Schale
- Kurz
- sollte
- Vitrine
- bedeutend
- da
- einige
- Jemand,
- anspruchsvoll
- Süd
- Südkorea
- speziell
- Sponsored
- steht
- Anfang
- Immer noch
- so
- liefern
- Supply Chain
- Support
- empfänglich
- zugeschnitten
- Target
- und Aufgaben
- Tensorfluss
- als
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- Sie
- dann
- deswegen
- Diese
- vom Nutzer definierten
- fehlen uns die Worte.
- diese Woche
- obwohl?
- Bedrohung
- Bedrohungen
- So
- Zeit
- zu
- Tokens
- Werkzeug
- Werkzeuge
- Fackel
- trainiert
- Ausbildung
- Transformer
- tippe
- Typen
- typisch
- unbedeckt
- unterstreichen
- verstehen
- Verständnis
- hochgeladen
- -
- benutzt
- Mitglied
- verwendet
- Verwendung von
- Variieren
- Wachsamkeit
- Sicherheitslücken
- Verwundbarkeit
- wurde
- Woche
- waren
- Was
- wann
- welche
- weit
- breiter
- mit
- .
- ohne
- Arbeiten
- arbeiten,
- Werk
- würde
- schrieb
- Zephyrnet