Les chercheurs ont découvert environ 100 modèles d'apprentissage automatique (ML) qui ont été téléchargés sur la plateforme d'intelligence artificielle (IA) Hugging Face et qui permettent potentiellement aux attaquants d'injecter du code malveillant sur les machines des utilisateurs. Les résultats soulignent encore davantage la menace croissante qui se cache lorsque les attaquants empoisonner les modèles d'IA accessibles au public pour activité néfaste.
La découverte des modèles malveillants par JFrog Security Research fait partie des recherches en cours menées par l'entreprise sur la manière dont les attaquants peuvent utiliser des modèles ML pour compromettre les environnements utilisateur, selon un blog publié cette semaine.
Plus précisément, JFrog développé un environnement d'analyse pour examiner les fichiers de modèles téléchargés sur Hugging Face - un référentiel public de modèles d'IA largement utilisé - afin de détecter et de neutraliser les menaces émergentes, en particulier de l'exécution de code.
En exécutant cet outil, les chercheurs ont découvert que les modèles chargés sur le référentiel hébergeaient des charges utiles malveillantes. Dans un exemple, le scanner a signalé un modèle PyTorch téléchargé dans un référentiel par un utilisateur nommé baller423 – un compte qui a depuis été supprimé – qui permet aux attaquants d'insérer du code Python arbitraire dans un processus clé. Cela pourrait potentiellement conduire à un comportement malveillant lorsque le modèle est chargé sur la machine d'un utilisateur.
Analyse de la charge utile du visage câlin
Alors que les charges utiles intégrées dans les modèles d'IA téléchargés par les chercheurs visent généralement à démontrer des vulnérabilités ou à présenter des preuves de concept sans causer de dommages, la charge utile téléchargée par baller423 différait considérablement, a écrit David Cohen, chercheur principal en sécurité chez JFrog, dans l'article.
Il a initié une connexion shell inversée vers une adresse IP réelle, 210.117.212.93, comportement qui « est nettement plus intrusif et potentiellement malveillant, car il établit une connexion directe à un serveur externe, indiquant une menace potentielle pour la sécurité plutôt qu’une simple démonstration de vulnérabilité », a-t-il écrit.
JFrog a découvert que la plage d'adresses IP appartient à Kreonet, qui signifie « Korea Research Environment Open Network ». Kreonet sert de réseau à haut débit en Corée du Sud pour soutenir les efforts de recherche et d'éducation avancés ; par conséquent, il est possible que des chercheurs ou des praticiens de l’IA soient à l’origine du modèle.
"Cependant, un principe fondamental de la recherche en matière de sécurité consiste à s'abstenir de publier des exploits réels ou des codes malveillants", un principe qui a été violé lorsque le code malveillant a tenté de se reconnecter à une véritable adresse IP, a noté Cohen.
De plus, peu de temps après la suppression du modèle, les chercheurs ont rencontré d’autres instances de la même charge utile avec différentes adresses IP, dont l’une reste active.
Une enquête plus approfondie sur Hugging Face a révélé quelque 100 modèles potentiellement malveillants, soulignant l'impact plus large du virus. menace globale de sécurité provenant de modèles d'IA malveillants, qui exige une vigilance constante et une sécurité plus proactive, a écrit Cohen.
Comment fonctionnent les modèles d’IA malveillants
Pour comprendre comment les attaquants peuvent militariser les modèles Hugging Face ML, il faut comprendre comment un modèle PyTorch malveillant comme celui téléchargé par baller423 fonctionne dans le contexte de Développement Python et IA.
L'exécution de code peut se produire lors du chargement de certains types de modèles ML, par exemple un modèle qui utilise ce qu'on appelle le format « pickle », un format courant pour la sérialisation des objets Python. En effet, selon JFrog, les fichiers pickle peuvent également contenir du code arbitraire exécuté lors du chargement du fichier.
Le chargement de modèles PyTorch avec des transformateurs, une approche courante par les développeurs, implique l'utilisation de la fonction torch.load(), qui désérialise le modèle à partir d'un fichier. Selon JFrog, en particulier lorsqu'il s'agit de modèles PyTorch formés avec la bibliothèque Transformers de Hugging Face, les développeurs utilisent souvent cette méthode pour charger le modèle avec son architecture, ses poids et toutes les configurations associées.
Les transformateurs fournissent donc un cadre complet pour les tâches de traitement du langage naturel, facilitant la création et le déploiement de modèles sophistiqués, a observé Cohen.
"Il semble que la charge utile malveillante ait été injectée dans le fichier modèle PyTorch en utilisant la méthode __reduce__ du module pickle", a-t-il écrit. "Cette méthode permet aux attaquants d'insérer du code Python arbitraire dans le processus de désérialisation, conduisant potentiellement à un comportement malveillant lors du chargement du modèle."
Bien que Hugging Face dispose d'un certain nombre de protections de sécurité intégrées de qualité, notamment l'analyse des logiciels malveillants, l'analyse des cornichons et l'analyse des secrets, il ne bloque ni ne restreint complètement le téléchargement des modèles de cornichons. Au lieu de cela, il les marque simplement comme « dangereux », ce qui signifie que quelqu’un peut toujours télécharger et exécuter des modèles potentiellement dangereux.
En outre, il est important de noter que les modèles basés sur les cornichons ne sont pas les seuls à être susceptibles d'exécuter du code malveillant. Par exemple, le deuxième type de modèle le plus répandu sur Hugging Face est Tensorflow Keras, qui peut également exécuter du code arbitraire, même s'il n'est pas aussi facile pour les attaquants d'exploiter cette méthode, selon JFrog.
Atténuer les risques liés aux modèles d'IA empoisonnés
Ce n'est pas la première fois que les chercheurs découvrent un risque de sécurité de l'IA dans Hugging Face, une plate-forme sur laquelle la communauté ML collabore sur des modèles, des ensembles de données et des applications. Les chercheurs de la start-up de sécurité IA Lasso Security ont précédemment déclaré qu'ils étaient en mesure d'accéder aux référentiels de grands modèles de langage (LLM) de Meta's Bloom, Meta-Llama et Pythia en utilisant jetons d'accès API non sécurisés qu'ils ont découverts sur GitHub et Hugging Face plateforme pour les développeurs LLM.
L'accès aurait permis à un adversaire de empoisonner silencieusement les données d'entraînement dans ces LLM largement utilisés, volez des modèles et des ensembles de données et exécutez potentiellement d’autres activités malveillantes.
En effet, l'existence croissante d'informations accessibles au public et donc modèles IA/ML potentiellement malveillants représente un risque majeur pour la chaîne d'approvisionnement, en particulier pour les attaques qui ciblent spécifiquement des données démographiques telles que les ingénieurs IA/ML et les machines de pipeline, selon JFrog.
Pour atténuer ce risque, les développeurs d'IA devraient utiliser les nouveaux outils à leur disposition, tels que Chasseur, une plate-forme de prime aux bogues spécialement conçue pour les vulnérabilités de l'IA afin d'améliorer la sécurité des modèles et des plates-formes d'IA, a écrit Cohen.
"Cet effort collectif est impératif pour renforcer les référentiels Hugging Face et protéger la confidentialité et l'intégrité des ingénieurs IA/ML et des organisations qui dépendent de ces ressources", a-t-il écrit.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
- PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
- PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
- PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
- La source: https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- :possède
- :est
- :ne pas
- :où
- 100
- 210
- 212
- 7
- a
- Capable
- A Propos
- accès
- Selon
- Compte
- infection
- d'activités
- activité
- présenter
- propos
- adresses
- Avancée
- Après
- AI
- Modèles AI
- Plateforme IA
- AI / ML
- objectif
- permis
- le long de
- aussi
- an
- selon une analyse de l’Université de Princeton
- et de
- tous
- api
- Accès API
- apparaît
- applications
- une approche
- arbitraire
- architecture
- SONT
- artificiel
- intelligence artificielle
- Intelligence artificielle (AI)
- AS
- associé
- At
- Attaques
- tentative
- disponibles
- RETOUR
- car
- était
- humain
- derrière
- va
- appartient
- Block
- Blog
- Bloom
- intégré
- by
- appelé
- CAN
- causer
- certaines
- chaîne
- code
- Cohen
- collabore
- Collective
- COM
- Commun
- Communautés
- complet
- compromis
- NOUS CONTACTER
- connexion
- constant
- contiennent
- contexte
- pourriez
- création
- données
- ensembles de données
- David
- traitement
- demandes
- Démographie
- démontrer
- déploiement
- détecter
- mobiles
- découvert
- découverte
- doesn
- download
- Easy
- pédagogique
- effort
- intégré
- économies émergentes.
- permettre
- permet
- efforts
- Les ingénieurs
- de renforcer
- Environment
- environnements
- établit
- Pourtant, la
- exemple
- exécuter
- réalisé
- exécution
- exécution
- existence
- Exploiter
- exploits
- externe
- Visage
- faciliter
- Déposez votre dernière attestation
- Fichiers
- résultats
- Ferme
- Prénom
- première fois
- marqué
- Pour
- le format
- trouvé
- Framework
- De
- fonction
- fondamental
- plus
- GitHub
- Croissance
- arriver
- nuire
- nuisible
- Vous avez
- he
- Soulignant
- Comment
- Cependant
- HTTPS
- Impact
- impératif
- important
- in
- Y compris
- indiquant
- initié
- injecter
- instance
- plutôt ;
- intégrité
- Intelligence
- développement
- intrusif
- enquête
- implique
- IP
- IP dédiée
- adresses IP
- ISN
- IT
- SES
- jpg
- juste
- keras
- ACTIVITES
- Corée
- langue
- gros
- conduire
- conduisant
- apprentissage
- Bibliothèque
- comme
- LLM
- charge
- chargement
- click
- machine learning
- Les machines
- majeur
- malveillant
- malware
- Mai..
- veux dire
- simple
- Meta
- méthode
- Réduire les
- atténuer
- ML
- modèle
- numériques jumeaux (digital twin models)
- Module
- PLUS
- Nommé
- Nature
- Traitement du langage naturel
- réseau et
- Nouveauté
- notamment
- noter
- noté
- nombre
- objets
- of
- souvent
- on
- ONE
- en cours
- sur
- ouvert
- réseau ouvert
- or
- organisations
- Autre
- carrément
- partie
- particulièrement
- pipeline
- plateforme
- Plateformes
- Platon
- Intelligence des données Platon
- PlatonDonnées
- poison
- pose
- possible
- Post
- défaillances
- l'éventualité
- répandue
- précédemment
- principe
- la confidentialité
- Cybersécurité
- processus
- traitement
- fournir
- public
- publiquement
- publié
- Édition
- Python
- pytorch
- qualité
- gamme
- plutôt
- réal
- s'appuyer
- reste
- Supprimé
- dépôt
- a besoin
- un article
- chercheur
- chercheurs
- Resources
- restreindre
- inverser
- criblé
- Analyse
- pour le running
- s
- la sauvegarde
- Saïd
- même
- balayage
- secrets
- sécurité
- démarrage de la sécurité
- supérieur
- serveur
- sert
- Sets
- coquillage
- Peu de temps
- devrait
- vitrine
- de façon significative
- depuis
- quelques
- Quelqu'un
- sophistiqué
- Région Sud
- South Korea
- spécifiquement
- Sponsorisé
- peuplements
- Commencez
- Encore
- tel
- la quantité
- chaîne d'approvisionnement
- Support
- sensible
- Target
- tâches
- tensorflow
- que
- qui
- La
- Les
- puis
- donc
- Ces
- l'ont
- this
- cette semaine
- bien que?
- menace
- des menaces
- Ainsi
- fiable
- à
- Tokens
- outil
- les outils
- torche
- qualifié
- Formation
- transformateurs
- type
- types
- typiquement
- découvert
- souligner
- comprendre
- compréhension
- téléchargé
- utilisé
- d'utiliser
- Utilisateur
- Usages
- en utilisant
- variant
- vigilance
- vulnérabilités
- vulnérabilité
- était
- semaine
- ont été
- Quoi
- quand
- qui
- largement
- plus large
- comprenant
- dans les
- sans
- activités principales
- de travail
- vos contrats
- pourra
- écrit
- zéphyrnet