Des bugs critiques mettent la plateforme Hugging Face AI dans un

Republié par Platon

Suiveurs: 0

Des bugs critiques placent la plateforme Hugging Face AI dans une intelligence de données PlatoBlockchain « Pickle ». Recherche verticale. Aï.

Deux vulnérabilités de sécurité critiques dans la plateforme Hugging Face AI ont ouvert la porte aux attaquants cherchant à accéder et à modifier les données et les modèles des clients.

L'une des failles de sécurité permettait aux attaquants d'accéder à des modèles d'apprentissage automatique (ML) appartenant à d'autres clients sur la plateforme Hugging Face, et la seconde leur permettait d'écraser toutes les images d'un registre de conteneurs partagé. Les deux failles, découvertes par les chercheurs de Wiz, étaient liées à la capacité des attaquants à s'emparer de parties de l'infrastructure d'inférence de Hugging Face.

Les chercheurs de Wiz ont découvert des faiblesses dans trois composants spécifiques : l'API d'inférence de Hugging Face, qui permet aux utilisateurs de parcourir et d'interagir avec les modèles disponibles sur la plateforme ; Hugging Face Inference Endpoints – ou infrastructure dédiée pour déployer des modèles d’IA en production ; et Hugging Face Spaces, un service d'hébergement pour présenter des applications IA/ML ou pour travailler en collaboration sur le développement de modèles.

Le problème avec le cornichon

En examinant l'infrastructure de Hugging Face et les moyens d'exploiter les bugs découverts, les chercheurs de Wiz ont découvert que n'importe qui pouvait facilement télécharger un modèle AI/ML sur la plate-forme, y compris ceux basés sur le format Pickle. Cornichon est un module largement utilisé pour stocker des objets Python dans un fichier. Même si la fondation logicielle Python elle-même considère Pickle comme non sécurisé, il reste populaire en raison de sa facilité d'utilisation et de la familiarité des utilisateurs avec lui.

"Il est relativement simple de créer un modèle PyTorch (Pickle) qui exécutera du code arbitraire lors du chargement", selon Wiz.

Les chercheurs de Wiz ont profité de la possibilité de télécharger sur Hugging Face un modèle privé basé sur Pickle qui exécuterait un shell inversé lors du chargement. Ils ont ensuite interagi avec lui à l'aide de l'API Inference pour obtenir une fonctionnalité de type shell, que les chercheurs ont utilisée pour explorer leur environnement sur l'infrastructure de Hugging Face.

Cet exercice a rapidement montré aux chercheurs que leur modèle s'exécutait dans un pod d'un cluster sur Amazon Elastic Kubernetes Service (EKS). À partir de là, les chercheurs ont pu exploiter les erreurs de configuration courantes pour extraire des informations leur permettant d'acquérir les privilèges requis pour afficher les secrets qui auraient pu leur permettre d'accéder à d'autres locataires sur l'infrastructure partagée.

Avec Hugging Face Spaces, Wiz a découvert qu'un attaquant pouvait exécuter du code arbitraire pendant la création de l'application, ce qui lui permettrait d'examiner les connexions réseau depuis sa machine. Leur examen a montré une connexion à un registre de conteneurs partagé contenant des images appartenant à d'autres clients qu'ils auraient pu falsifier.

"Entre de mauvaises mains, la possibilité d'écrire dans le registre interne des conteneurs pourrait avoir des implications significatives sur l'intégrité de la plateforme et conduire à des attaques de la chaîne d'approvisionnement sur les espaces des clients", a déclaré Wiz.

Visage câlin a dit cela avait complètement atténué les risques découverts par Wiz. La société a entre-temps identifié les problèmes comme étant au moins en partie liés à sa décision de continuer à autoriser l'utilisation des fichiers Pickle sur la plate-forme Hugging Face, malgré les risques de sécurité bien documentés susmentionnés associés à ces fichiers.

"Les fichiers Pickle ont été au cœur de la plupart des recherches effectuées par Wiz et d'autres publications récentes de chercheurs en sécurité sur Hugging Face", a noté la société. Autoriser l'utilisation de Pickle sur Hugging Face est "un fardeau pour nos équipes d'ingénierie et de sécurité et nous avons déployé des efforts importants pour atténuer les risques tout en permettant à la communauté de l'IA d'utiliser les outils de son choix".

Risques émergents liés à l'IA en tant que service

Wiz a décrit sa découverte comme révélateur des risques dont les organisations doivent être conscientes lorsqu'elles utilisent une infrastructure partagée pour héberger, exécuter et développer de nouveaux modèles et applications d'IA, ce qui est de plus en plus connu sous le nom d'« IA en tant que service ». L'entreprise a comparé les risques et les mesures d'atténuation associées à ceux que les organisations rencontrent dans les environnements de cloud public et leur a recommandé d'appliquer également les mêmes mesures d'atténuation dans les environnements d'IA.

"Les organisations doivent s'assurer d'avoir une visibilité et une gouvernance sur l'ensemble de la pile d'IA utilisée et analyser soigneusement tous les risques", a déclaré Wiz dans un blog cette semaine. Cela inclut l’analyse de « l’utilisation de modèles malveillants, exposition des données de formation, données sensibles en formation, vulnérabilités dans les SDK d’IA, l’exposition des services d’IA et d’autres combinaisons de risques toxiques qui peuvent être exploitées par des attaquants », a déclaré le fournisseur de sécurité.

Eric Schwake, directeur de la stratégie de cybersécurité chez Salt Security, affirme qu'il existe deux problèmes majeurs liés à l'utilisation de l'IA en tant que service dont les organisations doivent être conscientes. « Premièrement, les acteurs malveillants peuvent télécharger des modèles d’IA nuisibles ou exploiter les vulnérabilités de la pile d’inférence pour voler des données ou manipuler les résultats », explique-t-il. « Deuxièmement, des acteurs malveillants peuvent tenter de compromettre les données d’entraînement, ce qui conduit à des résultats d’IA biaisés ou inexacts, communément appelés empoisonnement des données. »

Identifier ces problèmes peut être difficile, en particulier compte tenu de la complexité croissante des modèles d’IA, dit-il. Pour aider à gérer une partie de ce risque, il est important que les organisations comprennent comment leurs applications et modèles d'IA interagissent avec l'API et trouvent des moyens de sécuriser cela. « Les organisations pourraient également vouloir explorer IA explicable (XAI) pour aider à rendre les modèles d'IA plus compréhensibles », explique Schwake, « et cela pourrait aider à identifier et à atténuer les biais ou les risques au sein des modèles d'IA.