La startup vise à sécuriser l'IA et le développement de l'apprentissage automatique

Alors que les entreprises ajoutent de plus en plus de capacités d'intelligence artificielle (IA) à leurs portefeuilles de produits, les experts en cybersécurité préviennent que les composants d'apprentissage automatique (ML) sont vulnérables à de nouveaux types d'attaques et doivent être protégés.

La startup HiddenLayer, qui a été lancée le 19 juillet, vise à aider les entreprises à mieux protéger leurs modèles d'apprentissage automatique sensibles et les données utilisées pour former ces modèles. La société a lancé ses premiers produits destinés au segment de la détection et de la réponse ML, visant à renforcer les modèles contre les attaques ainsi qu'à protéger les données utilisées pour former ces modèles.

Les risques ne sont pas théoriques : les fondateurs de l'entreprise ont travaillé chez Cylance lorsque les chercheurs ont trouvé des moyens de contourner le moteur d'intelligence artificielle de l'entreprise pour détecter les logiciels malveillants, explique Christopher Sestito, PDG de HiddenLayer.

"Ils ont attaqué le modèle à travers le produit lui-même et ont suffisamment interagi avec le modèle pour... déterminer où le modèle était le plus faible", dit-il.

Sestito s'attend à ce que les attaques contre les systèmes AI/ML se multiplient à mesure que de plus en plus d'entreprises intègrent les fonctionnalités dans leurs produits.

"L'IA et le ML sont les technologies à la croissance la plus rapide que nous ayons jamais vues, nous nous attendons donc à ce qu'elles soient également les vecteurs d'attaque à la croissance la plus rapide que nous ayons jamais vus", dit-il.

Failles du modèle d'apprentissage automatique

Le ML est devenu un incontournable pour la prochaine génération de produits de nombreuses entreprises, mais les entreprises ajoutent généralement des fonctionnalités basées sur l'IA sans tenir compte des implications en matière de sécurité. Parmi les menaces figurent l'évasion de modèle, comme les recherches menées contre Cylance, et l'extraction fonctionnelle, où les attaquants peuvent interroger un modèle et construire un système équivalent fonctionnel basé sur les sorties.

Il y a deux ans, Microsoft, MITRE et d'autres sociétés a créé la matrice des menaces d'apprentissage automatique contradictoire pour cataloguer les menaces potentielles contre les systèmes basés sur l'IA. Désormais rebaptisé Paysage des menaces contradictoires pour les systèmes d'intelligence artificielle (ATLAS), le dictionnaire des attaques possibles souligne que les technologies innovantes attireront les attaques innovantes.

"Contrairement aux vulnérabilités de cybersécurité traditionnelles qui sont liées à des systèmes logiciels et matériels spécifiques, les vulnérabilités ML contradictoires sont activées par des limitations inhérentes sous-jacentes aux algorithmes ML", selon le Page du projet ATLAS sur GitHub. "Les données peuvent être militarisées de nouvelles manières, ce qui nécessite une extension de la façon dont nous modélisons le comportement des cyber-adversaires, pour refléter les vecteurs de menace émergents et l'évolution rapide du cycle de vie des attaques d'apprentissage automatique contradictoires."

La menace pratique est bien connue des trois fondateurs de HiddenLayer – Sestito, Tanner Burns et James Ballard – qui ont travaillé ensemble chez Cylance. À l'époque, les chercheurs de Skylight Cyber bon code connu en annexe – en fait, une liste de chaînes de l'exécutable du jeu Rocket League – pour tromper la technologie de Cylance en lui faisant croire que 84% des logiciels malveillants étaient en fait bénins.

"Nous avons dirigé l'effort de secours après que notre modèle d'apprentissage automatique a été attaqué directement via notre produit et avons réalisé que ce serait un énorme problème pour toute organisation déployant des modèles ML dans leurs produits", a déclaré Sestito dans une déclaration annonçant le lancement de HiddenLayer.

Recherche d'adversaires en temps réel

HiddenLayer vise à créer un système capable de surveiller le fonctionnement des systèmes ML et, sans avoir besoin d'accéder aux données ou aux calculs, de déterminer si le logiciel est attaqué en utilisant l'une des méthodes contradictoires connues.

"Nous examinons les interactions comportementales avec les modèles - il peut s'agir d'une adresse IP ou d'un point de terminaison", déclare Sestito. "Nous analysons si le modèle est utilisé comme il est destiné à être utilisé ou si les entrées et les sorties sont exploitées ou si le demandeur prend des décisions à très haute entropie."

La capacité à effectuer une analyse comportementale en temps réel distingue la détection et la réponse ML de l'entreprise des autres approches, dit-il. De plus, la technologie ne nécessite pas d'accès au modèle spécifique ou aux données de formation, isolant davantage la propriété intellectuelle, explique HiddenLayer.

L'approche signifie également que la surcharge de l'agent de sécurité est faible, de l'ordre de 1 ou 2 millisecondes, explique Sestito.

"Nous examinons les entrées après la vectorisation des données brutes, il y a donc très peu d'impact sur les performances", dit-il.