Si vous pensiez que le problème de la sécurité de la chaîne d’approvisionnement logicielle était déjà assez difficile aujourd’hui, attachez votre ceinture. La croissance explosive de l’utilisation de l’intelligence artificielle (IA) est sur le point de rendre les problèmes de chaîne d’approvisionnement encore plus difficiles à résoudre dans les années à venir.
Les développeurs, les professionnels de la sécurité des applications et les professionnels du DevSecOps sont appelés à corriger les failles les plus risquées qui se cachent dans ce qui semble être des combinaisons infinies de composants open source et propriétaires intégrés à leurs applications et à leur infrastructure cloud. Mais c'est une bataille constante pour essayer de comprendre quels composants ils possèdent, lesquels sont vulnérables et quels défauts les mettent le plus en danger. De toute évidence, ils ont déjà du mal à gérer correctement ces dépendances dans leur logiciel tel qu'il est.
Ce qui va devenir plus difficile, c’est l’effet multiplicateur que l’IA risque d’ajouter à la situation.
Modèles d'IA en tant que code auto-exécutable
Les outils basés sur l’IA et l’apprentissage automatique (ML) sont des logiciels au même titre que tout autre type d’application – et leur code est tout aussi susceptible de souffrir des insécurités de la chaîne d’approvisionnement. Cependant, ils ajoutent une autre variable d’actif au mix qui augmente considérablement la surface d’attaque de la chaîne d’approvisionnement des logiciels d’IA : les modèles IA/ML.
« Ce qui différencie les applications d'IA de toutes les autres formes de logiciels, c'est qu'elles s'appuient d'une manière ou d'une autre sur ce qu'on appelle un modèle d'apprentissage automatique », explique Daryan Dehghanpisheh, co-fondateur de Protect AI. « En conséquence, ce modèle d’apprentissage automatique lui-même constitue désormais un atout dans votre infrastructure. Lorsque vous disposez d'un actif dans votre infrastructure, vous devez pouvoir analyser votre environnement, identifier où il se trouve, ce qu'il contient, qui dispose des autorisations et ce qu'il fait. Et si vous ne pouvez pas faire cela avec les modèles aujourd’hui, vous ne pouvez pas les gérer. »
Les modèles IA/ML constituent la base de la capacité d'un système d'IA à reconnaître des modèles, à faire des prédictions, à prendre des décisions, à déclencher des actions ou à créer du contenu. Mais la vérité est que la plupart des organisations ne savent même pas comment commencer à gagner en visibilité sur tous les modèles d’IA intégrés dans leurs logiciels. Les modèles et l'infrastructure qui les entoure sont construits différemment des autres composants logiciels, et les outils de sécurité et logiciels traditionnels ne sont pas conçus pour analyser ou comprendre le fonctionnement des modèles d'IA ou leurs défauts. C'est ce qui les rend uniques, explique Dehghanpisheh, qui explique qu'il s'agit essentiellement de morceaux cachés de code auto-exécutables.
« Un modèle, de par sa conception, est un morceau de code auto-exécutable. Il a une certaine liberté d’action », explique Dehghanpisheh. « Si je vous disais que vous avez des actifs partout dans votre infrastructure que vous ne pouvez pas voir, que vous ne pouvez pas identifier, vous ne savez pas ce qu'ils contiennent, vous ne savez pas quel est le code, et ils s'exécutent automatiquement. et passer des appels à l'extérieur, cela ressemble étrangement à un virus d'autorisation, n'est-ce pas ?
Un observateur précoce des insécurités de l’IA
Devancer ce problème a été la principale motivation derrière lui et ses co-fondateurs qui ont lancé Protect AI en 2022, qui fait partie d'une série de nouvelles entreprises qui surgissent pour résoudre les problèmes de sécurité des modèles et de traçabilité des données qui se profilent à l'ère de l'IA. Dehghanpisheh et le co-fondateur Ian Swanson ont eu un aperçu de l'avenir lorsqu'ils ont travaillé ensemble pour créer des solutions d'IA/ML chez AWS. Dehghanpisheh était le leader mondial des architectes de solutions IA/ML.
« Pendant le temps que nous avons passé ensemble chez AWS, nous avons vu des clients construire des systèmes d'IA/ML à un rythme incroyablement rapide, bien avant que l'IA générative ne conquière le cœur et l'esprit de tous, de la haute direction au Congrès », dit-il, expliquant que il a travaillé avec un large éventail d'ingénieurs et d'experts en développement commercial, ainsi qu'avec de nombreux clients. "C'est à ce moment-là que nous avons réalisé où et comment se trouvaient les vulnérabilités de sécurité propres aux systèmes IA/ML."
Ils ont observé trois éléments fondamentaux à propos de l’IA/ML qui ont eu des implications incroyables pour l’avenir de la cybersécurité, dit-il. La première était que le rythme d’adoption était si rapide qu’ils ont pu constater à quelle vitesse des entités informatiques fantômes surgissaient autour du développement de l’IA et de son utilisation commerciale, échappant au type de gouvernance qui superviserait tout autre type de développement dans l’entreprise.
La seconde était que la majorité des outils utilisés – qu’ils soient commerciaux ou open source – étaient conçus par des data scientists et des ingénieurs ML prometteurs qui n’avaient jamais été formés aux concepts de sécurité.
« En conséquence, nous disposions d'outils vraiment utiles, très populaires, très distribués et largement adoptés, qui n'étaient pas conçus dans un esprit de sécurité », dit-il.
Les systèmes d'IA ne sont pas conçus pour « la sécurité d'abord »
En conséquence, de nombreux systèmes d’IA/ML et outils partagés ne disposent pas des bases en matière d’authentification et d’autorisation et accordent souvent trop d’accès en lecture et en écriture aux systèmes de fichiers, explique-t-il. En plus des configurations réseau non sécurisées et des problèmes inhérents aux modèles, les organisations commencent à s'enliser dans des problèmes de sécurité en cascade dans ces systèmes très complexes et difficiles à comprendre.
«Cela nous a fait réaliser que les outils, processus et cadres de sécurité existants, quel que soit le chemin parcouru, manquaient du contexte dont les ingénieurs en apprentissage automatique, les scientifiques des données et les développeurs d'IA auraient besoin», dit-il.
Enfin, la troisième observation majeure que lui et Swanson ont faite au cours de ces journées AWS était que les violations de l'IA ne se produisaient pas. Ils étaient déjà arrivés.
« Nous avons constaté que des clients présentaient des failles dans divers systèmes d'IA/ML qui auraient dû être détectés, mais qui ne l'ont pas été », explique-t-il. « Ce que cela nous a dit, c'est que l'ensemble et les processus, ainsi que les éléments de gestion de la réponse aux incidents, n'étaient pas spécialement conçus pour la façon dont l'IA/ML était architecturée. Ce problème s’est encore aggravé à mesure que l’IA générative prenait de l’ampleur.
Les modèles d'IA sont largement partagés
Dehghanpisheh et Swanson ont également commencé à voir comment les modèles et les données de formation créaient une nouvelle chaîne d'approvisionnement en IA unique qui devrait être prise en compte tout aussi sérieusement que le reste de la chaîne d'approvisionnement en logiciels. Tout comme pour le reste du développement de logiciels modernes et de l'innovation cloud native, les scientifiques des données et les experts en IA ont alimenté les progrès des systèmes d'IA/ML grâce à l'utilisation généralisée de composants open source et partagés, y compris les modèles d'IA et les données utilisées pour les former. De nombreux systèmes d’IA, qu’ils soient académiques ou commerciaux, sont construits sur le modèle de quelqu’un d’autre. Et comme pour le reste du développement moderne, l’explosion du développement de l’IA continue de générer un afflux quotidien énorme de nouveaux actifs de modèles qui prolifèrent tout au long de la chaîne d’approvisionnement, ce qui signifie qu’il devient de plus en plus difficile d’en assurer le suivi.
Prenez Hugging Face, par exemple. Il s’agit de l’un des référentiels de modèles d’IA open source en ligne les plus utilisés aujourd’hui – ses fondateurs déclarent vouloir devenir le GitHub de l’IA. En novembre 2022, les utilisateurs de Hugging Face avaient partagé 93,501 414,695 modèles différents avec la communauté. En novembre suivant, ce chiffre était passé à 527,244 XNUMX modèles. Aujourd’hui, trois mois plus tard, ce nombre est passé à XNUMX XNUMX. Il s’agit d’un problème dont l’ampleur fait boule de neige de jour en jour. Et cela va mettre le problème de sécurité de la chaîne d’approvisionnement logicielle « sous stéroïdes », déclare Dehghanpisheh.
A analyse récente par son entreprise, des milliers de modèles ouvertement partagés sur Hugging Face peuvent exécuter du code arbitraire lors du chargement ou de l'inférence du modèle. Bien que Hugging Face effectue une analyse de base de son référentiel pour détecter les problèmes de sécurité, de nombreux modèles sont manqués en cours de route : au moins la moitié des modèles à haut risque découverts lors de la recherche n'ont pas été jugés dangereux par la plate-forme, et Hugging Face le précise clairement dans la documentation. que la détermination de la sécurité d’un modèle relève en fin de compte de la responsabilité de ses utilisateurs.
Étapes pour aborder la chaîne d’approvisionnement de l’IA
Dehghanpisheh estime que la clé de voûte de la cybersécurité à l’ère de l’IA commencera d’abord par la création d’une compréhension structurée de la lignée de l’IA. Cela inclut le lignage des modèles et le lignage des données, qui représentent essentiellement l'origine et l'historique de ces actifs, la manière dont ils ont été modifiés et les métadonnées qui leur sont associées.
« C'est le premier point de départ. Vous ne pouvez pas réparer ce que vous ne pouvez pas voir, ce que vous ne pouvez pas savoir et ce que vous ne pouvez pas définir, n'est-ce pas ? il dit.
Parallèlement, au niveau opérationnel quotidien, Dehghanpisheh estime que les organisations doivent renforcer leurs capacités à analyser leurs modèles, à la recherche de failles susceptibles d'avoir un impact non seulement sur le renforcement du système, mais également sur l'intégrité de ses résultats. Cela inclut des problèmes tels que les biais et les dysfonctionnements de l’IA qui pourraient causer des dommages physiques réels, par exemple en cas de collision d’une voiture autonome avec un piéton.
"La première chose est que vous devez scanner", dit-il. « La deuxième chose est que vous devez comprendre ces analyses. Et la troisième est qu'une fois que vous avez quelque chose qui est signalé, vous devez essentiellement empêcher ce modèle de s'activer. Vous devez restreindre son agence.
La poussée pour MLSecOps
MLSecOps est un mouvement indépendant du fournisseur qui reflète le mouvement DevSecOps dans le monde du logiciel traditionnel.
« De la même manière que pour le passage de DevOps à DevSecOps, vous devez faire deux choses à la fois. La première chose à faire est de faire prendre conscience aux praticiens que la sécurité est un défi et qu'elle est une responsabilité partagée », explique Dehghanpisheh. « La deuxième chose que vous devez faire est de donner du contexte et d'intégrer la sécurité dans les outils qui maintiennent les scientifiques des données, les ingénieurs en apprentissage automatique et les constructeurs d'IA à la pointe de la technologie et innovent constamment, tout en permettant aux problèmes de sécurité de disparaître en arrière-plan. .»
En outre, il affirme que les organisations vont devoir commencer à ajouter des politiques de gouvernance, de risque et de conformité, ainsi que des capacités d'application et des procédures de réponse aux incidents qui aident à régir les actions et les processus qui ont lieu lorsque des insécurités sont découvertes. Comme pour un écosystème DevSecOps solide, cela signifie que MLSecOps nécessitera une forte implication des parties prenantes de l'entreprise tout au long de l'échelle exécutive.
La bonne nouvelle est que la sécurité de l’IA/ML bénéficie d’une chose qu’aucune autre innovation technologique rapide n’a eu dès le départ : à savoir des mandats réglementaires dès le départ.
« Pensez à toute autre transition technologique », explique Dehghanpisheh. « Citez une fois où un régulateur fédéral ou même des régulateurs d'État ont dit très tôt : « Whoa, whoa, whoa, vous devez me dire tout ce qu'il y a dedans. Vous devez donner la priorité à la connaissance de ce système. Vous devez prioriser une nomenclature. Il n’y en a pas.
Cela signifie que de nombreux responsables de la sécurité sont plus susceptibles d’obtenir l’adhésion nécessaire pour développer les capacités de sécurité de l’IA beaucoup plus tôt dans le cycle de vie de l’innovation. L’un des signes les plus évidents de ce soutien est la tendance rapide à parrainer de nouvelles fonctions au sein des organisations.
« La plus grande différence apportée par la mentalité réglementaire est qu'en janvier 2023, le concept de directeur de la sécurité de l'IA était nouveau et n'existait pas. Mais en juin, vous avez commencé à voir ces rôles », explique Dehghanpisheh. «Maintenant, ils sont partout – et ils sont financés.»
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
- PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
- PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
- PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
- La source: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- :possède
- :est
- :ne pas
- :où
- ][p
- $UP
- 10
- 2022
- 2023
- 501
- 7
- a
- capacité
- A Propos
- académique
- accès
- à travers
- actes
- activation
- ajouter
- ajoutant
- ajout
- propos
- adopté
- Adoption
- progrès
- agence
- devant
- AI
- Modèles AI
- Systèmes d'IA
- AI / ML
- Tous
- Permettre
- le long de
- déjà
- aussi
- montant
- an
- et les
- Une autre
- tous
- Application
- sécurité de l'application
- applications
- arbitraire
- architecturé
- architectes
- SONT
- autour
- arrivé
- artificiel
- intelligence artificielle
- Intelligence artificielle (AI)
- AS
- atout
- Outils
- associé
- At
- attaquer
- Authentification
- autorisation
- autonome
- conscients
- AWS
- RETOUR
- fond
- Essentiel
- Basics
- Bataille
- BE
- devenez
- était
- before
- derrière
- va
- croit
- bénéficier
- biais
- Big
- Le plus grand
- Projet de loi
- Saignement
- bouché
- infractions
- Apporté
- boucle
- construire
- constructeurs
- Développement
- construit
- la performance des entreprises
- Développement des affaires
- mais
- by
- C-suite
- appelé
- Appels
- CAN
- capacités
- capturé
- fournisseur
- pris
- Causes
- certaines
- chaîne
- challenge
- modifié
- clair
- clairement
- le cloud
- infrastructure de cloud
- Co-fondateur
- co-fondateurs
- code
- комбинации
- comment
- Venir
- commercial
- Communautés
- complexe
- conformité
- composants électriques
- concept
- concepts
- Préoccupations
- Congrès
- considéré
- constant
- constamment
- contiennent
- contenu
- contexte
- pourriez
- accouplé
- S'écraser
- engendrent
- La création
- Clients
- Cybersécurité
- cycle
- Tous les jours
- données
- journée
- jours
- décisions
- réputé
- Vous permet de définir
- dépendances
- Conception
- détermination
- Développement
- didn
- différence
- différent
- différemment
- difficile
- Directeur
- disparaître
- découvert
- distribué
- do
- Documentation
- doesn
- Don
- down
- conduite
- pendant
- Plus tôt
- "Early Bird"
- risque numérique
- Edge
- effet
- éléments
- d'autre
- intégré
- Endless
- mise en vigueur
- Les ingénieurs
- assez
- Entreprise
- entités
- Environment
- Ère
- essentiellement
- Pourtant, la
- Chaque
- tout le monde
- peut
- partout
- exemple
- exécuter
- exécutif
- exister
- existant
- étendu
- de santé
- expliquant
- Explique
- explosion
- exponentielle
- précieux
- Visage
- Mode
- RAPIDE
- National
- Déposez votre dernière attestation
- Ferme
- entreprises
- Prénom
- de première main
- Fixer
- marqué
- imparfait
- défauts
- Abonnement
- Pour
- formulaire
- trouvé
- Fondation
- fondateurs
- cadres
- De
- alimenté
- fonctions
- Financé
- avenir
- gagner
- la porte
- génératif
- IA générative
- obtenez
- obtention
- GitHub
- Donner
- Coup d'œil
- Global
- aller
- Bien
- eu
- gouverner
- gouvernance
- subvention
- considérablement
- Croissance
- ait eu
- Half
- Plus fort
- nuire
- Vous avez
- he
- vous aider
- caché
- le plus élevé
- très
- lui
- sa
- Histoire
- Comment
- How To
- Cependant
- HTTPS
- majeur
- i
- identifier
- if
- Impact
- implications
- in
- incident
- réponse à l'incident
- inclut
- Y compris
- Augmente
- l'incroyable
- incroyablement
- afflux
- Infrastructure
- inhérent
- innover
- Innovation
- peu sûr
- intégrité
- Intelligence
- développement
- participation
- ISN
- aide
- vous aider à faire face aux problèmes qui vous perturbent
- IT
- SES
- lui-même
- Janvier
- Emploi
- jpg
- juin
- juste
- XNUMX éléments à
- en gardant
- Conserve
- Genre
- Savoir
- spécialisées
- Peindre
- échelle
- plus tard
- lancement
- leader
- dirigeants
- apprentissage
- au
- à gauche
- Niveau
- VIE
- comme
- Probable
- lignage
- charge
- Location
- recherchez-
- profile
- Lot
- click
- machine learning
- LES PLANTES
- majeur
- Majorité
- a prendre une
- FAIT DU
- gérer
- gestion
- mandats
- de nombreuses
- matières premières.
- Matière
- me
- veux dire
- Métadonnées
- esprits
- Mindset
- manqué
- manquant
- mélanger
- ML
- modèle
- numériques jumeaux (digital twin models)
- Villas Modernes
- Élan
- mois
- PLUS
- (en fait, presque toutes)
- Bougez
- mouvement
- beaucoup
- prénom
- à savoir
- NAVIGUER
- Besoin
- réseau et
- n'allons jamais
- Nouveauté
- nouvelles entreprises
- nouvelles
- aucune
- roman
- Novembre
- maintenant
- nombre
- observation
- évident
- of
- souvent
- on
- une fois
- ONE
- et, finalement,
- en ligne
- uniquement
- ouvert
- open source
- ouvertement
- opérationnel
- or
- organisations
- origine
- Autre
- ande
- sortie
- au contrôle
- plus de
- superviser
- Rythme
- motifs
- autorisation
- autorisations
- Physique
- choisi
- pièce
- pièces
- Place
- plateforme
- Platon
- Intelligence des données Platon
- PlatonDonnées
- politiques
- Populaire
- Prédictions
- précédemment
- Prioriser
- Problème
- d'ouvrabilité
- procédures
- les process
- ,une équipe de professionnels qualifiés
- propriétaire
- AVANTAGES
- protéger
- fournir
- Push
- mettre
- vite.
- gamme
- Nos tests de diagnostic produisent des résultats rapides et précis sans nécessiter d'équipement de laboratoire complexe et coûteux,
- RE
- Lire
- monde réel
- réaliser
- réalisé
- vraiment
- reconnaître
- régulateur
- Régulateurs
- régulateurs
- compter
- dépôt
- un article
- réponse
- responsabilité
- REST
- restreindre
- résultat
- bon
- Analyse
- modèles de risque
- rôle
- s
- Sécurité
- Saïd
- même
- scie
- dire
- dit
- balayage
- balayage
- analyse
- scientifiques
- portée
- Deuxièmement
- sécurité
- sur le lien
- voir
- semble
- dangereux
- set
- Shadow
- commun
- décalage
- devrait
- Signes
- similaires
- situation
- So
- Logiciels
- composants logiciels
- développement de logiciels
- chaîne d'approvisionnement de logiciels
- solide
- sur mesure
- Solutions
- quelques
- Quelqu'un
- quelque chose
- sons
- Identifier
- dépensé
- parrainer
- Sponsorisé
- parties prenantes
- peuplements
- Commencer
- j'ai commencé
- Région
- Étapes
- Arrêter
- STRONG
- structuré
- Luttant
- la quantité
- chaîne d'approvisionnement
- Support
- Surface
- Soupçonneusement
- combustion propre
- Système
- table
- s'attaquer
- Prenez
- Technologie
- Innovation technologique
- dire
- que
- qui
- Le
- Les bases
- El futuro
- leur
- Les
- puis
- Là.
- Ces
- l'ont
- chose
- des choses
- penser
- Troisièmement
- this
- ceux
- pensée
- milliers
- trois
- Avec
- fiable
- à
- aujourd'hui
- ensemble
- dit
- trop
- les outils
- suivre
- traditionnel
- Train
- qualifié
- Formation
- transition
- déclencher
- Vérité
- essayer
- deux
- En fin de compte
- comprendre
- compréhension
- expérience unique et authentique
- us
- utilisé
- d'utiliser
- incontournable
- utilisateurs
- en utilisant
- variable
- variété
- Ve
- très
- virus
- définition
- vulnérabilités
- Vulnérable
- souhaitez
- était
- Façon..
- we
- WELL
- est allé
- ont été
- rester dehors
- Quoi
- quand
- que
- qui
- tout en
- WHO
- dont
- largement
- sera
- comprenant
- activités principales
- travaillé
- world
- pire
- pourra
- écrire
- années
- Vous n'avez
- Votre
- zéphyrnet