Wenn Sie der Meinung sind, dass das Problem der Sicherheit der Software-Lieferkette heute schon schwierig genug ist, dann schnallen Sie sich an. Die explosionsartige Zunahme des Einsatzes künstlicher Intelligenz (KI) wird die Bewältigung dieser Lieferkettenprobleme in den kommenden Jahren exponentiell erschweren.
Entwickler, Anwendungssicherheitsexperten und DevSecOps-Experten sind aufgerufen, die risikoreichsten Schwachstellen zu beheben, die in den scheinbar endlosen Kombinationen von Open-Source- und proprietären Komponenten lauern, die in ihre Anwendungen und Cloud-Infrastruktur eingebunden sind. Aber es ist ein ständiger Kampf, überhaupt zu verstehen, welche Komponenten sie haben, welche anfällig sind und welche Mängel sie am meisten gefährdet. Offensichtlich haben sie bereits Schwierigkeiten, diese Abhängigkeiten in ihrer Software so zu verwalten, wie sie ist.
Was noch schwieriger wird, ist der Multiplikatoreffekt, den die KI der Situation hinzufügen wird.
KI-Modelle als selbstausführender Code
KI- und maschinelles Lernen (ML)-fähige Tools sind genauso Software wie jede andere Art von Anwendung – und ihr Code ist genauso wahrscheinlich von Unsicherheiten in der Lieferkette betroffen. Allerdings fügen sie dem Mix eine weitere Asset-Variable hinzu, die die Angriffsfläche der KI-Software-Lieferkette erheblich vergrößert: KI/ML-Modelle.
„Was KI-Anwendungen von jeder anderen Form von Software unterscheidet, ist, dass sie sich in irgendeiner Weise auf ein sogenanntes Modell des maschinellen Lernens verlassen“, erklärt Daryan Dehghanpisheh, Mitbegründer von Protect AI. „Dadurch ist das Modell des maschinellen Lernens selbst nun eine Bereicherung für Ihre Infrastruktur. Wenn Sie über ein Asset in Ihrer Infrastruktur verfügen, müssen Sie in der Lage sein, Ihre Umgebung zu scannen und festzustellen, wo es sich befindet, was es enthält, wer über Berechtigungen verfügt und was es tut. Und wenn man das heute mit Modellen nicht machen kann, kann man sie auch nicht managen.“
KI/ML-Modelle bilden die Grundlage für die Fähigkeit eines KI-Systems, Muster zu erkennen, Vorhersagen zu treffen, Entscheidungen zu treffen, Aktionen auszulösen oder Inhalte zu erstellen. Die Wahrheit ist jedoch, dass die meisten Unternehmen nicht einmal wissen, wie sie überhaupt Einblick in alle in ihre Software eingebetteten KI-Modelle erlangen können. Modelle und die sie umgebende Infrastruktur sind anders aufgebaut als andere Softwarekomponenten, und herkömmliche Sicherheits- und Softwaretools sind nicht darauf ausgelegt, zu scannen oder zu verstehen, wie KI-Modelle funktionieren oder welche Fehler sie aufweisen. Das macht sie einzigartig, sagt Dehghanpisheh, der erklärt, dass es sich im Wesentlichen um versteckte Teile selbstausführenden Codes handelt.
„Ein Modell ist von Natur aus ein selbstausführender Code. Es hat eine gewisse Entscheidungsfreiheit“, sagt Dehghanpisheh. „Wenn ich Ihnen sagen würde, dass es überall in Ihrer Infrastruktur Assets gibt, die Sie nicht sehen können, die Sie nicht identifizieren können, Sie wissen nicht, was sie enthalten, Sie wissen nicht, was der Code ist, und sie führen sich selbst aus.“ und externe Anrufe tätigen, das klingt doch verdächtig nach einem Berechtigungsvirus, nicht wahr?“
Ein früher Beobachter von KI-Unsicherheiten
Diesem Problem einen Schritt voraus zu sein, war für ihn und seine Mitbegründer der große Anstoß, Protect AI im Jahr 2022 zu starten. Dies ist eines von vielen neuen Unternehmen, die sich mit der Lösung von Modellsicherheits- und Datenherkunftsproblemen befassen, die sich im KI-Zeitalter abzeichnen. Dehghanpisheh und Mitbegründer Ian Swanson sahen einen Blick in die Zukunft, als sie zuvor bei AWS gemeinsam an der Entwicklung von KI/ML-Lösungen arbeiteten. Dehghanpisheh war der weltweit führende Anbieter von KI/ML-Lösungsarchitekten.
„Während der Zeit, die wir gemeinsam bei AWS verbrachten, sahen wir, wie Kunden KI-/ML-Systeme in einem unglaublich schnellen Tempo bauten, lange bevor generative KI die Herzen und Köpfe aller von der C-Suite bis zum Kongress eroberte“, erklärt er das Er arbeitete mit einer Reihe von Ingenieuren und Geschäftsentwicklungsexperten sowie intensiv mit Kunden zusammen. „Da wurde uns klar, wie und wo die Sicherheitslücken liegen, die für KI/ML-Systeme einzigartig sind.“
Sie beobachteten drei grundlegende Dinge über KI/ML, die unglaubliche Auswirkungen auf die Zukunft der Cybersicherheit hätten, sagt er. Erstens war das Tempo der Einführung so schnell, dass sie aus erster Hand sahen, wie schnell Schatten-IT-Einheiten rund um die KI-Entwicklung und den Geschäftseinsatz auftauchten, die sich der Art von Governance entzogen, die jede andere Art von Entwicklung im Unternehmen überwachen würde.
Der zweite Grund war, dass die meisten verwendeten Tools – ob kommerziell oder Open Source – von Datenwissenschaftlern und aufstrebenden ML-Ingenieuren entwickelt wurden, die nie in Sicherheitskonzepten geschult worden waren.
„Im Ergebnis standen wirklich nützliche, sehr beliebte, weit verbreitete und weit verbreitete Tools zur Verfügung, bei deren Entwicklung die Sicherheit nicht im Vordergrund stand“, sagt er.
KI-Systeme sind nicht „sicherheitsorientiert“ aufgebaut
Daher mangelt es vielen KI/ML-Systemen und gemeinsam genutzten Tools an den Grundlagen der Authentifizierung und Autorisierung und sie gewähren oft zu viel Lese- und Schreibzugriff in Dateisystemen, erklärt er. In Verbindung mit unsicheren Netzwerkkonfigurationen und den damit verbundenen Problemen in den Modellen geraten Unternehmen zunehmend in kaskadierende Sicherheitsprobleme in diesen hochkomplexen, schwer verständlichen Systemen.
„Dadurch wurde uns klar, dass den vorhandenen Sicherheitstools, -prozessen und -frameworks – ganz gleich, wie weit man ging – der Kontext fehlte, den Ingenieure für maschinelles Lernen, Datenwissenschaftler und KI-Entwickler benötigen würden“, sagt er.
Schließlich war die dritte wichtige Beobachtung, die er und Swanson während dieser AWS-Tage machten, dass es keine KI-Verstöße geben würde. Sie waren bereits angekommen.
„Wir haben gesehen, dass es bei Kunden Verstöße in verschiedenen KI-/ML-Systemen gab, die hätten erkannt werden sollen, aber nicht erkannt wurden“, sagt er. „Das hat uns gezeigt, dass der Satz und die Prozesse sowie die Elemente des Incident-Response-Managements nicht speziell für die Art und Weise entwickelt wurden, wie KI/ML konzipiert wurde. Dieses Problem hat sich noch verschlimmert, als die generative KI an Fahrt gewann.“
KI-Modelle sind weit verbreitet
Dehghanpisheh und Swanson begannen auch zu erkennen, wie Modelle und Trainingsdaten eine einzigartige neue KI-Lieferkette schufen, die genauso ernst genommen werden musste wie der Rest der Software-Lieferkette. Genau wie bei der übrigen modernen Softwareentwicklung und Cloud-nativen Innovation haben Datenwissenschaftler und KI-Experten Fortschritte bei KI-/ML-Systemen durch die weit verbreitete Nutzung von Open Source und gemeinsam genutzten Komponenten vorangetrieben – einschließlich KI-Modellen und den Daten, die zu deren Training verwendet werden. So viele KI-Systeme, ob akademisch oder kommerziell, basieren auf dem Modell eines anderen. Und wie im Rest der modernen Entwicklung führt die Explosion in der KI-Entwicklung täglich zu einem enormen Zustrom neuer Modellressourcen, die sich entlang der Lieferkette vermehren, was bedeutet, dass es immer schwieriger wird, den Überblick darüber zu behalten.
Nehmen wir zum Beispiel Hugging Face. Dies ist heute eines der am weitesten verbreiteten Online-Repositories für Open-Source-KI-Modelle – seine Gründer sagen, sie wollen der GitHub der KI sein. Bereits im November 2022 hatten Hugging Face-Nutzer 93,501 verschiedene Modelle mit der Community geteilt. Im folgenden November waren es 414,695 Modelle. Jetzt, nur drei Monate später, ist diese Zahl auf 527,244 gestiegen. Dies ist ein Problem, dessen Ausmaß von Tag zu Tag zunimmt. Und es wird das Sicherheitsproblem der Software-Lieferkette „auf Steroide“ bringen, sagt Dehghanpisheh.
A aktuelle Analyse Seine Firma stellte fest, dass Tausende von Modellen, die offen auf Hugging Face geteilt werden, beliebigen Code beim Laden oder Inferenzieren des Modells ausführen können. Während Hugging Face einige grundlegende Scans seines Repositorys auf Sicherheitsprobleme durchführt, werden dabei viele Modelle übersehen – mindestens die Hälfte der in der Forschung entdeckten hochriskanten Modelle wurden von der Plattform nicht als unsicher eingestuft, und Hugging Face macht dies in der Dokumentation deutlich dass die Entscheidung über die Sicherheit eines Modells letztendlich in der Verantwortung seiner Benutzer liegt.
Schritte zur Bewältigung der KI-Lieferkette
Dehghanpisheh glaubt, dass der Dreh- und Angelpunkt der Cybersicherheit im KI-Zeitalter zunächst darin bestehen wird, ein strukturiertes Verständnis der KI-Abstammungslinie zu schaffen. Dazu gehören die Modellherkunft und die Datenherkunft, die im Wesentlichen den Ursprung und die Geschichte dieser Assets, die Art und Weise ihrer Änderungen und die damit verbundenen Metadaten darstellen.
„Das ist der erste Ausgangspunkt. Man kann nicht reparieren, was man nicht sieht und was man nicht wissen kann und was man nicht definieren kann, oder?“ er sagt.
Dehghanpisheh ist der Ansicht, dass Unternehmen auf der täglichen Betriebsebene Funktionen zum Scannen ihrer Modelle ausbauen müssen, um nach Fehlern zu suchen, die sich nicht nur auf die Härtung des Systems, sondern auch auf die Integrität seiner Ausgabe auswirken können. Dazu gehören Probleme wie KI-Voreingenommenheit und Fehlfunktionen, die beispielsweise durch einen Zusammenstoß eines autonomen Autos mit einem Fußgänger zu körperlichen Schäden in der realen Welt führen könnten.
„Als Erstes müssen Sie scannen“, sagt er. „Zweitens muss man diese Scans verstehen. Und der dritte Punkt besteht darin, dass Sie, sobald etwas markiert ist, die Aktivierung dieses Modells im Wesentlichen verhindern müssen. Sie müssen seine Handlungsfähigkeit einschränken.“
Der Vorstoß für MLSecOps
MLSecOps ist eine herstellerneutrale Bewegung, die die DevSecOps-Bewegung in der traditionellen Softwarewelt widerspiegelt.
„Ähnlich wie beim Wechsel von DevOps zu DevSecOps muss man zwei Dinge gleichzeitig tun. „Das erste, was Sie tun müssen, ist, den Praktikern bewusst zu machen, dass Sicherheit eine Herausforderung und eine gemeinsame Verantwortung ist“, sagt Dehghanpisheh. „Das zweite, was Sie tun müssen, ist, Kontext zu schaffen und Sicherheit in Tools zu integrieren, die Datenwissenschaftler, Ingenieure für maschinelles Lernen und KI-Entwickler auf dem neuesten Stand halten und ständig Innovationen hervorbringen, aber die Sicherheitsbedenken in den Hintergrund treten lassen .“
Darüber hinaus müssen Unternehmen seiner Meinung nach damit beginnen, Governance-, Risiko- und Compliance-Richtlinien sowie Durchsetzungsfunktionen und Verfahren zur Reaktion auf Vorfälle einzuführen, die dabei helfen, die Aktionen und Prozesse zu steuern, die stattfinden, wenn Unsicherheiten entdeckt werden. Wie bei einem soliden DevSecOps-Ökosystem bedeutet dies, dass MLSecOps eine starke Einbindung von Geschäftsinteressenvertretern auf der gesamten Führungsebene erfordert.
Die gute Nachricht ist, dass die KI/ML-Sicherheit von einer Sache profitiert, die keine andere schnelle Technologieinnovation von Anfang an hatte – nämlich regulatorische Vorgaben von Anfang an.
„Denken Sie an jeden anderen Technologieübergang“, sagt Dehghanpisheh. „Nennen Sie ein Mal, dass eine Bundesregulierungsbehörde oder sogar Landesregulierungsbehörden so früh gesagt haben: ‚Whoa, whoa, whoa, Sie müssen mir alles erzählen, was darin steht.‘“ Sie müssen der Kenntnis dieses Systems Priorität einräumen. Sie müssen eine Stückliste priorisieren. Es gibt keine.“
Dies bedeutet, dass viele Sicherheitsverantwortliche viel früher im Innovationslebenszyklus die Zustimmung zum Aufbau von KI-Sicherheitsfunktionen erhalten. Eines der offensichtlichsten Anzeichen dieser Unterstützung ist die rasche Verlagerung auf die Förderung neuer Stellenfunktionen in Organisationen.
„Der größte Unterschied, den die Regulierungsmentalität mit sich gebracht hat, besteht darin, dass im Januar 2023 das Konzept eines Direktors für KI-Sicherheit neu war und nicht existierte. Aber im Juni begann man, diese Rollen zu sehen“, sagt Dehghanpisheh. „Jetzt sind sie überall – und sie werden finanziert.“
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- :hast
- :Ist
- :nicht
- :Wo
- ][P
- $UP
- 10
- 2022
- 2023
- 501
- 7
- a
- Fähigkeit
- Über Uns
- akademisch
- Zugang
- über
- Aktionen
- Aktivierungs
- hinzufügen
- Hinzufügen
- Zusatz
- Adresse
- angenommen
- Adoption
- Fortschritte
- Agentur
- voraus
- AI
- KI-Modelle
- KI-Systeme
- AI / ML
- Alle
- Zulassen
- entlang
- bereits
- ebenfalls
- Betrag
- an
- und
- Ein anderer
- jedem
- Anwendung
- Anwendungssicherheit
- Anwendungen
- willkürlich
- architektonisch
- Architekten
- SIND
- um
- angekommen
- künstlich
- künstliche Intelligenz
- Künstliche Intelligenz (AI)
- AS
- Vermögenswert
- Details
- damit verbundenen
- At
- Attacke
- Authentifizierung
- Genehmigung
- Autonom
- bewusst
- AWS
- Zurück
- Hintergrund
- basic
- Grundlagen
- Schlacht
- BE
- werden
- war
- Bevor
- hinter
- Sein
- glaubt,
- profitieren
- vorspannen
- Big
- Größte
- Bill
- Blutung
- steckengeblieben
- Verstöße
- gebracht
- Schnalle
- bauen
- Bauherren
- Building
- erbaut
- Geschäft
- Geschäftsentwicklung
- aber
- by
- C-Suite
- namens
- Aufrufe
- CAN
- Fähigkeiten
- gefangen
- Auto
- gefangen
- Verursachen
- sicher
- Kette
- challenges
- geändert
- klar
- Cloud
- Cloud-Infrastruktur
- Co-Gründer
- Mitbegründer
- Code
- Kombinationen
- wie die
- Kommen
- kommerziell
- community
- Komplex
- Compliance
- Komponenten
- konzept
- Konzepte
- Bedenken
- Kongress
- betrachtet
- konstante
- ständig
- enthalten
- Inhalt
- Kontext
- könnte
- gekoppelt
- Crashing
- erstellen
- Erstellen
- Kunden
- Internet-Sicherheit
- Zyklus
- Unterricht
- technische Daten
- Tag
- Tage
- Entscheidungen
- angenommen
- definieren
- Abhängigkeiten
- Design
- Festlegung
- Entwicklung
- didn
- Unterschied
- anders
- anders
- schwer
- Direktor
- verschwinden
- entdeckt
- verteilt
- do
- Dokumentation
- die
- doesn
- Don
- nach unten
- Fahren
- im
- Früher
- Früh
- Ökosystem
- Edge
- bewirken
- Elemente
- sonst
- eingebettet
- Endlos
- Durchsetzung
- Ingenieure
- genug
- Unternehmen
- Entitäten
- Arbeitsumfeld
- Era
- im Wesentlichen
- Sogar
- Jedes
- jedermann
- alles
- überall
- Beispiel
- ausführen
- Exekutive
- existieren
- vorhandenen
- ergänzt
- Experten
- Erläuterung
- Erklärt
- Explosion
- exponentiell
- ausführlich
- Gesicht
- Fashion
- FAST
- Bundes-
- Reichen Sie das
- Fest
- Firmen
- Vorname
- aus erster Hand
- Fixieren
- markiert
- fehlerhaft
- Mängel
- Folgende
- Aussichten für
- unten stehende Formular
- gefunden
- Foundation
- Gründer
- Gerüste
- für
- getankt
- Funktionen
- kapitalgedeckten
- Zukunft
- gewinnen
- Tor
- generativ
- Generative KI
- bekommen
- bekommen
- GitHub
- ABSICHT
- Blick
- Global
- gehen
- gut
- habe
- regieren
- Governance
- gewähren
- sehr
- Wachstum
- hätten
- Hälfte
- Schwerer
- schaden
- Haben
- he
- Hilfe
- versteckt
- höchste
- hoch
- ihm
- seine
- Geschichte
- Ultraschall
- Hilfe
- aber
- HTTPS
- riesig
- i
- identifizieren
- if
- Impact der HXNUMXO Observatorien
- Auswirkungen
- in
- Zwischenfall
- Vorfallreaktion
- Dazu gehören
- Einschließlich
- Steigert
- unglaublich
- unglaublich
- Zustrom
- Infrastruktur
- inhärent
- innovativ
- Innovation
- unsicher
- Integrität
- Intelligenz
- in
- Beteiligung
- isn
- Problem
- Probleme
- IT
- SEINE
- selbst
- Januar
- Job
- jpg
- Juni
- nur
- Behalten
- Aufbewahrung
- hält
- Art
- Wissen
- Wissen
- Mangel
- Leiter
- später
- Start
- Führer
- Führung
- lernen
- am wenigsten
- links
- Niveau
- Lebensdauer
- Gefällt mir
- wahrscheinlich
- Abstammung
- Belastung
- Lang
- suchen
- droht
- Los
- Maschine
- Maschinelles Lernen
- gemacht
- Dur
- Mehrheit
- um
- MACHT
- verwalten
- Management
- Mandate
- viele
- Materialien
- Materie
- me
- Mittel
- Metadaten
- Köpfe
- Mindset
- vermisst
- Kommt demnächst...
- mischen
- ML
- Modell
- für
- modern
- Schwung
- Monat
- mehr
- vor allem warme
- schlauer bewegen
- Bewegung
- viel
- Name
- nämlich
- Navigieren
- Need
- Netzwerk
- hört niemals
- Neu
- neue Firmen
- News
- nicht
- Roman
- November
- jetzt an
- Anzahl
- Beobachtung
- offensichtlich
- of
- vorgenommen,
- on
- einmal
- EINEM
- Einsen
- Online
- einzige
- XNUMXh geöffnet
- Open-Source-
- offen
- Betriebs-
- or
- Organisationen
- Herkunft
- Andere
- Möglichkeiten für das Ausgangssignal:
- aussen
- übrig
- überwachen
- Frieden
- Muster
- Erlaubnis
- Berechtigungen
- physikalisch
- abgeholt
- Stück
- Stücke
- Ort
- Plattform
- Plato
- Datenintelligenz von Plato
- PlatoData
- Politik durchzulesen
- Beliebt
- Prognosen
- vorher
- Priorität einräumen
- Aufgabenstellung:
- Probleme
- Verfahren
- anpassen
- Profis
- Eigentums-
- PROS
- Risiken zu minimieren
- die
- Push
- setzen
- schnell
- Angebot
- schnell
- RE
- Lesen Sie mehr
- realen Welt
- realisieren
- realisiert
- wirklich
- erkennen
- Regler
- Regulators
- Regulierungsbehörden
- verlassen
- Quelle
- Forschungsprojekte
- Antwort
- Verantwortung
- REST
- eine Beschränkung
- Folge
- Recht
- Risiko
- Risikomodelle
- Rollen
- s
- Sicherheit
- Said
- gleich
- sah
- sagt
- Scan
- Scannen
- scannt
- Wissenschaftler
- Umfang
- Zweite
- Sicherheitdienst
- sehen
- Sehen
- scheint
- ernst
- kompensieren
- Shadow
- von Locals geführtes
- verschieben
- sollte
- Schilder
- ähnlich
- Situation
- So
- Software
- Softwarekomponenten
- Software-Entwicklung
- Software-Lieferkette
- solide
- Lösung
- Lösungen
- einige
- Jemand,
- etwas
- Geräusche
- Quelle
- verbrachte
- Sponsor
- Sponsored
- Stakeholder
- steht
- Anfang
- begonnen
- Bundesstaat
- Shritte
- Stoppen
- stark
- strukturierte
- Struggling
- liefern
- Supply Chain
- Support
- Oberfläche
- Verdächtig
- System
- Systeme und Techniken
- Tabelle
- anpacken
- Nehmen
- Technologie
- Technologie Innovation
- erzählen
- als
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- Die Grundlagen
- Die Zukunft
- ihr
- Sie
- dann
- Dort.
- Diese
- vom Nutzer definierten
- Ding
- think
- Dritte
- fehlen uns die Worte.
- diejenigen
- dachte
- Tausende
- nach drei
- Durch
- Zeit
- zu
- heute
- gemeinsam
- sagte
- auch
- Werkzeuge
- verfolgen sind
- traditionell
- Training
- trainiert
- Ausbildung
- Übergang
- auslösen
- Wahrheit
- Versuch
- XNUMX
- Letztlich
- verstehen
- Verständnis
- einzigartiges
- us
- -
- benutzt
- nützlich
- Nutzer
- Verwendung von
- Variable
- Vielfalt
- Ve
- sehr
- Virus
- Sichtbarkeit
- Sicherheitslücken
- Verwundbar
- wollen
- wurde
- Weg..
- we
- GUT
- ging
- waren
- waren
- Was
- wann
- ob
- welche
- während
- WHO
- deren
- weit
- werden wir
- mit
- Arbeiten
- gearbeitet
- weltweit wie ausgehandelt und gekauft ausgeführt wird.
- schlimmer
- würde
- schreiben
- Jahr
- Du
- Ihr
- Zephyrnet