Ungepatchte kritische Schwachstellen eröffnen KI-Modellen die Chance zur Übernahme

Forscher haben fast ein Dutzend kritische Schwachstellen in der von KI-Modellen verwendeten Infrastruktur identifiziert (plus drei Fehler mit hoher und zwei mittlerer Schwere), die Unternehmen bei ihrem Wettlauf um die Vorteile von KI einem Risiko aussetzen könnten. Einige davon bleiben ungepatcht.

Die betroffenen Plattformen werden zum Hosten, Bereitstellen und Teilen großer Sprachmodelle (LLM) sowie anderer ML-Plattformen und KIs verwendet. Dazu gehört Ray, das beim verteilten Training von Modellen für maschinelles Lernen verwendet wird; MLflow, eine Lebenszyklusplattform für maschinelles Lernen; ModelDB, eine Managementplattform für maschinelles Lernen; Und H20-Version 3, eine Open-Source-Plattform für maschinelles Lernen auf Basis von Java.

MDas auf maschinelles Lernen spezialisierte Sicherheitsunternehmen Protect AI veröffentlichte die Ergebnisse am 16. November im Rahmen seines KI-spezifischen Bug-Bounty-Programms Huntr. Es neininformierte die Software-Betreuer und -Anbieter über die Schwachstellen und gab ihnen 45 Tage Zeit, die Probleme zu beheben.

Jedem der Probleme wurde eine CVE-Kennung zugewiesen, und während viele der Probleme behoben wurden, bleiben andere ungepatcht. In diesem Fall empfahl Protect AI eine Problemumgehung seine Beratung.

KI-Bugs stellen ein hohes Risiko für Unternehmen dar

Laut Protect AI können Schwachstellen in KI-Systemen Angreifern unbefugten Zugriff auf die KI-Modelle ermöglichen und es ihnen ermöglichen, die Modelle für ihre eigenen Ziele zu missbrauchen.

Sie können ihnen aber auch einen Zugang zum Rest des Netzwerks ermöglichen, sagt Sean Morgan, Chefarchitekt bei Protect AI. Serverkompromittierung und Diebstahl von Zugangsdaten von Low-Code-KI-Diensten sind beispielsweise zwei Möglichkeiten für den Erstzugriff.

„Inferenzserver können über zugängliche Endpunkte verfügen, damit Benutzer ML-Modelle [remote] nutzen können, aber es gibt viele Möglichkeiten, in das Netzwerk einer anderen Person einzudringen“, sagt er. „Diese ML-Systeme, auf die wir [mit dem Bug-Bounty-Programm] abzielen, verfügen oft über erhöhte Privilegien, und daher ist es sehr wichtig, dass, wenn jemand in Ihr Netzwerk eindringen kann, diese Privilegien nicht schnell zu einem sehr sensiblen System eskalieren.“ .“

Beispielsweise ermöglicht ein kritisches lokales Dateieinbindungsproblem (jetzt gepatcht) in der API für die verteilte Ray-Lernplattform, dass ein Angreifer jede Datei auf dem System lesen kann. Ein weiteres Problem in der H20-Plattform (ebenfalls behoben) ermöglicht die Ausführung von Code über den Import eines KI-Modells.

Das Risiko ist nicht theoretisch: Große Unternehmen haben bereits aggressive Kampagnen gestartet, um nützliche KI-Modelle zu finden und sie auf ihre Märkte und Betriebe anzuwenden. Banken nutzen maschinelles Lernen und KI beispielsweise bereits zur Hypothekenabwicklung und zur Bekämpfung der Geldwäsche.

Beim Finden Schwachstellen in diesen KI-Systemen Da dies zu einer Kompromittierung der Infrastruktur führen kann, ist der Diebstahl des geistigen Eigentums ebenfalls ein großes Ziel, sagt Daryan Dehghanpisheh, Präsident und Mitbegründer von Protect AI.

„Industriespionage ist ein wichtiger Bestandteil, und im Kampf um KI und ML sind Modelle ein sehr wertvolles geistiges Eigentum“, sagt er. „Denken Sie daran, wie viel Geld täglich für das Training eines Modells ausgegeben wird, und wenn es um eine Milliarde Parameter und mehr geht, also eine Menge Investitionen, nur reines Kapital, das leicht kompromittiert oder gestohlen werden kann.“

Der Kampf gegen neuartige Exploits gegen die Infrastruktur, die den natürlichen Sprachinteraktionen von Menschen mit KI-Systemen wie ChatGPT zugrunde liegt, wird noch größere Auswirkungen haben, sagt Dane Sherrets, Senior Solutions Architect bei HackerOne. Denn wenn Cyberkriminelle solche Schwachstellen auslösen können, wird die Wirkung durch die Effizienz von KI-Systemen noch größer.

Diese Angriffe „können dazu führen, dass das System sensible oder vertrauliche Daten ausspuckt oder dem böswilligen Akteur helfen, Zugriff auf das Backend des Systems zu erhalten“, sagt er. „KI-Schwachstellen wie Training Data Poisoning können ebenfalls einen erheblichen Dominoeffekt haben und zu einer weiten Verbreitung fehlerhafter oder böswilliger Ausgaben führen.“

Sicherheit für die KI-Infrastruktur: Wird oft übersehen

Nach der Einführung von ChatGPT vor einem Jahr haben auf KI basierende Technologien und Dienste – insbesondere generative KI (GenAI) – einen Aufschwung erlebt. In seinem Gefolge a Vielzahl gegnerischer Angriffe wurden entwickelt, die auf KI- und maschinelle Lernsysteme und deren Betrieb abzielen können. Am 15. November beispielsweise das KI-Sicherheitsunternehmen Adversa AI
enthüllte eine Reihe von Angriffen auf GPT-basierte Systeme einschließlich der sofortigen Leckage und Aufzählung der APIs, auf die das System Zugriff hat.

Die von ProtectAI gemeldeten Fehler unterstreichen jedoch die Tatsache, dass auch die Tools und die Infrastruktur, die maschinelle Lernprozesse und KI-Operationen unterstützen, zu Zielen werden können. Und oft haben Unternehmen KI-basierte Tools und Arbeitsabläufe eingeführt ohne oft Informationssicherheitsgruppen zu konsultieren.

„Wie bei jedem High-Tech-Hype-Zyklus werden Menschen Systeme bereitstellen, Anwendungen herausbringen und neue Erfahrungen schaffen, um den Anforderungen des Unternehmens und des Marktes gerecht zu werden. Oftmals vernachlässigen sie die Sicherheit und schaffen diese „Schattenstapel“, oder sie gehen davon aus, dass die vorhandenen Sicherheitsfunktionen sie schützen können“, sagt Dehghanpisheh. „Aber die Dinge, die wir [Cybersicherheitsexperten] für traditionelle Rechenzentren tun, sorgen nicht unbedingt dafür, dass Sie in der Cloud sicher sind, und umgekehrt.“

Protect AI nutzte seine Bug-Bounty-Plattform namens Huntr, um von Tausenden von Forschern Schwachstellenmeldungen für verschiedene Plattformen für maschinelles Lernen einzuholen. Bisher steckt die Fehlersuche in diesem Bereich jedoch noch in den Kinderschuhen. Das könnte sich jedoch bald ändern.

Die Zero-Day-Initiative von Trend Micro hat beispielsweise noch keine nennenswerte Nachfrage nach Fehlern in KI-/ML-Tools festgestellt, aber die Gruppe hat regelmäßige Veränderungen bei den Arten von Schwachstellen festgestellt, die die Branche von den Forschern finden lassen möchte, und ein Fokus auf KI wird wahrscheinlich kommen bald, sagt Dustin Childs, Head of Threat Awareness bei der Zero Day Initiative von Trend Micro.

„Wir sehen bei der KI das Gleiche, was wir auch in anderen Branchen gesehen haben, als sie sich entwickelten“, sagt er. „Zuerst wurde der Sicherheit eine geringere Priorität eingeräumt, um mehr Funktionalität zu bieten. Da es nun ein gewisses Maß an Akzeptanz erreicht hat, beginnen die Leute, nach den Auswirkungen auf die Sicherheit zu fragen.“

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://www.darkreading.com/vulnerabilities-threats/unpatched-critical-vulnerabilities-ai-models-takeover