Da Unternehmen ihre Produktportfolios zunehmend um Funktionen der künstlichen Intelligenz (KI) erweitern, warnen Cybersicherheitsexperten, dass die Komponenten des maschinellen Lernens (ML) anfällig für neue Arten von Angriffen sind und geschützt werden müssen.
Das am 19. Juli gestartete Startup HiddenLayer soll Unternehmen dabei helfen, ihre sensiblen Modelle für maschinelles Lernen und die zum Trainieren dieser Modelle verwendeten Daten besser zu schützen. Das Unternehmen hat seine ersten Produkte auf den Markt gebracht, die auf das Segment der ML-Erkennung und -Reaktion ausgerichtet sind und darauf abzielen, Modelle vor Angriffen zu schützen und die zum Training dieser Modelle verwendeten Daten zu schützen.
Die Risiken sind nicht theoretisch: Die Gründer des Unternehmens arbeiteten bei Cylance, als Forscher Wege fanden, die KI-Engine des Unternehmens zur Erkennung von Malware zu umgehen, sagt Christopher Sestito, CEO von HiddenLayer.
„Sie griffen das Modell über das Produkt selbst an und interagierten ausreichend mit dem Modell, um … festzustellen, wo das Modell am schwächsten war“, sagt er.
Sestito geht davon aus, dass die Angriffe auf KI-/ML-Systeme zunehmen, da immer mehr Unternehmen die Funktionen in ihre Produkte integrieren.
„KI und ML sind die am schnellsten wachsenden Technologien, die wir je gesehen haben, daher gehen wir davon aus, dass sie auch die am schnellsten wachsenden Angriffsvektoren sein werden, die wir je gesehen haben“, sagt er.
Mängel im Modell des maschinellen Lernens
ML ist für die nächste Produktgeneration vieler Unternehmen zu einem Muss geworden, doch Unternehmen fügen typischerweise KI-basierte Funktionen hinzu, ohne die Auswirkungen auf die Sicherheit zu berücksichtigen. Zu den Bedrohungen gehören Modellumgehung, wie etwa die gegen Cylance durchgeführte Forschung, und funktionale Extraktion, bei der Angreifer ein Modell abfragen und auf der Grundlage der Ergebnisse ein funktional äquivalentes System erstellen können.
Vor zwei Jahren Microsoft, MITRE und andere Unternehmen hat die Adversarial Machine Learning Threat Matrix erstellt um die potenziellen Bedrohungen für KI-basierte Systeme zu katalogisieren. Jetzt umbenannt in Adversarial Threat Landscape for Artificial Intelligence Systems (ATLAS)Das Wörterbuch möglicher Angriffe verdeutlicht, dass innovative Technologien innovative Angriffe anziehen.
„Im Gegensatz zu herkömmlichen Cybersicherheitsschwachstellen, die an bestimmte Software- und Hardwaresysteme gebunden sind, werden gegnerische ML-Schwachstellen durch inhärente Einschränkungen ermöglicht, die den ML-Algorithmen zugrunde liegen“, so das ATLAS-Projektseite auf GitHub. „Daten können auf neue Weise als Waffe genutzt werden, was eine Erweiterung unserer Modellierung des Verhaltens von Cyber-Angreifern erfordert, um aufkommende Bedrohungsvektoren und den sich schnell entwickelnden Lebenszyklus von Angriffen durch maschinelles Lernen widerzuspiegeln.“
Die praktische Bedrohung ist den drei Gründern von HiddenLayer – Sestito, Tanner Burns und James Ballard – die bei Cylance zusammengearbeitet haben, wohlbekannt. Damals, Forscher von Skylight Cyber angehängter bekanntermaßen guter Code – eigentlich eine Liste von Zeichenfolgen aus der ausführbaren Datei des Spiels Rocket League – um Cylances Technologie vorzutäuschen, dass 84 % der Malware tatsächlich harmlos seien.
„Wir leiteten die Hilfsmaßnahmen, nachdem unser Modell für maschinelles Lernen direkt über unser Produkt angegriffen wurde, und erkannten, dass dies ein enormes Problem für jede Organisation darstellen würde, die ML-Modelle in ihren Produkten einsetzt“, sagte Sestito eine Erklärung, in der der Start von HiddenLayer angekündigt wird.
Auf der Suche nach Gegnern in Echtzeit
HiddenLayer zielt darauf ab, ein System zu schaffen, das den Betrieb von ML-Systemen überwachen und ohne Zugriff auf Daten oder Berechnungen feststellen kann, ob die Software mit einer der bekannten gegnerischen Methoden angegriffen wird.
„Wir betrachten die Verhaltensinteraktionen mit den Modellen – es könnte eine IP-Adresse oder ein Endpunkt sein“, sagt Sestito. „Wir analysieren, ob das Modell so verwendet wird, wie es vorgesehen ist, ob die Ein- und Ausgänge genutzt werden oder ob der Anforderer Entscheidungen mit sehr hoher Entropie trifft.“
Die Fähigkeit, Verhaltensanalysen in Echtzeit durchzuführen, hebt die ML-Erkennung und -Reaktion des Unternehmens von anderen Ansätzen ab, sagt er. Darüber hinaus erfordert die Technologie keinen Zugriff auf das spezifische Modell oder die Trainingsdaten, was das geistige Eigentum weiter schützt, sagt HiddenLayer.
Der Ansatz bedeutet auch, dass der Overhead des Sicherheitsagenten gering ist und in der Größenordnung von 1 bis 2 Millisekunden liegt, sagt Sestito.
„Wir betrachten die Eingaben, nachdem die Rohdaten vektorisiert wurden, sodass es nur sehr geringe Leistungseinbußen gibt“, sagt er.
