Efterhånden som virksomheder i stigende grad tilføjer kunstig intelligens (AI)-kapaciteter til deres produktporteføljer, advarer cybersikkerhedseksperter om, at maskinlæringskomponenterne (ML) er sårbare over for nye typer angreb og skal beskyttes.
Startup HiddenLayer, som blev lanceret den 19. juli, har til formål at hjælpe virksomheder med bedre at beskytte deres følsomme maskinlæringsmodeller og de data, der bruges til at træne disse modeller. Virksomheden har frigivet sine første produkter rettet mod ML-detektions- og responssegmentet, der sigter mod at hærde modeller mod angreb samt beskytte de data, der bruges til at træne disse modeller.
Risiciene er ikke teoretiske: Virksomhedens grundlæggere arbejdede hos Cylance, da forskere fandt måder at omgå virksomhedens AI-motor til at opdage malware på, siger Christopher Sestito, CEO for HiddenLayer.
"De angreb modellen gennem selve produktet og interagerede med modellen nok til at ... afgøre, hvor modellen var svagest," siger han.
Sestito forventer, at angreb mod AI/ML-systemer vil vokse, efterhånden som flere virksomheder inkorporerer funktionerne i deres produkter.
"AI og ML er de hurtigst voksende teknologier, vi nogensinde har set, så vi forventer, at de også er de hurtigst voksende angrebsvektorer, vi nogensinde har set," siger han.
Fejl i Machine Learning-modellen
ML er blevet et must-have for mange virksomheders næste generation af produkter, men virksomheder tilføjer typisk AI-baserede funktioner uden at overveje sikkerhedsimplikationerne. Blandt truslerne er modelunddragelse, såsom forskningen udført mod Cylance, og funktionel ekstraktion, hvor angribere kan forespørge på en model og konstruere et funktionelt ækvivalent system baseret på output.
For to år siden, Microsoft, MITRE og andre virksomheder skabte Adversarial Machine Learning Threat Matrix at katalogisere de potentielle trusler mod AI-baserede systemer. Nu omdøbt som Adversarial Threat Landscape for Artificial Intelligence Systems (ATLAS), fremhæver ordbogen over mulige angreb, at innovative teknologier vil tiltrække innovative angreb.
"I modsætning til traditionelle cybersikkerhedssårbarheder, der er knyttet til specifikke software- og hardwaresystemer, aktiveres modstridende ML-sårbarheder af iboende begrænsninger, der ligger til grund for ML-algoritmer," ifølge ATLAS projektside på GitHub. "Data kan våbengøres på nye måder, som kræver en udvidelse af, hvordan vi modellerer cybermodstanders adfærd, for at afspejle nye trusselsvektorer og den hastigt udviklende livscyklus for angreb for maskinlæring."
Den praktiske trussel er velkendt for de tre stiftere af HiddenLayer - Sestito, Tanner Burns og James Ballard - som arbejdede sammen hos Cylance. Dengang forskere ved Skylight Cyber vedlagt kendt god kode - faktisk en liste over strenge fra spillets Rocket Leagues eksekverbare - for at narre Cylances teknologi til at tro, at 84% af malware faktisk var godartet.
"Vi ledede nødhjælpsindsatsen, efter at vores maskinlæringsmodel blev angrebet direkte gennem vores produkt og indså, at dette ville være et enormt problem for enhver organisation, der implementerer ML-modeller i deres produkter," sagde Sestito i en erklæring, der annoncerer HiddenLayers lancering.
Leder efter modstandere i realtid
HiddenLayer har til formål at skabe et system, der kan overvåge driften af ML-systemer og, uden at skulle have adgang til data eller beregninger, afgøre, om softwaren bliver angrebet ved hjælp af en af de kendte kontradiktoriske metoder.
"Vi ser på adfærdsinteraktionerne med modellerne - det kan være en IP-adresse eller slutpunkt," siger Sestito. "Vi analyserer, om modellen bliver brugt, som den er beregnet til at blive brugt, eller om input og output bliver udnyttet, eller om anmoderen træffer meget høje entropibeslutninger."
Evnen til at lave adfærdsanalyser i realtid adskiller virksomhedens ML-detektion og respons fra andre tilgange, siger han. Derudover kræver teknologien ikke adgang til den specifikke model eller træningsdataene, hvilket yderligere isolerer intellektuel ejendomsret, siger HiddenLayer.
Tilgangen betyder også, at overheaden fra sikkerhedsagenten er lille, i størrelsesordenen 1 eller 2 millisekunder, siger Sestito.
"Vi kigger på input, efter at de rå data er blevet vektoriseret, så der er meget lidt præstationshit," siger han.
