När företag i allt högre grad lägger till artificiell intelligens (AI)-kapacitet till sina produktportföljer, varnar cybersäkerhetsexperter för att maskininlärningskomponenterna (ML) är sårbara för nya typer av attacker och måste skyddas.
Startup HiddenLayer, som lanserades den 19 juli, syftar till att hjälpa företag att bättre skydda sina känsliga maskininlärningsmodeller och den data som används för att träna dessa modeller. Företaget har släppt sina första produkter riktade mot ML-detektions- och responssegmentet, som syftar till att härda modeller mot attacker samt skydda data som används för att träna dessa modeller.
Riskerna är inte teoretiska: Företagets grundare arbetade på Cylance när forskare hittade sätt att kringgå företagets AI-motor för att upptäcka skadlig programvara, säger Christopher Sestito, vd för HiddenLayer.
"De attackerade modellen genom själva produkten och interagerade med modellen tillräckligt för att ... avgöra var modellen var svagast", säger han.
Sestito förväntar sig att attacker mot AI/ML-system kommer att växa i takt med att fler företag införlivar funktionerna i sina produkter.
"AI och ML är de snabbast växande teknologierna vi någonsin har sett, så vi förväntar oss att de också är de snabbast växande attackvektorerna som vi någonsin har sett", säger han.
Brister i maskininlärningsmodellen
ML har blivit ett måste för många företags nästa generations produkter, men företag lägger vanligtvis till AI-baserade funktioner utan att överväga säkerhetskonsekvenserna. Bland hoten finns modellundandragande, såsom forskningen som utförts mot Cylance, och funktionell extraktion, där angripare kan fråga efter en modell och konstruera ett funktionellt ekvivalent system baserat på utdata.
För två år sedan, Microsoft, MITRE och andra företag skapade Adversarial Machine Learning Threat Matrix att katalogisera de potentiella hoten mot AI-baserade system. Nu omdöpt till Adversarial Threat Landscape for Artificial Intelligence Systems (ATLAS), belyser ordboken över möjliga attacker att innovativ teknik kommer att locka innovativa attacker.
"Till skillnad från traditionella cybersäkerhetssårbarheter som är knutna till specifika mjukvaru- och hårdvarusystem, möjliggörs kontradiktoriska ML-sårbarheter av inneboende begränsningar bakom ML-algoritmer," enligt ATLAS projektsida på GitHub. "Data kan beväpnas på nya sätt som kräver en förlängning av hur vi modellerar cyberfientliga beteenden, för att reflektera framväxande hotvektorer och den snabbt utvecklande livscykeln för motstridiga maskininlärningsattacker."
Det praktiska hotet är välkänt för de tre grundarna av HiddenLayer - Sestito, Tanner Burns och James Ballard - som arbetade tillsammans på Cylance. Då forskare på Skylight Cyber bifogad känd bra kod — faktiskt, en lista med strängar från spelets Rocket Leagues körbara fil — för att lura Cylances teknologi att tro att 84 % av skadlig programvara faktiskt var godartad.
"Vi ledde hjälpinsatsen efter att vår maskininlärningsmodell attackerades direkt genom vår produkt och insåg att detta skulle vara ett enormt problem för alla organisationer som använder ML-modeller i sina produkter," sa Sestito i ett uttalande som tillkännager HiddenLayers lansering.
Letar efter motståndare i realtid
HiddenLayer syftar till att skapa ett system som kan övervaka driften av ML-system och, utan att behöva tillgång till data eller beräkningar, avgöra om programvaran attackeras med någon av de kända kontradiktoriska metoderna.
"Vi tittar på beteendeinteraktionerna med modellerna - det kan vara en IP-adress eller slutpunkt", säger Sestito. "Vi analyserar om modellen används som den är avsedd att användas eller om indata och utdata utnyttjas eller om förfrågaren fattar mycket höga entropibeslut."
Förmågan att göra beteendeanalys i realtid skiljer företagets ML-detektering och respons från andra tillvägagångssätt, säger han. Dessutom kräver tekniken inte tillgång till den specifika modellen eller träningsdata, vilket ytterligare isolerar immateriella rättigheter, säger HiddenLayer.
Tillvägagångssättet innebär också att omkostnaderna från säkerhetsagenten är små, i storleksordningen 1 eller 2 millisekunder, säger Sestito.
"Vi tittar på indata efter att rådata har vektoriserats, så det är väldigt lite prestandaträff", säger han.
