Startup želi zaščititi razvoj umetne inteligence in strojnega učenja

Ker podjetja vse bolj dodajajo zmogljivosti umetne inteligence (AI) svojim portfeljem izdelkov, strokovnjaki za kibernetsko varnost opozarjajo, da so komponente strojnega učenja (ML) ranljive za nove vrste napadov in jih je treba zaščititi.

Startup HiddenLayer, ki se je začel 19. julija, želi pomagati podjetjem bolje zaščititi svoje občutljive modele strojnega učenja in podatke, ki se uporabljajo za usposabljanje teh modelov. Podjetje je izdalo svoje prve izdelke, namenjene segmentu odkrivanja in odzivanja ML, s ciljem utrditi modele pred napadi ter zaščititi podatke, ki se uporabljajo za usposabljanje teh modelov.

Tveganja niso teoretična: ustanovitelji podjetja so delali pri Cylanceu, ko so raziskovalci našli načine, kako zaobiti AI motor podjetja za odkrivanje zlonamerne programske opreme, pravi Christopher Sestito, izvršni direktor podjetja HiddenLayer.

»Model so napadli prek samega izdelka in z njim sodelovali dovolj, da so ... ugotovili, kje je bil model najšibkejši,« pravi.

Sestito pričakuje, da se bodo napadi na sisteme AI/ML povečali, ko bo vse več podjetij vključilo funkcije v svoje izdelke.

»AI in ML sta najhitreje rastoči tehnologiji, kar smo jih kdaj videli, zato pričakujemo, da bosta tudi najhitreje rastoča vektorja napadov, kar smo jih kdaj videli,« pravi.

Napake v modelu strojnega učenja

ML je postalo obvezna oprema za naslednjo generacijo izdelkov mnogih podjetij, vendar podjetja običajno dodajo funkcije, ki temeljijo na AI, ne da bi upoštevale varnostne posledice. Med grožnjami sta izogibanje modelu, kot je raziskava, izvedena proti Cylanceu, in funkcionalna ekstrakcija, kjer lahko napadalci poizvedujejo po modelu in na podlagi izhodov zgradijo funkcionalno enakovredni sistem.

Pred dvema letoma so Microsoft, MITRE in druga podjetja ustvaril Adversarial Machine Learning Threat Matrix katalogizirati potencialne grožnje sistemom, ki temeljijo na AI. Zdaj preimenovan v Adversarial Threat Landscape za sisteme umetne inteligence (ATLAS), slovar možnih napadov poudarja, da bodo inovativne tehnologije pritegnile inovativne napade.

"V nasprotju s tradicionalnimi ranljivostmi kibernetske varnosti, ki so vezane na specifične sisteme programske in strojne opreme, so kontradiktorne ranljivosti ML omogočene z inherentnimi omejitvami, ki so osnova algoritmov ML," pravi Stran projekta ATLAS na GitHubu. "Podatke je mogoče oborožiti na nove načine, kar zahteva razširitev tega, kako modeliramo vedenje kibernetskega nasprotnika, da odražajo nastajajoče vektorje groženj in hitro razvijajoči se življenjski cikel napadov kontradiktornega strojnega učenja."

Praktična grožnja je dobro znana trem ustanoviteljem HiddenLayerja – Sestitu, Tannerju Burnsu in Jamesu Ballardu – ki so skupaj delali pri Cylanceu. Takrat so raziskovalci Skylight Cyber dodana znana dobra koda — pravzaprav seznam nizov iz izvedljive datoteke igre Rocket League — da preslepijo Cylanceovo tehnologijo, da verjame, da je 84 % zlonamerne programske opreme dejansko benigne.

"Vodili smo prizadevanja za pomoč, potem ko je bil naš model strojnega učenja napaden neposredno prek našega izdelka, in ugotovili, da bo to velikanska težava za vsako organizacijo, ki uporablja modele ML v svojih izdelkih," je dejal Sestito v izjava, ki najavlja začetek HiddenLayerja.

Iskanje nasprotnikov v realnem času

HiddenLayer želi ustvariti sistem, ki lahko spremlja delovanje sistemov ML in brez potrebe po dostopu do podatkov ali izračunov ugotovi, ali je programska oprema napadena z uporabo ene od znanih kontradiktornih metod.

"Preučujemo vedenjske interakcije z modeli - lahko je naslov IP ali končna točka," pravi Sestito. "Analiziramo, ali se model uporablja, kot je predviden, ali se vhodi in izhodi izkoriščajo ali pa vlagatelj sprejema odločitve o zelo visoki entropiji."

Zmožnost izvajanja vedenjske analize v realnem času loči odkrivanje in odzivanje ML podjetja od drugih pristopov, pravi. Poleg tega tehnologija ne zahteva dostopa do določenega modela ali podatkov o usposabljanju, kar dodatno izolira intelektualno lastnino, pravi HiddenLayer.

Pristop pomeni tudi, da so režijski stroški varnostnega agenta majhni, reda velikosti 1 ali 2 milisekund, pravi Sestito.

»Vhode pregledujemo po tem, ko so neobdelani podatki vektorizirani, tako da je zelo malo vpliva na zmogljivost,« pravi.