Startup pyrkii turvaamaan tekoälyn, koneoppimisen kehittämisen

Kun yritykset lisäävät yhä enemmän tekoälyä (AI) tuotevalikoimaansa, kyberturvallisuusasiantuntijat varoittavat, että koneoppimiskomponentit (ML) ovat alttiita uudenlaisille hyökkäyksille ja niitä on suojattava.

Startup HiddenLayer, joka lanseerattiin 19. heinäkuuta, pyrkii auttamaan yrityksiä suojaamaan paremmin arkaluonteisia koneoppimismallejaan ja näiden mallien kouluttamiseen käytettyjä tietoja. Yritys on julkaissut ensimmäiset ML-tunnistus- ja vastaussegmentille suunnatut tuotteet, joiden tavoitteena on kovettaa malleja hyökkäyksiä vastaan ​​sekä suojata näiden mallien kouluttamiseen käytettyjä tietoja.

Riskit eivät ole teoreettisia: Yrityksen perustajat työskentelivät Cylancessa, kun tutkijat löysivät tapoja ohittaa yrityksen tekoälymoottori haittaohjelmien havaitsemiseksi, sanoo Christopher Sestito, HiddenLayerin toimitusjohtaja.

"He hyökkäsivät mallia vastaan ​​itse tuotteen kautta ja olivat vuorovaikutuksessa mallin kanssa tarpeeksi … määrittääkseen, missä malli oli heikoin", hän sanoo.

Sestito odottaa AI/ML-järjestelmiä vastaan ​​tehtyjen hyökkäysten lisääntyvän, kun yhä useammat yritykset sisällyttävät ominaisuudet tuotteisiinsa.

"Tekoäly ja ML ovat nopeimmin kasvavia teknologioita, joita olemme koskaan nähneet, joten odotamme niiden olevan nopeimmin kasvavia hyökkäysvektoreita, joita olemme myös koskaan nähneet", hän sanoo.

Puutteita koneoppimismallissa

ML:stä on tullut välttämätön monien yritysten seuraavan sukupolven tuotteille, mutta yritykset yleensä lisäävät tekoälypohjaisia ​​ominaisuuksia ottamatta huomioon tietoturvavaikutuksia. Uhkia ovat mallin kiertäminen, kuten Cylancea vastaan ​​tehty tutkimus, ja toiminnallinen purkaminen, jossa hyökkääjät voivat kysellä mallia ja rakentaa toiminnallisen vastaavan järjestelmän tulosten perusteella.

Kaksi vuotta sitten Microsoft, MITRE ja muut yritykset loi Adversarial Machine Learning Threat Matrixin luetteloida mahdolliset uhat tekoälypohjaisia ​​järjestelmiä vastaan. Nyt uusi nimimerkki Tekoälyjärjestelmien vastakkainen uhkamaisema (ATLAS), mahdollisten hyökkäysten sanakirja korostaa, että innovatiiviset teknologiat houkuttelevat innovatiivisia hyökkäyksiä.

"Toisin kuin perinteiset kyberturvallisuuden haavoittuvuudet, jotka on sidottu tiettyihin ohjelmisto- ja laitteistojärjestelmiin, kilpailevat ML-haavoittuvuudet mahdollistavat ML-algoritmien taustalla olevat luontaiset rajoitukset." ATLAS-projektisivu GitHubissa. "Tietoja voidaan aseistaa uusilla tavoilla, mikä vaatii laajentamista tapaan, jolla mallintamme kybervastustajakäyttäytymistä, jotta se heijastelee nousevia uhkavektoreita ja nopeasti kehittyvää kilpailevaa koneoppimishyökkäysten elinkaarta."

Käytännön uhka ovat hyvin tiedossa kolmelle HiddenLayerin perustajalle – Sestito, Tanner Burns ja James Ballard – jotka työskentelivät yhdessä Cylancessa. Tuolloin Skylight Cyberin tutkijat liitteenä tunnettu hyvä koodi - itse asiassa luettelo pelin Rocket Leaguen suoritettavan tiedoston merkkijonoista, jotta Cylancen tekniikka voidaan huijata uskomaan, että 84 % haittaohjelmista oli todella hyvänlaatuisia.

"Johdimme avustustyötä sen jälkeen, kun koneoppimismalliamme hyökättiin suoraan tuotteemme kautta ja ymmärsimme, että tämä olisi valtava ongelma mille tahansa organisaatiolle, joka käyttää ML-malleja tuotteissaan", Sestito sanoi. lausunto, jossa kerrotaan HiddenLayerin käynnistämisestä.

Etsitkö vastustajia reaaliajassa

HiddenLayer pyrkii luomaan järjestelmän, joka voi valvoa ML-järjestelmien toimintaa ja ilman pääsyä tietoihin tai laskelmiin määrittää, hyökätäänkö ohjelmistoon jollakin tunnetuista vastakkainasettelun menetelmistä.

"Tarkastelemme käyttäytymisvuorovaikutuksia mallien kanssa - se voi olla IP-osoite tai päätepiste", Sestito sanoo. "Analysoimme, käytetäänkö mallia sellaisena kuin se on tarkoitettu käytettäväksi vai käytetäänkö tuloja ja lähtöjä vai tekeekö pyytäjä erittäin suuria entropiapäätöksiä."

Kyky tehdä käyttäytymisanalyysiä reaaliajassa erottaa yrityksen ML-tunnistuksen ja vastauksen muista lähestymistavoista, hän sanoo. Lisäksi tekniikka ei vaadi pääsyä tiettyyn malliin tai harjoitustietoihin, mikä lisää henkistä omaisuutta, HiddenLayer sanoo.

Lähestymistapa tarkoittaa myös, että turva-agentin ylimääräiset kustannukset ovat pieniä, luokkaa 1 tai 2 millisekuntia, Sestito sanoo.

"Tarkastelemme syötteitä sen jälkeen, kun raakadata on vektorisoitu, joten suorituskykyä on hyvin vähän", hän sanoo.