Startup-ul își propune să securizeze AI, dezvoltarea învățării automate

Pe măsură ce companiile adaugă din ce în ce mai multe capacități de inteligență artificială (AI) portofoliilor lor de produse, experții în securitate cibernetică avertizează că componentele de învățare automată (ML) sunt vulnerabile la noile tipuri de atacuri și trebuie protejate.

Startup-ul HiddenLayer, care a fost lansat pe 19 iulie, își propune să ajute companiile să își protejeze mai bine modelele sensibile de învățare automată și datele folosite pentru a antrena aceste modele. Compania a lansat primele sale produse destinate segmentului de detectare și răspuns ML, având ca scop întărirea modelelor împotriva atacurilor, precum și protejarea datelor utilizate pentru antrenarea acelor modele.

Riscurile nu sunt teoretice: fondatorii companiei au lucrat la Cylance când cercetătorii au găsit modalități de a ocoli motorul AI al companiei pentru detectarea malware-ului, spune Christopher Sestito, CEO al HiddenLayer.

„Au atacat modelul prin produsul în sine și au interacționat cu modelul suficient pentru a… determina unde modelul a fost cel mai slab”, spune el.

Sestito se așteaptă ca atacurile împotriva sistemelor AI/ML să crească pe măsură ce mai multe companii încorporează caracteristicile în produsele lor.

„AI și ML sunt tehnologiile cu cea mai rapidă creștere pe care le-am văzut vreodată, așa că ne așteptăm să fie și vectorii de atac cu cea mai rapidă creștere pe care i-am văzut vreodată”, spune el.

Defecte ale modelului de învățare automată

ML a devenit o necesitate pentru următoarea generație de produse a multor companii, dar companiile adaugă de obicei funcții bazate pe inteligență artificială fără a lua în considerare implicațiile de securitate. Printre amenințări se numără evaziunea modelului, cum ar fi cercetările efectuate împotriva Cylance și extracția funcțională, în care atacatorii pot interoga un model și pot construi un sistem funcțional echivalent pe baza rezultatelor.

Acum doi ani, Microsoft, MITRE și alte companii a creat Matricea de amenințări de învățare automată adversară pentru a cataloga potențialele amenințări la adresa sistemelor bazate pe AI. Acum redenumită Peisajul amenințărilor adverse pentru sistemele de inteligență artificială (ATLAS), dicționarul de posibile atacuri evidențiază faptul că tehnologiile inovatoare vor atrage atacuri inovatoare.

„Spre deosebire de vulnerabilitățile tradiționale de securitate cibernetică care sunt legate de sisteme software și hardware specifice, vulnerabilitățile ML adverse sunt activate de limitările inerente care stau la baza algoritmilor ML”, potrivit Pagina proiectului ATLAS pe GitHub. „Datele pot fi transformate în arme în moduri noi, ceea ce necesită o extindere a modului în care modelăm comportamentul adversarului cibernetic, pentru a reflecta vectorii de amenințare emergente și ciclul de viață al atacurilor de învățare automată, care evoluează rapid.”

Amenințarea practică este bine cunoscută celor trei fondatori ai HiddenLayer – Sestito, Tanner Burns și James Ballard – care au lucrat împreună la Cylance. Pe atunci, cercetătorii de la Skylight Cyber a adăugat cod cunoscut bun — de fapt, o listă de șiruri din executabilul jocului Rocket League — pentru a păcăli tehnologia lui Cylance, făcându-l să creadă că 84% dintre programele malware sunt de fapt benigne.

„Am condus efortul de ajutor după ce modelul nostru de învățare automată a fost atacat direct prin produsul nostru și am realizat că aceasta ar fi o problemă enormă pentru orice organizație care implementează modele ML în produsele lor”, a spus Sestito în o declarație care anunță lansarea HiddenLayer.

Căutăm adversari în timp real

HiddenLayer își propune să creeze un sistem care să poată monitoriza funcționarea sistemelor ML și, fără a avea nevoie de acces la date sau calcule, să determine dacă software-ul este atacat folosind una dintre metodele adverse cunoscute.

„Ne uităm la interacțiunile comportamentale cu modelele – ar putea fi o adresă IP sau un punct final”, spune Sestito. „Analizăm dacă modelul este utilizat așa cum este intenționat să fie utilizat sau dacă intrările și ieșirile sunt valorificate sau dacă solicitantul ia decizii de entropie foarte mare.”

Abilitatea de a face analize comportamentale în timp real stabilește detectarea și răspunsul ML al companiei de alte abordări, spune el. În plus, tehnologia nu necesită acces la modelul specific sau la datele de antrenament, izolând și mai mult proprietatea intelectuală, spune HiddenLayer.

Abordarea mai înseamnă că supraîncărcarea de la agentul de securitate este mică, de ordinul a 1 sau 2 milisecunde, spune Sestito.

„Ne uităm la intrările după ce datele brute au fost vectorizate, așa că există foarte puține lovituri de performanță”, spune el.