L'avvio mira a proteggere l'IA, lo sviluppo dell'apprendimento automatico

Poiché le aziende aggiungono sempre più funzionalità di intelligenza artificiale (AI) ai loro portafogli di prodotti, gli esperti di sicurezza informatica avvertono che i componenti di machine learning (ML) sono vulnerabili a nuovi tipi di attacchi e devono essere protetti.

La startup HiddenLayer, lanciata il 19 luglio, mira ad aiutare le aziende a proteggere meglio i loro modelli sensibili di machine learning e i dati utilizzati per addestrare tali modelli. L'azienda ha rilasciato i suoi primi prodotti destinati al segmento di rilevamento e risposta ML, con l'obiettivo di rafforzare i modelli contro gli attacchi e proteggere i dati utilizzati per addestrare tali modelli.

I rischi non sono teorici: i fondatori dell'azienda hanno lavorato presso Cylance quando i ricercatori hanno trovato il modo di aggirare il motore di intelligenza artificiale dell'azienda per rilevare malware, afferma Christopher Sestito, CEO di HiddenLayer.

"Hanno attaccato il modello attraverso il prodotto stesso e hanno interagito con il modello abbastanza da... determinare dove il modello era più debole", dice.

Sestito prevede che gli attacchi contro i sistemi AI/ML crescano man mano che sempre più aziende incorporano le funzionalità nei loro prodotti.

"AI e ML sono le tecnologie in più rapida crescita che abbiamo mai visto, quindi ci aspettiamo che siano anche i vettori di attacco in più rapida crescita che abbiamo mai visto", afferma.

Difetti nel modello di Machine Learning

Il machine learning è diventato un must per la prossima generazione di prodotti di molte aziende, ma le aziende in genere aggiungono funzionalità basate sull'intelligenza artificiale senza considerare le implicazioni sulla sicurezza. Tra le minacce ci sono l'evasione del modello, come la ricerca condotta contro Cylance, e l'estrazione funzionale, in cui gli aggressori possono interrogare un modello e costruire un sistema equivalente funzionale basato sugli output.

Due anni fa, Microsoft, MITRE e altre società creato l'Adversarial Machine Learning Threat Matrix per catalogare le potenziali minacce contro i sistemi basati sull'intelligenza artificiale. Ora rinominato come il Panorama delle minacce avversarie per i sistemi di intelligenza artificiale (ATLAS), il dizionario dei possibili attacchi evidenzia che le tecnologie innovative attireranno attacchi innovativi.

"A differenza delle tradizionali vulnerabilità della sicurezza informatica legate a specifici sistemi software e hardware, le vulnerabilità ML adversarial sono abilitate da limitazioni intrinseche alla base degli algoritmi ML", secondo il Pagina del progetto ATLAS su GitHub. "I dati possono essere armati in nuovi modi, il che richiede un'estensione del modo in cui modelliamo il comportamento degli avversari informatici, per riflettere i vettori delle minacce emergenti e il ciclo di vita degli attacchi di machine learning in rapida evoluzione".

La minaccia pratica è ben nota ai tre fondatori di HiddenLayer - Sestito, Tanner Burns e James Ballard - che hanno lavorato insieme a Cylance. Allora, i ricercatori di Skylight Cyber allegato codice valido noto - in realtà, un elenco di stringhe dall'eseguibile del gioco Rocket League - per ingannare la tecnologia di Cylance facendogli credere che l'84% del malware fosse effettivamente benigno.

"Abbiamo guidato i soccorsi dopo che il nostro modello di machine learning è stato attaccato direttamente attraverso il nostro prodotto e ci siamo resi conto che questo sarebbe stato un enorme problema per qualsiasi organizzazione che distribuisse modelli ML nei propri prodotti", ha affermato Sestito in una dichiarazione che annuncia il lancio di HiddenLayer.

Alla ricerca di avversari in tempo reale

HiddenLayer mira a creare un sistema in grado di monitorare il funzionamento dei sistemi ML e, senza bisogno di accedere ai dati o ai calcoli, determinare se il software viene attaccato utilizzando uno dei noti metodi contraddittori.

"Stiamo esaminando le interazioni comportamentali con i modelli: potrebbe essere un indirizzo IP o un endpoint", afferma Sestito. "Stiamo analizzando se il modello viene utilizzato come previsto o se gli input e gli output vengono sfruttati o se il richiedente prende decisioni entropiche molto elevate".

La capacità di eseguire analisi comportamentali in tempo reale distingue il rilevamento e la risposta ML dell'azienda da altri approcci, afferma. Inoltre, la tecnologia non richiede l'accesso al modello specifico o ai dati di addestramento, isolando ulteriormente la proprietà intellettuale, afferma HiddenLayer.

L'approccio significa anche che l'overhead dell'agente di sicurezza è ridotto, dell'ordine di 1 o 2 millisecondi, afferma Sestito.

"Stiamo esaminando gli input dopo che i dati grezzi sono stati vettorializzati, quindi il calo delle prestazioni è minimo", afferma.