Оскільки компанії все частіше додають можливості штучного інтелекту (ШІ) до своїх продуктових портфелів, експерти з кібербезпеки попереджають, що компоненти машинного навчання (ML) вразливі до нових типів атак і потребують захисту.
Стартап HiddenLayer, який був запущений 19 липня, має на меті допомогти компаніям краще захистити свої чутливі моделі машинного навчання та дані, які використовуються для навчання цих моделей. Компанія випустила свої перші продукти, спрямовані на сегмент виявлення та реагування на машинне навчання, щоб захистити моделі від атак, а також захистити дані, які використовуються для навчання цих моделей.
Ризики не є теоретичними: засновники компанії працювали в Cylance, коли дослідники знайшли способи обійти механізм ШІ компанії для виявлення зловмисного програмного забезпечення, каже Крістофер Сестіто, генеральний директор HiddenLayer.
«Вони атакували модель через сам продукт і взаємодіяли з нею достатньо, щоб... визначити, де модель була найслабшою», — каже він.
Sestito очікує, що атаки на системи штучного інтелекту/ML зростатимуть, оскільки все більше компаній включатимуть ці функції у свої продукти.
«Штучний інтелект та машинне навчання — це найшвидше зростаючі технології, які ми коли-небудь бачили, тому ми очікуємо, що вони також будуть найшвидше зростаючими векторами атак, які ми коли-небудь бачили», — говорить він.
Недоліки в моделі машинного навчання
ML стало обов’язковим для наступного покоління продуктів багатьох компаній, але підприємства зазвичай додають функції на основі ШІ, не враховуючи наслідків для безпеки. Серед загроз — ухилення від моделі, як-от дослідження, проведене проти Cylance, і функціональне вилучення, коли зловмисники можуть запитувати модель і створювати функціональну еквівалентну систему на основі виходів.
Два роки тому Microsoft, MITRE та інші компанії створив матрицю загроз суперницького машинного навчання каталогізувати потенційні загрози для систем на основі ШІ. Тепер ребрендинг на Ландшафт змагальних загроз для систем штучного інтелекту (ATLAS), словник можливих атак підкреслює, що інноваційні технології приваблюють інноваційні атаки.
«На відміну від традиційних уразливостей кібербезпеки, пов’язаних із певним програмним і апаратним забезпеченням, уразливості протиборчого машинного навчання створені через внутрішні обмеження, що лежать в основі алгоритмів машинного навчання», — йдеться в повідомленні. Сторінка проекту ATLAS на GitHub. «Дані можуть бути озброєні новими способами, що потребує розширення того, як ми моделюємо поведінку кіберсупротивника, щоб відобразити нові вектори загроз і життєвий цикл атак змагального машинного навчання, що швидко розвивається».
Практична загроза добре відома трьом засновникам HiddenLayer — Сестіто, Таннеру Бернсу та Джеймсу Балларду — які працювали разом у Cylance. Тоді дослідники Skylight Cyber додано відомий справний код — власне, список рядків із виконуваного файлу гри Rocket League — щоб обдурити технологію Cylance, щоб переконати, що 84% зловмисного програмного забезпечення насправді нешкідливе.
«Ми очолили зусилля з надання допомоги після того, як наша модель машинного навчання була атакована безпосередньо через наш продукт, і зрозуміли, що це стане величезною проблемою для будь-якої організації, яка розгортає моделі ML у своїх продуктах», — сказав Сестіто в заява про запуск HiddenLayer.
Пошук супротивників у реальному часі
HiddenLayer має на меті створити систему, яка може відстежувати роботу систем ML і, не потребуючи доступу до даних або обчислень, визначати, чи піддається програмне забезпечення атаці за допомогою одного з відомих методів змагання.
«Ми розглядаємо поведінкові взаємодії з моделями — це може бути IP-адреса або кінцева точка», — каже Сестіто. «Ми аналізуємо, чи використовується модель так, як вона призначена для використання, чи використовуються вхідні та вихідні дані, чи запитувач приймає рішення з дуже високою ентропією».
За його словами, здатність аналізувати поведінку в режимі реального часу відрізняє виявлення та реагування на ML серед інших підходів. Крім того, технологія не потребує доступу до конкретної моделі чи навчальних даних, що додатково захищає інтелектуальну власність, каже HiddenLayer.
Цей підхід також означає, що накладні витрати агента безпеки невеликі, порядку 1-2 мілісекунд, каже Сестіто.
«Ми розглядаємо вхідні дані після векторизації необроблених даних, тому продуктивність дуже незначна», — каже він.
