Startup ma na celu zabezpieczenie sztucznej inteligencji, rozwój uczenia maszynowego

W miarę jak firmy coraz częściej dodają do swoich produktów funkcje sztucznej inteligencji (AI), eksperci ds. cyberbezpieczeństwa ostrzegają, że komponenty uczenia maszynowego (ML) są podatne na nowe rodzaje ataków i wymagają ochrony.

Startup HiddenLayer, który wystartował 19 lipca, ma na celu pomóc firmom lepiej chronić ich wrażliwe modele uczenia maszynowego i dane używane do szkolenia tych modeli. Firma wypuściła swoje pierwsze produkty skierowane do segmentu wykrywania i reagowania na ML, mające na celu zabezpieczenie modeli przed atakami, a także ochronę danych używanych do szkolenia tych modeli.

Ryzyko nie jest teoretyczne: założyciele firmy pracowali w Cylance, kiedy badacze znaleźli sposoby na ominięcie firmowego silnika AI do wykrywania złośliwego oprogramowania, mówi Christopher Sestito, dyrektor generalny HiddenLayer.

„Atakowali model poprzez sam produkt i wchodzili w interakcję z modelem na tyle, aby… określić, gdzie model był najsłabszy” — mówi.

Sestito spodziewa się, że ataki na systemy AI/ML będą się nasilać, ponieważ coraz więcej firm włącza te funkcje do swoich produktów.

„AI i ML to najszybciej rozwijające się technologie, jakie kiedykolwiek widzieliśmy, więc spodziewamy się, że będą również najszybciej rozwijającymi się wektorami ataków, jakie kiedykolwiek widzieliśmy” – mówi.

Wady w modelu uczenia maszynowego

Uczenie maszynowe stało się nieodzownym elementem produktów nowej generacji wielu firm, ale firmy zazwyczaj dodają funkcje oparte na sztucznej inteligencji, nie biorąc pod uwagę implikacji związanych z bezpieczeństwem. Wśród zagrożeń są unikanie modeli, takie jak badania przeprowadzone przeciwko Cylance, oraz ekstrakcja funkcjonalna, w ramach której osoby atakujące mogą przeszukiwać model i konstruować funkcjonalny równoważny system na podstawie danych wyjściowych.

Dwa lata temu Microsoft, MITRE i inne firmy stworzył przeciwstawną macierz zagrożeń uczenia maszynowego skatalogować potencjalne zagrożenia dla systemów opartych na sztucznej inteligencji. Teraz przemianowany jako Krajobraz zagrożeń kontradyktoryjnych dla systemów sztucznej inteligencji (ATLAS), słownik możliwych ataków podkreśla, że ​​innowacyjne technologie będą przyciągać innowacyjne ataki.

„W przeciwieństwie do tradycyjnych luk w zabezpieczeniach cybernetycznych, które są powiązane z określonym oprogramowaniem i systemami sprzętowymi, luki w zabezpieczeniach związane z ML są możliwe dzięki nieodłącznym ograniczeniom leżącym u podstaw algorytmów ML”, zgodnie z Strona projektu ATLAS na GitHubie. „Dane można uzbroić na nowe sposoby, co wymaga rozszerzenia sposobu, w jaki modelujemy zachowania cyberprzestępców, aby odzwierciedlić pojawiające się wektory zagrożeń i szybko ewoluujący cykl życia ataków opartych na uczeniu maszynowym”.

Praktyczne zagrożenie jest dobrze znane trzem założycielom HiddenLayer — Sestito, Tannerowi Burnsowi i Jamesowi Ballardowi — którzy pracowali razem w Cylance. Wtedy naukowcy ze Skylight Cyber dołączony znany dobry kod — właściwie lista ciągów znaków z pliku wykonywalnego gry Rocket League — aby oszukać technologię Cylance, aby uwierzyła, że ​​84% złośliwego oprogramowania jest w rzeczywistości niegroźne.

„Poprowadziliśmy akcję ratunkową po tym, jak nasz model uczenia maszynowego został zaatakowany bezpośrednio przez nasz produkt i zdaliśmy sobie sprawę, że byłby to ogromny problem dla każdej organizacji wdrażającej modele ML w swoich produktach”, powiedział Sestito w oświadczenie zapowiadające uruchomienie HiddenLayer.

Wyszukiwanie przeciwników w czasie rzeczywistym

HiddenLayer ma na celu stworzenie systemu, który może monitorować działanie systemów ML i bez konieczności dostępu do danych lub obliczeń określać, czy oprogramowanie jest atakowane przy użyciu jednej ze znanych metod kontradyktoryjnych.

„Przyglądamy się interakcjom behawioralnym z modelami — może to być adres IP lub punkt końcowy” — mówi Sestito. „Analizujemy, czy model jest używany zgodnie z przeznaczeniem, czy dane wejściowe i wyjściowe są wykorzystywane, czy też żądający podejmuje decyzje o bardzo dużej entropii”.

Mówi, że możliwość przeprowadzania analizy behawioralnej w czasie rzeczywistym odróżnia wykrywanie i reagowanie na ML w firmie na tle innych podejść. Ponadto technologia nie wymaga dostępu do konkretnego modelu ani danych treningowych, co dodatkowo izoluje własność intelektualną, mówi HiddenLayer.

Takie podejście oznacza również, że narzut agenta bezpieczeństwa jest niewielki, rzędu 1 lub 2 milisekund, mówi Sestito.

„Patrzymy na dane wejściowe po wektoryzacji surowych danych, więc spadek wydajności jest bardzo niewielki” — mówi.