Naarmate bedrijven steeds vaker kunstmatige intelligentie (AI) aan hun productportfolio's toevoegen, waarschuwen cyberbeveiligingsexperts dat de componenten van machine learning (ML) kwetsbaar zijn voor nieuwe soorten aanvallen en moeten worden beschermd.
Startup HiddenLayer, gelanceerd op 19 juli, heeft tot doel bedrijven te helpen hun gevoelige machine learning-modellen en de gegevens die worden gebruikt om die modellen te trainen, beter te beschermen. Het bedrijf heeft zijn eerste producten uitgebracht die gericht zijn op het ML-detectie- en responssegment, met als doel modellen te beschermen tegen aanvallen en de gegevens te beschermen die worden gebruikt om die modellen te trainen.
De risico's zijn niet theoretisch: de oprichters van het bedrijf werkten bij Cylance toen onderzoekers manieren vonden om de AI-engine van het bedrijf te omzeilen voor het detecteren van malware, zegt Christopher Sestito, CEO van HiddenLayer.
"Ze vielen het model aan via het product zelf en hadden voldoende interactie met het model om... te bepalen waar het model het zwakst was", zegt hij.
Sestito verwacht dat aanvallen op AI/ML-systemen zullen toenemen naarmate meer bedrijven de functies in hun producten opnemen.
"AI en ML zijn de snelst groeiende technologieën die we ooit hebben gezien, dus we verwachten dat dit ook de snelst groeiende aanvalsvectoren zijn die we ooit hebben gezien", zegt hij.
Fouten in het machine learning-model
ML is een must-have geworden voor de volgende generatie producten van veel bedrijven, maar bedrijven voegen doorgaans op AI gebaseerde functies toe zonder rekening te houden met de beveiligingsimplicaties. Tot de bedreigingen behoren modelontduiking, zoals het onderzoek dat is uitgevoerd tegen Cylance, en functionele extractie, waarbij aanvallers een model kunnen opvragen en een functioneel equivalent systeem kunnen bouwen op basis van de output.
Twee jaar geleden hebben Microsoft, MITRE en andere bedrijven de Adversarial Machine Learning Threat Matrix gemaakt om de potentiële bedreigingen tegen op AI gebaseerde systemen te catalogiseren. Nu omgedoopt tot de Tegenstrijdig dreigingslandschap voor kunstmatige-intelligentiesystemen (ATLAS), benadrukt het woordenboek van mogelijke aanvallen dat innovatieve technologieën innovatieve aanvallen zullen aantrekken.
"In tegenstelling tot traditionele kwetsbaarheden in cyberbeveiliging die zijn gekoppeld aan specifieke software- en hardwaresystemen, worden vijandige ML-kwetsbaarheden mogelijk gemaakt door inherente beperkingen die ten grondslag liggen aan ML-algoritmen", aldus de ATLAS-projectpagina op GitHub. "Gegevens kunnen op nieuwe manieren worden gebruikt, wat een uitbreiding vereist van hoe we het gedrag van cyberaanvallen modelleren, om opkomende bedreigingsvectoren en de snel evoluerende vijandige levenscyclus van machine learning-aanvallen te weerspiegelen."
De praktische dreiging is goed bekend bij de drie oprichters van HiddenLayer - Sestito, Tanner Burns en James Ballard - die samenwerkten bij Cylance. Destijds onderzoekers van Skylight Cyber bijgevoegde bekende goede code - eigenlijk een lijst met strings van het uitvoerbare bestand van Rocket League - om de technologie van Cylance te laten geloven dat 84% van de malware in feite goedaardig was.
"We leidden de hulpverlening nadat ons machine learning-model rechtstreeks via ons product was aangevallen en realiseerden ons dat dit een enorm probleem zou zijn voor elke organisatie die ML-modellen in hun producten implementeert," zei Sestito in een verklaring waarin de lancering van HiddenLayer wordt aangekondigd.
Op zoek naar tegenstanders in realtime
HiddenLayer wil een systeem creëren dat de werking van ML-systemen kan monitoren en, zonder toegang tot de gegevens of berekeningen, kan bepalen of de software wordt aangevallen met behulp van een van de bekende vijandige methoden.
"We kijken naar de gedragsinteracties met de modellen - het kan een IP-adres of eindpunt zijn", zegt Sestito. "We analyseren of het model wordt gebruikt zoals het bedoeld is om te worden gebruikt of dat de inputs en outputs worden gebruikt of dat de aanvrager zeer hoge entropiebeslissingen neemt."
De mogelijkheid om in realtime gedragsanalyses uit te voeren, onderscheidt de ML-detectie en -respons van het bedrijf van andere benaderingen, zegt hij. Bovendien vereist de technologie geen toegang tot het specifieke model of de trainingsgegevens, wat het intellectueel eigendom verder isoleert, zegt HiddenLayer.
De aanpak betekent ook dat de overhead van de beveiligingsagent klein is, in de orde van 1 of 2 milliseconden, zegt Sestito.
"We kijken naar de invoer nadat de onbewerkte gegevens zijn gevectoriseerd, dus er is weinig prestatieverlies", zegt hij.
