Niet-gepatchte kritieke kwetsbaarheden maken AI-modellen vatbaar voor overname

Onderzoekers hebben bijna een dozijn kritieke kwetsbaarheden geïdentificeerd in de infrastructuur die wordt gebruikt door AI-modellen (plus drie ernstige en twee middelzware bugs), die bedrijven in gevaar kunnen brengen terwijl ze racen om te profiteren van AI. Sommigen van hen blijven ongepatcht.

De getroffen platforms worden gebruikt voor het hosten, implementeren en delen van grote taalmodellen (LLM) en andere ML-platforms en AI's. Hiertoe behoren Ray, dat wordt gebruikt bij de gedistribueerde training van modellen voor machinaal leren; MLflow, een levenscyclusplatform voor machinaal leren; ModelDB, een beheerplatform voor machinaal leren; En H20-versie 3, een open source platform voor machine learning gebaseerd op Java.

Machine-learning beveiligingsbedrijf Protect AI maakte de resultaten op 16 november bekend als onderdeel van hun AI-specifieke bug-bounty-programma, Huntr. Het neeDe softwarebeheerders en -leveranciers werden op de hoogte gesteld van de kwetsbaarheden, waardoor ze 45 dagen de tijd kregen om de problemen op te lossen.

Aan elk van de problemen is een CVE-identificatie toegewezen, en hoewel veel van de problemen zijn opgelost, blijven andere problemen ongepatcht. In dat geval adviseerde Protect AI een oplossing in zijn adviserende.

AI-bugs vormen een groot risico voor organisaties

Volgens Protect AI kunnen kwetsbaarheden in AI-systemen aanvallers ongeautoriseerde toegang geven tot de AI-modellen, waardoor ze de modellen kunnen coöpteren voor hun eigen doeleinden.

Maar ze kunnen ze ook toegang geven tot de rest van het netwerk, zegt Sean Morgan, hoofdarchitect bij Protect AI. Servercompromis en diefstal van inloggegevens van low-code AI-services zijn bijvoorbeeld twee mogelijkheden voor initiële toegang.

“Inferentieservers kunnen toegankelijke eindpunten hebben zodat gebruikers ML-modellen [op afstand] kunnen gebruiken, maar er zijn veel manieren om in iemands netwerk te komen”, zegt hij. “Deze ML-systemen waar we ons op richten [met het bug-bounty-programma] hebben vaak verhoogde rechten, en dus is het erg belangrijk dat als iemand in je netwerk kan komen, diegene niet snel de rechten kan escaleren naar een zeer gevoelig systeem .”

Een kritiek probleem met de lokale bestandsopname (nu gepatcht) in de API voor het gedistribueerde Ray-leerplatform zorgt er bijvoorbeeld voor dat een aanvaller elk bestand op het systeem kan lezen. Een ander probleem in het H20-platform (ook opgelost) maakt het mogelijk dat code wordt uitgevoerd via de import van een AI-model.

Het risico is niet theoretisch: grote bedrijven zijn al begonnen met agressieve campagnes om bruikbare AI-modellen te vinden en deze toe te passen op hun markten en activiteiten. Banken maken bijvoorbeeld al gebruik van machine learning en AI voor de verwerking van hypotheken en de bestrijding van het witwassen van geld.

Tijdens het vinden kwetsbaarheden in deze AI-systemen kan leiden tot het compromitteren van de infrastructuur, maar het stelen van intellectueel eigendom is ook een groot doel, zegt Daryan Dehghanpisheh, president en mede-oprichter van Protect AI.

“Industriële spionage is een belangrijk onderdeel, en in de strijd om AI en ML zijn modellen een zeer waardevol bezit op het gebied van intellectueel eigendom”, zegt hij. “Denk eens aan hoeveel geld er dagelijks wordt uitgegeven aan het trainen van een model, en als je het hebt over een miljard parameters en meer, dan zijn het dus veel investeringen, gewoon puur kapitaal dat gemakkelijk kan worden aangetast of gestolen.”

Het bestrijden van nieuwe exploits tegen de infrastructuur die ten grondslag ligt aan natuurlijke taalinteracties die mensen hebben met AI-systemen zoals ChatGPT zal een nog grotere impact hebben, zegt Dane Sherrets, senior solutions architect bij HackerOne. Dat komt omdat wanneer cybercriminelen dit soort kwetsbaarheden kunnen veroorzaken, de efficiëntie van AI-systemen de impact veel groter zal maken.

Deze aanvallen “kunnen ervoor zorgen dat het systeem gevoelige of vertrouwelijke gegevens uitspuugt, of de kwaadwillende actor helpen toegang te krijgen tot de backend van het systeem”, zegt hij. “AI-kwetsbaarheden zoals vergiftiging van trainingsgegevens kunnen ook een aanzienlijk rimpeleffect hebben, wat leidt tot wijdverbreide verspreiding van foutieve of kwaadaardige resultaten.”

Beveiliging voor AI-infrastructuur: vaak over het hoofd gezien

Na de introductie van ChatGPT een jaar geleden hebben technologieën en diensten op basis van AI – vooral generatieve AI (GenAI) – een grote vlucht genomen. In zijn kielzog, een verscheidenheid aan vijandige aanvallen Er zijn ontwikkeld die zich kunnen richten op AI- en machine-learningsystemen en hun werking. Op 15 november bijvoorbeeld AI-beveiligingsbedrijf Adversa AI
heeft een aantal aanvallen op GPT-gebaseerde systemen onthuld inclusief prompt lekken en het opsommen van de API's waartoe het systeem toegang heeft.

Toch onderstrepen de onthullingen over bugs van ProtectAI het feit dat de tools en infrastructuur die machine-leerprocessen en AI-operaties ondersteunen ook doelwitten kunnen worden. En vaak hebben bedrijven op AI gebaseerde tools en workflows geïmplementeerd zonder vaak informatiebeveiligingsgroepen te raadplegen.

“Zoals bij elke hightech-hypecyclus zullen mensen systemen inzetten, applicaties uitbrengen en nieuwe ervaringen creëren om aan de behoeften van het bedrijfsleven en de markt te voldoen, en vaak zullen ze de beveiliging verwaarlozen en deze creëren. soort 'schaduwstapels', anders gaan ze ervan uit dat de bestaande beveiligingsmogelijkheden die ze hebben hen veilig kunnen houden”, zegt Dehghanpisheh. “Maar de dingen die wij [cybersecurityprofessionals] doen voor traditionele datacenters zorgen er niet noodzakelijkerwijs voor dat u veilig bent in de cloud, en omgekeerd.”

Protect AI gebruikte zijn bugbounty-platform, Huntr genaamd, om duizenden onderzoekers te vragen naar kwetsbaarheidsinzendingen voor verschillende machine-learningplatforms, maar tot nu toe staat het zoeken naar bugs in deze sector nog in de kinderschoenen. Dat zou wel eens kunnen veranderen.

Het Zero Day Initiative van Trend Micro heeft bijvoorbeeld nog geen grote vraag gezien naar het vinden van bugs in AI/ML-tools, maar de groep heeft wel regelmatig verschuivingen gezien in de soorten kwetsbaarheden die de industrie wil dat onderzoekers vinden, en er zal waarschijnlijk een AI-focus komen. binnenkort, zegt Dustin Childs, hoofd Threat Awareness bij het Zero Day Initiative van Trend Micro.

“We zien bij AI hetzelfde als in andere sectoren toen deze zich ontwikkelden”, zegt hij. “In eerste instantie kreeg beveiliging minder prioriteit ten gunste van het toevoegen van functionaliteit. Nu het een bepaald acceptatieniveau heeft bereikt, beginnen mensen zich vragen te stellen over de gevolgen voor de veiligheid.”

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://www.darkreading.com/vulnerabilities-threats/unpatched-critical-vulnerabilities-ai-models-takeover