Opatchade kritiska sårbarheter öppnar AI-modeller för övertagande

Opatchade kritiska sårbarheter öppnar AI-modeller för övertagande

Tidsstämpel: 16 november 2023 12:47
Opatchade kritiska sårbarheter öppnar AI-modeller för att ta över PlatoBlockchain Data Intelligence. Vertikal sökning. Ai.

Forskare har identifierat nästan ett dussin kritiska sårbarheter i infrastrukturen som används av AI-modeller (plus tre hög- och två medelsvåra buggar), som kan göra företag i riskzonen när de tävlar om att dra fördel av AI. Några av dem förblir oparpade.

De berörda plattformarna används för att vara värd för, distribuera och dela stora språkmodeller (LLM) och andra ML-plattformar och AI:er. De inkluderar Ray, som används i distribuerad utbildning av modeller för maskininlärning; MLflow, en livscykelplattform för maskininlärning; ModellDB, en hanteringsplattform för maskininlärning; och H20 version 3, en öppen källkodsplattform för maskininlärning baserad på Java.

MDet achine-lärande säkerhetsföretaget Protect AI avslöjade resultaten den 16 november som en del av sitt AI-specifika bug-bounty-program, Huntr. Det nejinformerade mjukvaruunderhållarna och leverantörerna om sårbarheterna, vilket gav dem 45 dagar på sig att åtgärda problemen.

Vart och ett av problemen har tilldelats en CVE-identifierare, och även om många av problemen har åtgärdats, förblir andra oparpade, i vilket fall Protect AI rekommenderade en lösning i dess rådgivande.

AI-buggar innebär hög risk för organisationer

Enligt Protect AI kan sårbarheter i AI-system ge angripare obehörig åtkomst till AI-modellerna, vilket gör att de kan välja modellerna för sina egna mål.

Men de kan också ge dem en dörr in i resten av nätverket, säger Sean Morgan, chefsarkitekt på Protect AI. Serverkompromiss och stöld av referenser från AI-tjänster med låg kod är två möjligheter för initial åtkomst, till exempel.

"Inferensservrar kan ha tillgängliga slutpunkter för användare att kunna använda ML-modeller [fjärr], men det finns många sätt att komma in i någons nätverk", säger han. "Dessa ML-system som vi riktar in oss på [med bug-bounty-programmet] har ofta förhöjda privilegier, så det är mycket viktigt att om någon kan komma in i ditt nätverk, att de inte snabbt kan eskalera privilegier till ett mycket känsligt system .”

Till exempel, ett kritiskt problem med lokal filinkludering (nu korrigerad) i API:et för den distribuerade inlärningsplattformen Ray tillåter en angripare att läsa vilken fil som helst på systemet. Ett annat problem i H20-plattformen (också fixat) gör att kod kan exekveras via import av en AI-modell.

Risken är inte teoretisk: Stora företag har redan inlett aggressiva kampanjer för att hitta användbara AI-modeller och tillämpa dem på sina marknader och verksamheter. Banker använder redan maskininlärning och AI för till exempel bolånehantering och anti-penningtvätt.

Medan du hittar sårbarheter i dessa AI-system kan leda till kompromiss av infrastrukturen, att stjäla den immateriella egendomen är också ett stort mål, säger Daryan Dehghanpisheh, president och medgrundare av Protect AI.

"Industrispionage är en stor komponent, och i kampen om AI och ML är modeller en mycket värdefull tillgång till immateriella rättigheter", säger han. "Tänk på hur mycket pengar som spenderas på att träna en modell på daglig basis, och när du pratar om en miljard parametrar och mer, så mycket investeringar, bara rent kapital som lätt kan äventyras eller stjäls."

Att slåss mot nya exploateringar mot infrastrukturen som ligger till grund för interaktioner på naturliga språk som människor har med AI-system som ChatGPT kommer att påverka ännu mer, säger Dane Sherrets, senior lösningsarkitekt på HackerOne. Det beror på att när cyberbrottslingar kan utlösa den här typen av sårbarheter, kommer effektiviteten hos AI-system att göra effekten så mycket större.

Dessa attacker "kan få systemet att spotta ut känslig eller konfidentiell data, eller hjälpa den skadliga aktören att få tillgång till systemets backend", säger han. "AI-sårbarheter som träningsdataförgiftning kan också ha en betydande ringeffekt, vilket leder till utbredd spridning av felaktiga eller skadliga utdata."

Säkerhet för AI-infrastruktur: Förbises ofta

Efter introduktionen av ChatGPT för ett år sedan har teknologier och tjänster baserade på AI – särskilt generativ AI (GenAI) – tagit fart. I dess kölvatten, a olika motstridiga attacker har utvecklats som kan rikta in sig på AI och maskininlärningssystem och deras verksamhet. Den 15 november, till exempel AI-säkerhetsföretaget Adversa AI
avslöjade ett antal attacker mot GPT-baserade system inklusive promptläckage och uppräkning av de API:er som systemet har åtkomst till.

Ändå understryker ProtectAI:s buggmeddelanden det faktum att verktygen och infrastrukturen som stöder maskininlärningsprocesser och AI-operationer också kan bli måltavlor. Och ofta har företag anammat AI-baserade verktyg och arbetsflöden utan att ofta rådfråga informationssäkerhetsgrupper.

"Som med vilken högteknologisk hypecykel som helst, kommer människor att distribuera system, de kommer att lägga ut applikationer och de kommer att skapa nya upplevelser för att möta verksamhetens och marknadens behov, och ofta försummar de antingen säkerheten och skapar dessa typer av "skuggstackar", annars kommer de att anta att de befintliga säkerhetsfunktionerna de har kan hålla dem säkra, säger Dehghanpisheh. "Men de saker vi [cybersäkerhetsproffs] gör för traditionella datacenter, håller dig inte nödvändigtvis säker i molnet, och vice versa."

Protect AI använde sin bug bounty-plattform, kallad Huntr, för att begära in sårbarhetsinlämningar från tusentals forskare för olika maskininlärningsplattformar, men än så länge är buggjakten i denna sektor i sin linda. Det kan dock vara på väg att ändras.

Till exempel har Trend Micros Zero Day Initiative ännu inte sett någon betydande efterfrågan på att hitta buggar i AI/ML-verktyg, men gruppen har sett regelbundna förändringar i vilka typer av sårbarheter som industrin vill att forskare ska hitta, och ett AI-fokus kommer sannolikt att komma snart, säger Dustin Childs, Head of Threat Awareness på Trend Micros Zero Day Initiative.

"Vi ser samma sak i AI som vi såg i andra branscher när de utvecklades", säger han. "Först avprioriterades säkerheten till förmån för att lägga till funktionalitet. Nu när det har nått en viss nivå av acceptans börjar folk fråga om säkerhetskonsekvenserna.”

Tidsstämpel:

Mer från Mörk läsning