Kritiske fejl sætter Hugging Face AI-platformen i en "surt"

Kritiske fejl sætter Hugging Face AI-platformen i en "surt"

Tidsstempel: 5. april 2024 kl. 4
Kritiske fejl sætter Hugging Face AI-platformen i en 'Pickle' PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

To kritiske sikkerhedssårbarheder i Hugging Face AI-platformen åbnede døren for angribere, der ønskede at få adgang til og ændre kundedata og -modeller.

En af sikkerhedssvaghederne gav angribere en måde at få adgang til maskinlæringsmodeller (ML) tilhørende andre kunder på Hugging Face-platformen, og den anden gav dem mulighed for at overskrive alle billeder i et delt containerregister. Begge fejl, opdaget af forskere hos Wiz, havde at gøre med angribernes evne til at overtage dele af Hugging Faces inferensinfrastruktur.

Wiz-forskere fandt svagheder i tre specifikke komponenter: Hugging Face's Inference API, som giver brugerne mulighed for at browse og interagere med tilgængelige modeller på platformen; Hugging Face Inference Endpoints — eller dedikeret infrastruktur til implementering af AI-modeller i produktionen; og Hugging Face Spaces, en hostingtjeneste til fremvisning af AI/ML-applikationer eller til at arbejde sammen om modeludvikling.

Problemet med Pickle

Ved at undersøge Hugging Faces infrastruktur og måder at bevæbne de fejl, de opdagede, fandt Wiz-forskere ud af, at enhver nemt kunne uploade en AI/ML-model til platformen, inklusive dem, der er baseret på Pickle-formatet. Pickle er et meget brugt modul til lagring af Python-objekter i en fil. Selvom selv Python-softwarefonden selv har anset Pickle som usikker, forbliver den populær på grund af dens brugervenlighed og den fortrolighed, folk har med den.

"Det er relativt ligetil at lave en PyTorch (Pickle) model, der vil udføre vilkårlig kode ved indlæsning," ifølge Wiz.

Wiz-forskere udnyttede muligheden for at uploade en privat Pickle-baseret model til Hugging Face, der ville køre en omvendt shell ved indlæsning. De interagerede derefter med det ved hjælp af Inference API for at opnå shell-lignende funktionalitet, som forskerne brugte til at udforske deres miljø på Hugging Faces infrastruktur.

Den øvelse viste hurtigt forskerne, at deres model kørte i en pod i en klynge på Amazon Elastic Kubernetes Service (EKS). Derfra var forskerne i stand til at udnytte almindelige fejlkonfigurationer til at udtrække information, der gjorde det muligt for dem at erhverve de nødvendige privilegier for at se hemmeligheder, der kunne have givet dem adgang til andre lejere på den delte infrastruktur.

Med Hugging Face Spaces fandt Wiz ud af, at en angriber kunne udføre vilkårlig kode i løbet af applikationsopbygningstiden, som ville lade dem undersøge netværksforbindelser fra deres maskine. Deres anmeldelse viste en forbindelse til et delt containerregister, der indeholdt billeder tilhørende andre kunder, som de kunne have pillet ved.

"I de forkerte hænder kan evnen til at skrive til det interne containerregister have betydelige konsekvenser for platformens integritet og føre til forsyningskædeangreb på kundernes rum," sagde Wiz.

Sagde Hugging Face det havde fuldstændig afbødet de risici, som Wiz havde opdaget. Virksomheden identificerede i mellemtiden problemerne som i det mindste delvist at gøre med dets beslutning om fortsat at tillade brugen af ​​Pickle-filer på Hugging Face-platformen på trods af de førnævnte veldokumenterede sikkerhedsrisici forbundet med sådanne filer.  

"Pickle-filer har været kernen i det meste af forskningen udført af Wiz og andre nylige publikationer af sikkerhedsforskere om Hugging Face," bemærkede virksomheden. At tillade brug af Pickle på Hugging Face er "en byrde for vores ingeniør- og sikkerhedsteams, og vi har gjort en betydelig indsats for at mindske risiciene og samtidig tillade AI-fællesskabet at bruge værktøjer, de vælger."

Nye risici med AI-as-a-Service

Wiz beskrev sin opdagelse som et tegn på de risici, som organisationer skal være opmærksomme på, når de bruger delt infrastruktur til at hoste, køre og udvikle nye AI-modeller og applikationer, som er ved at blive kendt som "AI-as-a-service." Virksomheden sammenlignede risici og tilhørende afbødninger med dem, som organisationer støder på i offentlige cloudmiljøer, og anbefalede, at de også anvender de samme begrænsninger i AI-miljøer.

"Organisationer bør sikre, at de har synlighed og styring af hele AI-stakken, der bliver brugt, og omhyggeligt analysere alle risici," sagde Wiz i en blog i denne uge. Dette inkluderer at analysere "brug af ondsindede modeller, eksponering af træningsdata, følsomme data under træning, sårbarheder i AI SDK'er, eksponering af AI-tjenester og andre giftige risikokombinationer, der kan udnyttes af angribere," sagde sikkerhedsleverandøren.

Eric Schwake, direktør for cybersikkerhedsstrategi hos Salt Security, siger, at der er to store problemer relateret til brugen af ​​AI-as-a-service, som organisationer skal være opmærksomme på. "For det første kan trusselsaktører uploade skadelige AI-modeller eller udnytte sårbarheder i inferensstakken til at stjæle data eller manipulere resultater," siger han. "For det andet kan ondsindede aktører forsøge at kompromittere træningsdata, hvilket fører til partiske eller unøjagtige AI-output, almindeligvis kendt som dataforgiftning."

At identificere disse problemer kan være udfordrende, især med hvor komplekse AI-modeller bliver, siger han. For at hjælpe med at håndtere nogle af denne risiko er det vigtigt for organisationer at forstå, hvordan deres AI-apps og -modeller interagerer med API og finde måder at sikre det på. ”Organisationer vil måske også gerne udforske Forklarlig AI (XAI) at hjælpe med at gøre AI-modeller mere forståelige," siger Schwake, "og det kunne hjælpe med at identificere og afbøde skævhed eller risiko inden for AI-modellerne."

Tidsstempel:

Mere fra Mørk læsning