Forskare har upptäckt cirka 100 modeller för maskininlärning (ML) som har laddats upp till Hugging Face artificiell intelligens (AI)-plattformen och som potentiellt gör det möjligt för angripare att injicera skadlig kod på användarmaskiner. Fynden understryker ytterligare det växande hotet som lurar när angripare förgifta allmänt tillgängliga AI-modeller för otrevlig aktivitet.
Upptäckten av de skadliga modellerna av JFrog Security Research är en del av företagets pågående forskning om hur angripare kan använda ML-modeller för att äventyra användarmiljöer, enligt ett blogginlägg publiceras denna vecka.
Närmare bestämt JFrog utvecklat en skanningsmiljö för att granska modellfiler som laddats upp till Hugging Face – ett allmänt använt, offentligt AI-modellförråd – för att upptäcka och neutralisera nya hot, särskilt från kodexekvering.
När de körde det här verktyget upptäckte forskarna att modeller som laddades in i förvaret hade skadliga nyttolaster. I ett exempel flaggade skannern en PyTorch-modell som laddats upp till ett arkiv av en användare som heter baller423 – ett konto som sedan dess har raderats – som gör det möjligt för angripare att infoga godtycklig Python-kod i en nyckelprocess. Detta kan potentiellt leda till skadligt beteende när modellen laddas på en användares dator.
Hugging Face Payload Analysis
Medan nyttolaster som vanligtvis är inbäddade i AI-modeller som laddats upp av forskare syftar till att demonstrera sårbarheter eller visa upp proof-of-concept utan att orsaka skada, skilde sig nyttolasten som laddades upp av baller423 avsevärt, skrev JFrog senior säkerhetsforskare David Cohen i inlägget.
Den initierade en omvänd skalanslutning till en faktisk IP-adress, 210.117.212.93, beteende som "är särskilt mer påträngande och potentiellt skadlig, eftersom det upprättar en direkt anslutning till en extern server, vilket indikerar ett potentiellt säkerhetshot snarare än bara en demonstration av sårbarhet”, skrev han.
JFrog fann att IP-adressintervallet tillhör Kreonet, som står för "Korea Research Environment Open Network." Kreonet fungerar som ett höghastighetsnätverk i Sydkorea för att stödja avancerad forskning och utbildningssträvanden; därför är det möjligt att AI-forskare eller -utövare kan ha legat bakom modellen.
"Men en grundläggande princip inom säkerhetsforskning är att avstå från att publicera verkliga arbetstillit eller skadlig kod," en princip som bröts när den skadliga koden försökte ansluta tillbaka till en riktig IP-adress, noterade Cohen.
Dessutom, kort efter att modellen togs bort, stötte forskarna på ytterligare instanser av samma nyttolast med olika IP-adresser, varav en förblir aktiv.
Ytterligare undersökningar av Hugging Face avslöjade cirka 100 potentiellt skadliga modeller, vilket belyser den bredare effekten av övergripande säkerhetshot från skadliga AI-modeller, som kräver konstant vaksamhet och mer proaktiv säkerhet, skrev Cohen.
Hur skadliga AI-modeller fungerar
För att förstå hur angripare kan beväpna Hugging Face ML-modeller krävs en förståelse för hur en skadlig PyTorch-modell som den som laddats upp av baller423 fungerar i samband med Python och AI-utveckling.
Kodexekvering kan hända när man laddar vissa typer av ML-modeller - till exempel en modell som använder det som kallas "pickle"-formatet, ett vanligt format för att serialisera Python-objekt. Det beror på att pickle-filer också kan innehålla godtycklig kod som exekveras när filen laddas, enligt JFrog.
Att ladda PyTorch-modeller med transformatorer, ett vanligt tillvägagångssätt för utvecklare, innebär att man använder funktionen torch.load(), som avserialiserar modellen från en fil. Särskilt när de hanterar PyTorch-modeller som tränats med Hugging Faces Transformers-bibliotek, använder utvecklare ofta denna metod för att ladda modellen tillsammans med dess arkitektur, vikter och eventuella tillhörande konfigurationer, enligt JFrog.
Transformers tillhandahåller alltså en omfattande ram för bearbetningsuppgifter för naturligt språk, vilket underlättar skapandet och distributionen av sofistikerade modeller, observerade Cohen.
"Det verkar som att den skadliga nyttolasten injicerades i PyTorch-modellfilen med hjälp av __reduce__-metoden för pickle-modulen", skrev han. "Denna metod gör det möjligt för angripare att infoga godtycklig Python-kod i deserialiseringsprocessen, vilket kan leda till skadligt beteende när modellen laddas."
Även om Hugging Face har ett antal inbyggda säkerhetsskydd av hög kvalitet – inklusive skanning av skadlig kod, skanning av pickle och hemlighetsskanning – blockerar eller begränsar det inte direkt nedladdning av picklemodeller. Istället markerar det bara dem som "osäkra", vilket innebär att någon fortfarande kan ladda ner och köra potentiellt skadliga modeller.
Dessutom är det viktigt att notera att det inte bara är pickle-baserade modeller som är mottagliga för att exekvera skadlig kod. Till exempel är den näst vanligaste modelltypen på Hugging Face Tensorflow Keras, som också kan exekvera godtycklig kod, även om det inte är lika lätt för angripare att utnyttja denna metod, enligt JFrog.
Reducerande risk från förgiftade AI-modeller
Det här är inte första gången som forskare har hittat en AI-säkerhetsrisk i Hugging Face, en plattform där ML-gemenskapen samarbetar kring modeller, datamängder och applikationer. Forskare vid AI-säkerhetsstartupen Lasso Security sa tidigare att de kunde få åtkomst till Metas Bloom-, Meta-Llama- och Pythia-lager för stora språkmodeller (LLM) med hjälp av osäkra API-åtkomsttokens de upptäckte på GitHub and the Hugging Face plattform för LLM-utvecklare.
Tillgången skulle ha gjort det möjligt för en motståndare tyst förgifta träningsdata i dessa allmänt använda LLM:er, stjäla modeller och datamängder och eventuellt utföra andra skadliga aktiviteter.
I själva verket den växande förekomsten av allmänt tillgängliga och därmed potentiellt skadliga AI/ML-modeller utgör en stor risk för försörjningskedjan, särskilt för attacker som specifikt riktar sig mot demografi som AI/ML-ingenjörer och pipelinemaskiner, enligt JFrog.
För att minska denna risk bör AI-utvecklare använda nya verktyg som är tillgängliga för dem som t.ex Huntr, en bug-bounty-plattform skräddarsydd specifikt för AI-sårbarheter för att förbättra säkerhetsställningen för AI-modeller och -plattformar, skrev Cohen.
"Denna kollektiva ansträngning är absolut nödvändig för att stärka Hugging Face-förråd och skydda integriteten och integriteten för AI/ML-ingenjörer och organisationer som förlitar sig på dessa resurser", skrev han.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- Källa: https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- : har
- :är
- :inte
- :var
- 100
- 210
- 212
- 7
- a
- Able
- Om Oss
- tillgång
- Enligt
- Konto
- aktiv
- aktiviteter
- aktivitet
- faktiska
- adress
- adresser
- avancerat
- Efter
- AI
- AI-modeller
- AI-plattform
- AI / ML
- Syftet
- tillåts
- längs
- också
- an
- analys
- och
- vilken som helst
- api
- API-åtkomst
- visas
- tillämpningar
- tillvägagångssätt
- godtycklig
- arkitektur
- ÄR
- konstgjord
- artificiell intelligens
- Konstgjord intelligens (AI)
- AS
- associerad
- At
- Attacker
- försökte
- tillgänglig
- tillbaka
- därför att
- varit
- beteende
- bakom
- Där vi får lov att vara utan att konstant prestera,
- tillhör
- Blockera
- Blogg
- Bloom
- inbyggd
- by
- kallas
- KAN
- orsakar
- vissa
- kedja
- koda
- Cohen
- de samarbetar
- Kollektiv
- COM
- Gemensam
- samfundet
- omfattande
- kompromiss
- Kontakta
- anslutning
- konstant
- innehålla
- sammanhang
- kunde
- skapande
- datum
- datauppsättningar
- David
- som handlar om
- krav
- Demografi
- demonstrera
- utplacering
- upptäcka
- utvecklare
- rikta
- upptäckt
- Upptäckten
- doesn
- ladda ner
- lätt
- pedagogiska
- ansträngning
- inbäddade
- smärgel
- möjliggöra
- möjliggör
- strävanden
- Ingenjörer
- förbättra
- Miljö
- miljöer
- upprättar
- Även
- exempel
- exekvera
- exekveras
- exekvera
- utförande
- Förekomsten
- Exploit
- bedrifter
- extern
- Ansikte
- underlättande
- Fil
- Filer
- resultat
- Firm
- Förnamn
- första gången
- flaggad
- För
- format
- hittade
- Ramverk
- från
- fungera
- grundläggande
- ytterligare
- GitHub
- Odling
- hända
- skada
- skadliga
- Har
- he
- belysa
- Hur ser din drömresa ut
- Men
- HTTPS
- Inverkan
- nödvändigt
- med Esport
- in
- Inklusive
- indikerar
- initieras
- injicerbart
- exempel
- istället
- integritet
- Intelligens
- in
- påträngande
- Undersökningen
- innebär
- IP
- IP-adress
- IP-adresser
- isn
- IT
- DESS
- jpg
- bara
- Keras
- Nyckel
- korea
- språk
- Large
- leda
- ledande
- inlärning
- Bibliotek
- tycka om
- LLM
- läsa in
- läser in
- Maskinen
- maskininlärning
- Maskiner
- större
- skadlig
- malware
- Maj..
- betyder
- bara
- meta
- metod
- Mildra
- förmildrande
- ML
- modell
- modeller
- Modulerna
- mer
- Som heter
- Natural
- Naturlig språkbehandling
- nät
- Nya
- i synnerhet
- Notera
- noterade
- antal
- objekt
- of
- Ofta
- on
- ONE
- pågående
- till
- öppet
- öppet nätverk
- or
- organisationer
- Övriga
- rent ut
- del
- särskilt
- rörledning
- plattform
- Plattformar
- plato
- Platon Data Intelligence
- PlatonData
- gift
- utgör
- möjlig
- Inlägg
- potentiell
- potentiellt
- förhärskande
- tidigare
- Principen
- privatpolicy
- Proaktiv
- process
- bearbetning
- ge
- allmän
- publicly
- publicerade
- publicering
- Python
- pytorch
- kvalitet
- område
- snarare
- verklig
- förlita
- resterna
- avlägsnas
- Repository
- Kräver
- forskning
- forskaren
- forskare
- Resurser
- begränsa
- vända
- borrad
- Risk
- rinnande
- s
- skydd
- Nämnda
- Samma
- scanning
- hemligheter
- säkerhet
- säkerhetsstart
- senior
- server
- serverar
- uppsättningar
- Shell
- Inom kort
- skall
- visa
- signifikant
- eftersom
- några
- någon
- sofistikerade
- Söder
- Sydkorea
- specifikt
- Sponsrade
- står
- start
- Fortfarande
- sådana
- leverera
- leveranskedjan
- stödja
- apt
- skräddarsydd
- Målet
- uppgifter
- tensorflow
- än
- den där
- Smakämnen
- Dem
- sedan
- därför
- Dessa
- de
- detta
- denna vecka
- fastän?
- hot
- hot
- Således
- tid
- till
- tokens
- verktyg
- verktyg
- brännaren
- tränad
- Utbildning
- transformatorer
- Typ
- typer
- typiskt
- avtäckt
- understreck
- förstå
- förståelse
- uppladdad
- användning
- Begagnade
- Användare
- användningar
- med hjälp av
- varierande
- vaksamhet
- sårbarheter
- sårbarhet
- var
- vecka
- były
- Vad
- när
- som
- brett
- bredare
- med
- inom
- utan
- Arbete
- arbetssätt
- fungerar
- skulle
- skrev
- zephyrnet