Raziskovalci so odkrili približno 100 modelov strojnega učenja (ML), ki so bili naloženi na platformo umetne inteligence (AI) Hugging Face in potencialno omogočajo napadalcem, da v uporabniške računalnike vbrizgajo zlonamerno kodo. Ugotovitve dodatno poudarjajo naraščajočo grožnjo, ki preži na napadalce zastrupijo javno dostopne modele AI za nečedne dejavnosti.
Odkritje zlonamernih modelov s strani JFrog Security Research je del tekoče raziskave podjetja o tem, kako lahko napadalci uporabijo modele ML za ogrožanje uporabniških okolij, glede na blog post objavljen ta teden.
Natančneje, JFrog razvili okolje za skeniranje za natančno pregledovanje datotek modelov, naloženih v Hugging Face – široko uporabljeno javno skladišče modelov AI – za odkrivanje in nevtralizacijo nastajajočih groženj, zlasti od izvajanja kode.
Pri zagonu tega orodja so raziskovalci odkrili, da modeli, naloženi v repozitorij, vsebujejo zlonamerno obremenitev. V enem primeru je skener označil model PyTorch, ki ga je v repozitorij naložil uporabnik z imenom baller423 – račun, ki je bil od takrat izbrisan – ki napadalcem omogoča vstavljanje poljubne kode Python v ključni proces. To bi lahko povzročilo zlonamerno vedenje, ko se model naloži v uporabnikov računalnik.
Analiza koristne obremenitve objemajočega obraza
Medtem ko je namen koristnih obremenitev, vdelanih v modele umetne inteligence, ki jih naložijo raziskovalci, običajno pokazati ranljivosti ali predstaviti dokaze koncepta, ne da bi povzročili škodo, se koristne obremenitve, ki jih je naložil baller423, bistveno razlikujejo, je v objavi zapisal višji varnostni raziskovalec JFrog David Cohen.
Sprožil je povratno lupinsko povezavo z dejanskim naslovom IP, 210.117.212.93, vedenje, ki je »izrazito bolj vsiljivo in potencialno zlonamerno, saj vzpostavi neposredno povezavo z zunanjim strežnikom, kar kaže na morebitno varnostno grožnjo in ne zgolj na prikaz ranljivosti,« je zapisal.
JFrog je ugotovil, da obseg naslovov IP pripada Kreonetu, kar pomeni "Korea Research Environment Open Network." Kreonet služi kot hitro omrežje v Južni Koreji za podporo naprednih raziskav in izobraževalnih prizadevanj; zato je možno, da za modelom stojijo raziskovalci ali izvajalci umetne inteligence.
"Vendar je temeljno načelo v varnostnih raziskavah izogibanje objavljanju resničnih delujočih izkoriščanj ali zlonamerne kode," načelo, ki je bilo kršeno, ko se je zlonamerna koda poskušala povezati nazaj na pravi naslov IP, je opozoril Cohen.
Poleg tega so raziskovalci kmalu po tem, ko je bil model odstranjen, naleteli na nadaljnje primere istega koristnega tovora z različnimi naslovi IP, od katerih eden ostaja aktiven.
Nadaljnja preiskava Hugging Face je odkrila približno 100 potencialno zlonamernih modelov, kar je poudarilo širši vpliv splošna varnostna grožnja zaradi zlonamernih modelov umetne inteligence, ki zahteva stalno pazljivost in bolj proaktivno varnost, je zapisal Cohen.
Kako delujejo zlonamerni modeli umetne inteligence
Da bi razumeli, kako lahko napadalci oborožijo modele Hugging Face ML, je potrebno razumeti, kako zlonamerni model PyTorch, kot je tisti, ki ga je naložil baller423, deluje v kontekstu Python in razvoj AI.
Izvedba kode se lahko zgodi pri nalaganju določenih vrst modelov ML – na primer modela, ki uporablja tako imenovano obliko »kislega železa«, običajno obliko za serializacijo predmetov Python. To je zato, ker lahko datoteke pickle vsebujejo tudi poljubno kodo, ki se izvede, ko je datoteka naložena, glede na JFrog.
Nalaganje modelov PyTorch s transformatorji, pogost pristop razvijalcev, vključuje uporabo funkcije torch.load(), ki deserializira model iz datoteke. Zlasti ko imajo opravka z modeli PyTorch, usposobljenimi s knjižnico Transformers Hugging Face, razvijalci pogosto uporabljajo to metodo za nalaganje modela skupaj z njegovo arhitekturo, utežmi in morebitnimi povezanimi konfiguracijami, pravi JFrog.
Transformerji torej zagotavljajo obsežen okvir za naloge obdelave naravnega jezika, kar olajša ustvarjanje in uporabo sofisticiranih modelov, je opazil Cohen.
»Kaže, da je bil zlonamerni tovor vbrizgan v datoteko modela PyTorch z uporabo metode __reduce__ modula pickle,« je zapisal. "Ta metoda omogoča napadalcem, da v proces deserializacije vstavijo poljubno kodo Python, kar lahko povzroči zlonamerno vedenje, ko se model naloži."
Medtem ko ima Hugging Face številne kakovostne vgrajene varnostne zaščite – vključno s skeniranjem zlonamerne programske opreme, skeniranjem kislih kumaric in skeniranjem skrivnosti – ne blokira ali omejuje prenosa modelov kislih kumaric neposredno. Namesto tega jih samo označi kot »nevarne«, kar pomeni, da lahko nekdo še vedno prenese in izvaja potencialno škodljive modele.
Poleg tega je pomembno omeniti, da niso le modeli, ki temeljijo na kislih kumaricah, dovzetni za izvajanje zlonamerne kode. Na primer, druga najbolj razširjena vrsta modela na Hugging Face je Tensorflow Keras, ki lahko izvaja tudi poljubno kodo, čeprav po JFrogu napadalcem ni tako enostavno izkoristiti te metode.
Zmanjšanje tveganja zaradi zastrupljenih modelov AI
To ni prvič, da so raziskovalci odkrili varnostno tveganje AI v Hugging Face, platformi, kjer skupnost ML sodeluje pri modelih, naborih podatkov in aplikacijah. Raziskovalci pri zagonu varnosti z umetno inteligenco Lasso Security so pred tem povedali, da so lahko dostopali do skladišč velikih jezikovnih modelov (LLM) Meta Bloom, Meta-Llama in Pythia z uporabo nezavarovane žetone za dostop do API-ja, ki so jih odkrili na GitHubu in Hugging Face platforma za LLM razvijalce.
Dostop bi nasprotniku omogočil tiho zastruplja podatke o treningu v teh široko uporabljenih LLM-jih kradejo modele in nize podatkov ter potencialno izvajajo druge zlonamerne dejavnosti.
Res vse večji obstoj javno dostopnih in s tem potencialno zlonamerni modeli AI/ML predstavlja veliko tveganje za dobavno verigo, zlasti za napade, ki ciljajo posebej na demografske kategorije, kot so inženirji AI/ML in cevovodni stroji, pravi JFrog.
Da bi ublažili to tveganje, bi morali razvijalci AI uporabljati nova orodja, ki so jim na voljo, kot je npr Huntr, platforma za nagrajevanje hroščev, prilagojena posebej za ranljivosti umetne inteligence za izboljšanje varnostne drže modelov in platform umetne inteligence, je zapisal Cohen.
»Ta skupna prizadevanja so nujna pri utrjevanju skladišč Hugging Face ter varovanju zasebnosti in integritete inženirjev AI/ML in organizacij, ki se zanašajo na te vire,« je zapisal.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- :ima
- : je
- :ne
- :kje
- 100
- 210
- 212
- 7
- a
- Sposobna
- O meni
- dostop
- Po
- Račun
- aktivna
- dejavnosti
- dejavnost
- dejanska
- Naslov
- naslovi
- napredno
- po
- AI
- AI modeli
- AI platforma
- AI / ML
- Cilj
- dovoljene
- skupaj
- Prav tako
- an
- Analiza
- in
- kaj
- API
- Dostop do API-ja
- se prikaže
- aplikacije
- pristop
- samovoljna
- Arhitektura
- SE
- umetni
- Umetna inteligenca
- Umetna inteligenca (AI)
- AS
- povezan
- At
- Napadi
- poskus
- Na voljo
- nazaj
- ker
- bilo
- vedenje
- zadaj
- počutje
- pripada
- Block
- Blog
- Bloom
- vgrajeno
- by
- se imenuje
- CAN
- povzroča
- nekatere
- verige
- Koda
- cohen
- sodeluje
- Kolektivna
- COM
- Skupno
- skupnost
- celovito
- Kompromis
- Connect
- povezava
- stalna
- vsebujejo
- ozadje
- bi
- Oblikovanje
- datum
- nabori podatkov
- David
- deliti
- zahteve
- Demografski podatki
- izkazati
- uvajanje
- odkrivanje
- Razvijalci
- neposredna
- odkril
- Odkritje
- ne
- prenesi
- lahka
- izobraževalne
- prizadevanje
- vgrajeni
- smirkovim
- omogočajo
- omogoča
- prizadevanja
- Inženirji
- okrepi
- okolje
- okolja
- vzpostavlja
- Tudi
- Primer
- izvršiti
- izvršeno
- izvršitve
- izvedba
- Obstoj
- Izkoristite
- izkorišča
- zunanja
- Obraz
- olajšanje
- file
- datoteke
- Ugotovitve
- Firm
- prva
- prvič
- označeno
- za
- format
- je pokazala,
- Okvirni
- iz
- funkcija
- temeljna
- nadalje
- GitHub
- Pridelovanje
- se zgodi
- škodovalo
- škodljiva
- Imajo
- he
- poudarjanje
- Kako
- Vendar
- HTTPS
- vpliv
- nujno
- Pomembno
- in
- Vključno
- označuje
- začeti
- injicirati
- primer
- Namesto
- celovitost
- Intelligence
- v
- intrusively
- preiskava
- vključuje
- IP
- IP naslov
- IP naslovi
- isn
- IT
- ITS
- jpg
- samo
- keras
- Ključne
- korea
- jezik
- velika
- vodi
- vodi
- učenje
- Knjižnica
- kot
- LLM
- obremenitev
- nalaganje
- stroj
- strojno učenje
- Stroji
- velika
- zlonamerno
- zlonamerna programska oprema
- Maj ..
- pomeni
- Mers
- Meta
- Metoda
- Omiliti
- ublažitev
- ML
- Model
- modeli
- Moduli
- več
- Imenovan
- naravna
- Obdelava Natural Language
- mreža
- Novo
- predvsem
- Upoštevajte
- opozoriti
- Številka
- predmeti
- of
- pogosto
- on
- ONE
- v teku
- na
- odprite
- odprto omrežje
- or
- organizacije
- Ostalo
- naravnost
- del
- zlasti
- plinovod
- platforma
- Platforme
- platon
- Platonova podatkovna inteligenca
- PlatoData
- strup
- pozira
- mogoče
- Prispevek
- potencial
- potencialno
- prevladujoč
- prej
- Načelo
- zasebnost
- Proaktivna
- Postopek
- obravnavati
- zagotavljajo
- javnega
- javno
- objavljeno
- Založništvo
- Python
- pitorha
- kakovost
- območje
- precej
- pravo
- zanašanje
- ostanki
- Odstranjeno
- Skladišče
- zahteva
- Raziskave
- raziskovalec
- raziskovalci
- viri
- omejiti
- nazaj
- uglajeno
- Tveganje
- tek
- s
- varovanje
- Je dejal
- Enako
- skeniranje
- skrivnosti
- varnost
- varnostni zagon
- višji
- strežnik
- služi
- Kompleti
- Shell
- Kmalu
- shouldnt
- predstavitev
- bistveno
- saj
- nekaj
- nekdo
- prefinjeno
- South
- Južna Koreja
- posebej
- Sponzorirane
- stojala
- zagon
- Še vedno
- taka
- dobavi
- dobavne verige
- podpora
- dovzetne
- prilagojene
- ciljna
- Naloge
- tensorflo
- kot
- da
- O
- Njih
- POTEM
- zato
- te
- jih
- ta
- ta teden
- čeprav?
- Grožnja
- grožnje
- Tako
- čas
- do
- Boni
- orodje
- orodja
- baklo
- usposobljeni
- usposabljanje
- transformatorji
- tip
- Vrste
- tipično
- nepokrite
- podčrtaj
- razumeli
- razumevanje
- naložili
- uporaba
- Rabljeni
- uporabnik
- uporablja
- uporabo
- različno
- budnost
- Ranljivosti
- ranljivost
- je
- teden
- so bili
- Kaj
- kdaj
- ki
- pogosto
- širše
- z
- v
- brez
- delo
- deluje
- deluje
- bi
- Napisal
- zefirnet