Tutkijat ovat löytäneet noin 100 koneoppimismallia (ML), jotka on ladattu Hugging Face tekoäly (AI) -alustalle ja jotka mahdollistavat hyökkääjien ruiskuttaa haitallista koodia käyttäjien koneille. Löydökset korostavat entisestään hyökkääjien kasvavaa uhkaa myrkyttää julkisesti saatavilla olevia tekoälymalleja ilkeästä toiminnasta.
JFrog Security Researchin haitallisten mallien löytäminen on osa yrityksen meneillään olevaa tutkimusta siitä, kuinka hyökkääjät voivat käyttää ML-malleja käyttäjäympäristöjen vaarantamiseen. blogi julkaistiin tällä viikolla.
Erityisesti JFrog kehitti skannausympäristön Hugging Faceen – laajalti käytettyyn julkiseen tekoälymallivarastoon – ladattujen mallitiedostojen tarkastamiseen uusien uhkien havaitsemiseksi ja neutraloimiseksi, erityisesti koodin suorittamisesta.
Käyttäessään tätä työkalua tutkijat havaitsivat, että arkistoon ladatut mallit sisälsivät haitallisia hyötykuormia. Yhdessä esimerkissä skanneri merkitsi PyTorch-mallin, jonka arkistoon ladannut käyttäjä nimeltä baller423 – tili, joka on sittemmin poistettu –, jonka avulla hyökkääjät voivat lisätä mielivaltaisen Python-koodin avainprosessiin. Tämä saattaa johtaa haitalliseen toimintaan, kun malli ladataan käyttäjän koneelle.
Halaavien kasvojen hyötykuorma-analyysi
Vaikka tyypillisesti tutkijoiden lataamiin tekoälymalleihin upotetut hyötykuormat pyrkivät osoittamaan haavoittuvuuksia tai esittelemään konseptin todisteita aiheuttamatta vahinkoa, baller423:n lataama hyötykuorma erosi merkittävästi, JFrogin vanhempi tietoturvatutkija David Cohen kirjoitti viestissä.
Se aloitti käänteisen shell-yhteyden todelliseen IP-osoitteeseen, 210.117.212.93, käyttäytyminen, joka "on huomattavasti häiritsevämpi ja mahdollisesti haitallinen, koska se muodostaa suoran yhteyden ulkoiseen palvelimeen, mikä osoittaa mahdollisen tietoturvauhan pikemminkin kuin pelkkänä haavoittuvuuden osoituksena", hän kirjoitti.
JFrog havaitsi, että IP-osoitealue kuuluu Kreonetille, joka tarkoittaa "Korea Research Environment Open Networkia". Kreonet toimii nopeana verkkona Etelä-Koreassa tukemaan edistyneitä tutkimus- ja koulutuspyrkimyksiä; Siksi on mahdollista, että tekoälytutkijat tai -ammattilaiset ovat saattaneet olla mallin takana.
"Tietoturvatutkimuksen perusperiaate on kuitenkin pidättäytyä julkaisemasta todellisia työhyökkäyksiä tai haitallista koodia", periaate, jota rikottiin, kun haitallinen koodi yritti muodostaa yhteyden takaisin todelliseen IP-osoitteeseen, Cohen huomautti.
Lisäksi pian mallin poistamisen jälkeen tutkijat kohtasivat lisää tapauksia samasta hyötykuormasta vaihtelevilla IP-osoitteilla, joista yksi pysyy aktiivisena.
Hugging Facen lisätutkimukset paljastivat noin 100 mahdollisesti haitallista mallia, jotka korostivat sen laajempaa vaikutusta. haitallisten tekoälymallien yleinen turvallisuusuhka, joka vaatii jatkuvaa valppautta ja ennakoivampaa turvallisuutta, Cohen kirjoitti.
Kuinka haitalliset tekoälymallit toimivat
Ymmärtääksesi, kuinka hyökkääjät voivat aseistaa Hugging Face ML -malleja, on ymmärrettävä, kuinka haitallinen PyTorch-malli, kuten baller423:n lataama malli, toimii Python ja AI kehitys.
Koodin suorittaminen voi tapahtua ladattaessa tietyntyyppisiä ML-malleja – esimerkiksi mallia, joka käyttää niin kutsuttua "pickle"-muotoa, joka on yleinen muoto Python-objektien sarjoittamiseksi. Tämä johtuu siitä, että suolakurkkutiedostot voivat sisältää myös mielivaltaista koodia, joka suoritetaan, kun tiedosto ladataan, JFrogin mukaan.
PyTorch-mallien lataaminen muuntajilla, kehittäjien yleinen lähestymistapa, sisältää torch.load()-funktion, joka sarjoittaa mallin tiedostosta. JFrogin mukaan kehittäjät käyttävät usein tätä menetelmää, kun käsitellään Hugging Facen Transformers-kirjastolla koulutettuja PyTorch-malleja mallin lataamiseen sekä sen arkkitehtuuriin, painoihin ja siihen liittyviin kokoonpanoihin.
Muuntajat tarjoavat siis kattavan kehyksen luonnollisen kielen käsittelytehtäville, mikä helpottaa kehittyneiden mallien luomista ja käyttöönottoa, Cohen huomautti.
"Näyttää siltä, että haitallinen hyötykuorma ruiskutettiin PyTorch-mallitiedostoon käyttämällä suolakurkkumoduulin __reduce__-menetelmää", hän kirjoitti. "Tämä menetelmä antaa hyökkääjille mahdollisuuden lisätä mielivaltaista Python-koodia deserialisointiprosessiin, mikä saattaa johtaa haitalliseen toimintaan mallia ladattaessa."
Vaikka Hugging Facessa on useita laadukkaita sisäänrakennettuja suojaustoimintoja – mukaan lukien haittaohjelmatarkistus, suolakurkkuskannaus ja salaisuuksien tarkistus –, se ei estä tai rajoita makkaramallien lataamista. Sen sijaan se vain merkitsee ne "vaarallisiksi", mikä tarkoittaa, että joku voi silti ladata ja suorittaa mahdollisesti haitallisia malleja.
Lisäksi on tärkeää huomata, että haitallisen koodin suorittamiseen eivät ole alttiita vain suolakurkkupohjaiset mallit. Esimerkiksi Hugging Facen toiseksi yleisin mallityyppi on Tensorflow Keras, joka voi myös suorittaa mielivaltaista koodia, vaikka hyökkääjien ei olekaan yhtä helppoa hyödyntää tätä menetelmää, JFrogin mukaan.
Myrkytettyjen tekoälymallien riskin vähentäminen
Tämä ei ole ensimmäinen kerta, kun tutkijat ovat löytäneet tekoälyn tietoturvariskin Hugging Facesta, alustasta, jossa ML-yhteisö tekee yhteistyötä mallien, tietojoukkojen ja sovellusten parissa. Tekoälyturvayrityksen Lasso Securityn tutkijat sanoivat aiemmin, että he pääsivät Metan Bloom-, Meta-Llama- ja Pythia large language model (LLM) -tietovarastoon käyttämällä suojaamattomat API-käyttötunnukset, jotka he löysivät GitHubista ja Hugging Facesta alusta LLM-kehittäjille.
Pääsy olisi antanut vastustajalle mahdollisuuden myrkyttää hiljaa harjoitustiedot näissä laajalti käytetyissä LLM:issä varastaa malleja ja tietojoukkoja ja mahdollisesti suorittaa muita haitallisia toimintoja.
Todellakin, kasvava olemassaolo julkisesti saatavilla ja siten mahdollisesti haitalliset AI/ML-mallit JFrogin mukaan se aiheuttaa suuren riskin toimitusketjulle, erityisesti hyökkäyksille, jotka kohdistuvat erityisesti väestötietoihin, kuten AI/ML-insinöörit ja putkikoneet.
Tämän riskin pienentämiseksi tekoälykehittäjien tulisi käyttää uusia käytettävissään olevia työkaluja, kuten Huntr, bug-bounty-alusta, joka on räätälöity erityisesti tekoälyn haavoittuvuuksille parantamaan tekoälymallien ja -alustojen suojausasentoa, Cohen kirjoitti.
"Tämä yhteinen ponnistus on välttämätöntä Hugging Face -tietovarastojen vahvistamiseksi ja AI/ML-insinöörien ja näihin resursseihin tukeutuvien organisaatioiden yksityisyyden ja koskemattomuuden turvaamiseksi", hän kirjoitti.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- :on
- :On
- :ei
- :missä
- 100
- 210
- 212
- 7
- a
- pystyy
- Meistä
- pääsy
- Mukaan
- Tili
- aktiivinen
- toiminta
- toiminta
- todellinen
- osoite
- osoitteet
- kehittynyt
- Jälkeen
- AI
- AI-mallit
- Tekoälyalusta
- AI / ML
- tavoitteena
- sallittu
- pitkin
- Myös
- an
- analyysi
- ja
- Kaikki
- api
- API-käyttö
- näyttää
- sovellukset
- lähestymistapa
- mielivaltainen
- arkkitehtuuri
- OVAT
- keinotekoinen
- tekoäly
- Tekoäly (AI)
- AS
- liittyvä
- At
- Hyökkäykset
- yritettiin
- saatavissa
- takaisin
- koska
- ollut
- käyttäytyminen
- takana
- ovat
- kuuluu
- Tukkia
- Blogi
- Kukinta
- sisäänrakennettu
- by
- nimeltään
- CAN
- aiheuttaen
- tietty
- ketju
- koodi
- Cohen
- tekee yhteistyötä
- Kollektiivinen
- KOM
- Yhteinen
- yhteisö
- kattava
- kompromissi
- kytkeä
- liitäntä
- vakio
- sisältää
- tausta
- voisi
- luominen
- tiedot
- tietueita
- David
- tekemisissä
- vaatii
- Väestötiedot
- osoittaa
- käyttöönotto
- havaita
- kehittäjille
- ohjata
- löysi
- löytö
- doesnt
- download
- helppo
- koulutus-
- vaivaa
- upotettu
- syntymässä
- mahdollistaa
- mahdollistaa
- pyrkii
- Engineers
- parantaa
- ympäristö
- ympäristöissä
- laatii
- Jopa
- esimerkki
- suorittaa
- teloitettiin
- täytäntöönpanosta
- teloitus
- olemassaolo
- Käyttää hyväkseen
- hyödyntää
- ulkoinen
- Kasvot
- helpottaminen
- filee
- Asiakirjat
- tulokset
- Yritys
- Etunimi
- ensimmäistä kertaa
- Merkityt
- varten
- muoto
- löytyi
- Puitteet
- alkaen
- toiminto
- perus-
- edelleen
- GitHub
- Kasvava
- tapahtua
- vahingoittaa
- haitallinen
- Olla
- he
- korostus
- Miten
- Kuitenkin
- HTTPS
- Vaikutus
- imperatiivi
- tärkeä
- in
- Mukaan lukien
- ilmaisee
- aloitettu
- pistää
- esimerkki
- sen sijaan
- eheys
- Älykkyys
- tulee
- tunkeileva
- tutkimus
- liittyy
- IP
- IP-osoite
- IP-osoitteita
- ISN
- IT
- SEN
- jpg
- vain
- Keras
- avain
- Korea
- Kieli
- suuri
- johtaa
- johtava
- oppiminen
- Kirjasto
- pitää
- OTK
- kuormitus
- lastaus
- kone
- koneoppiminen
- Koneet
- merkittävä
- ilkeä
- haittaohjelmat
- Saattaa..
- välineet
- pelkkä
- Meta
- menetelmä
- lieventää
- lieventävä
- ML
- malli
- mallit
- Moduulit
- lisää
- nimetty
- Luonnollinen
- Luonnollinen kielen käsittely
- verkko
- Uusi
- etenkin
- huomata
- huomattava
- numero
- esineet
- of
- usein
- on
- ONE
- jatkuva
- päälle
- avata
- avoin verkko
- or
- organisaatioiden
- Muut
- suoranainen
- osa
- erityisesti
- putki
- foorumi
- Platforms
- Platon
- Platonin tietotieto
- PlatonData
- myrkky
- aiheuttaa
- mahdollinen
- Kirje
- mahdollinen
- mahdollisesti
- vallitseva
- aiemmin
- periaate
- yksityisyys
- Ennakoiva
- prosessi
- käsittely
- toimittaa
- julkinen
- julkisesti
- julkaistu
- Julkaiseminen
- Python
- pytorch
- laatu
- alue
- pikemminkin
- todellinen
- luottaen
- jäännökset
- poistettu
- säilytyspaikka
- Vaatii
- tutkimus
- tutkija
- Tutkijat
- Esittelymateriaalit
- rajoittaa
- käänteinen
- seulana
- Riski
- juoksu
- s
- turvaaminen
- Said
- sama
- skannaus
- salaisuuksia
- turvallisuus
- turvallisuuden käynnistys
- vanhempi
- palvelin
- palvelee
- Setit
- Kuori
- Pian
- shouldnt
- näyteikkuna
- merkittävästi
- koska
- jonkin verran
- Joku
- hienostunut
- Etelä
- Etelä-Korea
- erityisesti
- Sponsored
- seisoo
- käynnistyksen
- Yhä
- niin
- toimittaa
- toimitusketju
- tuki
- herkkä
- Räätälöity
- Kohde
- tehtävät
- tensorflow
- kuin
- että
- -
- Niitä
- sitten
- siksi
- Nämä
- ne
- tätä
- tällä viikolla
- vaikka?
- uhkaus
- uhat
- Näin
- aika
- että
- tokens
- työkalu
- työkalut
- taskulamppu
- koulutettu
- koulutus
- muuntajat
- tyyppi
- tyypit
- tyypillisesti
- kattamaton
- korostaa
- ymmärtää
- ymmärtäminen
- ladattu
- käyttää
- käytetty
- käyttäjä
- käyttötarkoituksiin
- käyttämällä
- Vaihteleva
- valppaus
- haavoittuvuuksia
- alttius
- oli
- viikko
- olivat
- Mitä
- kun
- joka
- laajalti
- laajempi
- with
- sisällä
- ilman
- Referenssit
- työskentely
- toimii
- olisi
- kirjoitti
- zephyrnet