Üle 100 pahatahtliku koodi täitmise mudelit kallistavas näos

Üle 100 pahatahtliku koodi täitmise mudelit kallistavas näos

Teadlased on Hugging Face AI platvormil avastanud üle 100 pahatahtliku masinõppe (ML) mudeli, mis võimaldavad ründajatel sisestada kasutaja masinatesse pahatahtlikku koodi.

Kuigi Hugging Face rakendab turvameetmeid, rõhutavad leiud avalikult kättesaadavate mudelite "relvastamise" kasvavat ohtu, kuna need võivad luua ründajatele tagaukse.

JFrog Security Researchi leiud moodustavad osa käimasolevast uuringust, mille eesmärk on analüüsida, kuidas häkkerid saavad kasutajate ründamiseks kasutada ML-i.

Kahjulik sisu

Vastavalt artikli juurde Arvutid, töötasid teadlased välja täiustatud skaneerimissüsteemi, et kontrollida Hugging Face AI platvormil majutatud mudeleid, nagu PyTorch ja Tensorflow Keras.

Hugging Face on platvorm, mis on loodud tehisintellekti mudelite, andmekogumite ja rakenduste jagamiseks. Mudelite analüüsimisel avastasid teadlased "näiliselt kahjutute mudelite sees" kahjulikke kasulikke koormusi.

Seda hoolimata asjaolust, et Hugging Face rakendab turvameetmeid, nagu pahavara ja hapukurgi skannimine. Platvorm ei piira aga potentsiaalselt kahjulike mudelite allalaadimist ning võimaldab ka avalikult kättesaadavaks teha AI mudelid kasutajad võivad neid kuritarvitada ja relvastada.

JFrogi turvateadlased avastasid platvormi ja olemasolevaid mudeleid uurides umbes 100 pahatahtliku funktsionaalsusega tehisintellekti mudelit. aru.

Mõned neist mudelitest on aruande kohaselt võimelised käivitama koodi kasutajate masinates, "luues seeläbi ründajatele püsiva tagaukse".

Teadlased märkisid ka, et sellised leiud välistavad valepositiivsed tulemused. Nad ütlesid, et need on täpne ülevaade pahatahtlike mudelite levimusest platvormil.

Loe ka: Apple suunab automeeskonna ümber tehisintellekti EV-järgsele turu aeglustumisele

Näited

JFrogi aruande kohaselt hõlmab üks murettekitavatest juhtudest a PyTorch mudel. Mudeli laadis väidetavalt üles kasutaja nimega "baller423", mis hiljem Hugging Face platvormilt kustutati.

Mudeli edasisel uurimisel märkasid teadlased, et see sisaldas pahatahtlikku kasulikku koormust, mis võimaldas sellel määrata kindlaksmääratud hostil pöördkesta (210.117.212.93).

JFrogi vanemturbeteadur David Cohen ütles: "(See) on märkimisväärselt pealetükkivam ja potentsiaalselt pahatahtlik, kuna see loob otseühenduse välise serveriga, osutades pigem potentsiaalsele turvaohule kui lihtsalt haavatavuse demonstreerimisele," kirjutas ta.

See kasutab "Pythoni hapukurgimooduli meetodit "_reduce_", et käivitada mudelifaili laadimisel suvaline kood, jättes tõhusalt mööda tavapärastest tuvastamismeetoditest.

Teadlased tõdesid ka, et sama kasulik koormus loob ühendusi erinevate IP-aadressidega, "soovitades, et operaatorid võivad olla pigem teadlased kui pahatahtlikud häkkerid."

Rohkem kui 100 pahatahtliku koodi täitmise mudelit kallistava näo PlatoBlockchaini andmeanalüüsis. Vertikaalne otsing. Ai.

Äratus

JFrogi meeskond märkis, et leiud on Hugging Face'i äratuskõne, mis näitab, et selle platvorm on altid manipuleerimisele ja potentsiaalsetele ohtudele.

"Need intsidendid on teravad meeldetuletused Hugging Face'i hoidlate ja muude populaarsete hoidlate (nt Kaggle) ees seisvatest jätkuvatest ohtudest, mis võivad potentsiaalselt ohustada neid ressursse kasutavate organisatsioonide privaatsust ja turvalisust ning tekitada probleeme AI/ML-i inseneridele," ütles ta. uurijad.

See on nii küberjulgeolekuohud AI-tööriistade leviku tõttu on nende arv üle maailma tõusuteel, kusjuures halvad osalejad kuritarvitavad neid pahatahtlike kavatsuste eesmärgil. Häkkerid kasutavad AI-d ka andmepüügirünnakute edendamiseks ja inimeste petmiseks.

JFrogi meeskond tegi aga muid avastusi.

Mänguväljak teadlastele

Seda märkisid ka teadlased Kallistav nägu on arenenud mänguväljakuks teadlastele, "kes soovivad võidelda esilekerkivate ohtudega, mida näitavad mitmesugused taktikad selle turvameetmetest mööda hiilimiseks".

Näiteks käivitas "baller423" üles laaditud kasulik koormus pöördkestaühenduse IP-aadressivahemikuga, mis kuulub Kreonetile (Korea Research Environment Open Network).

Järgi Tume lugemine, Kreonet on kiire võrk Lõuna-Koreas, mis toetab täiustatud teadus- ja haridustegevust; "Seetõttu on võimalik, et mudeli taga võisid olla tehisintellekti teadlased või praktikud."

"Näeme, et enamik "pahatahtlikke" kasulikke koormusi on tegelikult teadlaste katsed ja/või vead, mille eesmärk on saada näiliselt õigustatud eesmärkidel koodi täitmine, " ütles Cohen.

Hoolimata legitiimsetest eesmärkidest hoiatas JFrogi meeskond siiski, et teadlaste kasutatavad strateegiad näitavad selgelt, et sellised platvormid nagu Hugging Face on avatud tarneahela rünnakutele. Meeskonna sõnul saab neid kohandada, et keskenduda konkreetsele demograafiale, nagu AI või ML insenerid.

Ajatempel:

Veel alates MetaNews