Över 100 modeller för skadlig kodexekvering på Hugging Face

Forskare har grävt fram över 100 modeller av skadlig maskininlärning (ML) på Hugging Face AI-plattformen som kan göra det möjligt för angripare att injicera skadlig kod på användardatorer.

Även om Hugging Face implementerar säkerhetsåtgärder, visar resultaten den växande risken att "vapen" offentligt tillgängliga modeller eftersom de kan skapa en bakdörr för angripare.

Resultaten av JFrog Security Research är en del av en pågående studie för att analysera hur hackare kan använda ML för att attackera användare.

Skadligt innehåll

Enligt en artikel av Computing, utvecklade forskarna ett avancerat skanningssystem för att granska modeller på Hugging Face AI-plattformen, som PyTorch och Tensorflow Keras.

Hugging Face är en plattform utvecklad för att dela AI-modeller, datauppsättningar och applikationer. Efter att ha analyserat modellerna upptäckte forskarna skadliga nyttolaster "inom till synes ofarliga modeller."

Detta trots att Hugging Face utför säkerhetsåtgärder som skadlig programvara och pickle scanning. Plattformen begränsar dock inte nedladdningen av modeller som kan vara potentiellt skadliga och möjliggör även allmänt tillgängliga AI-modeller att missbrukas och beväpnas av användare.

När de undersökte plattformen och de befintliga modellerna upptäckte JFrogs säkerhetsforskare cirka 100 AI-modeller med skadlig funktionalitet, enligt deras rapport.

Vissa av dessa modeller, visar rapporten, är kapabla att exekvera kod på användarnas maskiner, "och därigenom skapa en beständig bakdörr för angripare."

Forskarna indikerade också att sådana fynd utesluter falska positiva resultat. Dessa, sa de, är en korrekt representation av förekomsten av skadliga modeller på plattformen.

Läs också: Apple omdirigerar bilteamet till AI Post-EV-marknadsnedgång

Exemplen

Enligt JFrogs rapport handlar ett av de "alarmerande" fallen av en PyTorch modell. Modellen har enligt uppgift laddats upp av en användare identifierad som "baller423", som sedan raderades från Hugging Face-plattformen.

Vid ytterligare granskning av modellen märkte forskarna att den innehöll en skadlig nyttolast, vilket gjorde det möjligt för den att etablera ett omvänt skal på en specificerad värd (210.117.212.93).

JFrog senior säkerhetsforskare David Cohen sa: "(Det) är särskilt mer påträngande och potentiellt skadlig, eftersom det upprättar en direkt anslutning till en extern server, vilket indikerar ett potentiellt säkerhetshot snarare än bara en demonstration av sårbarhet”, skrev han.

Detta utnyttjar "Pythons pickle-moduls '_reduce_'-metod för att exekvera godtycklig kod när modellfilen laddas, vilket effektivt kringgår konventionella detektionsmetoder."

Forskarna insåg också att samma nyttolast skapade anslutningar till olika IP-adresser, "som tyder på att operatörer kan vara forskare snarare än illvilliga hackare."

Ett väckarklocka

JFrog-teamet noterade att fynden är en väckarklocka för Hugging Face, vilket visar att dess plattform är benägen för manipulation och potentiella hot.

"Dessa incidenter tjänar som gripande påminnelser om de pågående hoten som Hugging Face-förråd och andra populära förvar som Kaggle står inför, vilket potentiellt skulle kunna äventyra integriteten och säkerheten för organisationer som använder dessa resurser, förutom att utgöra utmaningar för AI/ML-ingenjörer," sa forskarna.

Detta kommer som cybersäkerhet hotar världen över ökar, drivna av spridningen av AI-verktyg, med dåliga aktörer som missbrukar dem för illvilliga avsikter. Hackare använder också AI för att främja nätfiskeattacker och lura människor.

JFrog-teamet gjorde dock andra upptäckter.

En lekplats för forskare

Det noterade forskarna också Kramande ansikte har utvecklats till en lekplats för forskare "som vill bekämpa framväxande hot, vilket framgår av de olika taktikerna för att kringgå dess säkerhetsåtgärder."

Till exempel initierade nyttolasten som laddades upp av "baller423" en omvänd skalanslutning till ett IP-adressintervall som tillhör Kreonet (Korea Research Environment Open Network).

Enligt Mörk läsning, Kreonet är ett höghastighetsnätverk i Sydkorea som stödjer avancerad forskning och utbildningsverksamhet; "Därför är det möjligt att AI-forskare eller -utövare kan ha legat bakom modellen."

"Vi kan se att de flesta "skadliga" nyttolaster faktiskt är försök från forskare och/eller buggstöd för att få kodexekvering för till synes legitima ändamål, säger Cohen.

Trots de legitima syftena varnade dock JFrog-teamet för att strategierna som används av forskare tydligt visar att plattformar som Hugging Face är öppna för attacker i leveranskedjan. Dessa, enligt teamet, kan anpassas för att fokusera på specifik demografi, som AI- eller ML-ingenjörer.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://metanews.com/over-100-malicious-code-execution-models-on-hugging-face-backdoors-users-devices/