Over 100 ondsindet kodeudførelsesmodeller på Hugging Face

Forskere har fundet over 100 ondsindede maskinlæringsmodeller (ML) på Hugging Face AI-platformen, der kan gøre det muligt for angribere at injicere ondsindet kode på brugermaskiner.

Selvom Hugging Face implementerer sikkerhedsforanstaltninger, fremhæver resultaterne den voksende risiko for at "våben" offentligt tilgængelige modeller, da de kan skabe en bagdør for angribere.

Resultaterne fra JFrog Security Research er en del af en igangværende undersøgelse for at analysere, hvordan hackere kan bruge ML til at angribe brugere.

Skadeligt indhold

Ifølge en artikel af Computing, udviklede forskerne et avanceret scanningssystem til at granske modeller hostet på Hugging Face AI-platformen, såsom PyTorch og Tensorflow Keras.

Hugging Face er en platform udviklet til deling af AI-modeller, datasæt og applikationer. Efter at have analyseret modellerne opdagede forskerne skadelige nyttelaster "indenfor tilsyneladende uskadelige modeller."

Dette er på trods af, at Hugging Face udfører sikkerhedsforanstaltninger som malware og pickle-scanning. Platformen begrænser dog ikke download af modeller, der kan være potentielt skadelige og muliggør også offentligt tilgængelige AI modeller at blive misbrugt og bevæbnet af brugere.

Efter at have undersøgt platformen og de eksisterende modeller opdagede JFrogs sikkerhedsforskere omkring 100 AI-modeller med ondsindet funktionalitet, ifølge deres indberette.

Nogle af disse modeller, angiver rapporten, er i stand til at udføre kode på brugernes maskiner, "og derved skabe en vedvarende bagdør for angribere."

Forskerne indikerede også, at sådanne fund udelukker falske positive. Disse, sagde de, er en nøjagtig repræsentation af udbredelsen af ​​ondsindede modeller på platformen.

Læs også: Apple omdirigerer bilteamet til AI Post-EV Market Slowdown

Eksemplerne

Ifølge JFrogs rapport involverer en af ​​de "alarmerende" sager en PyTorch model. Modellen blev angiveligt uploadet af en bruger identificeret som "baller423", som efterfølgende blev slettet fra Hugging Face-platformen.

Ved yderligere gennemgang af modellen bemærkede forskerne, at den indeholdt en ondsindet nyttelast, som gjorde det muligt for den at etablere en omvendt shell på en specificeret vært (210.117.212.93).

JFrog senior sikkerhedsforsker David Cohen sagde: "(Det) er især mere påtrængende og potentielt ondsindet, da det etablerer en direkte forbindelse til en ekstern server, hvilket indikerer en potentiel sikkerhedstrussel snarere end blot en demonstration af sårbarhed,” skrev han.

Dette udnytter "Pythons pickle-moduls '_reduce_'-metode til at udføre vilkårlig kode ved indlæsning af modelfilen, hvilket effektivt omgår konventionelle detektionsmetoder."

Forskerne erkendte også, at den samme nyttelast skabte forbindelser til forskellige IP-adresser, "hvilket tyder på, at operatører kan være forskere snarere end ondsindede hackere."

Et vågne opkald

JFrog-teamet bemærkede, at resultaterne er et wake-up call for Hugging Face, der viser, at dens platform er tilbøjelig til manipulation og potentielle trusler.

"Disse hændelser tjener som gribende påmindelser om de igangværende trusler, Hugging Face-depoter og andre populære depoter står over for, såsom Kaggle, som potentielt kan kompromittere privatlivets fred og sikkerhed for organisationer, der bruger disse ressourcer, udover at udgøre udfordringer for AI/ML-ingeniører," sagde forskerne.

Dette kommer som cybersikkerhedstrusler verden over er i stigning, drevet af udbredelsen af ​​AI-værktøjer, hvor dårlige aktører misbruger dem til ondsindede hensigter. Hackere bruger også kunstig intelligens til at fremme phishing-angreb og narre folk.

JFrog-holdet gjorde dog andre opdagelser.

En legeplads for forskere

Det bemærkede forskerne også Knusende ansigt har udviklet sig til en legeplads for forskere "der ønsker at bekæmpe nye trusler, som demonstreret af den mangfoldige række af taktikker til at omgå dets sikkerhedsforanstaltninger."

For eksempel startede nyttelasten uploadet af "baller423" en reverse shell-forbindelse til et IP-adresseområde, der tilhører Kreonet (Korea Research Environment Open Network).

Ifølge Mørk læsning, Kreonet er et højhastighedsnetværk i Sydkorea, der understøtter avanceret forskning og uddannelsesaktiviteter; "Derfor er det muligt, at AI-forskere eller praktikere kan have stået bag modellen."

"Vi kan se, at de fleste 'ondsindede' nyttelast faktisk er forsøg fra forskere og/eller bug-bounty på at få kodeeksekvering til tilsyneladende legitime formål," sagde Cohen.

På trods af de legitime formål advarede JFrog-teamet dog om, at de strategier, der anvendes af forskere, klart viser, at platforme som Hugging Face er åbne for forsyningskædeangreb. Disse kan ifølge holdet tilpasses til at fokusere på specifikke demografiske forhold, såsom AI- eller ML-ingeniører.

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
• PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
• PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
• PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
• Kilde: https://metanews.com/over-100-malicious-code-execution-models-on-hugging-face-backdoors-users-devices/