Forskere har opdaget omkring 100 maskinlæringsmodeller (ML), der er blevet uploadet til Hugging Face kunstig intelligens (AI) platformen og potentielt gør det muligt for angribere at injicere ondsindet kode på brugermaskiner. Resultaterne understreger yderligere den voksende trussel, der lurer, når angribere gift offentligt tilgængelige AI-modeller for ondsindet aktivitet.
Opdagelsen af de ondsindede modeller af JFrog Security Research er en del af virksomhedens igangværende forskning i, hvordan angribere kan bruge ML-modeller til at kompromittere brugermiljøer, ifølge et blog-indlæg offentliggjort i denne uge.
Nærmere bestemt JFrog udviklet et scanningsmiljø til at undersøge modelfiler, der er uploadet til Hugging Face – et meget brugt offentligt AI-modellager – for at opdage og neutralisere nye trusler, især fra kodeudførelse.
Ved at køre dette værktøj opdagede forskerne, at modeller, der blev indlæst på depotet, husede ondsindede nyttelaster. I et eksempel markerede scanneren en PyTorch-model uploadet til et lager af en bruger ved navn baller423 - en konto, der siden er blevet slettet - som gør det muligt for angribere at indsætte vilkårlig Python-kode i en nøgleproces. Dette kan potentielt føre til ondsindet adfærd, når modellen indlæses på en brugers maskine.
Hugging Face Payload Analyse
Mens nyttelaster, der er indlejret i AI-modeller uploadet af forskere, typisk har til formål at demonstrere sårbarheder eller fremvise proofs-of-concept uden at forårsage skade, adskiller nyttelasten uploadet af baller423 sig markant, skrev JFrog senior sikkerhedsforsker David Cohen i indlægget.
Det startede en omvendt shell-forbindelse til en faktisk IP-adresse, 210.117.212.93, adfærd, der "er især mere påtrængende og potentielt ondsindet, da det etablerer en direkte forbindelse til en ekstern server, hvilket indikerer en potentiel sikkerhedstrussel snarere end blot en demonstration af sårbarhed,” skrev han.
JFrog fandt ud af, at IP-adresseområdet tilhører Kreonet, som står for "Korea Research Environment Open Network." Kreonet fungerer som et højhastighedsnetværk i Sydkorea for at støtte avanceret forskning og uddannelsesmæssige bestræbelser; derfor er det muligt, at AI-forskere eller praktikere kan have stået bag modellen.
"Men et grundlæggende princip i sikkerhedsforskning er at afholde sig fra at offentliggøre rigtige arbejdsudnyttelser eller ondsindet kode," et princip, der blev brudt, da den ondsindede kode forsøgte at oprette forbindelse tilbage til en rigtig IP-adresse, bemærkede Cohen.
Kort efter at modellen blev fjernet, stødte forskerne desuden på yderligere tilfælde af den samme nyttelast med forskellige IP-adresser, hvoraf den ene forbliver aktiv.
Yderligere undersøgelser af Hugging Face afslørede omkring 100 potentielt ondsindede modeller, hvilket fremhævede den bredere virkning af overordnet sikkerhedstrussel fra ondsindede AI-modeller, som kræver konstant årvågenhed og mere proaktiv sikkerhed, skrev Cohen.
Sådan fungerer ondsindede AI-modeller
For at forstå, hvordan angribere kan bevæbne Hugging Face ML-modeller, kræver det en forståelse af, hvordan en ondsindet PyTorch-model som den, der er uploadet af baller423, fungerer i forbindelse med Python og AI udvikling.
Kodekørsel kan ske ved indlæsning af visse typer ML-modeller - for eksempel en model, der bruger det, der kaldes "pickle"-formatet, et almindeligt format til serialisering af Python-objekter. Det skyldes, at pickle-filer også kan indeholde vilkårlig kode, der udføres, når filen indlæses, ifølge JFrog.
Indlæsning af PyTorch-modeller med transformatorer, en almindelig tilgang af udviklere, involverer brug af funktionen torch.load(), som deserialiserer modellen fra en fil. Især når de har at gøre med PyTorch-modeller, der er trænet med Hugging Faces Transformers-bibliotek, bruger udviklere ofte denne metode til at indlæse modellen sammen med dens arkitektur, vægte og eventuelle tilknyttede konfigurationer, ifølge JFrog.
Transformere giver derfor en omfattende ramme for natursprogbehandlingsopgaver, hvilket letter skabelsen og implementeringen af sofistikerede modeller, bemærkede Cohen.
"Det ser ud til, at den ondsindede nyttelast blev injiceret i PyTorch-modelfilen ved hjælp af __reduce__ metoden i pickle-modulet," skrev han. "Denne metode gør det muligt for angribere at indsætte vilkårlig Python-kode i deserialiseringsprocessen, hvilket potentielt kan føre til ondsindet adfærd, når modellen indlæses."
Mens Hugging Face har en række indbyggede sikkerhedsbeskyttelser af høj kvalitet – inklusive malware-scanning, pickle-scanning og hemmelighedsscanning – blokerer eller begrænser den ikke direkte pickle-modeller i at blive downloadet. I stedet markerer det dem bare som "usikre", hvilket betyder, at nogen stadig kan downloade og udføre potentielt skadelige modeller.
Desuden er det vigtigt at bemærke, at det ikke kun er pickle-baserede modeller, der er modtagelige for at udføre ondsindet kode. For eksempel er den næstmest udbredte modeltype på Hugging Face Tensorflow Keras, som også kan udføre vilkårlig kode, selvom det ifølge JFrog ikke er så nemt for angribere at udnytte denne metode.
Reducerende risiko fra forgiftede AI-modeller
Det er ikke første gang, at forskere har fundet en AI-sikkerhedsrisiko i Hugging Face, en platform, hvor ML-fællesskabet samarbejder om modeller, datasæt og applikationer. Forskere ved AI-sikkerhedsstartup Lasso Security sagde tidligere, at de var i stand til at få adgang til Metas Bloom, Meta-Llama og Pythia store sprogmodel (LLM) repositories vha. usikrede API-adgangstokens, de opdagede på GitHub og The Hugging Face platform for LLM-udviklere.
Adgangen ville have gjort det muligt for en modstander lydløst forgifte træningsdata i disse udbredte LLM'er, stjæle modeller og datasæt og potentielt udføre andre ondsindede aktiviteter.
Faktisk den voksende eksistens af offentligt tilgængelige og dermed potentielt ondsindede AI/ML-modeller udgør en stor risiko for forsyningskæden, især for angreb, der specifikt er rettet mod demografi, såsom AI/ML-ingeniører og pipeline-maskiner, ifølge JFrog.
For at mindske denne risiko bør AI-udviklere bruge nye værktøjer, der er tilgængelige for dem, som f.eks Huntr, en bug-bounty-platform, der er skræddersyet specifikt til AI-sårbarheder for at forbedre sikkerhedspositionen for AI-modeller og -platforme, skrev Cohen.
"Denne kollektive indsats er bydende nødvendig for at styrke Hugging Face-lagre og beskytte privatlivets fred og integritet for AI/ML-ingeniører og organisationer, der er afhængige af disse ressourcer," skrev han.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
- Kilde: https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- :har
- :er
- :ikke
- :hvor
- 100
- 210
- 212
- 7
- a
- I stand
- Om
- adgang
- Ifølge
- Konto
- aktiv
- aktiviteter
- aktivitet
- faktiske
- adresse
- adresser
- fremskreden
- Efter
- AI
- AI modeller
- AI platform
- AI / ML
- sigte
- tilladt
- sammen
- også
- an
- analyse
- ,
- enhver
- api
- API-adgang
- kommer til syne
- applikationer
- tilgang
- vilkårlig
- arkitektur
- ER
- kunstig
- kunstig intelligens
- Kunstig intelligens (AI)
- AS
- forbundet
- At
- Angreb
- forsøgt
- til rådighed
- tilbage
- fordi
- været
- adfærd
- bag
- være
- tilhører
- Bloker
- Blog
- Bloom
- indbygget
- by
- kaldet
- CAN
- forårsager
- vis
- kæde
- kode
- cohen
- samarbejder
- kollektive
- KOM
- Fælles
- samfund
- omfattende
- kompromis
- Tilslut
- tilslutning
- konstant
- indeholder
- sammenhæng
- kunne
- skabelse
- data
- datasæt
- David
- beskæftiger
- krav
- Demografi
- demonstrere
- implementering
- opdage
- udviklere
- direkte
- opdaget
- opdagelse
- gør ikke
- downloade
- let
- uddannelsesmæssige
- indsats
- indlejret
- smergel
- muliggøre
- muliggør
- bestræbelser
- Ingeniører
- forbedre
- Miljø
- miljøer
- indfører
- Endog
- eksempel
- udføre
- henrettet
- udførelse
- udførelse
- eksistens
- Exploit
- exploits
- ekstern
- Ansigtet
- faciliterende
- File (Felt)
- Filer
- fund
- Firm
- Fornavn
- første gang
- Markeret
- Til
- format
- fundet
- Framework
- fra
- funktion
- fundamental
- yderligere
- GitHub
- Dyrkning
- ske
- skade
- skadelig
- Have
- he
- fremhæve
- Hvordan
- Men
- HTTPS
- KIMOs Succeshistorier
- bydende nødvendigt
- vigtigt
- in
- Herunder
- angiver
- indledt
- injicerbar
- instans
- i stedet
- integritet
- Intelligens
- ind
- påtrængende
- undersøgelse
- involverer
- IP
- IP-adresse
- IP-adresser
- isn
- IT
- ITS
- jpg
- lige
- Keras
- Nøgle
- korea
- Sprog
- stor
- føre
- førende
- læring
- Bibliotek
- ligesom
- LLM
- belastning
- lastning
- maskine
- machine learning
- Maskiner
- større
- ondsindet
- malware
- Kan..
- midler
- blotte
- Meta
- metode
- afbøde
- formildende
- ML
- model
- modeller
- Moduler
- mere
- Som hedder
- Natural
- Natural Language Processing
- netværk
- Ny
- især
- Bemærk
- bemærkede
- nummer
- objekter
- of
- tit
- on
- ONE
- igangværende
- på
- åbent
- åbent netværk
- or
- organisationer
- Andet
- direkte
- del
- især
- pipeline
- perron
- Platforme
- plato
- Platon Data Intelligence
- PlatoData
- gift
- udgør
- mulig
- Indlæg
- potentiale
- potentielt
- fremherskende
- tidligere
- princippet
- Beskyttelse af personlige oplysninger
- Proaktiv
- behandle
- forarbejdning
- give
- offentlige
- offentligt
- offentliggjort
- Publicering
- Python
- pytorch
- kvalitet
- rækkevidde
- hellere
- ægte
- stole
- resterne
- fjernet
- Repository
- Kræver
- forskning
- forsker
- forskere
- Ressourcer
- begrænse
- vende
- gået igennem
- Risiko
- kører
- s
- varetagelse
- Said
- samme
- scanning
- hemmeligheder
- sikkerhed
- sikkerhedsopstart
- senior
- server
- tjener
- sæt
- Shell
- Inden længe
- bør
- udstillingsvindue
- betydeligt
- siden
- nogle
- Nogen
- sofistikeret
- Syd
- Sydkorea
- specifikt
- Sponsoreret
- står
- opstart
- Stadig
- sådan
- forsyne
- forsyningskæde
- support
- modtagelig
- skræddersyet
- mål
- opgaver
- tensorflow
- end
- at
- Them
- derefter
- derfor
- Disse
- de
- denne
- denne uge
- selvom?
- trussel
- trusler
- Dermed
- tid
- til
- Tokens
- værktøj
- værktøjer
- fakkel
- uddannet
- Kurser
- transformers
- typen
- typer
- typisk
- afdækket
- understrege
- forstå
- forståelse
- uploadet
- brug
- anvendte
- Bruger
- bruger
- ved brug af
- Varierende
- årvågenhed
- Sårbarheder
- sårbarhed
- var
- uge
- var
- Hvad
- hvornår
- som
- bredt
- bredere
- med
- inden for
- uden
- Arbejde
- arbejder
- virker
- ville
- skrev
- zephyrnet