Forskere har oppdaget rundt 100 maskinlæringsmodeller (ML) som har blitt lastet opp til Hugging Face kunstig intelligens (AI)-plattformen og potensielt setter angripere i stand til å injisere ondsinnet kode på brukermaskiner. Funnene understreker ytterligere den økende trusselen som lurer når angripere gift offentlig tilgjengelige AI-modeller for uhyggelig aktivitet.
Oppdagelsen av de ondsinnede modellene av JFrog Security Research er en del av pågående forskning fra firmaet om hvordan angripere kan bruke ML-modeller for å kompromittere brukermiljøer, ifølge et blogginnlegg publisert denne uken.
Nærmere bestemt JFrog utviklet et skannemiljø for å granske modellfiler lastet opp til Hugging Face – et mye brukt offentlig AI-modelllager – for å oppdage og nøytralisere nye trusler, spesielt fra kodekjøring.
Ved å kjøre dette verktøyet oppdaget forskerne at modeller som ble lastet inn i depotet, hadde ondsinnede nyttelaster. I ett eksempel flagget skanneren en PyTorch-modell lastet opp til et depot av en bruker ved navn baller423 – en konto som siden har blitt slettet – som gjør det mulig for angripere å sette inn vilkårlig Python-kode i en nøkkelprosess. Dette kan potensielt føre til ondsinnet oppførsel når modellen lastes inn på en brukers maskin.
Hugging Face Nyttelastanalyse
Mens nyttelaster som er innebygd i AI-modeller lastet opp av forskere, har som mål å demonstrere sårbarheter eller vise frem proof-of-concept uten å forårsake skade, var nyttelasten lastet opp av baller423 betydelig forskjellig, skrev JFrog senior sikkerhetsforsker David Cohen i innlegget.
Det startet en omvendt skallforbindelse til en faktisk IP-adresse, 210.117.212.93, oppførsel som "er spesielt mer påtrengende og potensielt ondsinnet, ettersom det etablerer en direkte tilkobling til en ekstern server, noe som indikerer en potensiell sikkerhetstrussel i stedet for bare en demonstrasjon av sårbarhet," skrev han.
JFrog fant ut at IP-adresseområdet tilhører Kreonet, som står for "Korea Research Environment Open Network." Kreonet fungerer som et høyhastighetsnettverk i Sør-Korea for å støtte avansert forskning og utdanning. derfor er det mulig at AI-forskere eller -utøvere kan ha stått bak modellen.
"Men et grunnleggende prinsipp i sikkerhetsforskning er å avstå fra å publisere ekte fungerende utnyttelser eller ondsinnet kode," et prinsipp som ble brutt da den ondsinnede koden forsøkte å koble seg tilbake til en ekte IP-adresse, bemerket Cohen.
Kort tid etter at modellen ble fjernet, møtte forskerne dessuten flere tilfeller av den samme nyttelasten med varierende IP-adresser, hvorav en forblir aktiv.
Ytterligere undersøkelser av Hugging Face avdekket rundt 100 potensielt ondsinnede modeller, og fremhevet den bredere virkningen av generell sikkerhetstrussel fra ondsinnede AI-modeller, som krever konstant årvåkenhet og mer proaktiv sikkerhet, skrev Cohen.
Hvordan ondsinnede AI-modeller fungerer
For å forstå hvordan angripere kan bevæpne Hugging Face ML-modeller krever en forståelse av hvordan en ondsinnet PyTorch-modell som den lastet opp av baller423 fungerer i sammenheng med Python og AI utvikling.
Kodekjøring kan skje når du laster inn visse typer ML-modeller - for eksempel en modell som bruker det som kalles "pickle"-formatet, et vanlig format for serialisering av Python-objekter. Det er fordi pickle-filer også kan inneholde vilkårlig kode som kjøres når filen lastes, ifølge JFrog.
Å laste PyTorch-modeller med transformatorer, en vanlig tilnærming av utviklere, innebærer å bruke funksjonen torch.load(), som deserialiserer modellen fra en fil. Spesielt når de har å gjøre med PyTorch-modeller trent med Hugging Faces Transformers-bibliotek, bruker utviklere ofte denne metoden for å laste modellen sammen med dens arkitektur, vekter og eventuelle tilknyttede konfigurasjoner, ifølge JFrog.
Transformatorer gir derfor et omfattende rammeverk for prosesseringsoppgaver for naturlig språk, og letter opprettelsen og distribusjonen av sofistikerte modeller, observerte Cohen.
"Det ser ut til at den ondsinnede nyttelasten ble injisert i PyTorch-modellfilen ved å bruke __reduce__-metoden til pickle-modulen," skrev han. "Denne metoden gjør det mulig for angripere å sette inn vilkårlig Python-kode i deserialiseringsprosessen, noe som potensielt kan føre til ondsinnet oppførsel når modellen lastes."
Mens Hugging Face har en rekke innebygde sikkerhetsbeskyttelser av høy kvalitet – inkludert skanning av skadelig programvare, skanning av sylteagurk og skanning av hemmeligheter – blokkerer eller begrenser den ikke direkte nedlasting av pickle-modeller. I stedet markerer det dem bare som "usikre", noe som betyr at noen fortsatt kan laste ned og kjøre potensielt skadelige modeller.
Videre er det viktig å merke seg at det ikke bare er pickle-baserte modeller som er mottakelige for å kjøre ondsinnet kode. For eksempel er den nest mest utbredte modelltypen på Hugging Face Tensorflow Keras, som også kan kjøre vilkårlig kode, selv om det ikke er like lett for angripere å utnytte denne metoden, ifølge JFrog.
Reduserende risiko fra forgiftede AI-modeller
Dette er ikke første gang forskere har funnet en AI-sikkerhetsrisiko i Hugging Face, en plattform der ML-fellesskapet samarbeider om modeller, datasett og applikasjoner. Forskere ved AI-sikkerhetsoppstarten Lasso Security sa tidligere at de kunne få tilgang til Metas Bloom, Meta-Llama og Pythia store språkmodeller (LLM) ved å bruke usikrede API-tilgangstokener de oppdaget på GitHub og Hugging Face plattform for LLM-utviklere.
Tilgangen ville ha tillatt en motstander stille forgiftet treningsdata i disse mye brukte LLM-ene, stjele modeller og datasett, og potensielt utføre andre ondsinnede aktiviteter.
Faktisk, den økende eksistensen av offentlig tilgjengelig og dermed potensielt skadelige AI/ML-modeller utgjør en stor risiko for forsyningskjeden, spesielt for angrep som spesifikt retter seg mot demografi som AI/ML-ingeniører og rørledningsmaskiner, ifølge JFrog.
For å redusere denne risikoen bør AI-utviklere bruke nye verktøy som er tilgjengelige for dem, som f.eks Huntr, en bug-bounty-plattform skreddersydd spesielt for AI-sårbarheter for å forbedre sikkerhetsstillingen til AI-modeller og -plattformer, skrev Cohen.
"Denne kollektive innsatsen er avgjørende for å styrke Hugging Face-lagrene og ivareta personvernet og integriteten til AI/ML-ingeniører og organisasjoner som er avhengige av disse ressursene," skrev han.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- : har
- :er
- :ikke
- :hvor
- 100
- 210
- 212
- 7
- a
- I stand
- Om oss
- adgang
- Ifølge
- Logg inn
- aktiv
- Aktiviteter
- aktivitet
- faktiske
- adresse
- adresser
- avansert
- Etter
- AI
- AI-modeller
- AI-plattform
- AI / ML
- sikte
- tillatt
- langs
- også
- an
- analyse
- og
- noen
- api
- API-tilgang
- vises
- søknader
- tilnærming
- vilkårlig
- arkitektur
- ER
- kunstig
- kunstig intelligens
- Kunstig intelligens (AI)
- AS
- assosiert
- At
- Angrep
- forsøkt
- tilgjengelig
- tilbake
- fordi
- vært
- atferd
- bak
- være
- tilhører
- Blokker
- Blogg
- Bloom
- innebygd
- by
- som heter
- CAN
- forårsaker
- viss
- kjede
- kode
- Cohen
- samarbeider
- Collective
- COM
- Felles
- samfunnet
- omfattende
- kompromiss
- Koble
- tilkobling
- konstant
- inneholde
- kontekst
- kunne
- skaperverket
- dato
- datasett
- David
- håndtering
- krav
- Demografi
- demonstrere
- distribusjon
- oppdage
- utviklere
- direkte
- oppdaget
- Funnet
- doesn
- nedlasting
- lett
- pedagogisk
- innsats
- innebygd
- Emery
- muliggjøre
- muliggjør
- bestrebelser
- Ingeniører
- forbedre
- Miljø
- miljøer
- etablerer
- Selv
- eksempel
- henrette
- henrettet
- utførende
- gjennomføring
- eksistens
- Exploit
- exploits
- utvendig
- Face
- tilrettelegging
- filet
- Filer
- funn
- Firm
- Først
- første gang
- flaggede
- Til
- format
- funnet
- Rammeverk
- fra
- funksjon
- fundamental
- videre
- GitHub
- Økende
- skje
- skade
- skadelig
- Ha
- he
- utheving
- Hvordan
- Men
- HTTPS
- Påvirkning
- avgjørende
- viktig
- in
- Inkludert
- indikerer
- initiert
- injisere
- f.eks
- i stedet
- integritet
- Intelligens
- inn
- intrusively
- etterforskning
- innebærer
- IP
- IP-adresse
- IP-adresser
- er n
- IT
- DET ER
- jpg
- bare
- hard
- nøkkel
- korea
- Språk
- stor
- føre
- ledende
- læring
- Bibliotek
- i likhet med
- LLM
- laste
- lasting
- maskin
- maskinlæring
- maskiner
- større
- skadelig
- malware
- Kan..
- midler
- bare
- Meta
- metode
- Minske
- formildende
- ML
- modell
- modeller
- Moduler
- mer
- oppkalt
- Naturlig
- Natural Language Processing
- nettverk
- Ny
- spesielt
- note
- bemerket
- Antall
- gjenstander
- of
- ofte
- on
- ONE
- pågående
- videre til
- åpen
- åpent nettverk
- or
- organisasjoner
- Annen
- direkte
- del
- spesielt
- rørledning
- plattform
- Plattformer
- plato
- Platon Data Intelligence
- PlatonData
- giften
- positurer
- mulig
- Post
- potensiell
- potensielt
- utbredt
- tidligere
- prinsipp
- privatliv
- Proaktiv
- prosess
- prosessering
- gi
- offentlig
- offentlig
- publisert
- Publisering
- Python
- pytorch
- kvalitet
- område
- heller
- ekte
- avhengig
- forblir
- fjernet
- Repository
- Krever
- forskning
- forsker
- forskere
- Ressurser
- begrense
- reversere
- pepret
- Risiko
- rennende
- s
- ivaretakelse
- Sa
- samme
- skanning
- hemmeligheter
- sikkerhet
- sikkerhetsstart
- senior
- server
- serverer
- sett
- Shell
- Om kort tid
- bør
- presentere
- betydelig
- siden
- noen
- Noen
- sofistikert
- Sør
- Sør-Korea
- spesielt
- Sponset
- står
- oppstart
- Still
- slik
- levere
- forsyningskjeden
- støtte
- utsatt
- skreddersydd
- Target
- oppgaver
- tensorflow
- enn
- Det
- De
- Dem
- deretter
- derfor
- Disse
- de
- denne
- denne uka
- selv om?
- trussel
- trusler
- Dermed
- tid
- til
- tokens
- verktøy
- verktøy
- lommelykt
- trent
- Kurs
- transformers
- typen
- typer
- typisk
- avdekket
- underst
- forstå
- forståelse
- lastet opp
- bruke
- brukt
- Bruker
- bruker
- ved hjelp av
- Varierende
- årvåkenhet
- Sikkerhetsproblemer
- sårbarhet
- var
- uke
- var
- Hva
- når
- hvilken
- allment
- bredere
- med
- innenfor
- uten
- Arbeid
- arbeid
- virker
- ville
- skrev
- zephyrnet