Onderzoekers hebben ongeveer 100 machine learning (ML)-modellen ontdekt die zijn geüpload naar het Hugging Face-platform voor kunstmatige intelligentie (AI) en die aanvallers mogelijk in staat stellen kwaadaardige code op gebruikersmachines te injecteren. De bevindingen onderstrepen verder de groeiende dreiging die op de loer ligt als aanvallers openbaar beschikbare AI-modellen vergiftigen wegens snode activiteiten.
De ontdekking van de kwaadaardige modellen door JFrog Security Research maakt deel uit van lopend onderzoek door het bedrijf naar hoe aanvallers ML-modellen kunnen gebruiken om gebruikersomgevingen in gevaar te brengen, aldus een blog post deze week gepubliceerd.
In het bijzonder JFrog een scanomgeving ontwikkeld om modelbestanden te onderzoeken die zijn geüpload naar Hugging Face – een veelgebruikte, openbare opslagplaats voor AI-modellen – om opkomende bedreigingen te detecteren en te neutraliseren, vooral bij het uitvoeren van code.
Bij het uitvoeren van deze tool ontdekten de onderzoekers dat modellen die in de repository waren geladen, kwaadaardige ladingen bevatten. In één voorbeeld markeerde de scanner een PyTorch-model dat naar een repository was geüpload door een gebruiker genaamd baller423 (een account dat inmiddels is verwijderd) waarmee aanvallers willekeurige Python-code in een sleutelproces kunnen invoegen. Dit kan mogelijk leiden tot kwaadaardig gedrag wanneer het model op de computer van een gebruiker wordt geladen.
Knuffelen Gezicht Payload Analyse
Hoewel de payloads die zijn ingebed in AI-modellen die door onderzoekers worden geüpload doorgaans bedoeld zijn om kwetsbaarheden aan te tonen of proofs-of-concept te demonstreren zonder schade aan te richten, verschilde de payload die door baller423 werd geüpload aanzienlijk, schreef senior beveiligingsonderzoeker David Cohen van JFrog in de post.
Het startte een omgekeerde shell-verbinding met een feitelijk IP-adres, 210.117.212.93, gedrag dat “aanzienlijk opdringeriger is en potentieel kwaadaardig, omdat het een directe verbinding tot stand brengt met een externe server, wat duidt op een potentiële bedreiging voor de veiligheid in plaats van slechts een demonstratie van kwetsbaarheid”, schreef hij.
JFrog ontdekte dat het IP-adresbereik toebehoort aan Kreonet, wat staat voor ‘Korea Research Environment Open Network’. Kreonet fungeert als een hogesnelheidsnetwerk in Zuid-Korea ter ondersteuning van geavanceerd onderzoek en onderwijs; daarom is het mogelijk dat AI-onderzoekers of praktijkmensen achter het model hebben gezeten.
“Een fundamenteel principe in beveiligingsonderzoek is echter het niet publiceren van echt werkende exploits of kwaadaardige code”, een principe dat werd geschonden toen de kwaadaardige code probeerde verbinding te maken met een echt IP-adres, merkte Cohen op.
Bovendien kwamen de onderzoekers kort nadat het model was verwijderd nog meer exemplaren tegen van dezelfde payload met verschillende IP-adressen, waarvan er één actief blijft.
Bij verder onderzoek naar Hugging Face zijn ongeveer 100 potentieel kwaadaardige modellen aan het licht gekomen, wat de bredere impact van deze modellen benadrukt algemene veiligheidsdreiging door kwaadaardige AI-modellen, wat constante waakzaamheid en meer proactieve veiligheid vereist, schreef Cohen.
Hoe kwaadaardige AI-modellen werken
Om te begrijpen hoe aanvallers Hugging Face ML-modellen kunnen bewapenen, is inzicht nodig in hoe een kwaadaardig PyTorch-model zoals dat geüpload door baller423 werkt in de context van Python- en AI-ontwikkeling.
Code-uitvoering kan plaatsvinden bij het laden van bepaalde soorten ML-modellen, bijvoorbeeld een model dat het zogenaamde 'pickle'-formaat gebruikt, een veelgebruikt formaat voor het serialiseren van Python-objecten. Dat komt omdat pickle-bestanden ook willekeurige code kunnen bevatten die wordt uitgevoerd wanneer het bestand wordt geladen, aldus JFrog.
Het laden van PyTorch-modellen met transformatoren, een gebruikelijke aanpak door ontwikkelaars, omvat het gebruik van de functie torch.load(), die het model uit een bestand deserialiseert. Vooral als het gaat om PyTorch-modellen die zijn getraind met de Transformers-bibliotheek van Hugging Face, gebruiken ontwikkelaars deze methode vaak om het model te laden, samen met de architectuur, gewichten en eventuele bijbehorende configuraties, aldus JFrog.
Transformers bieden dus een alomvattend raamwerk voor taken op het gebied van natuurlijke taalverwerking, waardoor de creatie en implementatie van geavanceerde modellen wordt vergemakkelijkt, merkte Cohen op.
“Het lijkt erop dat de kwaadaardige lading in het PyTorch-modelbestand is geïnjecteerd met behulp van de __reduce__-methode van de pickle-module”, schreef hij. “Deze methode stelt aanvallers in staat willekeurige Python-code in het deserialisatieproces in te voegen, wat mogelijk kan leiden tot kwaadaardig gedrag wanneer het model wordt geladen.”
Hoewel Hugging Face een aantal hoogwaardige ingebouwde beveiligingsvoorzieningen heeft, waaronder het scannen op malware, het scannen van augurken en het scannen van geheimen, blokkeert of beperkt het het downloaden van augurkmodellen niet volledig. In plaats daarvan worden ze alleen als ‘onveilig’ gemarkeerd, wat betekent dat iemand nog steeds potentieel schadelijke modellen kan downloaden en uitvoeren.
Bovendien is het belangrijk op te merken dat niet alleen op augurken gebaseerde modellen gevoelig zijn voor het uitvoeren van kwaadaardige code. Het op een na meest voorkomende modeltype op Hugging Face is bijvoorbeeld Tensorflow Keras, dat ook willekeurige code kan uitvoeren, ook al is het voor aanvallers niet zo eenvoudig om deze methode te misbruiken, aldus JFrog.
Risico's van vergiftigde AI-modellen beperken
Dit is niet de eerste keer dat onderzoekers een AI-beveiligingsrisico hebben ontdekt in Hugging Face, een platform waarop de ML-gemeenschap samenwerkt aan modellen, datasets en applicaties. Onderzoekers van AI-beveiligingsstartup Lasso Security zeiden eerder dat ze toegang konden krijgen tot de Bloom-, Meta-Llama- en Pythia-repository's voor grote taalmodellen (LLM) van Meta met behulp van onbeveiligde API-toegangstokens die ze ontdekten op GitHub en the Hugging Face platform voor LLM-ontwikkelaars.
De toegang zou een tegenstander in staat hebben gesteld stilletjes trainingsgegevens vergiftigen in deze veelgebruikte LLM's stelen ze modellen en datasets en voeren ze mogelijk andere kwaadaardige activiteiten uit.
Sterker nog, het groeiende bestaan van publiekelijk beschikbare en dus potentieel kwaadaardige AI/ML-modellen vormt volgens JFrog een groot risico voor de toeleveringsketen, vooral voor aanvallen die zich specifiek richten op demografische groepen zoals AI/ML-ingenieurs en pijplijnmachines.
Om dit risico te beperken, moeten AI-ontwikkelaars nieuwe tools gebruiken die voor hen beschikbaar zijn, zoals Huntr, een bug-bounty-platform dat specifiek is afgestemd op AI-kwetsbaarheden om de beveiligingshouding van AI-modellen en -platforms te verbeteren, schreef Cohen.
“Deze collectieve inspanning is absoluut noodzakelijk voor het versterken van de Hugging Face-repository’s en het beschermen van de privacy en integriteit van AI/ML-ingenieurs en organisaties die afhankelijk zijn van deze bronnen”, schreef hij.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- Bron: https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- : heeft
- :is
- :niet
- :waar
- 100
- 210
- 212
- 7
- a
- in staat
- Over
- toegang
- Volgens
- Account
- actieve
- activiteiten
- activiteit
- daadwerkelijk
- adres
- adressen
- vergevorderd
- Na
- AI
- AI-modellen
- AI-platform
- AI / ML
- streven
- toegestaan
- langs
- ook
- an
- analyse
- en
- elke
- api
- API toegang
- komt naar voren
- toepassingen
- nadering
- willekeurig
- architectuur
- ZIJN
- kunstmatig
- kunstmatige intelligentie
- Kunstmatige intelligentie (AI)
- AS
- geassocieerd
- At
- Aanvallen
- gepoogd
- Beschikbaar
- terug
- omdat
- geweest
- gedrag
- achter
- wezen
- behoort
- Blok
- Blog
- Bloeien
- ingebouwd
- by
- Dit betekent dat we onszelf en onze geliefden praktisch vergiftigen.
- CAN
- veroorzakend
- zeker
- keten
- code
- cohen
- samenwerkt
- Collective
- COM
- Gemeen
- gemeenschap
- uitgebreid
- compromis
- Verbinden
- versterken
- constante
- bevatten
- verband
- kon
- het aanmaken
- gegevens
- gegevenssets
- David
- omgang
- eisen
- Demografie
- tonen
- inzet
- opsporen
- ontwikkelaars
- directe
- ontdekt
- ontdekking
- doesn
- Download
- En het is heel gemakkelijk
- onderwijs
- inspanning
- ingebed
- opkomende
- in staat stellen
- maakt
- inspanningen
- Ingenieurs
- verhogen
- Milieu
- omgevingen
- vestigt
- Zelfs
- voorbeeld
- uitvoeren
- uitgevoerd
- uitvoeren
- uitvoering
- bestaan
- Exploiteren
- exploits
- extern
- Gezicht
- faciliterende
- Dien in
- Bestanden
- bevindingen
- Stevig
- Voornaam*
- eerste keer
- markeerde
- Voor
- formaat
- gevonden
- Achtergrond
- oppompen van
- functie
- fundamenteel
- verder
- GitHub
- Groeiend
- gebeuren
- schaden
- schadelijk
- Hebben
- he
- markeren
- Hoe
- Echter
- HTTPS
- Impact
- gebiedende wijs
- belangrijk
- in
- Inclusief
- wat aangeeft
- geïnitieerd
- injecteren
- instantie
- verkrijgen in plaats daarvan
- integriteit
- Intelligentie
- in
- opdringerig
- onderzoek
- gaat
- IP
- IP-adres
- IP adressen
- isn
- IT
- HAAR
- jpg
- voor slechts
- Keras
- sleutel
- Korea
- taal
- Groot
- leiden
- leidend
- leren
- Bibliotheek
- als
- LLM
- laden
- het laden
- machine
- machine learning
- Machines
- groot
- kwaadaardig
- malware
- Mei..
- middel
- meer
- meta
- methode
- Verzachten
- verzachtende
- ML
- model
- modellen
- Module
- meer
- Genoemd
- Naturel
- Natural Language Processing
- netwerk
- New
- in het bijzonder
- nota
- bekend
- aantal
- objecten
- of
- vaak
- on
- EEN
- lopend
- naar
- open
- open netwerk
- or
- organisaties
- Overige
- ronduit
- deel
- vooral
- pijpleiding
- platform
- platforms
- Plato
- Plato gegevensintelligentie
- PlatoData
- gif
- vormt
- mogelijk
- Post
- potentieel
- mogelijk
- heersend
- die eerder
- principe
- privacy
- Proactieve
- verwerking
- zorgen voor
- publiek
- in het openbaar
- gepubliceerde
- Reclame
- Python
- pytorch
- kwaliteit
- reeks
- liever
- vast
- te vertrouwen
- stoffelijk overschot
- verwijderd
- bewaarplaats
- vereist
- onderzoek
- onderzoeker
- onderzoekers
- Resources
- beperken
- omkeren
- doorzeefd
- Risico
- lopend
- s
- vrijwaring
- Zei
- dezelfde
- het scannen
- geheimen
- veiligheid
- beveiliging opstarten
- senior
- server
- bedient
- Sets
- Shell
- binnenkort
- moet
- showcase
- aanzienlijk
- sinds
- sommige
- Iemand
- geraffineerd
- Zuiden
- Zuid-Korea
- specifiek
- Gesponsorde
- staat
- startup
- Still
- dergelijk
- leveren
- toeleveringsketen
- ondersteuning
- geneigd
- op maat gemaakt
- doelwit
- taken
- tensorflow
- neem contact
- dat
- De
- Ze
- harte
- daarom
- Deze
- ze
- dit
- deze week
- toch?
- bedreiging
- bedreigingen
- Dus
- niet de tijd of
- naar
- tokens
- tools
- tools
- fakkel
- getraind
- Trainingen
- transformers
- type dan:
- types
- typisch
- ongedekt
- benadrukken
- begrijpen
- begrip
- geüpload
- .
- gebruikt
- Gebruiker
- toepassingen
- gebruik
- wisselende
- waakzaamheid
- kwetsbaarheden
- kwetsbaarheid
- was
- week
- waren
- Wat
- wanneer
- welke
- wijd
- bredere
- Met
- binnen
- zonder
- Mijn werk
- werkzaam
- Bedrijven
- zou
- schreef
- zephyrnet