Onderzoekers hebben op het Hugging Face AI-platform meer dan 100 kwaadaardige machine learning-modellen (ML) ontdekt waarmee aanvallers kwaadaardige code op gebruikersmachines kunnen injecteren.
Hoewel Hugging Face beveiligingsmaatregelen implementeert, benadrukken de bevindingen het groeiende risico van het โbewapenenโ van openbaar beschikbare modellen, omdat ze een achterdeur voor aanvallers kunnen creรซren.
De bevindingen van JFrog Security Research maken deel uit van een lopend onderzoek om te analyseren hoe hackers ML kunnen gebruiken om gebruikers aan te vallen.
Schadelijke inhoud
Volgens een artikel van Computingontwikkelden de onderzoekers een geavanceerd scansysteem om modellen te onderzoeken die worden gehost op het Hugging Face AI-platform, zoals PyTorch en Tensorflow Keras.
Hugging Face is een platform ontwikkeld voor het delen van AI-modellen, datasets en applicaties. Bij het analyseren van de modellen ontdekten de onderzoekers schadelijke ladingen โbinnen schijnbaar onschadelijke modellen.โ
Dit ondanks het feit dat Hugging Face beveiligingsmaatregelen uitvoert, zoals malware en augurkenscannen. Het platform beperkt echter niet het downloaden van modellen die mogelijk schadelijk kunnen zijn en maakt het ook openbaar beschikbaar AI-modellen misbruikt en bewapend worden door gebruikers.
Bij onderzoek van het platform en de bestaande modellen ontdekten de beveiligingsonderzoekers van JFrog ongeveer 100 AI-modellen met kwaadaardige functionaliteit, volgens hun verslag.
Sommige van deze modellen, zo geeft het rapport aan, zijn in staat code uit te voeren op de machines van gebruikers, โwaardoor een hardnekkige achterdeur voor aanvallers wordt gecreรซerd.โ
De onderzoekers gaven ook aan dat dergelijke bevindingen valse positieven uitsluiten. Deze zijn volgens hen een nauwkeurige weergave van de prevalentie van kwaadaardige modellen op het platform.
Lees ook: Apple stuurt autoteam door naar AI post-EV marktvertraging
De voorbeelden
Volgens het rapport van JFrog betreft een van de โalarmerendeโ gevallen: PyTorch model. Het model werd naar verluidt geรผpload door een gebruiker geรฏdentificeerd als โballer423โ, en werd vervolgens verwijderd van het Hugging Face-platform.
Bij nader onderzoek van het model merkten de onderzoekers dat het een kwaadaardige lading bevatte, waardoor het een omgekeerde shell op een specifieke host (210.117.212.93) kon opzetten.
JFrog senior veiligheidsonderzoeker David Cohen zei: โ(Het) is met name indringender en potentieel kwaadaardig, omdat het een directe verbinding tot stand brengt met een externe server, wat duidt op een potentiรซle bedreiging voor de veiligheid in plaats van slechts een demonstratie van kwetsbaarheidโ, schreef hij.
Dit maakt gebruik van โde '_reduce_'-methode van Python's pickle-module om willekeurige code uit te voeren bij het laden van het modelbestand, waardoor conventionele detectiemethoden effectief worden omzeild.โ
De onderzoekers erkenden ook dat dezelfde lading verbindingen met verschillende IP-adressen tot stand bracht, โwat suggereert dat operators mogelijk onderzoekers zijn in plaats van kwaadwillende hackers.โ
Een wake-up call
Het JFrog-team merkte op dat de bevindingen een wake-up call zijn voor Hugging Face, waaruit blijkt dat het platform gevoelig is voor manipulatie en potentiรซle bedreigingen.
โDeze incidenten dienen als aangrijpende herinneringen aan de voortdurende bedreigingen waarmee Hugging Face-repositoryโs en andere populaire repositoryโs zoals Kaggle worden geconfronteerd, die mogelijk de privacy en veiligheid van organisaties die deze bronnen gebruiken in gevaar zouden kunnen brengen, naast uitdagingen voor AI/ML-ingenieursโ, zegt de onderzoekers.
Dit komt als cyberveiligheid bedreigt de over de hele wereld nemen toe, aangewakkerd door de proliferatie van AI-instrumenten, waarbij slechte actoren deze misbruiken voor kwade bedoelingen. Hackers gebruiken AI ook om phishing-aanvallen te bevorderen en mensen te misleiden.
Het JFrog-team deed echter andere ontdekkingen.
Een speeltuin voor onderzoekers
Dat merkten de onderzoekers ook op Gezicht knuffelen is uitgegroeid tot een speeltuin voor onderzoekers โdie opkomende dreigingen willen bestrijden, zoals blijkt uit de uiteenlopende reeks tactieken om de veiligheidsmaatregelen te omzeilen.โ
De payload geรผpload door โballer423โ initieerde bijvoorbeeld een omgekeerde shell-verbinding met een IP-adresbereik dat toebehoort aan Kreonet (Korea Research Environment Open Network).
Think Donkere lezing, Kreonet is een hogesnelheidsnetwerk in Zuid-Korea dat geavanceerde onderzoeks- en onderwijsactiviteiten ondersteunt; โDaarom is het mogelijk dat AI-onderzoekers of praktijkmensen achter het model hebben gezeten.โ
"We kunnen zien dat de meeste 'kwaadaardige' payloads eigenlijk pogingen zijn van onderzoekers en/of bugbounty om code uit te voeren voor ogenschijnlijk legitieme doeleinden", aldus Cohen.
Ondanks de legitieme doeleinden waarschuwde het JFrog-team echter dat de strategieรซn die door onderzoekers worden gebruikt duidelijk aantonen dat platforms als Hugging Face openstaan โโvoor aanvallen op de toeleveringsketen. Deze kunnen volgens het team worden aangepast om zich te concentreren op specifieke demografische groepen, zoals AI- of ML-ingenieurs.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- Bron: https://metanews.com/over-100-malicious-code-execution-models-on-hugging-face-backdoors-users-devices/
- : heeft
- :is
- :niet
- 100
- 210
- 212
- 7
- 9
- a
- Over
- Volgens
- accuraat
- activiteiten
- actoren
- werkelijk
- toevoeging
- adres
- adressen
- bevorderen
- vergevorderd
- AI
- AI-modellen
- AI-platform
- AI / ML
- ook
- an
- analyseren
- het analyseren van
- en
- toepassingen
- willekeurig
- ZIJN
- reeks
- dit artikel
- AS
- aanvallen
- Aanvallen
- pogingen
- Beschikbaar
- achterdeur
- slecht
- BE
- geweest
- achter
- behoort
- Bounty
- Bug
- bug bounty
- by
- bypass
- Bellen
- CAN
- in staat
- auto
- gevallen
- uitdagingen
- duidelijk
- CO
- code
- cohen
- tegen te gaan
- komt
- compromis
- computergebruik
- versterken
- aansluitingen
- bevatte
- conventioneel
- kon
- en je merk te creรซren
- Wij creรซren
- aangepaste
- datasets
- David
- Demografie
- tonen
- gedemonstreerd
- Niettegenstaande
- Opsporing
- ontwikkelde
- anders
- directe
- ontdekt
- diversen
- doet
- Download
- onderwijs
- effectief
- opkomende
- loondienst
- in staat stellen
- maakt
- waardoor
- Ingenieurs
- Milieu
- oprichten
- vestigt
- evolueerde
- Onderzoeken
- uitvoeren
- uitvoeren
- uitvoering
- bestaand
- extern
- Gezicht
- naar
- feit
- vals
- Dien in
- bevindingen
- Focus
- Voor
- formulier
- oppompen van
- aangewakkerd
- functionaliteit
- verder
- krijgen
- Groeiend
- Hackers
- schadelijk
- Hebben
- he
- Hoge
- Markeer
- gastheer
- gehost
- Hoe
- Echter
- HTTPS
- geรฏdentificeerd
- gereedschap
- in
- Laat uw omzet
- aangegeven
- geeft aan
- wat aangeeft
- geรฏnitieerd
- injecteren
- instantie
- intenties
- in
- opdringerig
- gaat
- IP
- IP-adres
- IP adressen
- IT
- HAAR
- jpg
- Keras
- Korea
- leren
- rechtmatig
- hefbomen
- als
- het laden
- machine
- machine learning
- Machines
- gemaakt
- kwaadaardig
- malware
- Manipulatie
- Markt
- max-width
- Mei..
- maatregelen
- meer
- methode
- methoden
- ML
- model
- modellen
- meer
- meest
- netwerk
- in het bijzonder
- bekend
- of
- on
- EEN
- lopend
- naar
- open
- open netwerk
- exploitanten
- or
- organisaties
- Overige
- uit
- over
- deel
- Mensen
- Phishing
- phishing-aanvallen
- platform
- platforms
- Plato
- Plato gegevensintelligentie
- PlatoData
- speelplaats
- Populair
- mogelijk
- potentieel
- mogelijk
- overwicht
- privacy
- Privacy en Beveiliging
- in het openbaar
- doeleinden
- pytorch
- reeks
- liever
- Lees
- erkend
- verslag
- naar verluidt
- vertegenwoordiging
- onderzoek
- onderzoeker
- onderzoekers
- Resources
- beperken
- omkeren
- Risico
- Zei
- dezelfde
- het scannen
- veiligheid
- Veiligheidsmaatregelen
- zien
- schijnbaar
- senior
- dienen
- server
- delen
- Shell
- tonen
- Zuiden
- Zuid-Korea
- specifiek
- gespecificeerd
- strategieรซn
- Studie
- Hierop volgend
- dergelijk
- Ondersteuning
- system
- tactiek
- team
- tensorflow
- neem contact
- dat
- De
- hun
- Ze
- Deze
- ze
- bedreiging
- bedreigingen
- naar
- tools
- truc
- geรผpload
- op
- .
- Gebruiker
- gebruikers
- gebruik
- Gebruik makend
- kwetsbaarheid
- waarschuwde
- was
- welke
- wensen
- Met
- wereld
- schreef
- zephyrnet