Bugurile critice pun platforma AI Hugging Face într-un „murătură”

Bugurile critice pun platforma AI Hugging Face într-un „murătură”

Marca temporală: 5 aprilie 2024 4:38
Bugurile critice pun platforma AI Hugging Face într-o inteligență de date PlatoBlockchain „Pickle”. Căutare verticală. Ai.

Două vulnerabilități critice de securitate din platforma Hugging Face AI au deschis ușa atacatorilor care doresc să acceseze și să modifice datele și modelele clienților.

Una dintre deficiențele de securitate le-a oferit atacatorilor o modalitate de a accesa modelele de învățare automată (ML) aparținând altor clienți pe platforma Hugging Face, iar a doua le-a permis să suprascrie toate imaginile dintr-un registru de container partajat. Ambele defecte, descoperite de cercetătorii de la Wiz, au avut de-a face cu capacitatea atacatorilor de a prelua părți din infrastructura de inferență a lui Hugging Face.

Cercetătorii Wiz au descoperit puncte slabe în trei componente specifice: Hugging Face's Inference API, care permite utilizatorilor să răsfoiască și să interacționeze cu modelele disponibile pe platformă; Hugging Face Inference Endpoints — sau infrastructură dedicată pentru implementarea modelelor AI în producție; și Hugging Face Spaces, un serviciu de găzduire pentru prezentarea aplicațiilor AI/ML sau pentru a lucra în colaborare la dezvoltarea modelelor.

Problema cu murătura

Examinând infrastructura Hugging Face și modalitățile de a transforma erorile pe care le-au descoperit, cercetătorii Wiz au descoperit că oricine ar putea încărca cu ușurință un model AI/ML pe platformă, inclusiv pe cele bazate pe formatul Pickle. Murătură este un modul utilizat pe scară largă pentru stocarea obiectelor Python într-un fișier. Deși chiar și fundația software Python a considerat că Pickle este nesigur, acesta rămâne popular datorită ușurinței sale de utilizare și familiarității pe care oamenii o au cu el.

„Este relativ simplu să creați un model PyTorch (Pickle) care va executa cod arbitrar la încărcare”, potrivit Wiz.

Cercetătorii Wiz au profitat de capacitatea de a încărca pe Hugging Face un model privat bazat pe Pickle, care ar rula un shell invers la încărcare. Apoi au interacționat cu acesta folosind API-ul Inference pentru a obține o funcționalitate asemănătoare unui shell, pe care cercetătorii au folosit-o pentru a-și explora mediul în infrastructura Hugging Face.

Acest exercițiu le-a arătat rapid cercetătorilor că modelul lor rula într-un pod într-un cluster pe Amazon Elastic Kubernetes Service (EKS). De acolo, cercetătorii au reușit să folosească configurările greșite comune pentru a extrage informații care le-au permis să obțină privilegiile necesare pentru a vedea secrete care le-ar fi putut permite să acceseze alți chiriași în infrastructura partajată.

Cu Hugging Face Spaces, Wiz a descoperit că un atacator ar putea executa cod arbitrar în timpul construirii aplicației, care i-ar permite să examineze conexiunile de rețea de la mașina lor. Analiza lor a arătat o conexiune la un registru de container partajat care conține imagini aparținând altor clienți pe care le-ar fi putut modifica.

„În mâini greșite, capacitatea de a scrie în registrul intern al containerelor ar putea avea implicații semnificative pentru integritatea platformei și ar putea duce la atacuri ale lanțului de aprovizionare asupra spațiilor clienților”, a spus Wiz.

a spus Hugging Face atenuase complet riscurile pe care le descoperise Wiz. Între timp, compania a identificat problemele ca fiind cel puțin parțial legate de decizia sa de a continua să permită utilizarea fișierelor Pickle pe platforma Hugging Face, în ciuda riscurilor de securitate bine documentate menționate anterior asociate cu astfel de fișiere.  

„Fișierele Pickle au stat la baza majorității cercetărilor efectuate de Wiz și a altor publicații recente ale cercetătorilor în domeniul securității despre Hugging Face”, a menționat compania. Permiterea utilizării Pickle pe Hugging Face este „o povară pentru echipele noastre de inginerie și securitate și am depus eforturi semnificative pentru a reduce riscurile, permițând în același timp comunității AI să folosească instrumentele pe care le alege”.

Riscuri emergente cu AI-as-a-Service

Wiz a descris descoperirea sa ca indicativ al riscurilor pe care organizațiile trebuie să fie conștiente atunci când folosesc infrastructura partajată pentru a găzdui, rula și dezvolta noi modele și aplicații AI, care devine cunoscută sub numele de „AI-as-a-service”. Compania a comparat riscurile și atenuările asociate cu cele pe care organizațiile le întâlnesc în mediile cloud publice și a recomandat să aplice aceleași atenuări și în mediile AI.

„Organizațiile ar trebui să se asigure că au vizibilitate și guvernanță a întregului stack AI utilizat și să analizeze cu atenție toate riscurile”, a spus Wiz într-un blog în această săptămână. Aceasta include analiza „utilizarea modele rău intenționate, expunerea datelor de antrenament, date sensibile în curs de formare, vulnerabilități în SDK-uri AI, expunerea serviciilor AI și alte combinații de riscuri toxice care pot fi exploatate de atacatori”, a spus furnizorul de securitate.

Eric Schwake, director de strategie de securitate cibernetică la Salt Security, spune că există două probleme majore legate de utilizarea AI-as-a-service de care organizațiile trebuie să fie conștiente. „În primul rând, actorii amenințărilor pot încărca modele AI dăunătoare sau pot exploata vulnerabilitățile din stiva de inferențe pentru a fura date sau a manipula rezultatele”, spune el. „În al doilea rând, actorii rău intenționați pot încerca să compromită datele de antrenament, ceea ce duce la rezultate părtinitoare sau inexacte ale AI, cunoscute în mod obișnuit ca otrăvirea datelor.”

Identificarea acestor probleme poate fi o provocare, mai ales cu cât de complexe devin modelele AI, spune el. Pentru a ajuta la gestionarea unora dintre acest risc, este important ca organizațiile să înțeleagă modul în care aplicațiile și modelele lor AI interacționează cu API și să găsească modalități de a-l asigura. „Organizațiile ar putea dori, de asemenea, să exploreze IA explicabilă (XAI) pentru a face modelele AI mai inteligibile”, spune Schwake, „și ar putea ajuta la identificarea și atenuarea părtinirii sau a riscurilor în cadrul modelelor AI”.

Timestamp-ul:

Mai mult de la Lectură întunecată