Dacă ați crezut că problema securității lanțului de aprovizionare cu software-ul este destul de dificilă astăzi, legați-vă. Creșterea explozivă a utilizării inteligenței artificiale (AI) este pe cale să facă aceste probleme ale lanțului de aprovizionare exponențial mai greu de abordat în anii următori.
Dezvoltatorii, profesioniștii în securitatea aplicațiilor și profesioniștii DevSecOps sunt chemați să remedieze defectele cu cel mai mare risc care pândesc în ceea ce par a fi combinațiile nesfârșite de componente open source și proprietare care sunt țesute în aplicațiile și infrastructura lor cloud. Dar este o luptă constantă încercând să înțelegem chiar ce componente au, care sunt vulnerabile și care defecte le pun cel mai mult în pericol. În mod clar, ei se luptă deja să gestioneze în mod corect aceste dependențe în software-ul lor așa cum este.
Ceea ce va deveni mai greu este efectul multiplicator pe care AI îl va adăuga situației.
Modele AI ca cod auto-executiv
Instrumentele activate cu inteligența artificială și învățarea automată (ML) sunt software la fel ca orice alt tip de aplicație – iar codul lor este la fel de probabil să sufere din cauza insecurității lanțului de aprovizionare. Cu toate acestea, ei adaugă o altă variabilă de active la mix, care mărește foarte mult suprafața de atac a lanțului de aprovizionare cu software AI: modelele AI/ML.
„Ceea ce separă aplicațiile AI de orice altă formă de software este că [se bazează] într-un fel sau mod pe un lucru numit model de învățare automată”, explică Daryan Dehghanpisheh, co-fondatorul Protect AI. „Ca urmare, modelul de învățare automată în sine este acum un atu în infrastructura dumneavoastră. Când aveți un activ în infrastructura dvs., aveți nevoie de capacitatea de a vă scana mediul, de a identifica unde sunt, ce conțin, cine are permisiuni și ce fac. Și dacă nu poți face asta cu modelele astăzi, nu le poți gestiona.”
Modelele AI/ML oferă baza capacității unui sistem AI de a recunoaște tipare, de a face predicții, de a lua decizii, de a declanșa acțiuni sau de a crea conținut. Dar adevărul este că majoritatea organizațiilor nici măcar nu știu cum să înceapă să câștige vizibilitate asupra tuturor modelelor AI încorporate în software-ul lor. Modelele și infrastructura din jurul lor sunt construite diferit față de alte componente software, iar instrumentele tradiționale de securitate și software nu sunt create pentru a căuta sau a înțelege cum funcționează modelele AI sau cum sunt defecte. Acesta este ceea ce le face unice, spune Dehghanpisheh, care explică că sunt, în esență, bucăți ascunse de cod care se execută automat.
„Un model, prin design, este o bucată de cod care se execută automat. Are o anumită agenție”, spune Dehghanpisheh. „Dacă ți-aș spune că ai active în întreaga infrastructură pe care nu le poți vedea, nu le poți identifica, nu știi ce conțin, nu știi ce este codul și se auto-execută și ai apeluri din exterior, asta sună suspect ca un virus cu permisiuni, nu-i așa?
Un observator timpuriu al insecurităților AI
Depășirea acestei probleme a fost marele imbold din spatele lui și al co-fondatorilor săi, lansarea Protect AI în 2022, care este una dintr-un val de firme noi care au apărut pentru a aborda problemele legate de securitatea modelelor și de generația datelor care se profilează în era AI. Dehghanpisheh și co-fondatorul Ian Swanson au văzut o privire asupra viitorului când au lucrat anterior împreună pentru a construi soluții AI/ML la AWS. Dehghanpisheh a fost liderul global pentru arhitecții de soluții AI/ML.
„În timpul petrecut împreună la AWS, am văzut clienți construind sisteme AI/ML într-un ritm incredibil de rapid, cu mult înainte ca AI generativă să capteze inimile și mințile tuturor, de la C-suite la Congres”, spune el, explicând că a lucrat cu o serie de ingineri și experți în dezvoltarea afacerii, precum și cu clienții. „Atunci am realizat cum și unde sunt vulnerabilitățile de securitate unice pentru sistemele AI/ML.”
Ei au observat trei lucruri de bază despre AI/ML care au avut implicații incredibile pentru viitorul securității cibernetice, spune el. Primul a fost că ritmul de adoptare a fost atât de rapid încât au văzut direct cât de repede au apărut entitățile IT din umbră în jurul dezvoltării AI și al utilizării în afaceri, care au scăpat de tipul de guvernare care ar supraveghea orice alt tip de dezvoltare în întreprindere.
Al doilea a fost faptul că majoritatea instrumentelor care au fost utilizate – fie comerciale sau open source – au fost construite de oameni de știință de date și de ingineri ML în curs de dezvoltare care nu fuseseră niciodată instruiți în concepte de securitate.
„În consecință, ați avut instrumente foarte utile, foarte populare, foarte distribuite și adoptate pe scară largă, care nu au fost construite cu o mentalitate care pune în primul rând securitatea”, spune el.
Sistemele AI nu au fost construite „în primul rând securitatea”
Ca urmare, multor sisteme AI/ML și instrumente partajate le lipsesc elementele de bază în autentificare și autorizare și oferă adesea prea mult acces de citire și scriere în sistemele de fișiere, explică el. Împreună cu configurațiile de rețea nesigure și apoi acele probleme inerente modelelor, organizațiile încep să se blocheze în cascadă de probleme de securitate în aceste sisteme extrem de complexe, greu de înțeles.
„Aceasta ne-a făcut să realizăm că instrumentele, procesele, cadrele de securitate existente – indiferent de cât de schimbare ai plecat, lipseau contextul de care ar avea nevoie inginerii de învățare automată, oamenii de știință de date și constructorii de inteligență artificială”, spune el.
În cele din urmă, a treia observație majoră pe care el și Swanson au făcut-o în acele zile AWS a fost că încălcările AI nu au venit. Au ajuns deja.
„Am văzut că clienții au încălcări la o varietate de sisteme AI/ML care ar fi trebuit să fie depistate, dar nu au fost”, spune el. „Ceea ce ne-a spus este că setul și procesele, precum și elementele de gestionare a răspunsului la incident, nu au fost create special pentru modul în care a fost proiectat AI/ML. Această problemă s-a înrăutățit pe măsură ce IA generativă a luat avânt.”
Modelele AI sunt distribuite pe scară largă
Dehghanpisheh și Swanson au început, de asemenea, să vadă cum modelele și datele de antrenament creau un nou lanț de aprovizionare AI unic, care ar trebui să fie luat în considerare la fel de serios ca și restul lanțului de aprovizionare cu software. La fel ca în cazul restului dezvoltării software moderne și al inovațiilor native din cloud, oamenii de știință în date și experții în inteligență artificială au alimentat progresele în sistemele AI/ML prin utilizarea în mod rampantă a componentelor open source și partajate - inclusiv modelele AI și datele folosite pentru a le instrui. Atât de multe sisteme AI, fie că sunt academice sau comerciale, sunt construite folosind modelul altcuiva. Și ca și în restul dezvoltării moderne, explozia dezvoltării AI continuă să conducă un aflux zilnic imens de active model noi care au proliferat de-a lungul lanțului de aprovizionare, ceea ce înseamnă că urmărirea lor este din ce în ce mai dificilă.
Luați Hugging Face, de exemplu. Acesta este unul dintre cele mai utilizate depozite de modele AI open source online astăzi – fondatorii săi spun că vor să fie GitHub-ul AI. În noiembrie 2022, utilizatorii Hugging Face au împărtășit comunității 93,501 de modele diferite. În noiembrie următor, a explodat până la 414,695 de modele. Acum, doar trei luni mai târziu, acest număr a crescut la 527,244. Aceasta este o problemă a cărei amploare se întinde pe zi ce trece. Și va pune problema de securitate a lanțului de aprovizionare software „pe steroizi”, spune Dehghanpisheh.
A analiză recentă de către firma sa a găsit mii de modele care sunt partajate în mod deschis pe Hugging Face pot executa cod arbitrar la încărcarea sau inferența modelului. În timp ce Hugging Face scanează de bază a depozitului său pentru probleme de securitate, multe modele sunt ratate pe parcurs - cel puțin jumătate dintre modelele cu risc ridicat descoperite în cercetare nu au fost considerate nesigure de către platformă, iar Hugging Face este clar în documentație. că determinarea siguranței unui model este în cele din urmă responsabilitatea utilizatorilor acestuia.
Pași pentru abordarea lanțului de aprovizionare AI
Dehghanpisheh crede că piciorul securității cibernetice în era AI va începe mai întâi prin crearea unei înțelegeri structurate a descendenței AI. Aceasta include descendența modelului și descendența datelor, care sunt în esență originea și istoricul acestor active, modul în care au fost modificate și metadatele asociate acestora.
„Acesta este primul loc de început. Nu poți repara ceea ce nu poți vedea și ceea ce nu poți ști și ce nu poți defini, nu?” el spune.
Între timp, la nivel operațional zilnic, Dehghanpisheh consideră că organizațiile trebuie să-și dezvolte capacități pentru a-și scana modelele, căutând defecte care pot afecta nu numai întărirea sistemului, ci și integritatea rezultatelor acestuia. Aceasta include probleme precum părtinirea AI și funcționarea defectuoasă care ar putea cauza vătămări fizice în lumea reală, de exemplu, de la o mașină autonomă care se lovește de un pieton.
„Primul lucru este că trebuie să scanezi”, spune el. „Al doilea lucru este că trebuie să înțelegeți acele scanări. Iar al treilea este că, odată ce aveți ceva semnalat, trebuie să opriți activarea modelului respectiv. Trebuie să-i restricționați agenția.”
Push pentru MLSecOps
MLSecOps este o mișcare neutră din punctul de vedere al furnizorului, care oglindește mișcarea DevSecOps în lumea software tradițională.
„Asemenea trecerii de la DevOps la DevSecOps, trebuie să faci două lucruri deodată. Primul lucru pe care trebuie să-l faci este să-i faci pe practicanți să conștientizeze că securitatea este o provocare și că este o responsabilitate comună”, spune Dehghanpisheh. „Al doilea lucru pe care trebuie să-l faceți este să dați context și să puneți securitate în instrumente care îi țin pe oamenii de știință de date, inginerii de învățare automată [și] constructorii de inteligență artificială pe marginea actuală și care inovează în mod constant, dar permițând problemelor de securitate să dispară în fundal .”
În plus, el spune că organizațiile vor trebui să înceapă să adauge politici de guvernanță, risc și conformitate și capacități de aplicare și proceduri de răspuns la incidente care ajută la guvernarea acțiunilor și proceselor care au loc atunci când sunt descoperite nesiguranțe. Ca și în cazul unui ecosistem solid DevSecOps, acest lucru înseamnă că MLSecOps va avea nevoie de o implicare puternică din partea părților interesate de afaceri până în sus pe scara executivă.
Vestea bună este că securitatea AI/ML beneficiază de un lucru pe care nicio altă inovație tehnologică rapidă nu l-a avut imediat - și anume, mandatele de reglementare chiar de la început.
„Gândiți-vă la orice altă tranziție tehnologică”, spune Dehghanpisheh. „Scrieți o dată când un organism de reglementare federal sau chiar autorități de reglementare de stat au spus asta de la început: „Uau, uau, trebuie să-mi spui tot ce este în el. Trebuie să acordați prioritate cunoștințelor acelui sistem. Trebuie să acordați prioritate unei liste de materiale. Nu există niciunul.”
Aceasta înseamnă că mulți lideri în domeniul securității au șanse mai mari să obțină acceptul pentru a dezvolta capabilități de securitate AI mult mai devreme în ciclul de viață al inovației. Unul dintre cele mai evidente semne ale acestui sprijin este schimbarea rapidă de a sponsoriza noi funcții de muncă în organizații.
„Cea mai mare diferență pe care a adus-o mentalitatea de reglementare este că, în ianuarie 2023, conceptul de director de securitate AI era nou și nu exista. Dar până în iunie ai început să vezi acele roluri”, spune Dehghanpisheh. „Acum sunt peste tot – și sunt finanțate.”
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- :are
- :este
- :nu
- :Unde
- ][p
- $UP
- 10
- 2022
- 2023
- 501
- 7
- a
- capacitate
- Despre Noi
- academic
- acces
- peste
- acțiuni
- activând
- adăuga
- adăugare
- plus
- adresa
- adoptată
- Adoptare
- progresele
- agenție
- înainte
- AI
- Modele AI
- Sisteme AI
- AI / ML
- TOATE
- Permiterea
- de-a lungul
- deja
- de asemenea
- sumă
- an
- și
- O alta
- Orice
- aplicație
- securitatea aplicațiilor
- aplicatii
- arbitrar
- arhitect
- arhitecți
- SUNT
- în jurul
- a sosit
- artificial
- inteligență artificială
- Inteligența artificială (AI)
- AS
- activ
- Bunuri
- asociate
- At
- ataca
- Autentificare
- autorizare
- autonom
- conştient
- AWS
- înapoi
- fundal
- de bază
- Noțiuni de bază
- Luptă
- BE
- deveni
- fost
- înainte
- în spatele
- fiind
- consideră că
- beneficiind
- părtinire
- Mare
- Cea mai mare
- Proiect de lege
- Sângerare
- îmbolnăvit
- încălcări
- adus
- cataramă
- construi
- constructori
- Clădire
- construit
- afaceri
- dezvoltarea afacerii
- dar
- by
- C-suite
- denumit
- apeluri
- CAN
- capacități
- capturat
- mașină
- prins
- Provoca
- sigur
- lanţ
- contesta
- si-a schimbat hainele;
- clar
- clar
- Cloud
- infrastructura cloud
- Co-fondator
- co-fondatori
- cod
- combinaţii
- cum
- venire
- comercial
- comunitate
- complex
- conformitate
- componente
- concept
- Concepte
- preocupările
- Congres
- luate în considerare
- constant
- mereu
- conţine
- conţinut
- context
- ar putea
- cuplat
- crashing
- crea
- Crearea
- clienţii care
- Securitate cibernetică
- ciclu
- zilnic
- de date
- zi
- Zi
- Deciziile
- considerate
- defini
- dependențe
- Amenajări
- determinarea
- Dezvoltare
- nu
- diferenţă
- diferit
- diferit
- dificil
- Director
- dispărea
- a descoperit
- distribuite
- do
- documentaţie
- face
- nu
- don
- jos
- conducere
- în timpul
- Mai devreme
- Devreme
- ecosistem
- Margine
- efect
- element
- altfel
- încorporat
- Fără sfârşit
- executare
- inginerii
- suficient de
- Afacere
- entități
- Mediu inconjurator
- Eră
- În esență,
- Chiar
- Fiecare
- toată lumea
- tot
- pretutindeni
- exemplu
- a executa
- executiv
- exista
- existent
- extins
- experți
- explicând
- explică
- explozie
- exponențial
- extensiv
- Față
- Modă
- FAST
- federal
- Fișier
- Firmă
- firme
- First
- prima mână
- Repara
- fanionat
- defectuoasă
- defecte
- următor
- Pentru
- formă
- găsit
- Fundație
- fondatorii
- cadre
- din
- alimentat
- funcții
- finanțate
- viitor
- câștigă
- poartă
- generativ
- AI generativă
- obține
- obtinerea
- GitHub
- Da
- licărire
- Caritate
- merge
- bine
- am
- guverna
- guvernare
- acordarea
- foarte mult
- Creștere
- HAD
- Jumătate
- Mai tare
- rău
- Avea
- he
- ajutor
- Ascuns
- cea mai mare
- extrem de
- -l
- lui
- istorie
- Cum
- Cum Pentru a
- Totuși
- HTTPS
- mare
- i
- identifica
- if
- Impactul
- implicații
- in
- incident
- răspuns la incident
- include
- Inclusiv
- Creșteri
- incredibil
- incredibil
- aflux
- Infrastructură
- inerent
- inovatoare
- Inovaţie
- nesigur
- integritate
- Inteligență
- în
- implicare
- ISN
- problema
- probleme de
- IT
- ESTE
- în sine
- ianuarie
- Loc de munca
- jpg
- iunie
- doar
- A pastra
- păstrare
- păstrează
- Copil
- Cunoaște
- cunoştinţe
- lipsă
- scară
- mai tarziu
- lansare
- lider
- Liderii
- învăţare
- cel mai puțin
- stânga
- Nivel
- Viaţă
- ca
- Probabil
- descendență
- încărca
- Lung
- cautati
- profilează
- Lot
- maşină
- masina de învățare
- făcut
- major
- Majoritate
- face
- FACE
- administra
- administrare
- mandate
- multe
- Materiale
- materie
- me
- mijloace
- Metadata
- mințile
- Mod de gândire
- ratat
- dispărut
- amesteca
- ML
- model
- Modele
- Modern
- Impuls
- luni
- mai mult
- cele mai multe
- muta
- mişcare
- mult
- nume
- și anume
- Navigaţi
- Nevoie
- reţea
- nu
- Nou
- firme noi
- ştiri
- Nu.
- roman
- noiembrie
- acum
- număr
- observaţie
- evident
- of
- de multe ori
- on
- dată
- ONE
- cele
- on-line
- afară
- deschide
- open-source
- deschis
- operațional
- or
- organizații
- origine
- Altele
- afară
- producție
- exterior
- peste
- supraveghea
- Pace
- modele
- permisiune
- permisiuni
- fizic
- ales
- bucată
- piese
- Loc
- platformă
- Plato
- Informații despre date Platon
- PlatoData
- Politicile
- Popular
- Predictii
- în prealabil
- Prioritizarea
- Problemă
- probleme
- Proceduri
- procese
- profesioniști
- proprietate
- PROS
- proteja
- furniza
- Împinge
- pune
- repede
- gamă
- rapid
- RE
- Citeste
- lumea reală
- realiza
- realizat
- într-adevăr
- recunoaște
- regulator
- Autoritățile de reglementare
- autoritățile de reglementare
- se bazează
- depozit
- cercetare
- răspuns
- responsabilitate
- REST
- restrânge
- rezultat
- dreapta
- Risc
- modele de risc
- rolurile
- s
- Siguranţă
- Said
- acelaşi
- văzut
- Spune
- spune
- scanare
- scanare
- scanări
- oamenii de stiinta
- domeniu
- Al doilea
- securitate
- vedea
- vedere
- pare
- Serios
- set
- Umbră
- comun
- schimbare
- să
- Semne
- asemănător
- situație
- So
- Software
- componente software
- de dezvoltare de software
- lanțul de aprovizionare cu software
- solid
- soluţie
- soluţii
- unele
- Cineva
- ceva
- sunete
- Sursă
- uzat
- patrona
- Sponsorizat
- părțile interesate
- Standuri
- Începe
- început
- Stat
- paşi
- Stop
- puternic
- structurat
- Incercand
- livra
- lanțului de aprovizionare
- a sustine
- Suprafață
- Suspect
- sistem
- sisteme
- tabel
- tackling
- Lua
- Tehnologia
- Inovația tehnologică
- spune
- decât
- acea
- Noțiuni de bază
- Viitorul
- lor
- Lor
- apoi
- Acolo.
- Acestea
- ei
- lucru
- lucruri
- crede
- Al treilea
- acest
- aceste
- gândit
- mii
- trei
- Prin
- timp
- la
- astăzi
- împreună
- a spus
- de asemenea
- Unelte
- urmări
- tradiţional
- Tren
- dresat
- Pregătire
- tranziţie
- declanşa
- Adevăr
- încercat
- Două
- în cele din urmă
- înţelege
- înţelegere
- unic
- us
- utilizare
- utilizat
- util
- utilizatorii
- folosind
- variabil
- varietate
- Ve
- foarte
- virus
- vizibilitate
- Vulnerabilitățile
- vulnerabil
- vrea
- a fost
- Cale..
- we
- BINE
- a mers
- au fost
- au fost
- Ce
- cand
- dacă
- care
- în timp ce
- OMS
- a caror
- pe larg
- voi
- cu
- Apartamente
- a lucrat
- lume
- mai rău
- ar
- scrie
- ani
- Tu
- Ta
- zephyrnet