Če ste mislili, da je problem varnosti dobavne verige programske opreme danes dovolj težak, se pripnite. Zaradi eksplozivne rasti uporabe umetne inteligence (AI) bo te težave v dobavni verigi v prihodnjih letih eksponentno težje reševati.
Razvijalci, strokovnjaki za varnost aplikacij in strokovnjaki za DevSecOps so poklicani, da odpravijo napake z največjim tveganjem, ki se skrivajo v neskončnih kombinacijah odprtokodnih in lastniških komponent, ki so vtkane v njihove aplikacije in infrastrukturo v oblaku. Vendar je nenehna bitka, ko poskušamo razumeti, katere komponente imajo, katere so ranljive in katere pomanjkljivosti jih najbolj ogrožajo. Jasno je, da se že trudijo, da bi razumno upravljali te odvisnosti v svoji programski opremi, kakršna je.
Kar bo postalo težje, je multiplikacijski učinek, ki ga bo umetna inteligenca dodala situaciji.
Modeli AI kot samoizvajajoča koda
Orodja, ki podpirajo umetno inteligenco in strojno učenje (ML), so enaka programska oprema kot katera koli druga vrsta aplikacij – njihova koda pa je prav tako verjetno prizadeta zaradi negotovosti dobavne verige. Vendar mešanici dodajo še eno spremenljivko sredstev, ki močno poveča površino napadov dobavne verige programske opreme AI: modele AI/ML.
»Kar ločuje aplikacije AI od vseh drugih oblik programske opreme, je to, da [se na nek način ali modno zanašajo] na stvar, imenovano model strojnega učenja,« pojasnjuje Daryan Dehghanpisheh, soustanovitelj Protect AI. »Posledično je sam model strojnega učenja zdaj prednost vaše infrastrukture. Ko imate sredstvo v svoji infrastrukturi, potrebujete možnost skeniranja vašega okolja, prepoznavanja, kje so, kaj vsebujejo, kdo ima dovoljenja in kaj počne. In če tega ne moreš narediti z današnjimi modeli, jih ne moreš upravljati.”
Modeli AI/ML zagotavljajo osnovo za sposobnost sistema AI za prepoznavanje vzorcev, napovedovanje, sprejemanje odločitev, sprožitev dejanj ali ustvarjanje vsebine. Toda resnica je, da večina organizacij sploh ne ve, kako bi sploh začela pridobivati vpogled v vse modele AI, vdelane v njihovo programsko opremo. Modeli in infrastruktura okoli njih so zgrajeni drugače kot druge komponente programske opreme, tradicionalna varnostna in programska orodja pa niso zasnovana tako, da bi iskala ali razumela, kako modeli AI delujejo ali kako so pomanjkljivi. To je tisto, zaradi česar so edinstveni, pravi Dehghanpisheh, ki pojasnjuje, da so v bistvu skriti deli samoizvršljive kode.
»Model je po zasnovi samoizvajajoč se del kode. Ima določeno mero posredništva,« pravi Dehghanpisheh. »Če bi vam rekel, da imate po vsej infrastrukturi sredstva, ki jih ne vidite, ne morete identificirati, ne veste, kaj vsebujejo, ne veste, kakšna je koda, in se samoizvršijo in imeti zunanje klice, to zveni sumljivo kot virus dovoljenj, kajne?«
Prvi opazovalec negotovosti AI
Prehitevanje tega vprašanja je bil velik zagon za njim in njegovimi soustanovitelji, ki so leta 2022 lansirali Protect AI, ki je eno od množice novih podjetij, ki se pojavljajo za reševanje težav z varnostjo modelov in podatkovne linije, ki grozijo v dobi umetne inteligence. Dehghanpisheh in soustanovitelj Ian Swanson sta videla pogled v prihodnost, ko sta prej skupaj delala pri izdelavi rešitev AI/ML pri AWS. Dehghanpisheh je bil globalni vodja za arhitekte rešitev AI/ML.
»V času, ki smo ga preživeli skupaj v AWS, smo videli stranke, ki neverjetno hitro gradijo sisteme AI/ML, dolgo preden je generativni AI zajel srca in misli vseh, od C-suite do kongresa,« pravi in pojasnjuje, da sodeloval je z vrsto inženirjev in strokovnjakov za poslovni razvoj ter veliko delal s strankami. "Takrat smo spoznali, kako in kje so varnostne ranljivosti, edinstvene za sisteme AI/ML."
Opazili so tri osnovne stvari o AI/ML, ki so imele neverjetne posledice za prihodnost kibernetske varnosti, pravi. Prvi je bil, da je bil tempo sprejemanja tako hiter, da so na lastne oči videli, kako hitro se okrog razvoja umetne inteligence in poslovne uporabe pojavljajo subjekti IT v senci, ki so se izognili vrsti upravljanja, ki bi nadziralo vse druge vrste razvoja v podjetju.
Drugi je bil, da so večino orodij, ki so bila uporabljena – ne glede na to, ali so komercialna ali odprtokodna – izdelali podatkovni znanstveniki in nadobudni inženirji ML, ki se nikoli niso učili o varnostnih konceptih.
»Posledično ste imeli res uporabna, zelo priljubljena, zelo razširjena, široko sprejeta orodja, ki niso bila izdelana z miselnostjo, ki je na prvem mestu varnost,« pravi.
Sistemi umetne inteligence niso zgrajeni "varnost na prvem mestu"
Posledično številni sistemi AI/ML in skupna orodja nimajo osnov za preverjanje pristnosti in avtorizacije ter pogosto dodeljujejo preveč dostopa za branje in pisanje v datotečnih sistemih, pojasnjuje. Skupaj z nezanesljivimi omrežnimi konfiguracijami in nato s temi inherentnimi težavami v modelih se organizacije začnejo zapletati v kaskadne varnostne težave v teh zelo zapletenih, težko razumljivih sistemih.
»Zaradi tega smo spoznali, da obstoječa varnostna orodja, procesi, okviri – ne glede na to, kako levo ste se premaknili, manjkajo kontekst, ki bi ga potrebovali inženirji strojnega učenja, podatkovni znanstveniki in ustvarjalci umetne inteligence,« pravi.
Nazadnje, tretja glavna ugotovitev, ki sta jo on in Swanson naredila v teh dneh AWS, je bila, da kršitev umetne inteligence ni bilo. So že prišli.
»Videli smo, da imajo stranke vdore v različne sisteme AI/ML, ki bi jih morali odkriti, a niso,« pravi. »To nam je povedalo, da nabor in procesi ter elementi upravljanja odzivanja na incidente niso bili namensko zgrajeni za način, kako je bil zasnovan AI/ML. Ta problem je postal veliko hujši, ko je generativna umetna inteligenca dobila zagon.«
Modeli AI so široko razširjeni
Dehghanpisheh in Swanson sta prav tako začela opazovati, kako modeli in podatki o usposabljanju ustvarjajo edinstveno novo dobavno verigo umetne inteligence, ki bi jo bilo treba obravnavati prav tako resno kot ostalo dobavno verigo programske opreme. Tako kot pri preostalem sodobnem razvoju programske opreme in inovacijah, ki izvirajo iz oblaka, so podatkovni znanstveniki in strokovnjaki za umetno inteligenco spodbujali napredek v sistemih AI/ML s široko uporabo odprtokodnih in skupnih komponent – vključno z modeli AI in podatki, ki se uporabljajo za njihovo usposabljanje. Toliko sistemov AI, bodisi akademskih ali komercialnih, je zgrajenih po modelu nekoga drugega. In kot pri preostalem sodobnem razvoju, eksplozija razvoja umetne inteligence še naprej spodbuja ogromen dnevni pritok novih modelnih sredstev, ki se množijo po dobavni verigi, kar pomeni, da jim je vedno težje slediti.
Vzemite na primer Hugging Face. To je danes eno najpogosteje uporabljenih skladišč odprtokodnih modelov umetne inteligence na spletu – njegovi ustanovitelji pravijo, da želijo biti GitHub AI. Novembra 2022 so uporabniki Hugging Face s skupnostjo delili 93,501 različnih modelov. Naslednji november je to naraslo na 414,695 modelov. Zdaj, le tri mesece pozneje, se je to število povečalo na 527,244. To je vprašanje, katerega obseg se iz dneva v dan povečuje. In problem varnosti dobavne verige programske opreme bo postavil "na steroide", pravi Dehghanpisheh.
A nedavne analize njegovo podjetje je odkrilo na tisoče modelov, ki so odprto objavljeni na Hugging Face, lahko izvajajo poljubno kodo pri nalaganju ali sklepanju modela. Medtem ko Hugging Face opravi nekaj osnovnega skeniranja svojega skladišča glede varnostnih težav, je veliko modelov na poti spregledanih – platforma vsaj polovico modelov z visokim tveganjem, odkritih v raziskavi, ni ocenila za nevarne, in Hugging Face to jasno navaja v dokumentaciji da je ugotavljanje varnosti modela v končni fazi odgovornost njegovih uporabnikov.
Koraki za reševanje dobavne verige umetne inteligence
Dehghanpisheh verjame, da se bo osrednji del kibernetske varnosti v dobi umetne inteligence začel najprej z ustvarjanjem strukturiranega razumevanja linije umetne inteligence. To vključuje poreklo modela in poreklo podatkov, ki sta v bistvu izvor in zgodovina teh sredstev, kako so bila spremenjena in z njimi povezani metapodatki.
»To je prvo mesto za začetek. Ne moreš popraviti tistega, česar ne vidiš, česar ne veš in česar ne moreš definirati, kajne?« on reče.
Medtem pa Dehghanpisheh na vsakodnevni operativni ravni meni, da morajo organizacije zgraditi zmogljivosti za skeniranje svojih modelov in iskanje napak, ki lahko vplivajo ne le na utrjevanje sistema, temveč tudi na celovitost njegovega rezultata. To vključuje težave, kot sta pristranskost umetne inteligence in okvare, ki bi lahko povzročile fizične poškodbe v resničnem svetu zaradi, na primer, trčenja avtonomnega avtomobila v pešca.
"Prva stvar je, da morate skenirati," pravi. »Druga stvar je, da morate razumeti te preglede. In tretjič, ko imate nekaj, kar je označeno, morate v bistvu preprečiti aktiviranje tega modela. Omejiti morate njegovo agencijo.«
Pritisk za MLSecOps
MLSecOps je gibanje nevtralno glede prodajalca, ki odraža gibanje DevSecOps v tradicionalnem svetu programske opreme.
»Podobno kot pri prehodu iz DevOps v DevSecOps, morate storiti dve stvari hkrati. Prva stvar, ki jo morate narediti, je, da praktike ozavestite, da je varnost izziv in da je skupna odgovornost,« pravi Dehghanpisheh. »Druga stvar, ki jo morate storiti, je dati kontekst in postaviti varnost v orodja, ki ohranjajo podatkovne znanstvenike, inženirje strojnega učenja [in] razvijalce umetne inteligence na vrhuncu moči in nenehno inovirajo, vendar omogočajo, da skrbi glede varnosti izginejo v ozadje. .”
Poleg tega pravi, da bodo morale organizacije začeti dodajati politike upravljanja, tveganja in skladnosti ter zmogljivosti uveljavljanja in postopke odzivanja na incidente, ki pomagajo upravljati dejanja in procese, ki se zgodijo, ko se odkrijejo negotovosti. Kot pri trdnem ekosistemu DevSecOps to pomeni, da bo MLSecOps potreboval močno sodelovanje poslovnih deležnikov vse do vodstvene lestvice.
Dobra novica je, da ima varnost AI/ML koristi od ene stvari, ki je ni imela nobena druga hitra tehnološka inovacija takoj po izhodu – namreč regulativni mandati takoj po izhodu iz vrat.
»Pomislite na kateri koli drug tehnološki prehod,« pravi Dehghanpisheh. »Navedite enkrat, ko so zvezni regulatorji ali celo državni regulatorji tako zgodaj rekli: 'Vau, vau, vau, povedati mi moraš vse, kar je v njem. Prednost morate dati poznavanju tega sistema. Kosniku materiala morate dati prednost. Ni ga."
To pomeni, da je večja verjetnost, da se bodo mnogi vodilni na področju varnosti odločili za izgradnjo varnostnih zmogljivosti AI veliko prej v življenjskem ciklu inovacije. Eden najbolj očitnih znakov te podpore je hiter prehod na sponzoriranje novih delovnih mest v organizacijah.
»Največja razlika, ki jo je regulativna miselnost prinesla na mizo, je, da je bil januarja 2023 koncept direktorja varnosti AI nov in ni obstajal. Toda junija ste začeli videvati te vloge,« pravi Dehghanpisheh. "Zdaj so povsod - in so financirani."
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- :ima
- : je
- :ne
- :kje
- ][str
- $GOR
- 10
- 2022
- 2023
- 501
- 7
- a
- sposobnost
- O meni
- akademsko
- dostop
- čez
- dejavnosti
- aktiviranje
- dodajte
- dodajanje
- Poleg tega
- Naslov
- sprejet
- Sprejetje
- napredek
- agencija
- naprej
- AI
- AI modeli
- AI sistemi
- AI / ML
- vsi
- Dovoli
- skupaj
- že
- Prav tako
- znesek
- an
- in
- Še ena
- kaj
- uporaba
- varnost aplikacije
- aplikacije
- samovoljna
- arhitekturno
- arhitekti
- SE
- okoli
- prispeli
- umetni
- Umetna inteligenca
- Umetna inteligenca (AI)
- AS
- sredstvo
- Sredstva
- povezan
- At
- napad
- Preverjanje pristnosti
- pooblastilo
- avtonomno
- zaveda
- AWS
- nazaj
- ozadje
- Osnovni
- Osnove
- Bitka
- BE
- postanejo
- bilo
- pred
- zadaj
- počutje
- meni
- koristi
- pristranskosti
- Big
- največji
- Bill
- Krvavitev
- močan
- kršitve
- prinesel
- sponke
- izgradnjo
- gradbeniki
- Building
- zgrajena
- poslovni
- poslovni razvoj
- vendar
- by
- C-apartma
- se imenuje
- poziva
- CAN
- Zmogljivosti
- Zajeto
- voziček
- ujete
- Vzrok
- nekatere
- verige
- izziv
- spremenilo
- jasno
- jasno
- Cloud
- oblačna infrastruktura
- So-ustanovitelj
- soustanovitelji
- Koda
- kombinacije
- kako
- prihajajo
- komercialna
- skupnost
- kompleksna
- skladnost
- deli
- Koncept
- koncepti
- Skrbi
- Kongres
- šteje
- stalna
- nenehno
- vsebujejo
- vsebina
- ozadje
- bi
- skupaj
- treskav
- ustvarjajo
- Ustvarjanje
- Stranke, ki so
- Cybersecurity
- cikel
- vsak dan
- datum
- dan
- Dnevi
- odločitve
- šteje
- opredeliti
- odvisnosti
- Oblikovanje
- določanje
- Razvoj
- ni
- Razlika
- drugačen
- drugače
- težko
- Direktor
- izginejo
- odkril
- porazdeljena
- do
- Dokumentacija
- ne
- ne
- don
- navzdol
- vožnjo
- med
- prej
- Zgodnje
- ekosistem
- Edge
- učinek
- elementi
- ostalo
- vgrajeni
- Endless
- izvršba
- Inženirji
- dovolj
- Podjetje
- subjekti
- okolje
- Era
- v bistvu
- Tudi
- Tudi vsak
- vsi
- vse
- Povsod
- Primer
- izvršiti
- izvršni
- obstajajo
- obstoječih
- razširiti
- Strokovnjaki
- pojasnjujejo
- Pojasni
- eksplozija
- eksponentno
- obširno
- Obraz
- Moda
- FAST
- Zvezna
- file
- Firm
- podjetja
- prva
- iz prve roke
- fiksna
- označeno
- pomanjkljiv
- napake
- po
- za
- obrazec
- je pokazala,
- Fundacija
- ustanoviteljev
- okviri
- iz
- gorivo
- funkcije
- stvarno
- Prihodnost
- pridobivanje
- vrata
- generativno
- Generativna AI
- dobili
- pridobivanje
- GitHub
- Daj
- Pogled
- Globalno
- dogaja
- dobro
- prisodil
- upravljati
- upravljanje
- odobri
- zelo
- Rast
- imel
- Pol
- težje
- škodovalo
- Imajo
- he
- pomoč
- skrita
- najvišja
- zelo
- ga
- njegov
- zgodovina
- Kako
- Kako
- Vendar
- HTTPS
- velika
- i
- identificirati
- if
- vpliv
- posledice
- in
- nesreča
- odziv na incident
- vključuje
- Vključno
- Poveča
- Neverjetno
- neverjetno
- priliv
- Infrastruktura
- inherentno
- inoviranje
- Inovacije
- negotov
- celovitost
- Intelligence
- v
- sodelovanje
- isn
- vprašanje
- Vprašanja
- IT
- ITS
- sam
- januar
- Job
- jpg
- junij
- samo
- Imejte
- vzdrževanje
- ohranja
- Otrok
- Vedite
- znanje
- Pomanjkanje
- lestev
- pozneje
- začetek
- Vodja
- Voditelji
- učenje
- vsaj
- levo
- Stopnja
- življenje
- kot
- Verjeten
- rod
- obremenitev
- Long
- si
- statve
- Sklop
- stroj
- strojno učenje
- je
- velika
- Večina
- Znamka
- IZDELA
- upravljanje
- upravljanje
- mandati
- več
- materiali
- Matter
- me
- pomeni
- metapodatki
- misli
- Miselnost
- zamudili
- manjka
- mix
- ML
- Model
- modeli
- sodobna
- Momentum
- mesecev
- več
- Najbolj
- premikanje
- Gibanje
- veliko
- Ime
- in sicer
- Krmarjenje
- Nimate
- mreža
- nikoli
- Novo
- nova podjetja
- novice
- št
- roman
- november
- zdaj
- Številka
- Opazovanje
- Očitna
- of
- pogosto
- on
- enkrat
- ONE
- tiste
- na spletu
- samo
- odprite
- open source
- odkrito
- operativno
- or
- organizacije
- poreklo
- Ostalo
- ven
- izhod
- zunaj
- več
- nadzirati
- Pace
- vzorci
- Dovoljenje
- Dovoljenja
- fizično
- izbrali
- kos
- kosov
- Kraj
- platforma
- platon
- Platonova podatkovna inteligenca
- PlatoData
- politike
- Popular
- Napovedi
- prej
- Prednost
- problem
- Težave
- Postopki
- Procesi
- strokovnjaki
- lastniško
- PROS
- zaščito
- zagotavljajo
- Push
- dal
- hitro
- območje
- hitro
- RE
- Preberi
- resnični svet
- uresničitev
- realizirano
- res
- priznajo
- regulator
- Regulatorji
- regulatorni
- zanašajo
- Skladišče
- Raziskave
- Odgovor
- Odgovornost
- REST
- omejiti
- povzroči
- Pravica
- Tveganje
- modeli tveganja
- vloge
- s
- Varnost
- Je dejal
- Enako
- Videl
- pravijo,
- pravi
- skeniranje
- skeniranje
- skenira
- Znanstveniki
- Obseg
- drugi
- varnost
- glej
- videnje
- Zdi se,
- resno
- nastavite
- Shadow
- deli
- premik
- shouldnt
- Znaki
- Podoben
- Razmere
- So
- Software
- komponente programske opreme
- Razvoj programske opreme
- dobavna veriga programske opreme
- trdna
- Rešitev
- rešitve
- nekaj
- nekdo
- Nekaj
- zvoki
- vir
- porabljen
- sponzor
- Sponzorirane
- interesne skupine
- stojala
- Začetek
- začel
- Država
- Koraki
- stop
- močna
- strukturirano
- Boriti se
- dobavi
- dobavne verige
- podpora
- Površina
- Sumljivo
- sistem
- sistemi
- miza
- reševanje
- Bodite
- Tehnologija
- Tehnološka inovacija
- povej
- kot
- da
- O
- Osnove
- Prihodnost
- njihove
- Njih
- POTEM
- Tukaj.
- te
- jih
- stvar
- stvari
- mislim
- tretja
- ta
- tisti,
- mislil
- tisoče
- 3
- skozi
- čas
- do
- danes
- skupaj
- Rekel
- tudi
- orodja
- sledenje
- tradicionalna
- Vlak
- usposobljeni
- usposabljanje
- Prehod
- sprožijo
- Resnica
- poskuša
- dva
- Konec koncev
- razumeli
- razumevanje
- edinstven
- us
- uporaba
- Rabljeni
- koristno
- Uporabniki
- uporabo
- spremenljivka
- raznolikost
- Ve
- zelo
- virus
- vidljivost
- Ranljivosti
- Ranljivi
- želeli
- je
- način..
- we
- Dobro
- šla
- so bili
- weren
- Kaj
- kdaj
- ali
- ki
- medtem
- WHO
- katerih
- pogosto
- bo
- z
- delo
- delal
- svet
- slabše
- bi
- pisati
- let
- Vi
- Vaša rutina za
- zefirnet