Ha úgy gondolta, hogy a szoftver-ellátási lánc biztonsági problémája ma elég nehéznek bizonyult, kapcsolja be. A mesterséges intelligencia (AI) használatának robbanásszerű növekedése az elkövetkező években exponenciálisan megnehezíti az ellátási lánc kérdéseit.
A fejlesztőket, az alkalmazásbiztonsági szakembereket és a DevSecOps szakembereket arra kérik, hogy javítsák ki a legnagyobb kockázatú hibákat, amelyek az alkalmazásaikba és a felhő-infrastruktúrába szőtt nyílt forráskódú és szabadalmaztatott összetevők végtelen kombinációiban rejlenek. De ez egy állandó harc, hogy megpróbálják megérteni, mely összetevők vannak, melyek sérülékenyek, és mely hibák teszik őket leginkább veszélybe. Nyilvánvaló, hogy már most is küzdenek azért, hogy ésszerűen kezeljék ezeket a függőségeket a szoftverükben, ahogy van.
Ami még nehezebb lesz, az az a multiplikátorhatás, amelyet az AI hozzátesz a helyzethez.
AI modellek mint önvégrehajtó kód
A mesterséges intelligencia és a gépi tanulás (ML) által támogatott eszközök ugyanolyan szoftverek, mint bármely más alkalmazás – és a kódjuk is ugyanúgy szenved az ellátási lánc bizonytalanságától. Azonban egy másik eszközváltozót is hozzáadnak a keverékhez, amely nagymértékben megnöveli az AI-szoftver ellátási láncának támadási felületét: az AI/ML modelleket.
„Az AI-alkalmazásokat az különbözteti meg a többi szoftvertől, hogy valamilyen módon vagy módon egy gépi tanulási modellre támaszkodnak” – magyarázza Daryan Dehghanpisheh, a Protect AI társalapítója. „Ennek eredményeként maga a gépi tanulási modell most már az infrastruktúra eszközévé válik. Ha van egy eszköz az infrastruktúrájában, képesnek kell lennie arra, hogy átvizsgálja a környezetét, azonosítsa, hol vannak, mit tartalmaz, kinek van engedélye, és mit csinál. És ha ma ezt nem tudod megtenni a modellekkel, akkor nem tudod kezelni őket.”
Az AI/ML modellek biztosítják az AI-rendszerek azon képességét, hogy felismerjék a mintákat, előrejelzéseket készítsenek, döntéseket hozzanak, cselekvéseket indítsanak el vagy tartalmat hozzon létre. De az igazság az, hogy a legtöbb szervezet még azt sem tudja, hogyan kezdjen el láthatóságot szerezni a szoftverébe ágyazott AI-modellekről. A modellek és a körülöttük lévő infrastruktúra másként épül fel, mint a többi szoftverkomponens, és a hagyományos biztonsági és szoftvereszközöket nem arra építették, hogy megkeressék vagy megértsék az AI-modellek működését vagy hibáit. Ez az, ami egyedivé teszi őket, mondja Dehghanpisheh, aki elmagyarázza, hogy ezek lényegében az önvégrehajtó kód rejtett részei.
„A modell tervezésénél fogva egy önvégrehajtó kódrészlet. Van egy bizonyos mértékű ügynökség” – mondja Dehghanpisheh. "Ha azt mondanám neked, hogy az egész infrastruktúrádban olyan eszközök vannak, amelyeket nem látsz, nem tudsz azonosítani, nem tudod, mit tartalmaznak, nem tudod, mi a kód, és maguk hajtanak végre és külső hívások vannak, ez gyanúsan úgy hangzik, mint egy engedélyvírus, nem?
A mesterséges intelligencia bizonytalanságának korai megfigyelője
A probléma előmozdítása volt a nagy lendület mögötte és társalapítói mögött, akik 2022-ben elindították a Protect AI-t, ami egyike azoknak az új cégeknek, amelyek a mesterséges intelligencia korszakában felmerülő modellbiztonsági és adatátviteli problémák megoldására törekednek. Dehghanpisheh és társalapítója, Ian Swanson bepillantást nyert a jövőbe, amikor korábban együtt dolgoztak az AWS-nél AI/ML megoldások kidolgozásában. Dehghanpisheh volt az AI/ML megoldások tervezőinek globális vezetője.
„Az AWS-nél együtt töltött idő alatt azt láttuk, hogy az ügyfelek hihetetlenül gyors ütemben építettek AI/ML rendszereket, jóval azelőtt, hogy a generatív AI mindenki szívét és elméjét megragadta volna a C-suite-tól a Kongresszusig” – mondja. számos mérnökkel és üzletfejlesztési szakértővel dolgozott együtt, valamint széles körben az ügyfelekkel. "Ekkor jöttünk rá, hogyan és hol vannak az AI/ML rendszerekre jellemző biztonsági rések."
Három alapvető dolgot figyeltek meg az AI/ML-ben, amelyek hihetetlen hatással voltak a kiberbiztonság jövőjére, mondja. Az első az volt, hogy az elfogadás üteme olyan gyors volt, hogy első kézből látták, milyen gyorsan jelennek meg az árnyékinformatikai entitások a mesterséges intelligencia fejlesztése és az üzleti felhasználás körül, amelyek elkerülték azt a fajta irányítást, amely a vállalat bármely más fejlesztését felügyelné.
A második az volt, hogy a használt eszközök többségét – akár kereskedelmi, akár nyílt forráskódú – adattudósok és feltörekvő ML-mérnökök készítették, akik soha nem kaptak képzést a biztonsági koncepciók terén.
„Ennek eredményeként valóban hasznos, nagyon népszerű, nagyon elterjedt, széles körben elfogadott eszközei voltak, amelyek nem a biztonságot első helyen álló gondolkodásmóddal készültek” – mondja.
A mesterséges intelligenciarendszerek nem „első a biztonság”
Ennek eredményeként sok AI/ML rendszer és megosztott eszköz nem rendelkezik a hitelesítés és engedélyezés alapjaival, és gyakran túl sok olvasási és írási hozzáférést biztosít a fájlrendszerekben – magyarázza. A nem biztonságos hálózati konfigurációkkal, majd a modellekben rejlő problémákkal párosulva a szervezetek elkezdenek leragadni ezekben a rendkívül összetett, nehezen érthető rendszerekben a lépcsőzetes biztonsági problémákban.
„Ez rádöbbentett bennünket, hogy a meglévő biztonsági eszközök, folyamatok és keretrendszerek – függetlenül attól, hogy milyen váltást hajtott végre – hiányzik az a kontextus, amelyre a gépi tanulási mérnököknek, adattudósoknak és mesterséges intelligenciaépítőknek szükségük lenne” – mondja.
Végül a harmadik jelentős megfigyelés, amelyet Swansonnal az AWS-napok során tett, az volt, hogy nem jönnek mesterséges intelligencia-sértések. Már meg is érkeztek.
„Azt láttuk, hogy az ügyfelek számos AI/ML rendszert sértettek meg, amelyeket el kellett volna kapni, de nem történt meg” – mondja. „Ez azt üzente nekünk, hogy a készletet és a folyamatokat, valamint az incidensre adott válaszkezelési elemeket nem az AI/ML felépítéséhez tervezték. Ez a probléma sokkal súlyosabbá vált, ahogy a generatív AI felgyorsult.”
Az AI modelleket széles körben megosztják
Dehghanpisheh és Swanson azt is elkezdték látni, hogy a modellek és a képzési adatok hogyan hoznak létre egy egyedülálló új AI ellátási láncot, amelyet ugyanolyan komolyan kell venni, mint a szoftverellátási lánc többi részét. Csakúgy, mint a többi modern szoftverfejlesztés és a felhőalapú innováció esetében, az adattudósok és az AI-szakértők a nyílt forráskódú és a megosztott összetevők – köztük a mesterséges intelligencia-modellek és a képzésükhöz használt adatok – burjánzó használatával segítették elő az AI/ML-rendszerek fejlődését. Nagyon sok mesterséges intelligencia rendszer, legyen az akadémiai vagy kereskedelmi, valaki más modellje alapján épül fel. És ahogy a többi modern fejlesztés esetében is, a mesterséges intelligencia fejlesztésének robbanásszerű üteme folyamatosan növeli az új modelleszközök napi hatalmas beáramlását az ellátási láncban, ami azt jelenti, hogy ezek nyomon követése egyre nehezebbé válik.
Vegyük például a Hugging Face-t. Ez a nyílt forráskódú mesterséges intelligencia modellek egyik legszélesebb körben használt tárháza manapság az interneten – alapítói azt mondják, hogy az AI GitHubja szeretnének lenni. 2022 novemberében a Hugging Face felhasználói 93,501 414,695 különböző modellt osztottak meg a közösséggel. A következő novemberben ez 527,244 XNUMX modellre robbant fel. Most, mindössze három hónappal később ez a szám XNUMX XNUMX-re bővült. Ez egy olyan kérdés, amelynek hatóköre napról napra hógolyózik. És ez a szoftverellátási lánc biztonsági problémáját „a szteroidokra” fogja helyezni” – mondja Dehghanpisheh.
A legutóbbi elemzés cége úgy találta, hogy a Hugging Face-en nyíltan megosztott modellek ezrei tetszőleges kódot futtathatnak a modell betöltésekor vagy következtetések levonásakor. Míg a Hugging Face elvégzi a biztonsági problémák alapszintű átvizsgálását az adattárában, sok modell kimaradt az út során – a kutatás során felfedezett magas kockázatú modellek legalább felét nem ítélte biztonságosnak a platform, és a Hugging Face ezt a dokumentációban is egyértelműen kifejti. hogy egy modell biztonságának meghatározása végső soron a felhasználók felelőssége.
Lépések az AI ellátási lánc leküzdéséhez
Dehghanpisheh úgy véli, hogy a kiberbiztonság kulcsa a mesterséges intelligencia korszakában először a mesterséges intelligencia származásának strukturált megértésével kezdődik. Ez magában foglalja a modell- és adatsort, amelyek lényegében ezeknek az eszközöknek az eredetét és történetét, a változtatások módját és a hozzájuk kapcsolódó metaadatokat jelentik.
„Ez az első hely, ahol érdemes elkezdeni. Nem tudod megjavítani, amit nem látsz, amit nem tudsz, és amit nem tudsz meghatározni, igaz? mondja.
Eközben a napi működési szinten Dehghanpisheh úgy véli, hogy a szervezeteknek ki kell építeniük a modelljeik átvizsgálásához szükséges képességeket, keresve azokat a hibákat, amelyek nemcsak a rendszer keményedésére, hanem a kimenet integritására is hatással lehetnek. Ez magában foglalja az olyan problémákat, mint az AI torzítása és meghibásodása, amelyek valós fizikai sérüléseket okozhatnak, ha például egy autonóm autó nekiütközik egy gyalogosnak.
"Az első dolog, hogy be kell szkennelni" - mondja. „A második dolog az, hogy meg kell értened ezeket a szkenneléseket. A harmadik pedig az, hogy miután valami meg van jelölve, lényegében le kell állítania a modell aktiválását. Korlátoznia kell az ügynökségét.”
A Push for MLSecOps
Az MLSecOps egy gyártó-semleges mozgalom, amely a DevSecOps mozgalmat tükrözi a hagyományos szoftvervilágban.
„Hasonlóan a DevOps-ról a DevSecOps-ra való átálláshoz, két dolgot kell egyszerre csinálni. Az első dolog, amit meg kell tennie, hogy tudatosítsa a szakemberekben, hogy a biztonság kihívást jelent, és ez közös felelősség” – mondja Dehghanpisheh. „A második dolog, amit meg kell tennie, hogy kontextust kell adnia, és biztonságot kell helyeznie olyan eszközökbe, amelyek az adattudósokat, a gépi tanulási mérnököket [és] az AI-építőket az élvonalban tartják, és folyamatosan újítanak, de lehetővé teszik, hogy a biztonsági aggályok eltűnjenek a háttérben. .”
Emellett azt mondja, hogy a szervezeteknek el kell kezdeniük hozzáadni az irányítási, kockázati és megfelelőségi irányelveket, valamint a végrehajtási képességeket és az incidensekre reagáló eljárásokat, amelyek segítik a bizonytalanságok felfedezésekor végbemenő tevékenységek és folyamatok irányítását. A szilárd DevSecOps ökoszisztémához hasonlóan ez azt jelenti, hogy az MLSecOps-nak erős részvételre lesz szüksége az üzleti érdekelt felektől egészen a vezetői ranglétrán.
A jó hír az, hogy az AI/ML biztonság egy olyan dologból profitál, amelyet egyetlen más gyorstechnológiai innováció sem kapott azonnal – nevezetesen a szabályozási felhatalmazások közvetlenül a kapun kívül.
„Gondoljon minden más technológiai átállásra” – mondja Dehghanpisheh. „Nevezzen meg egy alkalmat, amikor egy szövetségi szabályozó vagy akár az állami szabályozók ezt mondták már korán: „Hú, hú, ó, mindent el kell mondanod, ami benne van. Előnyben kell részesítenie a rendszer ismeretét. Elsőbbséget kell adnia az anyagjegyzéknek. Nincs ilyen."
Ez azt jelenti, hogy sok biztonsági vezető nagyobb valószínűséggel vesz részt az AI biztonsági képességeinek kiépítésében, sokkal korábban az innováció életciklusában. Ennek a támogatásnak az egyik legnyilvánvalóbb jele az új munkakörök szponzorálása iránti gyors elmozdulás a szervezeteknél.
„A legnagyobb különbség, amit a szabályozási mentalitás hozott az asztalra, az az, hogy 2023 januárjában a mesterségesintelligencia-biztonsági igazgató koncepciója újszerű volt, és nem is létezett. De júniusban elkezdte látni ezeket a szerepeket” – mondja Dehghanpisheh. „Most mindenhol ott vannak – és pénzben is részesülnek.”
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- :van
- :is
- :nem
- :ahol
- ][p
- $ UP
- 10
- 2022
- 2023
- 501
- 7
- a
- képesség
- Rólunk
- egyetemi
- hozzáférés
- át
- cselekvések
- aktiváló
- hozzá
- hozzáadásával
- mellett
- cím
- fogadott
- Örökbefogadás
- fejlesztések
- ügynökség
- előre
- AI
- AI modellek
- AI rendszerek
- AI / ML
- Minden termék
- lehetővé téve
- mentén
- már
- Is
- összeg
- an
- és a
- Másik
- bármilyen
- Alkalmazás
- alkalmazás biztonsága
- alkalmazások
- önkényes
- építette
- építészek
- VANNAK
- körül
- megérkezett
- mesterséges
- mesterséges intelligencia
- Mesterséges intelligencia (AI)
- AS
- vagyontárgy
- Eszközök
- társult
- At
- támadás
- Hitelesítés
- meghatalmazás
- autonóm
- tudatában van
- AWS
- vissza
- háttér
- alapvető
- Alapjai
- Csata
- BE
- válik
- óta
- előtt
- mögött
- hogy
- úgy gondolja,
- részesülő
- előítélet
- Nagy
- Legnagyobb
- Számla
- Vérzés
- megfeneklett
- megsértésének
- hozott
- csat
- épít
- építők
- Épület
- épült
- üzleti
- üzlet fejlesztés
- de
- by
- C-lakosztály
- hívott
- kéri
- TUD
- képességek
- rögzített
- autó
- elkapott
- Okoz
- bizonyos
- lánc
- kihívás
- megváltozott
- világos
- világosan
- felhő
- felhő infrastruktúra
- Társalapító
- társalapítók
- kód
- kombinációk
- hogyan
- érkező
- kereskedelmi
- közösség
- bonyolult
- teljesítés
- alkatrészek
- koncepció
- fogalmak
- aggodalmak
- Kongresszus
- figyelembe vett
- állandó
- állandóan
- tartalmaz
- tartalom
- kontextus
- tudott
- összekapcsolt
- Összeomlik
- teremt
- létrehozása
- Ügyfelek
- Kiberbiztonság
- ciklus
- napi
- dátum
- nap
- Nap
- határozatok
- tekinteni
- meghatározott
- függőségek
- Design
- meghatározó
- Fejlesztés
- nem
- különbség
- különböző
- eltérően
- nehéz
- Igazgató
- eltűnik
- felfedezett
- megosztott
- do
- dokumentáció
- nem
- nem
- Don
- le-
- vezetés
- alatt
- Korábban
- Korai
- ökoszisztéma
- él
- hatás
- elemek
- más
- beágyazott
- Végtelen
- végrehajtás
- Mérnökök
- elég
- Vállalkozás
- Szervezetek
- Környezet
- Ez volt
- lényegében
- Még
- Minden
- mindenki
- minden
- mindenhol
- példa
- kivégez
- végrehajtó
- létezik
- létező
- kiterjesztett
- szakértők
- magyarázó
- Elmagyarázza
- robbanás
- exponenciálisan
- alaposan
- Arc
- Divat
- GYORS
- Szövetségi
- filé
- Cég
- cégek
- vezetéknév
- első kézből
- Rögzít
- megjelölve
- hibás
- hibái
- következő
- A
- forma
- talált
- Alapítvány
- alapítók
- keretek
- ból ből
- táplálta
- funkciók
- finanszírozott
- jövő
- egyre
- kapu
- nemző
- Generatív AI
- kap
- szerzés
- GitHub
- Ad
- megpillant
- Globális
- megy
- jó
- kapott
- kormányoz
- kormányzás
- biztosít
- nagymértékben
- Növekedés
- kellett
- fél
- nehezebb
- kárt
- Legyen
- he
- segít
- Rejtett
- legnagyobb
- nagyon
- őt
- övé
- történelem
- Hogyan
- How To
- azonban
- HTTPS
- hatalmas
- i
- azonosítani
- if
- Hatás
- következményei
- in
- incidens
- eseményre adott válasz
- magában foglalja a
- Beleértve
- Növeli
- hihetetlen
- hihetetlenül
- beáramlás
- Infrastruktúra
- velejáró
- újító
- Innováció
- bizonytalan
- sértetlenség
- Intelligencia
- bele
- bevonása
- Hát
- kérdés
- kérdések
- IT
- ITS
- maga
- január
- Munka
- jpg
- június
- éppen
- Tart
- tartás
- tartja
- Kedves
- Ismer
- tudás
- hiány
- létra
- a későbbiekben
- indítás
- vezető
- vezetők
- tanulás
- legkevésbé
- balra
- szint
- élet
- mint
- Valószínű
- leszármazás
- kiszámításának
- Hosszú
- keres
- fenyegető
- Sok
- gép
- gépi tanulás
- készült
- fontos
- Többség
- csinál
- KÉSZÍT
- kezelése
- vezetés
- megbízások
- sok
- anyagok
- Anyag
- me
- eszközök
- Metaadatok
- elmék
- Gondolkodásmód
- megszakított
- hiányzó
- keverje
- ML
- modell
- modellek
- modern
- Lendület
- hónap
- több
- a legtöbb
- mozog
- mozgalom
- sok
- név
- ugyanis
- Keresse
- Szükség
- hálózat
- soha
- Új
- új cégek
- hír
- nem
- regény
- november
- Most
- szám
- megfigyelés
- Nyilvánvaló
- of
- gyakran
- on
- egyszer
- ONE
- azok
- online
- csak
- nyitva
- nyílt forráskódú
- nyíltan
- operatív
- or
- szervezetek
- származás
- Más
- ki
- teljesítmény
- kívül
- felett
- Felügyelje
- Béke
- minták
- engedély
- engedélyek
- fizikai
- válogatott
- darab
- darabok
- Hely
- emelvény
- Plató
- Platón adatintelligencia
- PlatoData
- Politikák
- Népszerű
- Tippek
- korábban
- Fontossági sorrendet
- Probléma
- problémák
- eljárások
- Folyamatok
- tehetséges alkalmazottal
- szabadalmazott
- PROS
- védelme
- ad
- Nyomja
- tesz
- gyorsan
- hatótávolság
- gyors
- RE
- Olvass
- való Világ
- észre
- realizált
- tényleg
- elismerik
- szabályozó
- Szabályozók
- szabályozók
- támaszkodnak
- raktár
- kutatás
- válasz
- felelősség
- REST
- korlátoz
- eredményez
- jobb
- Kockázat
- kockázati modellek
- szerepek
- s
- Biztonság
- Mondott
- azonos
- látta
- azt mondják
- azt mondja,
- beolvasás
- letapogatás
- vizsgál
- tudósok
- hatálya
- Második
- biztonság
- lát
- látás
- Úgy tűnik,
- Komolyan
- készlet
- árnyék
- megosztott
- váltás
- kellene
- Jelek
- hasonló
- helyzet
- So
- szoftver
- szoftver komponensek
- szoftverfejlesztés
- szoftver ellátási lánc
- szilárd
- megoldások
- Megoldások
- néhány
- Valaki
- valami
- hangok
- forrás
- költött
- szponzor
- Szponzorált
- érdekeltek
- állványok
- kezdet
- kezdődött
- Állami
- Lépései
- megáll
- erős
- szerkesztett
- küzd
- kínálat
- ellátási lánc
- támogatás
- felületi
- Gyanakodva
- rendszer
- Systems
- táblázat
- szerelések
- Vesz
- Technológia
- Technológiai innováció
- mondd
- mint
- hogy
- A
- Az alapok
- A jövő
- azok
- Őket
- akkor
- Ott.
- Ezek
- ők
- dolog
- dolgok
- Szerintem
- Harmadik
- ezt
- azok
- gondoltam
- ezer
- három
- Keresztül
- idő
- nak nek
- Ma
- együtt
- mondta
- is
- szerszámok
- vágány
- hagyományos
- Vonat
- kiképzett
- Képzések
- átmenet
- kiváltó
- igazság
- próbál
- kettő
- Végül
- megért
- megértés
- egyedi
- us
- használ
- használt
- hasznos
- Felhasználók
- segítségével
- változó
- fajta
- Ve
- nagyon
- vírus
- láthatóság
- sérülékenységek
- Sebezhető
- akar
- volt
- Út..
- we
- JÓL
- ment
- voltak
- voltak
- Mit
- amikor
- vajon
- ami
- míg
- WHO
- akinek
- széles körben
- lesz
- val vel
- Munka
- dolgozott
- világ
- rosszabb
- lenne
- ír
- év
- te
- A te
- zephyrnet