Kui arvate, et tarkvara tarneahela turbeprobleem on täna piisavalt keeruline, pange kinni. Tehisintellekti (AI) kasutamise plahvatuslik kasv muudab järgmistel aastatel nende tarneahela probleemidega toimetuleku hüppeliselt raskemaks.
Arendajad, rakenduste turvalisuse professionaalid ja DevSecOpsi professionaalid peavad parandama suurima riskiga vigu, mis varitsevad avatud lähtekoodiga ja patenteeritud komponentide lõputute kombinatsioonidena, mis on nende rakendustesse ja pilveinfrastruktuuri kootud. Kuid see on pidev võitlus, et isegi mõista, millised komponendid neil on, millised on haavatavad ja millised vead seavad need kõige rohkem ohtu. On selge, et neil on juba praegu raskusi nende tarkvara sõltuvuste mõistliku haldamisega.
Raskemaks muutub kordusefekt, mille AI olukorrale lisab.
AI mudelid kui isetäitev kood
AI ja masinõppega (ML) toega tööriistad on samasugused tarkvara nagu mis tahes muud rakendused – ja nende kood kannatab sama suure tõenäosusega ka tarneahela ebakindluse all. Kuid nad lisavad segule veel ühe varamuutuja, mis suurendab oluliselt tehisintellekti tarkvara tarneahela rünnakupinda: AI/ML mudelid.
"AI-rakendusi eristab igast muust tarkvaravormist see, et [nad tuginevad] mingil viisil või viisil asjale, mida nimetatakse masinõppe mudeliks," selgitab Protect AI kaasasutaja Daryan Dehghanpisheh. "Selle tulemusel on see masinõppemudel ise nüüd teie infrastruktuuri vara. Kui teie infrastruktuuris on vara, on teil vaja võimalust oma keskkonda skannida, teha kindlaks, kus see asub, mida see sisaldab, kellel on load ja mida nad teevad. Ja kui te ei saa seda täna modellidega teha, ei saa te neid juhtida."
AI/ML mudelid loovad aluse tehisintellektisüsteemi võimele tuvastada mustreid, teha prognoose, teha otsuseid, käivitada toiminguid või luua sisu. Kuid tõde on see, et enamik organisatsioone ei tea isegi, kuidas saada nähtavaks kõik nende tarkvarasse manustatud AI mudelid. Mudelid ja neid ümbritsev infrastruktuur on üles ehitatud teisiti kui muud tarkvarakomponendid ning traditsioonilised turbe- ja tarkvaratööriistad ei ole loodud selleks, et otsida ega mõista, kuidas tehisintellekti mudelid töötavad või kui need on vigased. See teebki need ainulaadseks, ütleb Dehghanpisheh, kes selgitab, et need on sisuliselt peidetud isetäituva koodi osad.
„Mudel on disainilt isetäituv kooditükk. Sellel on teatud määral agentuuri, ”ütleb Dehghanpisheh. "Kui ma ütlesin teile, et teie infrastruktuuris on varad, mida te ei näe, ei saa tuvastada, te ei tea, mida need sisaldavad, te ei tea, mis on kood ja need käitavad ise ja väliskõnesid teha, see kõlab kahtlaselt loaviirusena, kas pole?
Tehisintellekti ebakindluse varajane vaatleja
Sellest probleemist edasi saamine oli tema ja tema kaasasutajate suur tõuge, mis käivitasid 2022. aastal Protect AI-i, mis on üks uutest ettevõtetest, mis on kerkinud esile, et tegeleda tehisintellekti ajastul tekkivate mudelite turvalisuse ja andmeliini probleemidega. Dehghanpisheh ja kaasasutaja Ian Swanson nägid pilgu tulevikku, kui nad töötasid varem koos AWS-is AI/ML-lahenduste loomisel. Dehghanpisheh oli olnud AI/ML-lahenduste arhitektide ülemaailmne liider.
"AWS-is koos veedetud aja jooksul nägime kliente, kes ehitasid AI/ML-süsteeme uskumatult kiires tempos, ammu enne seda, kui generatiivne AI vallutas kõigi südamed ja mõtted alates C-komplektist kuni Kongressini," ütleb ta ja selgitab, et ta töötas koos paljude inseneride ja äriarenduse ekspertidega, aga ka laialdaselt klientidega. "Siis mõistsime, kuidas ja kus on AI/ML-süsteemidele omased turvanõrkused."
Ta ütleb, et nad täheldasid AI/ML-i kohta kolme peamist asja, millel oli küberjulgeoleku tuleviku jaoks uskumatu mõju. Esimene oli see, et kasutuselevõtu tempo oli nii kiire, et nad nägid omal nahal, kui kiiresti tekkisid tehisintellekti arendamise ja ärikasutuse ümber vari-IT-üksused, mis pääsesid sellisest juhtimisest, mis jälgiks mis tahes muud ettevõtte arengut.
Teine oli see, et enamiku kasutatavatest tööriistadest – olgu see siis kommerts- või avatud lähtekoodiga – ehitasid andmeteadlased ja tulevased ML-insenerid, kes polnud kunagi turvakontseptsioonide alal koolitatud.
"Selle tulemusel olid teil tõesti kasulikud, väga populaarsed, väga levinud ja laialdaselt kasutusele võetud tööriistad, mis ei olnud loodud turvalisusest lähtuvalt," ütleb ta.
AI-süsteemid, mis pole loodud esmajärjekorras turvalisuse pärast
Ta selgitab, et paljudel AI/ML-süsteemidel ja jagatud tööriistadel puuduvad autentimise ja autoriseerimise põhitõed ning sageli antakse failisüsteemides liiga palju lugemis- ja kirjutamisõigust. Koos ebaturvaliste võrgukonfiguratsioonide ja mudelitele omaste probleemidega hakkavad organisatsioonid nendes väga keerulistes ja raskesti mõistetavates süsteemides takerduma turvaprobleemide kaskaadiga.
„See pani meid mõistma, et olemasolevatel turbetööriistadel, protsessidel ja raamistikel – olenemata sellest, kui vasakule läksite – puudus kontekst, mida masinõppeinsenerid, andmeteadlased ja tehisintellekti ehitajad vajaksid,“ ütleb ta.
Lõpuks, kolmas suur tähelepanek, mille ta ja Swanson neil AWS-i päevadel tegid, oli see, et tehisintellekti rikkumisi ei tulnud. Nad olid juba saabunud.
"Nägime, et klientidel on rikkumisi mitmesugustes AI/ML-süsteemides, mida oleks pidanud tabama, kuid mida ei tehtud," ütleb ta. "See ütles meile, et komplekt ja protsessid, samuti intsidentidele reageerimise halduselemendid ei olnud AI/ML-i ülesehituse jaoks mõeldud. See probleem on muutunud palju hullemaks, kuna generatiivne AI sai hoo sisse.
AI mudeleid jagatakse laialdaselt
Dehghanpisheh ja Swanson hakkasid ka nägema, kuidas mudelid ja koolitusandmed loovad ainulaadse uue tehisintellekti tarneahela, mida tuleks käsitleda sama tõsiselt kui ülejäänud tarkvara tarneahelat. Nii nagu ülejäänud kaasaegse tarkvaraarenduse ja pilvepõhise innovatsiooni puhul, on andmeteadlased ja tehisintellekti eksperdid aidanud kaasa tehisintellekti/ML-süsteemide edusammudele avatud lähtekoodiga ja jagatud komponentide – sealhulgas tehisintellekti mudelite ja nende koolitamiseks kasutatavate andmete – jõulise kasutamise kaudu. Paljud AI-süsteemid, olgu need akadeemilised või kommertslikud, on ehitatud kellegi teise mudeli abil. Ja nagu ka muu kaasaegse arenduse puhul, põhjustab tehisintellekti arendamise plahvatuslik suurenemine iga päev tohutut uute mudelivarade sissevoolu kogu tarneahelas, mis tähendab, et nende jälgimine muutub aina raskemaks.
Võtke näiteks Hugging Face. See on tänapäeval Internetis üks enimkasutatavaid avatud lähtekoodiga AI mudelite hoidlaid – selle asutajad ütlevad, et tahavad olla AI GitHub. Veel 2022. aasta novembris olid Hugging Face'i kasutajad kogukonnaga jaganud 93,501 414,695 erinevat mudelit. Järgmisel novembril tõusis see 527,244 XNUMX mudelini. Nüüd, vaid kolm kuud hiljem, on see arv kasvanud XNUMX XNUMX-ni. See on probleem, mille ulatus sajab iga päev. Ja see paneb tarkvara tarneahela turvaprobleemi "steroididele", ütleb Dehghanpisheh.
A hiljutine analüüs tema firma leidis, et tuhanded mudelid, mida Hugging Face'is avalikult jagatakse, võivad mudeli laadimisel või järeldustel käivitada suvalise koodi. Kuigi Hugging Face skannib oma hoidlast mõningaid elementaarseid turbeprobleeme, jäetakse paljud mudelid sellel teel kasutamata – vähemalt pooled uuringu käigus avastatud väga riskiga mudelitest ei olnud platvormi hinnangul ohtlikud ja Hugging Face teeb selle dokumentatsioonis selgeks. et mudeli ohutuse kindlaksmääramine on lõppkokkuvõttes selle kasutajate ülesanne.
Sammud tehisintellekti tarneahela lahendamiseks
Dehghanpisheh usub, et tehisintellekti ajastu küberjulgeoleku võtmed algavad kõigepealt tehisintellekti päritolu struktureeritud arusaamise loomisest. See hõlmab mudeliliini ja andmeliini, mis on sisuliselt nende varade päritolu ja ajalugu, kuidas neid on muudetud ja nendega seotud metaandmed.
"See on esimene koht, kust alustada. Sa ei saa parandada seda, mida sa ei näe ja mida sa ei saa teada ja mida sa ei saa määratleda, eks?” ta ütleb.
Vahepeal usub Dehghanpisheh, et organisatsioonid peavad oma mudelite skannimiseks välja töötama võimalused, et otsida vigu, mis võivad mõjutada mitte ainult süsteemi kõvenemist, vaid ka selle väljundi terviklikkust. See hõlmab selliseid probleeme nagu tehisintellekti kallutatus ja talitlushäired, mis võivad põhjustada reaalset füüsilist kahju, näiteks autonoomse auto kokkupõrkes jalakäijaga.
"Esimene asi on see, et peate skannima, " ütleb ta. "Teine asi on see, et peate neist skaneeringutest aru saama. Ja kolmas on see, et kui teil on midagi, mis on märgistatud, peate sisuliselt selle mudeli aktiveerimise peatama. Peate selle agentuuri piirama."
Push for MLSecOps
MLSecOps on müüja-neutraalne liikumine, mis peegeldab DevSecOpsi liikumist traditsioonilises tarkvaramaailmas.
Sarnaselt DevOpsilt DevSecOpsile üleminekuga peate tegema kahte asja korraga. Esimene asi, mida peate tegema, on teadvustama praktikutele, et turvalisus on väljakutse ja see on jagatud vastutus, " ütleb Dehghanpisheh. "Teine asi, mida peate tegema, on anda kontekst ja lisada turvalisus tööriistadesse, mis hoiavad andmeteadlasi, masinõppeinsenere ja tehisintellekti ehitajaid pidevalt uuenemas, kuid võimaldavad turvaprobleemidel tagaplaanile kaduda. .”
Lisaks ütleb ta, et organisatsioonid peavad hakkama lisama juhtimis-, riski- ja vastavuspoliitikat ning jõustamisvõimalusi ja intsidentidele reageerimise protseduure, mis aitavad juhtida ebakindluse avastamisel toimuvaid toiminguid ja protsesse. Nagu tugeva DevSecOpsi ökosüsteemi puhul, tähendab see, et MLSecOps vajab ettevõtete sidusrühmade tugevat kaasamist kuni tipptasemel ülespoole.
Hea uudis on see, et AI/ML-turvalisus saab kasu ühestki asjast, mida ühelgi teisel kiirel tehnoloogilisel innovatsioonil pole otse väravast välja tulnud – nimelt regulatiivsetest mandaatidest otse väravast väljas.
"Mõelge mis tahes muule tehnoloogia üleminekule, " ütleb Dehghanpisheh. "Nimeta üks kord, kui föderaalregulaator või isegi osariigi reguleerivad asutused on seda varakult öelnud: "Oot, oot, oot, sa pead mulle rääkima kõik, mis selles on. Peate eelistama selle süsteemi tundmist. Peate seadma materjaliarve prioriteediks. Pole ühtegi."
See tähendab, et paljud turbejuhid saavad tõenäolisemalt sisseostu AI turbevõimaluste väljatöötamiseks palju varem innovatsiooni elutsükli jooksul. Selle toetuse üks ilmsemaid märke on kiire üleminek organisatsioonide uute tööülesannete sponsorlusele.
"Suurim erinevus, mille regulatiivne mentaliteet lauale on toonud, on see, et 2023. aasta jaanuaris oli tehisintellekti turvadirektori kontseptsioon uudne ja seda ei eksisteerinud. Kuid juuniks hakkasite neid rolle nägema, ”ütleb Dehghanpisheh. "Nüüd on nad kõikjal ja neid rahastatakse."
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- :on
- :on
- :mitte
- : kus
- ][lk
- $ UP
- 10
- 2022
- 2023
- 501
- 7
- a
- võime
- MEIST
- akadeemiline
- juurdepääs
- üle
- meetmete
- aktiveerimine
- lisama
- lisades
- lisamine
- aadress
- vastu
- Vastuvõtmine
- edusammud
- agentuur
- eespool
- AI
- AI mudelid
- Tehisintellekti süsteemid
- AI / ML
- Materjal: BPA ja flataatide vaba plastik
- Lubades
- mööda
- juba
- Ka
- summa
- an
- ja
- Teine
- mistahes
- taotlus
- rakenduse turvalisus
- rakendused
- omavoliline
- arhitektuur
- arhitektid
- OLEME
- ümber
- saabunud
- kunstlik
- tehisintellekti
- Tehisintellekt (AI)
- AS
- eelis
- vara
- seotud
- At
- rünnak
- Autentimine
- luba
- autonoomne
- teadlik
- AWS
- tagasi
- tagapõhi
- põhiline
- Alused
- lahing
- BE
- muutuma
- olnud
- enne
- taga
- on
- usub,
- kasuks
- erapoolikus
- Suur
- suurim
- arve
- Verejooks
- rabatud
- rikkumisi
- tõi kaasa
- pannal
- ehitama
- ehitajad
- Ehitus
- ehitatud
- äri
- ettevõtluse arendamine
- kuid
- by
- C-sviit
- kutsutud
- Kutsub
- CAN
- võimeid
- pildistatud
- auto
- püütud
- Põhjus
- kindel
- kett
- väljakutse
- muutunud
- selge
- selgelt
- Cloud
- pilve infrastruktuur
- Asutaja
- kaasasutajad
- kood
- kombinatsioonid
- Tulema
- tulevad
- kaubandus-
- kogukond
- keeruline
- Vastavus
- komponendid
- mõiste
- mõisted
- Murettekitav
- Kongress
- kaaluda
- pidev
- pidevalt
- sisaldama
- sisu
- kontekst
- võiks
- seotud
- Krahh
- looma
- loomine
- Kliendid
- Küberturvalisus
- tsükkel
- iga päev
- andmed
- päev
- Päeva
- otsused
- loetakse
- määratlema
- sõltuvused
- Disain
- määrates kindlaks
- & Tarkvaraarendus
- ei teinud
- erinevus
- erinev
- erinevalt
- raske
- Juhataja
- kaovad
- avastasin
- jagatud
- do
- dokumentatsioon
- ei
- ei
- don
- alla
- sõidu
- ajal
- Ajalugu
- Varajane
- ökosüsteemi
- serv
- mõju
- elemendid
- teine
- varjatud
- Lõputu
- jõustamine
- Inseneride
- piisavalt
- ettevõte
- üksuste
- keskkond
- Ajastu
- põhiliselt
- Isegi
- Iga
- igaüks
- kõik
- kõikjal
- näide
- täitma
- täidesaatev
- eksisteerima
- olemasolevate
- laiendatud
- ekspertide
- selgitades
- Selgitab
- plahvatus
- eksponentsiaalselt
- laialdaselt
- nägu
- mood
- KIIRE
- Föderaal-
- fail
- Firma
- ettevõtetele
- esimene
- otse
- Määrama
- märgistatud
- ebakorrektne
- vigu
- Järel
- eest
- vorm
- avastatud
- Sihtasutus
- Asutajad
- raamistikud
- Alates
- Küttega
- funktsioonid
- kogumispensioni
- tulevik
- kasumi saamine
- värav
- generatiivne
- Generatiivne AI
- saama
- saamine
- GitHub
- Andma
- Pilk
- Globaalne
- läheb
- hea
- sain
- valitsevad
- valitsemistava
- anda
- suuresti
- Kasv
- olnud
- Pool
- raskem
- kahju
- Olema
- he
- aitama
- varjatud
- kõrgeim
- kõrgelt
- teda
- tema
- ajalugu
- Kuidas
- Kuidas
- aga
- HTTPS
- tohutu
- i
- identifitseerima
- if
- mõju
- mõjud
- in
- juhtum
- intsidentidele reageerimine
- hõlmab
- Kaasa arvatud
- Tõstab
- uskumatu
- uskumatult
- sissevool
- Infrastruktuur
- omane
- uuenduslik
- Innovatsioon
- ebakindel
- terviklikkuse
- Intelligentsus
- sisse
- kaasamine
- pole
- probleem
- küsimustes
- IT
- ITS
- ise
- Jaanuar
- töö
- jpg
- juuni
- lihtsalt
- hoidma
- pidamine
- hoiab
- Laps
- Teadma
- teadmised
- puudus
- redel
- pärast
- käivitamine
- juht
- juhid
- õppimine
- kõige vähem
- lahkus
- Tase
- elu
- nagu
- Tõenäoliselt
- sugupuu
- koormus
- Pikk
- otsin
- ähvardav
- Partii
- masin
- masinõpe
- tehtud
- peamine
- Enamus
- tegema
- TEEB
- juhtima
- juhtimine
- mandaadid
- palju
- materjalid
- küsimus
- me
- vahendid
- Metaandmed
- mõtetes
- Mõtteviis
- vastamata
- puuduvad
- segu
- ML
- mudel
- mudelid
- Kaasaegne
- Impulss
- kuu
- rohkem
- kõige
- liikuma
- liikumine
- palju
- nimi
- nimelt
- Navigate
- Vajadus
- võrk
- mitte kunagi
- Uus
- uued ettevõtted
- uudised
- ei
- romaan
- November
- nüüd
- number
- tähelepanek
- Ilmne
- of
- sageli
- on
- kunagi
- ONE
- ones
- Internetis
- ainult
- avatud
- avatud lähtekoodiga
- avalikult
- töökorras
- or
- organisatsioonid
- päritolu
- Muu
- välja
- väljund
- väljaspool
- üle
- valvama
- tempo
- mustrid
- luba
- Õigused
- füüsiline
- valitud
- tükk
- tükki
- Koht
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- Poliitika
- populaarne
- Ennustused
- varem
- Prioriteet
- Probleem
- probleeme
- menetlused
- Protsessid
- spetsialistid
- varaline
- PROS
- kaitsma
- anda
- Lükkama
- panema
- kiiresti
- valik
- kiire
- RE
- Lugenud
- päris maailm
- mõistma
- realiseeritud
- tõesti
- tunnistama
- regulaator
- Regulaatorid
- regulatiivne
- lootma
- Hoidla
- teadustöö
- vastus
- vastutus
- REST
- piirata
- kaasa
- õige
- Oht
- riskimudelid
- rollid
- s
- ohutus
- Ütlesin
- sama
- nägin
- ütlema
- ütleb
- skaneerida
- skaneerimine
- skaneerib
- teadlased
- ulatus
- Teine
- turvalisus
- vaata
- nägemine
- tundub
- tõsiselt
- komplekt
- vari
- jagatud
- suunata
- peaks
- Märgid
- sarnane
- olukord
- So
- tarkvara
- tarkvara komponendid
- tarkvaraarenduse
- tarkvara tarneahel
- tahke
- lahendus
- Lahendused
- mõned
- Keegi
- midagi
- helid
- allikas
- kasutatud
- sponsor
- Sponsorite
- huvirühmad
- seisab
- algus
- alustatud
- riik
- Sammud
- Peatus
- tugev
- struktureeritud
- Võitlemine
- varustama
- tarneahelas
- toetama
- Pind
- Kahtlaselt
- süsteem
- süsteemid
- tabel
- tegelemine
- Võtma
- Tehnoloogia
- Tehnoloogia innovatsioon
- öelda
- kui
- et
- .
- Põhitõed
- Tulevik
- oma
- Neile
- SIIS
- Seal.
- Need
- nad
- asi
- asjad
- mõtlema
- Kolmas
- see
- need
- arvasin
- tuhandeid
- kolm
- Läbi
- aeg
- et
- täna
- kokku
- ütles
- liiga
- töövahendid
- jälgida
- traditsiooniline
- Rong
- koolitatud
- koolitus
- üleminek
- vallandada
- Tõde
- üritab
- kaks
- lõpuks
- mõistma
- mõistmine
- ainulaadne
- us
- kasutama
- Kasutatud
- kasulik
- Kasutajad
- kasutamine
- muutuja
- sort
- Ve
- väga
- viirus
- nähtavus
- Haavatavused
- Haavatav
- tahan
- oli
- Tee..
- we
- Hästi
- läks
- olid
- ei olnud
- M
- millal
- kas
- mis
- kuigi
- WHO
- kelle
- laialdaselt
- will
- koos
- Töö
- töötas
- maailm
- halvem
- oleks
- kirjutama
- aastat
- sa
- Sinu
- sephyrnet