Jos luulit ohjelmistojen toimitusketjun tietoturvaongelman olevan tarpeeksi vaikea tänään, kiinnitä se. Tekoälyn (AI) käytön räjähdysmäinen kasvu tekee näistä toimitusketjun ongelmista eksponentiaalisesti vaikeampia tulevina vuosina.
Kehittäjiä, sovellusten tietoturva-ammattilaisia ja DevSecOps-ammattilaisia pyydetään korjaamaan suurimman riskin puutteet, jotka piilevät heidän sovelluksiinsa ja pilviinfrastruktuuriinsa kudottuissa avoimen lähdekoodin ja omien komponenttien loputtomissa yhdistelmissä. Mutta se on jatkuva taistelu yrittää edes ymmärtää, mitkä komponentit niissä on, mitkä ovat haavoittuvia ja mitkä puutteet vaarantavat ne eniten. On selvää, että heillä on jo vaikeuksia hallita näitä ohjelmistojensa riippuvuuksia järkevästi sellaisenaan.
Vaikeammaksi tulee se kerrannaisvaikutus, jonka tekoäly lisää tilanteeseen.
AI-mallit itsesuorittavana koodina
Tekoäly ja koneoppimista tukevat työkalut ovat aivan samoja ohjelmistoja kuin muutkin sovellukset – ja niiden koodi kärsii yhtä todennäköisesti toimitusketjun epävarmuudesta. He kuitenkin lisäävät yhdistelmään toisen omaisuusmuuttujan, joka lisää huomattavasti tekoälyohjelmiston toimitusketjun hyökkäyspintaa: AI/ML-mallit.
"Tekoälysovellukset erottaa kaikista muista ohjelmistoista se, että [ne luottavat] jollain tavalla tai tavalla koneoppimismalliksi kutsuttuun asiaan", selittää Daryan Dehghanpisheh, Protect AI:n perustaja. "Tämän seurauksena koneoppimismalli itsessään on nyt voimavara infrastruktuurissasi. Kun infrastruktuurissasi on omaisuus, tarvitset kyvyn skannata ympäristösi, tunnistaa, missä ne ovat, mitä ne sisältävät, kenellä on käyttöoikeudet ja mitä he tekevät. Ja jos et voi tehdä sitä nykyisten mallien kanssa, et voi hallita niitä."
AI/ML-mallit tarjoavat perustan tekoälyjärjestelmän kyvylle tunnistaa kuvioita, tehdä ennusteita, tehdä päätöksiä, käynnistää toimia tai luoda sisältöä. Mutta totuus on, että useimmat organisaatiot eivät edes tiedä, kuinka edes saada näkyvyyttä kaikkiin ohjelmistoihinsa oleviin tekoälymalleihin. Mallit ja niitä ympäröivä infrastruktuuri on rakennettu eri tavalla kuin muut ohjelmistokomponentit, eikä perinteisiä tietoturva- ja ohjelmistotyökaluja ole rakennettu etsimään tai ymmärtämään, kuinka tekoälymallit toimivat tai kuinka niissä on virheitä. Tämä tekee niistä ainutlaatuisia, sanoo Dehghanpisheh, joka selittää, että ne ovat pohjimmiltaan piilotettuja itsesuorittavan koodin paloja.
”Malli on suunnittelultaan itsetoimiva koodinpala. Sillä on tietty määrä agentuuria”, Dehghanpisheh sanoo. "Jos sanoin sinulle, että sinulla on kaikkialla infrastruktuurissasi omaisuutta, jota et näe, et voi tunnistaa, et tiedä mitä ne sisältävät, et tiedä mikä koodi on, ja ne suorittavat itse ja soittaa ulkopuolelta, se kuulostaa epäilyttävän lupavirukselta, eikö niin?"
Tekoälyn epävarmuuden varhainen tarkkailija
Tämän ongelman eteenpäin vieminen oli suuri sysäys hänen ja hänen perustajiensa takana, kun Protect AI lanseerattiin vuonna 2022, mikä on yksi uusista yrityksistä, jotka tulevat ratkaisemaan tekoälyn aikakaudella uhkaavia mallien tietoturva- ja tietoperusongelmia. Dehghanpisheh ja toinen perustaja Ian Swanson näkivät vilauksen tulevaisuuteen, kun he työskentelivät aiemmin yhdessä rakentaen AI/ML-ratkaisuja AWS:llä. Dehghanpisheh oli ollut AI/ML-ratkaisuarkkitehtien globaali johtaja.
"AWS:ssä yhdessä vietettynä aikana näimme asiakkaiden rakentavan tekoäly-/ML-järjestelmiä uskomattoman nopeasti, kauan ennen kuin generatiivinen tekoäly valloitti kaikkien sydämet ja mielet C-sarjasta kongressiin", hän sanoo ja selittää, että hän työskenteli useiden insinöörien ja liiketoiminnan kehitysasiantuntijoiden kanssa sekä laajasti asiakkaiden kanssa. "Silloin tajusimme, miten ja missä ovat AI/ML-järjestelmien ainutlaatuiset tietoturva-aukkoja."
He havaitsivat kolme tekoälyn/ML:n perusasiaa, joilla oli uskomattomia vaikutuksia kyberturvallisuuden tulevaisuuteen, hän sanoo. Ensimmäinen oli, että käyttöönottovauhti oli niin nopea, että he näkivät omakohtaisesti, kuinka nopeasti tekoälykehityksen ja yrityskäytön ympärille muodostui varjo-IT-kokonaisuuksia, jotka välttyivät sellaiselta hallinnolta, joka valvoisi kaikenlaista muuta yrityksen kehitystä.
Toinen oli se, että suurin osa käytetyistä työkaluista – olipa kyse kaupallisesta tai avoimesta lähdekoodista – oli tietotieteilijöiden ja nousevien ML-insinöörien rakentamia, joita ei ollut koskaan koulutettu tietoturvakonsepteihin.
"Tämän tuloksena sinulla oli todella hyödyllisiä, erittäin suosittuja, hyvin hajautettuja ja laajalti käytettyjä työkaluja, joita ei luotu tietoturva-asialla", hän sanoo.
Tekoälyjärjestelmiä ei ole rakennettu "turvallisuus etusijalle"
Tämän seurauksena monista tekoäly-/ML-järjestelmistä ja jaetuista työkaluista puuttuu todentamisen ja valtuutuksen perusteet, ja ne myöntävät usein liikaa luku- ja kirjoitusoikeuksia tiedostojärjestelmiin, hän selittää. Yhdessä turvattomien verkkokokoonpanojen ja mallien luontaisten ongelmien kanssa organisaatiot alkavat juuttua näiden erittäin monimutkaisten, vaikeasti ymmärrettävien järjestelmien peräkkäisiin tietoturvaongelmiin.
"Tämä sai meidät ymmärtämään, että olemassa olevista tietoturvatyökaluista, prosesseista ja kehyksistä – riippumatta siitä, kuinka muutto meni vasemmalle - puuttui konteksti, jota koneoppimisinsinöörit, datatieteilijät ja tekoälyn rakentajat tarvitsisivat", hän sanoo.
Lopuksi kolmas merkittävä havainto, jonka hän ja Swanson tekivät noiden AWS-päivien aikana, oli, että tekoälyn rikkomuksia ei ollut tulossa. He olivat jo saapuneet.
"Näimme asiakkaiden rikkoneen erilaisia AI/ML-järjestelmiä, jotka olisi pitänyt saada kiinni, mutta joita ei tehty", hän sanoo. "Se kertoi meille, että sarja ja prosessit sekä tapaturmien reagoinnin hallintaelementit eivät olleet suunniteltuja AI/ML-arkkitehtuuria varten. Tämä ongelma on pahentunut paljon generatiivisen tekoälyn vauhdittua."
Tekoälymalleja jaetaan laajalti
Dehghanpisheh ja Swanson alkoivat myös nähdä, kuinka mallit ja koulutustiedot loivat ainutlaatuisen uuden tekoälyn toimitusketjun, joka olisi otettava yhtä vakavasti kuin muu ohjelmistotoimitusketju. Kuten muunkin nykyaikaisen ohjelmistokehityksen ja pilvipohjaisten innovaatioiden kanssa, datatieteilijät ja tekoälyasiantuntijat ovat edistäneet tekoäly-/ML-järjestelmien kehitystä avoimen lähdekoodin ja jaettujen komponenttien – mukaan lukien tekoälymallit ja niiden kouluttamiseen käytetyt tiedot – rehottavalla käytöllä. Niin monet tekoälyjärjestelmät, olivatpa ne akateemisia tai kaupallisia, on rakennettu jonkun toisen mallilla. Ja kuten muussakin nykyaikaisessa kehityksessä, tekoälykehityksen räjähdysmäinen kasvu ajaa jatkuvasti valtavaa päivittäistä uusien mallivarojen virtaa toimitusketjussa, mikä tarkoittaa, että niiden seuraaminen vain muuttuu vaikeammaksi.
Otetaan esimerkiksi Hugging Face. Tämä on yksi laajimmin käytetyistä avoimen lähdekoodin tekoälymallien arkistoista verkossa nykyään – sen perustajat sanovat haluavansa toimia tekoälyn GitHubina. Marraskuussa 2022 Hugging Facen käyttäjät olivat jakaneet 93,501 414,695 eri mallia yhteisön kanssa. Seuraavana marraskuussa se oli räjähtänyt 527,244 XNUMX malliin. Nyt, vain kolme kuukautta myöhemmin, luku on kasvanut XNUMX XNUMX:ään. Tämä on ongelma, jonka laajuus on lumipalloa päivä päivältä. Ja se aikoo laittaa ohjelmistojen toimitusketjun tietoturvaongelman "steroideihin", Dehghanpisheh sanoo.
A viime analyysi hänen yrityksensä löysi tuhansia malleja, jotka jaetaan avoimesti Hugging Facessa, voivat suorittaa mielivaltaisen koodin mallin kuormituksen tai päättelyn aikana. Vaikka Hugging Face suorittaa perusskannauksen tietovarastossaan turvallisuusongelmien varalta, monet mallit jäävät huomaamatta – alusta ei katsonut vähintään puolta tutkimuksessa havaituista erittäin riskialttiista malleista vaarallisiksi, ja Hugging Face tekee sen selväksi dokumentaatiossa. että mallin turvallisuuden määrittäminen on viime kädessä sen käyttäjien vastuulla.
Tekoälyn toimitusketjun torjuntavaiheet
Dehghanpisheh uskoo, että tekoälyn aikakauden kyberturvallisuuden lynchpin alkaa ensin luomalla jäsennelty käsitys AI-perinteestä. Se sisältää malli- ja dataperinteen, jotka ovat pääasiassa näiden resurssien alkuperä ja historia, miten niitä on muutettu ja niihin liittyvät metatiedot.
"Se on ensimmäinen paikka aloittaa. Et voi korjata sitä, mitä et näe ja mitä et voi tietää ja mitä et voi määritellä, eikö niin?" hän sanoo.
Sillä välin Dehghanpisheh uskoo, että organisaatioiden on kehitettävä valmiuksia skannaamaan mallejaan ja etsimään puutteita, jotka voivat vaikuttaa järjestelmän kovettumisen lisäksi sen tulosten eheyteen. Tämä sisältää ongelmia, kuten tekoälyn harha ja toimintahäiriöt, jotka voivat aiheuttaa todellisia fyysisiä vahinkoja esimerkiksi autonomisen auton törmäyksestä jalankulkijaan.
"Ensimmäinen asia on skannata", hän sanoo. "Toinen asia on, että sinun on ymmärrettävä nuo skannaukset. Ja kolmas on sitten, kun sinulla on jotain, joka on merkitty, sinun on periaatteessa estettävä kyseistä mallia aktivoimasta. Sinun on rajoitettava sen toimivuutta."
Push for MLSecOps
MLSecOps on toimittajaneutraali liike, joka heijastaa DevSecOps-liikettä perinteisessä ohjelmistomaailmassa.
"Samanlainen kuin siirtyminen DevOpsista DevSecOpsiin, sinun on tehtävä kaksi asiaa kerralla. Ensimmäinen asia, joka sinun on tehtävä, on saada harjoittajat tiedostamaan, että turvallisuus on haaste ja että se on yhteinen vastuu, Dehghanpisheh sanoo. "Toinen asia, joka sinun on tehtävä, on antaa konteksti ja sijoittaa tietoturva työkaluihin, jotka pitävät datatieteilijät, koneoppimisinsinöörit ja tekoälyrakentajat kärjessä ja jatkuvasti innovoivat, mutta antavat turvallisuushuolien kadota taustalle. .”
Lisäksi hän sanoo, että organisaatioiden on alettava lisätä hallinto-, riski- ja vaatimustenmukaisuuskäytäntöjä sekä täytäntöönpanovalmiuksia ja häiriötilanteisiin reagoivia menettelyjä, jotka auttavat hallitsemaan toimia ja prosesseja, joita tapahtuu, kun epävarmuutta havaitaan. Kuten vankan DevSecOps-ekosysteemin tapauksessa, tämä tarkoittaa, että MLSecOps tarvitsee vahvaa osallistumista yritysten sidosryhmiltä aina johtoportaiden ylöspäin.
Hyvä uutinen on, että AI/ML-tietoturva hyötyy yhdestä asiasta, jota mikään muu nopea teknologiainnovaatio ei ole saanut suoraan portista – nimittäin sääntelytoimet suoraan portin ulkopuolella.
"Ajattele mitä tahansa muuta teknologian siirtymistä", Dehghanpisheh sanoo. "Mainitse yksi kerta, kun liittovaltion sääntelijä tai jopa osavaltion sääntelyviranomaiset ovat sanoneet tämän varhain: 'Hah, huh, huh, sinun täytyy kertoa minulle kaikki, mitä siinä on. Sinun on priorisoitava tämän järjestelmän tuntemus. Sinun on priorisoitava materiaaliluettelo. Ei ole yhtään."
Tämä tarkoittaa, että monet tietoturvajohtajat hankkivat todennäköisemmin sisäänoston rakentaakseen tekoälyn tietoturvavalmiuksia paljon aikaisemmin innovaation elinkaaren aikana. Yksi ilmeisimpiä merkkejä tästä tuesta on nopea siirtyminen sponsoroimaan uusia työtehtäviä organisaatioissa.
”Suurin ero, jonka sääntelymentaliteetti on tuonut pöytään, on se, että tammikuussa 2023 tekoälyn turvallisuusjohtajan käsite oli uusi, eikä sitä ollut olemassa. Mutta kesäkuussa aloit nähdä nuo roolit", Dehghanpisheh sanoo. "Nyt niitä on kaikkialla – ja niitä rahoitetaan."
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- :on
- :On
- :ei
- :missä
- ][s
- $ YLÖS
- 10
- 2022
- 2023
- 501
- 7
- a
- kyky
- Meistä
- akateeminen
- pääsy
- poikki
- toimet
- aktivoimalla
- lisätä
- lisää
- Lisäksi
- osoite
- hyväksytty
- Hyväksyminen
- edistysaskeleet
- toimisto
- eteenpäin
- AI
- AI-mallit
- AI-järjestelmät
- AI / ML
- Kaikki
- Salliminen
- pitkin
- jo
- Myös
- määrä
- an
- ja
- Toinen
- Kaikki
- Hakemus
- sovellusten suojaus
- sovellukset
- mielivaltainen
- arkkitehti
- arkkitehdit
- OVAT
- noin
- saapui
- keinotekoinen
- tekoäly
- Tekoäly (AI)
- AS
- etu
- Varat
- liittyvä
- At
- hyökkäys
- Authentication
- lupa
- autonominen
- tietoinen
- AWS
- takaisin
- tausta
- perustiedot
- Perusasiat
- Taistelu
- BE
- tulevat
- ollut
- ennen
- takana
- ovat
- uskoo
- hyötyvät
- puolueellisuus
- Iso
- Suurimmat
- lasku
- Bleeding
- juuttuneet
- rikkomisesta
- toi
- solki
- rakentaa
- rakentajat
- Rakentaminen
- rakennettu
- liiketoiminta
- liiketoiminnan kehitys
- mutta
- by
- C-sarja
- nimeltään
- Puhelut
- CAN
- kyvyt
- kiinni
- auto
- kiinni
- Aiheuttaa
- tietty
- ketju
- haaste
- muuttunut
- selkeä
- selvästi
- pilvi
- pilvi infrastruktuuri
- Perustaja
- mukana perustamassa
- koodi
- yhdistelmät
- Tulla
- tuleva
- kaupallinen
- yhteisö
- monimutkainen
- noudattaminen
- osat
- käsite
- käsitteet
- huolenaiheet
- Kongressi
- harkittu
- vakio
- alituisesti
- sisältää
- pitoisuus
- tausta
- voisi
- kytketty
- Crashing
- luoda
- Luominen
- Asiakkaat
- tietoverkkojen
- sykli
- päivittäin
- tiedot
- päivä
- päivää
- päätökset
- katsotaan
- määritellä
- riippuvuudet
- Malli
- määritetään
- Kehitys
- ei tehnyt
- ero
- eri
- eri tavalla
- vaikea
- Johtaja
- kadota
- löysi
- jaettu
- do
- dokumentointi
- ei
- doesnt
- Don
- alas
- ajo
- aikana
- Aikaisemmin
- Varhainen
- ekosysteemi
- reuna
- vaikutus
- elementtejä
- muu
- upotettu
- Loputon
- täytäntöönpano
- Engineers
- tarpeeksi
- yritys
- yksiköt
- ympäristö
- Aikakausi
- olennaisesti
- Jopa
- Joka
- jokainen
- kaikki
- kaikkialla
- esimerkki
- suorittaa
- johtaja
- olla
- olemassa
- laajeni
- asiantuntijat
- selitetään
- selittää
- räjähdys
- eksponentiaalisesti
- laajasti
- Kasvot
- Muoti
- FAST
- Liitto-
- filee
- Yritys
- yritykset
- Etunimi
- omakohtaisesti
- Korjata
- Merkityt
- virheellinen
- puutteita
- jälkeen
- varten
- muoto
- löytyi
- perusta
- perustajat
- puitteet
- alkaen
- ruokkivat
- tehtävät
- rahastoiva
- tulevaisuutta
- saamassa
- portti
- generatiivinen
- Generatiivinen AI
- saada
- saada
- GitHub
- Antaa
- vilaus
- Global
- menee
- hyvä
- sai
- hallita
- hallinto
- myöntää
- suuresti
- Kasvu
- HAD
- Puoli
- kovemmin
- vahingoittaa
- Olla
- he
- auttaa
- kätketty
- suurin
- erittäin
- häntä
- hänen
- historia
- Miten
- Miten
- Kuitenkin
- HTTPS
- valtava
- i
- tunnistaa
- if
- Vaikutus
- vaikutukset
- in
- tapaus
- tapahtuman vastaus
- sisältää
- Mukaan lukien
- Lisäykset
- uskomaton
- uskomattoman
- tulva
- Infrastruktuuri
- luontainen
- innovoidaan
- Innovaatio
- turvaton
- eheys
- Älykkyys
- tulee
- osallistuminen
- ISN
- kysymys
- kysymykset
- IT
- SEN
- itse
- tammikuu
- Job
- jpg
- kesäkuu
- vain
- Pitää
- pito
- pitää
- laji
- Tietää
- tuntemus
- Lack
- tikkaat
- myöhemmin
- käynnistäminen
- johtaja
- johtajat
- oppiminen
- vähiten
- vasemmalle
- Taso
- elämä
- pitää
- Todennäköisesti
- sukuperä
- kuormitus
- Pitkät
- näköinen
- uhkaavaan
- Erä
- kone
- koneoppiminen
- tehty
- merkittävä
- Enemmistö
- tehdä
- TEE
- hoitaa
- johto
- toimeksiantoja
- monet
- tarvikkeet
- asia
- me
- välineet
- Metadata
- mielet
- ajattelutapa
- hukata
- puuttuva
- sekoittaa
- ML
- malli
- mallit
- Moderni
- Vauhti
- kk
- lisää
- eniten
- liikkua
- liike
- paljon
- nimi
- nimittäin
- Navigoida
- Tarve
- verkko
- ei ikinä
- Uusi
- uusia yrityksiä
- uutiset
- Nro
- romaani
- marraskuu
- nyt
- numero
- havainto
- Ilmeinen
- of
- usein
- on
- kerran
- ONE
- yhdet
- verkossa
- vain
- avata
- avoimen lähdekoodin
- avoimesti
- toiminta-
- or
- organisaatioiden
- alkuperä
- Muut
- ulos
- ulostulo
- ulkopuolella
- yli
- valvoa
- Rauha
- kuviot
- lupa
- Oikeudet
- fyysinen
- poimitaan
- kappale
- kappaletta
- Paikka
- foorumi
- Platon
- Platonin tietotieto
- PlatonData
- politiikkaa
- Suosittu
- Ennusteet
- aiemmin
- Asettaa etusijalle
- Ongelma
- ongelmia
- menettelyt
- Prosessit
- ammattilaiset
- patentoitu
- PROS
- suojella
- toimittaa
- Työnnä
- laittaa
- nopeasti
- alue
- nopea
- RE
- Lue
- todellinen maailma
- ymmärtää
- tajusi
- ihan oikeesti
- tunnistaa
- säädin
- Säätimet
- sääntelyn
- luottaa
- säilytyspaikka
- tutkimus
- vastaus
- vastuu
- REST
- rajoittaa
- johtua
- oikein
- Riski
- riskimallit
- roolit
- s
- Turvallisuus
- Said
- sama
- näki
- sanoa
- sanoo
- skannata
- skannaus
- skannaa
- tutkijat
- laajuus
- Toinen
- turvallisuus
- nähdä
- koska
- näyttää
- vakavasti
- setti
- varjo
- yhteinen
- siirtää
- shouldnt
- Signs
- samankaltainen
- tilanne
- So
- Tuotteemme
- ohjelmistokomponentit
- ohjelmistokehitys
- ohjelmistojen toimitusketju
- vankka
- ratkaisu
- Ratkaisumme
- jonkin verran
- Joku
- jotain
- äänet
- lähde
- käytetty
- sponsori
- Sponsored
- sidosryhmien
- seisoo
- Alkaa
- alkoi
- Osavaltio
- Askeleet
- stop
- vahva
- jäsennelty
- Struggling
- toimittaa
- toimitusketju
- tuki
- pinta
- Epäilyttävästi
- järjestelmä
- järjestelmät
- taulukko
- puuttumalla
- ottaa
- Elektroniikka
- Teknologinen innovaatio
- kertoa
- kuin
- että
- -
- Perusteet
- Tulevaisuus
- heidän
- Niitä
- sitten
- Siellä.
- Nämä
- ne
- asia
- asiat
- ajatella
- kolmas
- tätä
- ne
- ajatus
- tuhansia
- kolmella
- Kautta
- aika
- että
- tänään
- yhdessä
- kertoi
- liian
- työkalut
- raita
- perinteinen
- Juna
- koulutettu
- koulutus
- siirtyminen
- laukaista
- Totuus
- yrittää
- kaksi
- Lopulta
- ymmärtää
- ymmärtäminen
- unique
- us
- käyttää
- käytetty
- hyödyllinen
- Käyttäjät
- käyttämällä
- muuttuja
- lajike
- Ve
- hyvin
- virus
- näkyvyys
- haavoittuvuuksia
- Haavoittuva
- haluta
- oli
- Tapa..
- we
- HYVIN
- meni
- olivat
- eivät olleet
- Mitä
- kun
- onko
- joka
- vaikka
- KUKA
- jonka
- laajalti
- tulee
- with
- Referenssit
- työskenteli
- maailman-
- huonompi
- olisi
- kirjoittaa
- vuotta
- Voit
- Sinun
- zephyrnet