Hvis du trodde sikkerhetsproblemet for programvareforsyningskjeden var vanskelig nok i dag, spenn opp. Den eksplosive veksten i bruk av kunstig intelligens (AI) er i ferd med å gjøre disse forsyningskjedeproblemene eksponentielt vanskeligere å navigere i årene som kommer.
Utviklere, applikasjonssikkerhetsproffer og DevSecOps-fagfolk er kalt til å fikse de høyeste risikofeilene som lurer i det som virker som de endeløse kombinasjonene av åpen kildekode og proprietære komponenter som er vevd inn i applikasjonene og skyinfrastrukturen deres. Men det er en konstant kamp som prøver å til og med forstå hvilke komponenter de har, hvilke som er sårbare og hvilke feil som setter dem mest i fare. Det er klart at de allerede sliter med å administrere disse avhengighetene i programvaren som den er.
Det som kommer til å bli vanskeligere er multiplikatoreffekten som AI kommer til å legge til situasjonen.
AI-modeller som selvutførende kode
AI og maskinlæring (ML)-aktiverte verktøy er programvare akkurat det samme som alle andre typer applikasjoner - og koden deres er like sannsynlig å lide av usikkerhet i forsyningskjeden. Imidlertid legger de til en annen aktivavariabel til blandingen som i stor grad øker angrepsoverflaten til AI-programvareforsyningskjeden: AI/ML-modeller.
"Det som skiller AI-applikasjoner fra alle andre former for programvare er at [de stoler] på en eller annen måte på en ting som kalles en maskinlæringsmodell," forklarer Daryan Dehghanpisheh, medgründer av Protect AI. "Som et resultat er den maskinlæringsmodellen i seg selv nå en ressurs i infrastrukturen din. Når du har en ressurs i infrastrukturen din, trenger du muligheten til å skanne miljøet ditt, identifisere hvor de er, hva de inneholder, hvem som har tillatelser og hva de gjør. Og hvis du ikke kan gjøre det med modeller i dag, kan du ikke administrere dem.»
AI/ML-modeller gir grunnlaget for et AI-systems evne til å gjenkjenne mønstre, lage spådommer, ta beslutninger, utløse handlinger eller lage innhold. Men sannheten er at de fleste organisasjoner ikke engang vet hvordan de skal begynne å få innsyn i alle AI-modellene som er innebygd i programvaren deres. Modeller og infrastrukturen rundt dem er bygd annerledes enn andre programvarekomponenter, og tradisjonell sikkerhet og programvareverktøy er ikke bygd for å skanne etter eller forstå hvordan AI-modeller fungerer eller hvordan de er feil. Det er dette som gjør dem unike, sier Dehghanpisheh, som forklarer at de i hovedsak er skjulte deler av selvutførende kode.
"En modell, ved design, er et selvutførende stykke kode. Den har en viss grad av handlefrihet, sier Dehghanpisheh. "Hvis jeg fortalte deg at du har eiendeler over hele infrastrukturen din som du ikke kan se, du kan ikke identifisere, du vet ikke hva de inneholder, du vet ikke hva koden er, og de utfører selv og har eksterne samtaler, det høres mistenkelig ut som et tillatelsesvirus, ikke sant?»
En tidlig observatør av AI-usikkerheter
Å komme i forkant av dette problemet var den store drivkraften bak ham og hans medgründere som lanserte Protect AI i 2022, som er en av en rekke nye firmaer som dukker opp for å ta opp problemstillinger med modellsikkerhet og dataavstamning som truer i AI-æraen. Dehghanpisheh og medgründer Ian Swanson så et glimt av fremtiden da de tidligere jobbet sammen med å bygge AI/ML-løsninger hos AWS. Dehghanpisheh hadde vært den globale lederen for AI/ML-løsningsarkitekter.
"I løpet av tiden vi tilbrakte sammen på AWS, så vi kunder bygge AI/ML-systemer i et utrolig raskt tempo, lenge før generativ AI fanget hjertene og sinnene til alle fra C-suiten til kongressen," sier han og forklarer at han jobbet med en rekke ingeniører og forretningsutviklingseksperter, i tillegg til mye med kunder. "Det var da vi innså hvordan og hvor sikkerhetssårbarhetene som er unike for AI/ML-systemer er."
De observerte tre grunnleggende ting om AI/ML som hadde utrolige implikasjoner for fremtiden til cybersikkerhet, sier han. Den første var at tempoet for adopsjon var så høyt at de så på egenhånd hvor raskt skygge-IT-enheter dukket opp rundt AI-utvikling og forretningsbruk som slapp unna den typen styring som ville overvåke enhver annen form for utvikling i bedriften.
Den andre var at flertallet av verktøyene som ble brukt – enten kommersielle eller åpen kildekode – ble bygget av dataforskere og kommende ML-ingeniører som aldri hadde blitt opplært i sikkerhetskonsepter.
"Som et resultat hadde du virkelig nyttige, veldig populære, veldig distribuerte, vidt vedtatte verktøy som ikke ble bygget med en sikkerhet-først-tankegang," sier han.
AI-systemer er ikke bygd "Security-First"
Som et resultat mangler mange AI/ML-systemer og delte verktøy det grunnleggende innen autentisering og autorisasjon og gir ofte for mye lese- og skrivetilgang i filsystemer, forklarer han. Sammen med usikre nettverkskonfigurasjoner og deretter de iboende problemene i modellene, begynner organisasjoner å sette seg fast i gjennomgripende sikkerhetsproblemer i disse svært komplekse, vanskelig å forstå systemene.
"Det fikk oss til å innse at de eksisterende sikkerhetsverktøyene, prosessene, rammeverket - uansett hvor skift du gikk til venstre, manglet konteksten som maskinlæringsingeniører, dataforskere og AI-byggere ville trenge," sier han.
Til slutt, den tredje store observasjonen han og Swanson gjorde i løpet av disse AWS-dagene var at AI-brudd ikke kom. De var allerede kommet.
"Vi så at kunder har brudd på en rekke AI/ML-systemer som burde vært fanget opp, men som ikke ble det," sier han. "Det som fortalte oss er at settet og prosessene, så vel som hendelsesresponsstyringselementene, ikke var spesialbygd for måten AI/ML ble bygget på. Det problemet har blitt mye verre ettersom generativ AI tok fart.»
AI-modeller er mye delt
Dehghanpisheh og Swanson begynte også å se hvordan modeller og treningsdata skapte en unik ny AI-forsyningskjede som måtte vurderes like seriøst som resten av programvareforsyningskjeden. Akkurat som med resten av moderne programvareutvikling og skybasert innovasjon, har dataforskere og AI-eksperter drevet fremskritt innen AI/ML-systemer gjennom utbredt bruk av åpen kildekode og delte komponenter – inkludert AI-modeller og dataene som brukes til å trene dem. Så mange AI-systemer, enten de er akademiske eller kommersielle, er bygget ved å bruke andres modell. Og som med resten av moderne utvikling, fortsetter eksplosjonen i AI-utvikling å drive en enorm daglig tilstrømning av nye modelleiendeler spredt over hele forsyningskjeden, noe som betyr at det blir stadig vanskeligere å holde styr på dem.
Ta Hugging Face, for eksempel. Dette er et av de mest brukte lagrene av åpen kildekode AI-modeller på nettet i dag - grunnleggerne sier at de ønsker å være GitHub til AI. Tilbake i november 2022 hadde Hugging Face-brukere delt 93,501 414,695 forskjellige modeller med fellesskapet. Den påfølgende november hadde det blåst opp til 527,244 XNUMX modeller. Nå, bare tre måneder senere, har tallet økt til XNUMX. Dette er en sak hvis omfang snøballer for hver dag. Og det kommer til å legge sikkerhetsproblemet for programvareforsyningskjeden "på steroider," sier Dehghanpisheh.
A fersk analyse av firmaet hans fant tusenvis av modeller som er åpent delt på Hugging Face, kan utføre vilkårlig kode på modellbelastning eller slutning. Mens Hugging Face skanner litt av depotet sitt for sikkerhetsproblemer, savnes mange modeller underveis - minst halvparten av de høyrisikomodellene som ble oppdaget i forskningen ble ikke ansett som usikre av plattformen, og Hugging Face gjør det klart i dokumentasjonen at det til syvende og sist er brukernes ansvar å bestemme sikkerheten til en modell.
Trinn for å takle AI-forsyningskjeden
Dehghanpisheh tror at cybersikkerheten i AI-æraen først vil starte med å skape en strukturert forståelse av AI-avstamningen. Det inkluderer modellavstamning og dataavstamning, som i hovedsak er opprinnelsen og historien til disse eiendelene, hvordan de har blitt endret, og metadataene knyttet til dem.
«Det er det første stedet å begynne. Du kan ikke fikse det du ikke kan se og det du ikke kan vite og det du ikke kan definere, ikke sant?» han sier.
I mellomtiden, på det daglige operasjonelle nivået, mener Dehghanpisheh at organisasjoner må bygge ut kapasiteter for å skanne modellene sine, på jakt etter feil som kan påvirke ikke bare herdingen av systemet, men integriteten til produksjonen. Dette inkluderer problemer som AI-bias og funksjonsfeil som kan forårsake fysisk skade i den virkelige verden fra for eksempel en autonom bil som krasjer inn i en fotgjenger.
"Det første er at du må skanne," sier han. «Den andre tingen er at du må forstå disse skanningene. Og den tredje er at når du har noe som er flagget, må du i hovedsak stoppe den modellen fra å aktiveres. Du må begrense byrået.»
Push for MLSecOps
MLSecOps er en leverandørnøytral bevegelse som speiler DevSecOps-bevegelsen i den tradisjonelle programvareverdenen.
"I likhet med overgangen fra DevOps til DevSecOps, må du gjøre to ting samtidig. Det første du må gjøre er å gjøre utøverne oppmerksomme på at sikkerhet er en utfordring og at det er et felles ansvar, sier Dehghanpisheh. «Den andre tingen du må gjøre er å gi kontekst og sette sikkerhet inn i verktøy som holder datavitere, maskinlæringsingeniører, [og] AI-byggere på spissen og stadig innoverende, men som lar sikkerhetsbekymringene forsvinne i bakgrunnen ."
I tillegg sier han at organisasjoner må begynne å legge til styrings-, risiko- og overholdelsespolicyer og håndhevingsevner og hendelsesresponsprosedyrer som hjelper til med å styre handlingene og prosessene som finner sted når usikkerhet oppdages. Som med et solid DevSecOps-økosystem, betyr dette at MLSecOps vil trenge sterk involvering fra forretningsinteressenter hele veien opp på lederstigen.
Den gode nyheten er at AI/ML-sikkerhet drar nytte av én ting som ingen annen rask teknologiinnovasjon har hatt rett ut av porten – nemlig regulatoriske mandater rett ut av porten.
"Tenk på enhver annen teknologiovergang," sier Dehghanpisheh. "Nevn en gang at en føderal regulator eller til og med statlige regulatorer har sagt dette tidlig: 'Wow, whoa, whoa, du må fortelle meg alt som står i den. Du må prioritere kunnskap om det systemet. Du må prioritere en stykkliste. Det er ingen."
Dette betyr at mange sikkerhetsledere er mer sannsynlig å få buy-in for å bygge ut AI-sikkerhetsevner mye tidligere i innovasjonslivssyklusen. Et av de mest åpenbare tegnene på denne støtten er det raske skiftet til å sponse nye jobbfunksjoner i organisasjoner.
"Den største forskjellen som reguleringsmentaliteten har ført til bordet er at i januar 2023 var konseptet med en direktør for AI-sikkerhet nytt og eksisterte ikke. Men i juni begynte du å se disse rollene, sier Dehghanpisheh. "Nå er de overalt - og de er finansiert."
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- : har
- :er
- :ikke
- :hvor
- ][s
- $OPP
- 10
- 2022
- 2023
- 501
- 7
- a
- evne
- Om oss
- akademisk
- adgang
- tvers
- handlinger
- aktive
- legge til
- legge
- tillegg
- adresse
- vedtatt
- Adopsjon
- fremskritt
- byrå
- fremover
- AI
- AI-modeller
- AI-systemer
- AI / ML
- Alle
- tillate
- langs
- allerede
- også
- beløp
- an
- og
- En annen
- noen
- Søknad
- applikasjonssikkerhet
- søknader
- vilkårlig
- arkitekttisert
- arkitekter
- ER
- rundt
- kom frem
- kunstig
- kunstig intelligens
- Kunstig intelligens (AI)
- AS
- eiendel
- Eiendeler
- assosiert
- At
- angripe
- Autentisering
- autorisasjon
- autonom
- klar
- AWS
- tilbake
- bakgrunn
- grunnleggende
- Grunnleggende
- Battle
- BE
- bli
- vært
- før du
- bak
- være
- mener
- nytte
- Bias
- Stor
- Biggest
- Bill
- Blødning
- fast
- brudd
- brakte
- spenne
- bygge
- utbyggere
- Bygning
- bygget
- virksomhet
- forretningsutvikling
- men
- by
- C-suite
- som heter
- Samtaler
- CAN
- evner
- fanget
- bil
- fanget
- Årsak
- viss
- kjede
- utfordre
- endret
- fjerne
- klart
- Cloud
- sky infrastruktur
- Med-grunnlegger
- co-grunnleggerne
- kode
- kombinasjoner
- Kom
- kommer
- kommersiell
- samfunnet
- komplekse
- samsvar
- komponenter
- konsept
- konsepter
- bekymringer
- Kongressen
- ansett
- konstant
- stadig
- inneholde
- innhold
- kontekst
- kunne
- kombinert
- Crashing
- skape
- Opprette
- Kunder
- Cybersecurity
- syklus
- daglig
- dato
- dag
- Dager
- avgjørelser
- anses
- definere
- avhengig
- utforming
- bestemme
- Utvikling
- gjorde ikke
- forskjell
- forskjellig
- annerledes
- vanskelig
- Regissør
- forsvinne
- oppdaget
- distribueres
- do
- dokumentasjon
- gjør
- doesn
- Don
- ned
- kjøring
- under
- Tidligere
- Tidlig
- økosystem
- Edge
- effekt
- elementer
- ellers
- innebygd
- Endless
- håndhevelse
- Ingeniører
- nok
- Enterprise
- enheter
- Miljø
- Era
- hovedsak
- Selv
- Hver
- alle
- alt
- overalt
- eksempel
- henrette
- utøvende
- eksisterer
- eksisterende
- utvidet
- eksperter
- forklare
- forklarer
- eksplosjon
- eksponentielt
- omfattende
- Face
- Mote
- FAST
- Federal
- filet
- Firm
- bedrifter
- Først
- førstehånds
- Fix
- flaggede
- feil
- feil
- etter
- Til
- skjema
- funnet
- Fundament
- grunnleggere
- rammer
- fra
- drevet
- funksjoner
- finansierte
- framtid
- få
- gate
- generative
- Generativ AI
- få
- få
- GitHub
- Gi
- Glimpse
- Global
- skal
- god
- fikk
- styre
- styresett
- innvilge
- sterkt
- Vekst
- HAD
- Halvparten
- hardere
- skade
- Ha
- he
- hjelpe
- skjult
- høyest
- svært
- ham
- hans
- historie
- Hvordan
- Hvordan
- Men
- HTTPS
- stort
- i
- identifisere
- if
- Påvirkning
- implikasjoner
- in
- hendelse
- hendelsesrespons
- inkluderer
- Inkludert
- øker
- utrolig
- utrolig
- tilstrømning
- Infrastruktur
- iboende
- nyskapende
- Innovasjon
- usikker
- integritet
- Intelligens
- inn
- engasjement
- er n
- utstedelse
- saker
- IT
- DET ER
- selv
- Januar
- Jobb
- jpg
- juni
- bare
- Hold
- holde
- holder
- Type
- Vet
- kunnskap
- maling
- stigen
- seinere
- lansere
- leder
- ledere
- læring
- minst
- venstre
- Nivå
- Life
- i likhet med
- Sannsynlig
- avstamning
- laste
- Lang
- ser
- truende
- Lot
- maskin
- maskinlæring
- laget
- større
- Flertall
- gjøre
- GJØR AT
- administrer
- ledelse
- mandater
- mange
- materialer
- Saken
- me
- midler
- metadata
- sinn
- Tankesett
- savnet
- mangler
- bland
- ML
- modell
- modeller
- Moderne
- Momentum
- måneder
- mer
- mest
- flytte
- bevegelse
- mye
- navn
- nemlig
- Naviger
- Trenger
- nettverk
- aldri
- Ny
- nye firmaer
- nyheter
- Nei.
- roman
- November
- nå
- Antall
- observasjon
- Åpenbare
- of
- ofte
- on
- gang
- ONE
- seg
- på nett
- bare
- åpen
- åpen kildekode
- åpenlyst
- operasjonell
- or
- organisasjoner
- opprinnelse
- Annen
- ut
- produksjon
- utenfor
- enn
- overvåke
- Fred
- mønstre
- tillatelse
- tillatelser
- fysisk
- plukket
- brikke
- stykker
- Sted
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- Politikk
- Populær
- Spådommer
- tidligere
- Prioriter
- Problem
- problemer
- prosedyrer
- Prosesser
- fagfolk
- proprietær
- PROS
- beskytte
- gi
- Skyv
- sette
- raskt
- område
- rask
- RE
- Lese
- virkelige verden
- realisere
- realisert
- virkelig
- gjenkjenne
- regulator
- Regulatorer
- regulatorer
- avhengige
- Repository
- forskning
- svar
- ansvar
- REST
- begrense
- resultere
- ikke sant
- Risiko
- risikomodeller
- roller
- s
- Sikkerhet
- Sa
- samme
- så
- sier
- sier
- skanne
- skanning
- skanner
- forskere
- omfang
- Sekund
- sikkerhet
- se
- se
- synes
- alvor
- sett
- Shadow
- delt
- skift
- bør
- Skilt
- lignende
- situasjon
- So
- Software
- programvarekomponenter
- programvareutvikling
- programvare forsyningskjeden
- solid
- løsning
- Solutions
- noen
- Noen
- noe
- lyder
- kilde
- brukt
- sponse
- Sponset
- interessenter
- står
- Begynn
- startet
- Tilstand
- Steps
- Stopp
- sterk
- strukturert
- Sliter
- levere
- forsyningskjeden
- støtte
- overflaten
- Mistenksomt
- system
- Systemer
- bord
- takling
- Ta
- Teknologi
- Teknologiinnovasjon
- fortelle
- enn
- Det
- De
- Grunnleggende
- Fremtiden
- deres
- Dem
- deretter
- Der.
- Disse
- de
- ting
- ting
- tror
- Tredje
- denne
- De
- trodde
- tusener
- tre
- Gjennom
- tid
- til
- i dag
- sammen
- fortalte
- også
- verktøy
- spor
- tradisjonelle
- Tog
- trent
- Kurs
- overgang
- utløse
- Sannhet
- prøver
- to
- Til syvende og sist
- forstå
- forståelse
- unik
- us
- bruke
- brukt
- nyttig
- Brukere
- ved hjelp av
- variabel
- variasjon
- Ve
- veldig
- virus
- synlighet
- Sikkerhetsproblemer
- Sårbar
- ønsker
- var
- Vei..
- we
- VI VIL
- gikk
- var
- var
- Hva
- når
- om
- hvilken
- mens
- HVEM
- hvem sin
- allment
- vil
- med
- Arbeid
- arbeidet
- verden
- verre
- ville
- skrive
- år
- Du
- Din
- zephyrnet