Hvis du troede, at softwareforsyningskædens sikkerhedsproblem var svært nok i dag, så spænd op. Den eksplosive vækst i brugen af kunstig intelligens (AI) er ved at gøre disse forsyningskædeproblemer eksponentielt sværere at navigere i i de kommende år.
Udviklere, applikationssikkerhedsprofessionelle og DevSecOps-professionelle er kaldet til at rette de højeste risikofejl, der lurer i, hvad der virker som de endeløse kombinationer af open source og proprietære komponenter, der er vævet ind i deres applikationer og cloud-infrastruktur. Men det er en konstant kamp, der forsøger overhovedet at forstå, hvilke komponenter de har, hvilke der er sårbare, og hvilke fejl der sætter dem mest i fare. Det er klart, at de allerede kæmper for at håndtere disse afhængigheder i deres software, som de er.
Det, der bliver sværere, er den multiplikatoreffekt, som AI kan tilføje til situationen.
AI-modeller som selvudførende kode
AI og maskinlæring (ML)-aktiverede værktøjer er software på samme måde som enhver anden form for applikation - og deres kode er lige så sandsynligt, at de lider under forsyningskædens usikkerhed. Men de tilføjer en anden aktivvariabel til blandingen, der i høj grad øger angrebsoverfladen af AI-softwareforsyningskæden: AI/ML-modeller.
"Det, der adskiller AI-applikationer fra enhver anden form for software, er, at [de stoler] på en eller anden måde på noget, der kaldes en maskinlæringsmodel," forklarer Daryan Dehghanpisheh, medstifter af Protect AI. "Som et resultat er denne maskinlæringsmodel nu i sig selv et aktiv i din infrastruktur. Når du har et aktiv i din infrastruktur, har du brug for evnen til at scanne dit miljø, identificere hvor de er, hvad de indeholder, hvem der har tilladelser, og hvad de gør. Og hvis man ikke kan det med modeller i dag, kan man ikke klare dem.”
AI/ML-modeller danner grundlaget for et AI-systems evne til at genkende mønstre, lave forudsigelser, træffe beslutninger, udløse handlinger eller skabe indhold. Men sandheden er, at de fleste organisationer ikke engang ved, hvordan man begynder at få synlighed i alle de AI-modeller, der er indlejret i deres software. Modeller og infrastrukturen omkring dem er bygget anderledes end andre softwarekomponenter, og traditionel sikkerhed og softwareværktøj er ikke bygget til at scanne efter eller forstå, hvordan AI-modeller fungerer, eller hvordan de er fejlbehæftede. Det er det, der gør dem unikke, siger Dehghanpisheh, der forklarer, at de i det væsentlige er skjulte stykker af selvudførende kode.
"En model er ved design et selvudførende stykke kode. Det har en vis mængde handlekraft,” siger Dehghanpisheh. "Hvis jeg fortalte dig, at du har aktiver overalt i din infrastruktur, som du ikke kan se, du ikke kan identificere, du ved ikke, hvad de indeholder, du ved ikke, hvad koden er, og de udfører selv og har eksterne opkald, det lyder mistænkeligt som en tilladelsesvirus, ikke?
En tidlig observatør af AI-usikkerheder
At komme foran dette problem var den store drivkraft bag ham og hans medstiftere, der lancerede Protect AI i 2022, som er en af en bølge af nye firmaer, der dukker op for at løse problemer med modelsikkerhed og dataafstamning, der truer i AI-æraen. Dehghanpisheh og medstifter Ian Swanson så et glimt af fremtiden, da de tidligere arbejdede sammen om at bygge AI/ML-løsninger hos AWS. Dehghanpisheh havde været den globale leder for AI/ML-løsningsarkitekter.
"I den tid, vi tilbragte sammen på AWS, så vi kunder bygge AI/ML-systemer i et utrolig hurtigt tempo, længe før generativ AI fangede hjerter og sind hos alle fra C-suiten til Kongressen," siger han og forklarer, at han arbejdede sammen med en række ingeniører og forretningsudviklingseksperter, såvel som meget med kunder. "Det var da, vi indså, hvordan og hvor sikkerhedssårbarhederne, der er unikke for AI/ML-systemer, er."
De observerede tre grundlæggende ting om AI/ML, som havde utrolige implikationer for fremtiden for cybersikkerhed, siger han. Den første var, at implementeringstempoet var så hurtigt, at de så på egen hånd, hvor hurtigt skygge-it-enheder dukkede op omkring AI-udvikling og forretningsbrug, der undslap den form for styring, der ville overvåge enhver anden form for udvikling i virksomheden.
Den anden var, at størstedelen af de værktøjer, der blev brugt - uanset om de er kommercielle eller open source - blev bygget af datavidenskabsmænd og kommende ML-ingeniører, som aldrig var blevet trænet i sikkerhedskoncepter.
"Som et resultat havde du virkelig nyttige, meget populære, meget distribuerede, bredt anvendte værktøjer, som ikke var bygget med et sikkerhedsorienteret tankesæt," siger han.
AI-systemer er ikke bygget 'Security-First'
Som følge heraf mangler mange AI/ML-systemer og delte værktøjer det grundlæggende i autentificering og autorisation og giver ofte for meget læse- og skriveadgang i filsystemer, forklarer han. Sammen med usikre netværkskonfigurationer og derefter de iboende problemer i modellerne, begynder organisationer at blive hængende i kaskadende sikkerhedsproblemer i disse meget komplekse, svært at forstå systemer.
"Det fik os til at indse, at de eksisterende sikkerhedsværktøjer, -processer, -rammer - uanset hvor venstreskift du gik, manglede den kontekst, som maskinlæringsingeniører, dataforskere og AI-byggere ville have brug for," siger han.
Endelig var den tredje store observation, han og Swanson gjorde i løbet af disse AWS-dage, at AI-brud ikke kom. De var allerede ankommet.
"Vi så, at kunder havde brud på en række forskellige AI/ML-systemer, som burde være blevet fanget, men som ikke blev det," siger han. "Det, det fortalte os, er, at sættet og processerne såvel som hændelsesresponsstyringselementerne ikke var specialbygget til den måde, AI/ML blev opbygget på. Det problem er blevet meget værre, efterhånden som generativ kunstig intelligens tog fart."
AI-modeller er meget delt
Dehghanpisheh og Swanson begyndte også at se, hvordan modeller og træningsdata skabte en unik ny AI-forsyningskæde, der skulle overvejes lige så alvorligt som resten af softwareforsyningskæden. Ligesom med resten af moderne softwareudvikling og cloud-native innovation, har dataforskere og AI-eksperter fremmet fremskridt inden for AI/ML-systemer gennem udbredt brug af open source og delte komponenter - inklusive AI-modeller og de data, der bruges til at træne dem. Så mange AI-systemer, uanset om de er akademiske eller kommercielle, er bygget ved hjælp af en andens model. Og som med resten af moderne udvikling, fortsætter eksplosionen i AI-udviklingen med at drive en enorm daglig tilstrømning af nye modelaktiver spredt over hele forsyningskæden, hvilket betyder, at det bliver sværere at holde styr på dem.
Tag Hugging Face, for eksempel. Dette er et af de mest udbredte arkiver af open source AI-modeller online i dag - dets grundlæggere siger, at de ønsker at være GitHub af AI. Tilbage i november 2022 havde Hugging Face-brugere delt 93,501 forskellige modeller med fællesskabet. Den følgende november var det sprængt op til 414,695 modeller. Nu, blot tre måneder senere, er det tal udvidet til 527,244. Dette er et spørgsmål, hvis omfang snebolder sig hver dag. Og det kommer til at lægge softwareforsyningskædens sikkerhedsproblem "på steroider," siger Dehghanpisheh.
A seneste analyse af hans firma fandt tusindvis af modeller, der er åbenlyst delt på Hugging Face, kan udføre vilkårlig kode på modelbelastning eller slutning. Mens Hugging Face laver nogle grundlæggende scanninger af sit lager for sikkerhedsproblemer, savnes mange modeller undervejs - mindst halvdelen af de højrisikomodeller, der blev opdaget i forskningen, blev ikke anset for usikre af platformen, og Hugging Face gør det klart i dokumentationen at det i sidste ende er brugernes ansvar at bestemme sikkerheden for en model.
Trin til at tackle AI Supply Chain
Dehghanpisheh mener, at nøglen til cybersikkerhed i AI-æraen først vil starte med at skabe en struktureret forståelse af AI-afstamning. Det inkluderer modelafstamning og dataafstamning, som i det væsentlige er oprindelsen og historien for disse aktiver, hvordan de er blevet ændret, og de metadata, der er knyttet til dem.
"Det er det første sted at starte. Du kan ikke rette op på, hvad du ikke kan se, og hvad du ikke kan vide, og hvad du ikke kan definere, vel?” han siger.
I mellemtiden, på det daglige operationelle niveau, mener Dehghanpisheh, at organisationer er nødt til at opbygge kapaciteter til at scanne deres modeller og lede efter fejl, der kan påvirke ikke kun hærdningen af systemet, men integriteten af dets output. Dette inkluderer problemer som AI-bias og funktionsfejl, der kan forårsage fysisk skade i den virkelige verden fra f.eks. en selvkørende bil, der kører ind i en fodgænger.
"Den første ting er, at du skal scanne," siger han. "Den anden ting er, at du skal forstå de scanninger. Og den tredje er så, når du har noget, der er markeret, skal du i det væsentlige stoppe den model i at aktivere. Du er nødt til at begrænse dets agentur."
The Push for MLSecOps
MLSecOps er en leverandørneutral bevægelse, der afspejler DevSecOps-bevægelsen i den traditionelle softwareverden.
“I lighed med overgangen fra DevOps til DevSecOps, skal du gøre to ting på én gang. Det første, du skal gøre, er at gøre praktikerne opmærksomme på, at sikkerhed er en udfordring, og at det er et fælles ansvar,” siger Dehghanpisheh. "Den anden ting, du skal gøre, er at give kontekst og sætte sikkerhed i værktøjer, der holder datavidenskabsmænd, maskinlæringsingeniører, [og] AI-byggere på den bløde kant og konstant innoverende, men tillader sikkerhedsproblemerne at forsvinde i baggrunden ."
Derudover siger han, at organisationer bliver nødt til at begynde at tilføje styrings-, risiko- og overholdelsespolitikker og håndhævelseskapaciteter og hændelsesprocedurer, der hjælper med at styre de handlinger og processer, der finder sted, når usikkerheder opdages. Som med et solidt DevSecOps-økosystem betyder dette, at MLSecOps vil have brug for stærk involvering fra forretningsinteressenter hele vejen op ad ledelsesstigen.
Den gode nyhed er, at AI/ML-sikkerhed nyder godt af én ting, som ingen anden hurtig teknologisk innovation har haft lige ud af porten - nemlig regulatoriske mandater lige ud af porten.
"Tænk på enhver anden teknologiovergang," siger Dehghanpisheh. "Nævn en gang, hvor en føderal tilsynsmyndighed eller endda statslige tilsynsmyndigheder tidligt har sagt dette: 'Hov, hov, hov, du er nødt til at fortælle mig alt, hvad der er i den. Du er nødt til at prioritere viden om det system. Du skal prioritere en stykliste. Der er ingen."
Dette betyder, at mange sikkerhedsledere er mere tilbøjelige til at få buy-in til at opbygge AI-sikkerhedskapaciteter meget tidligere i innovationens livscyklus. Et af de mest åbenlyse tegn på denne støtte er det hurtige skift til at sponsorere nye jobfunktioner i organisationer.
"Den største forskel, som den regulatoriske mentalitet har bragt til bordet, er, at i januar 2023 var konceptet med en direktør for AI-sikkerhed nyt og ikke eksisterede. Men i juni begyndte du at se de roller,” siger Dehghanpisheh. "Nu er de overalt - og de er finansieret."
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
- Kilde: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- :har
- :er
- :ikke
- :hvor
- ][s
- $OP
- 10
- 2022
- 2023
- 501
- 7
- a
- evne
- Om
- akademisk
- adgang
- tværs
- aktioner
- aktivering
- tilføje
- tilføje
- Desuden
- adresse
- vedtaget
- Vedtagelse
- fremskridt
- agentur
- forude
- AI
- AI modeller
- AI-systemer
- AI / ML
- Alle
- tillade
- sammen
- allerede
- også
- beløb
- an
- ,
- En anden
- enhver
- Anvendelse
- applikationssikkerhed
- applikationer
- vilkårlig
- arkitektet
- arkitekter
- ER
- omkring
- ankom
- kunstig
- kunstig intelligens
- Kunstig intelligens (AI)
- AS
- aktiv
- Aktiver
- forbundet
- At
- angribe
- Godkendelse
- tilladelse
- autonom
- opmærksom på
- AWS
- tilbage
- baggrund
- grundlæggende
- Grundlæggende
- Battle
- BE
- bliver
- været
- før
- bag
- være
- mener
- gavn
- skævhed
- Big
- Største
- Bill
- Blødning
- fastklemt
- brud
- bragte
- spænde
- bygge
- bygherrer
- Bygning
- bygget
- virksomhed
- forretningsudvikling
- men
- by
- C-suite
- kaldet
- Opkald
- CAN
- kapaciteter
- fanget
- bil
- fanget
- Årsag
- vis
- kæde
- udfordre
- ændret
- klar
- tydeligt
- Cloud
- sky infrastruktur
- Medstifter
- medstiftere
- kode
- kombinationer
- Kom
- kommer
- kommerciel
- samfund
- komplekse
- Compliance
- komponenter
- Konceptet
- begreber
- Bekymringer
- Kongressen
- betragtes
- konstant
- konstant
- indeholder
- indhold
- sammenhæng
- kunne
- koblede
- Crashing
- skabe
- Oprettelse af
- Kunder
- Cybersecurity
- cyklus
- dagligt
- data
- dag
- Dage
- afgørelser
- anses
- definere
- afhængigheder
- Design
- bestemmelse
- Udvikling
- gjorde ikke
- forskel
- forskellige
- forskelligt
- svært
- Direktør
- forsvinder
- opdaget
- distribueret
- do
- dokumentation
- gør
- gør ikke
- Don
- ned
- kørsel
- i løbet af
- tidligere
- Tidligt
- økosystem
- Edge
- effekt
- elementer
- andet
- indlejret
- Endless
- håndhævelse
- Ingeniører
- nok
- Enterprise
- enheder
- Miljø
- Era
- væsentlige
- Endog
- Hver
- alle
- at alt
- overalt
- eksempel
- udføre
- udøvende
- eksisterer
- eksisterende
- udvidet
- eksperter
- forklarer
- Forklarer
- eksplosion
- eksponentielt
- ekstensivt
- Ansigtet
- Mode
- FAST
- Federal
- File (Felt)
- Firm
- firmaer
- Fornavn
- første hånd
- Fix
- Markeret
- fejlbehæftet
- fejl
- efter
- Til
- formular
- fundet
- Foundation
- stiftere
- rammer
- fra
- næring
- funktioner
- finansierede
- fremtiden
- vinder
- gate
- generative
- Generativ AI
- få
- få
- GitHub
- Giv
- glimt
- Global
- gå
- godt
- fik
- styre
- regeringsførelse
- indrømme
- stærkt
- Vækst
- havde
- Halvdelen
- hårdere
- skade
- Have
- he
- hjælpe
- Skjult
- højeste
- stærkt
- ham
- hans
- historie
- Hvordan
- How To
- Men
- HTTPS
- kæmpe
- i
- identificere
- if
- KIMOs Succeshistorier
- implikationer
- in
- hændelse
- hændelsesrespons
- omfatter
- Herunder
- Stigninger
- utrolige
- utroligt
- tilgang
- Infrastruktur
- iboende
- fornyelse
- Innovation
- usikker
- integritet
- Intelligens
- ind
- involvering
- isn
- spørgsmål
- spørgsmål
- IT
- ITS
- selv
- januar
- Job
- jpg
- juni
- lige
- Holde
- holde
- holder
- Venlig
- Kend
- viden
- Mangel
- stigen
- senere
- lancering
- leder
- ledere
- læring
- mindst
- til venstre
- Niveau
- Livet
- ligesom
- Sandsynlig
- afstamning
- belastning
- Lang
- leder
- truende
- Lot
- maskine
- machine learning
- lavet
- større
- Flertal
- lave
- maerker
- administrere
- ledelse
- mandater
- mange
- materialer
- Matter
- me
- midler
- Metadata
- sind
- Mindset
- savnet
- mangler
- blande
- ML
- model
- modeller
- Moderne
- momentum
- måned
- mere
- mest
- bevæge sig
- bevægelse
- meget
- navn
- nemlig
- Naviger
- Behov
- netværk
- aldrig
- Ny
- nye firmaer
- nyheder
- ingen
- roman
- november
- nu
- nummer
- observation
- Obvious
- of
- tit
- on
- engang
- ONE
- dem
- online
- kun
- åbent
- open source
- åbent
- operationelle
- or
- organisationer
- oprindelse
- Andet
- ud
- output
- uden for
- i løbet af
- tilsyn
- Tempo
- mønstre
- tilladelse
- Tilladelser
- fysisk
- plukket
- stykke
- stykker
- Place
- perron
- plato
- Platon Data Intelligence
- PlatoData
- politikker
- Populær
- Forudsigelser
- tidligere
- Prioriter
- Problem
- problemer
- procedurer
- Processer
- professionelle partnere
- proprietære
- PROS
- beskytte
- give
- Skub ud
- sætte
- hurtigt
- rækkevidde
- hurtige
- RE
- Læs
- virkelige verden
- indse
- gik op for
- virkelig
- genkende
- regulator
- Regulators
- lovgivningsmæssige
- stole
- Repository
- forskning
- svar
- ansvar
- REST
- begrænse
- resultere
- højre
- Risiko
- risikomodeller
- roller
- s
- Sikkerhed
- Said
- samme
- så
- siger
- siger
- scanne
- scanning
- scanninger
- forskere
- rækkevidde
- Anden
- sikkerhed
- se
- se
- synes
- helt seriøst
- sæt
- Shadow
- delt
- skifte
- bør
- Skilte
- lignende
- Situationen
- So
- Software
- software komponenter
- softwareudvikling
- software forsyningskæde
- solid
- løsninger
- Løsninger
- nogle
- Nogen
- noget
- lyde
- Kilde
- brugt
- sponsorere
- Sponsoreret
- interessenter
- står
- starte
- påbegyndt
- Tilstand
- Steps
- Stands
- stærk
- struktureret
- Kæmper
- forsyne
- forsyningskæde
- support
- overflade
- mistænkeligt
- systemet
- Systemer
- bord
- tackle
- Tag
- Teknologier
- Teknologiinnovation
- fortælle
- end
- at
- Grundlæggende
- Fremtiden
- deres
- Them
- derefter
- Der.
- Disse
- de
- ting
- ting
- tror
- Tredje
- denne
- dem
- tænkte
- tusinder
- tre
- Gennem
- tid
- til
- i dag
- sammen
- fortalt
- også
- værktøjer
- spor
- traditionelle
- Tog
- uddannet
- Kurser
- overgang
- udløse
- Sandheden
- forsøger
- to
- Ultimativt
- forstå
- forståelse
- enestående
- us
- brug
- anvendte
- nyttigt
- brugere
- ved brug af
- variabel
- række
- Ve
- meget
- virus
- synlighed
- Sårbarheder
- Sårbar
- ønsker
- var
- Vej..
- we
- GODT
- gik
- var
- varen
- Hvad
- hvornår
- hvorvidt
- som
- mens
- WHO
- hvis
- bredt
- vilje
- med
- Arbejde
- arbejdede
- world
- værre
- ville
- skriver
- år
- Du
- Din
- zephyrnet