Trekk Mens det haster med å forstå, bygge og sende AI-produkter, blir utviklere og dataforskere oppfordret til å være oppmerksomme på sikkerheten og ikke bli offer for forsyningskjedeangrep.
Det finnes utallige modeller, biblioteker, algoritmer, forhåndsbygde verktøy og pakker å leke med, og fremgangen er nådeløs. Resultatet av disse systemene er kanskje en annen historie, selv om det er ubestridelig at det alltid er noe nytt å leke med, i det minste.
Ikke bry deg om all spenningen, hypen, nysgjerrigheten og frykten for å gå glipp av noe, sikkerhet kan ikke glemmes. Hvis dette ikke er et sjokk for deg, fantastisk. Men en påminnelse er nyttig her, spesielt siden maskinlæringsteknologi har en tendens til å bli satt sammen av forskere i stedet for ingeniører, i det minste i utviklingsfasen, og mens disse menneskene kjenner seg rundt ting som nevrale nettverksarkitekturer, kvantisering og neste- Gen treningsteknikker, infosec kan forståelig nok ikke være deres sterkeste.
Å trekke sammen et AI-prosjekt er ikke så mye forskjellig fra å konstruere en hvilken som helst annen programvare. Du vil vanligvis lime sammen biblioteker, pakker, opplæringsdata, modeller og tilpasset kildekode for å utføre slutningsoppgaver. Kodekomponenter tilgjengelig fra offentlige depoter kan inneholde skjulte bakdører eller dataeksfiltratorer, og forhåndsbygde modeller og datasett kan forgiftes for å få apper til å oppføre seg uventet upassende.
Faktisk kan noen modeller inneholde skadelig programvare henrettet hvis innholdet ikke er trygt deserialisert. Sikkerheten til ChatGPT-plugins har også kom under nøye gransking.
Med andre ord kan forsyningskjedeangrep vi har sett i programvareutviklingsverdenen forekomme i AI-land. Dårlige pakker kan føre til at utviklernes arbeidsstasjoner blir kompromittert, noe som fører til skadelige inntrengninger i bedriftsnettverk, og tuklet med modeller og opplæringsdatasett kan føre til at applikasjoner feilklassifiserer ting, fornærmer brukere og så videre. Biblioteker og modeller med bakdører eller skadelig programvare, hvis de er integrert i levert programvare, kan la brukere av disse appene også være åpne for angrep.
De vil løse et interessant matematisk problem, og deretter distribuere det og det er det. Den er ikke pennetestet, det er ingen AI red teaming
Som svar dukker det opp cybersikkerhet og AI-startups spesielt for å takle denne trusselen; uten tvil har etablerte spillere et øye med det også, eller det håper vi. Maskinlæringsprosjekter bør revideres og inspiseres, testes for sikkerhet og evalueres for sikkerhet.
«[AI] har vokst ut av akademia. Det har i stor grad vært forskningsprosjekter ved universitetet, eller de har vært små programvareutviklingsprosjekter som i stor grad har blitt spunnet ut av akademikere eller store selskaper, og de har rett og slett ikke sikkerheten på innsiden,» Tom Bonner, forskningsdirektør ved HiddenLayer, en slik sikkerhetsfokusert oppstart, fortalte Registeret.
«De vil løse et interessant matematisk problem ved å bruke programvare, og så vil de distribuere det, og det er det. Den er ikke pennetestet, det er ingen AI red teaming, risikovurderinger eller en sikker utviklingslivssyklus. Plutselig har AI og maskinlæring virkelig tatt av, og alle ser etter å komme inn i det. De går alle og plukker opp alle de vanlige programvarepakkene som har vokst ut av akademia, og lo og se, de er fulle av sårbarheter, fulle av hull.»
AI-forsyningskjeden har mange inngangspunkter for kriminelle, som kan bruke ting som Typosquatting å lure utviklere til å bruke ondsinnede kopier av ellers legitime biblioteker, slik at skurkene kan stjele sensitive data og bedriftslegitimasjon, kapre servere som kjører koden, og mer, hevdes det. Programvareforsyningskjedeforsvar bør også brukes på utvikling av maskinlæringssystem.
"Hvis du tenker på et sektordiagram over hvordan du kommer til å bli hacket når du åpner opp en AI-avdeling i bedriften eller organisasjonen din," sa Dan McInerney, ledende AI-sikkerhetsforsker ved Protect AI. Registeret, "en liten brøkdel av den kaken kommer til å være modellinndataangrep, som er det alle snakker om. Og en gigantisk del kommer til å angripe forsyningskjeden – verktøyene du bruker til å bygge modellen selv.»
Input angrep blir interessante måter som folk kan bryte AI-programvare ved å bruke.
For å illustrere den potensielle faren, HiddenLayer den andre uken fremhevet det den har stor tro på er et sikkerhetsproblem med en nettjeneste levert av Hugging Face som konverterer modeller i det usikre Pickle-formatet til det sikrere Safetennere, også utviklet av Hugging Face.
Pickle-modeller kan inneholde skadelig programvare og annen vilkårlig kode som kan kjøres stille og uventet når de deserialiseres, noe som ikke er bra. Safetensors ble opprettet som et sikrere alternativ: Modeller som bruker det formatet skal ikke ende opp med å kjøre innebygd kode når de er deserialisert. For de som ikke vet, er Hugging Face vert for hundretusenvis av nevrale nettverksmodeller, datasett og kodebiter som utviklere kan laste ned og bruke med bare noen få klikk eller kommandoer.
Safetensors-omformeren kjører på Hugging Face-infrastruktur, og kan bli bedt om å konvertere en PyTorch Pickle-modell hostet av Hugging Face til en kopi i Safetensors-formatet. Men selve konverteringsprosessen på nettet er sårbar for kjøring av vilkårlig kode, ifølge HiddenLayer.
HiddenLayer-forskere sa at de fant ut at de kunne sende inn en konverteringsforespørsel for en ondsinnet Pickle-modell som inneholder vilkårlig kode, og under transformasjonsprosessen vil den koden bli utført på Hugging Faces systemer, slik at noen kan begynne å rote med konverteringsroboten og dens brukere. Hvis en bruker konverterte en ondsinnet modell, kan Hugging Face-tokenet deres bli eksfiltrert av den skjulte koden, og "vi kunne faktisk stjele Hugging Face-tokenet deres, kompromittere depotet deres og se alle private depoter, datasett og modeller som den brukeren har tilgang til», argumenterte HiddenLayer.
I tillegg blir vi fortalt at konverteringsrobotens påloggingsinformasjon kan nås og lekkes av kode som er lagret i en Pickle-modell, slik at noen kan forkle seg som boten og åpne pull-forespørsler om endringer i andre depoter. Disse endringene kan introdusere skadelig innhold hvis de godtas. Vi har bedt Hugging Face om et svar på HiddenLayers funn.
"Ironisk nok var konverteringstjenesten for å konvertere til Safetensors i seg selv fryktelig usikker," fortalte HiddenLayers Bonner oss. "Gitt tilgangsnivået som konverteringsroboten hadde til depotene, var det faktisk mulig å stjele tokenet de bruker til å sende inn endringer gjennom andre depoter.
"Så i teorien kunne en angriper ha sendt inn en hvilken som helst endring til ethvert depot og fått det til å se ut som det kom fra Hugging Face, og en sikkerhetsoppdatering kunne ha lurt dem til å godta det. Folk ville bare hatt bakdørsmodeller eller usikre modeller i reposene sine og ville ikke vite det.»
Dette er mer enn en teoretisk trussel: Devops-butikken JFrog sa den fant ondsinnet kode som skjuler seg i 100 modeller på Hugging Face.
Det er i sannhet forskjellige måter å skjule skadelige nyttelaster av kode på i modeller som – avhengig av filformatet – kjøres når de nevrale nettverkene lastes og analyseres, slik at miscreanter kan få tilgang til folks maskiner. PyTorch- og Tensorflow Keras-modeller "utgjør den høyeste potensielle risikoen for å utføre ondsinnet kode fordi de er populære modelltyper med kjente kodeutførelsesteknikker som har blitt publisert," bemerket JFrog.
Usikre anbefalinger
Programmerere som bruker kode-foreslående assistenter for å utvikle applikasjoner, må også være forsiktige, advarte Bonner, ellers kan de ende opp med å inkludere usikker kode. GitHub Copilot, for eksempel, ble trent på åpen kildekode-repositorier, og minst 350,000 XNUMX av dem er potensielt sårbare for en gammelt sikkerhetsproblem involverer Python og tar-arkiver.
Pythons tarfil modul, som navnet antyder, hjelper programmer med å pakke ut tar-arkiver. Det er mulig å lage en .tar slik at når en fil i arkivet trekkes ut av Python-modulen, vil den forsøke å overskrive en vilkårlig fil på brukerens filsystem. Dette kan utnyttes til å kaste innstillinger, erstatte skript og forårsake andre ugagn.
Feilen ble oppdaget i 2007 og fremhevet igjen i 2022, noe som fikk folk til å begynne å lappe prosjekter for å unngå denne utnyttelsen. Disse sikkerhetsoppdateringene har kanskje ikke kommet inn i datasettene som brukes til å trene store språkmodeller til programmering, beklaget Bonner. "Så hvis du ber en LLM om å gå og pakke ut en tar-fil akkurat nå, vil den sannsynligvis spytte deg tilbake [den gamle] sårbare koden."
Bonner oppfordret AI-fellesskapet til å begynne å implementere forsyningskjedesikkerhetspraksis, for eksempel å kreve at utviklere digitalt beviser at de er den de sier de er når de gjør endringer i offentlige kodelagre, noe som vil forsikre folk om at nye versjoner av ting ble produsert av legit utviklere og var ikke ondsinnede endringer. Det vil kreve at utviklere skal sikre det de bruker for å autentisere, slik at noen andre ikke kan forkle seg som dem.
Og alle utviklere, store og små, bør gjennomføre sikkerhetsvurderinger og inspisere verktøyene de bruker, og pennteste programvaren deres før den distribueres.
Å prøve å øke sikkerheten i AI-forsyningskjeden er vanskelig, og med så mange verktøy og modeller som bygges og lanseres, er det vanskelig å følge med.
Protect AIs McInerney understreket "det er en slags tilstand vi er i akkurat nå. Det er mye lavthengende frukt som finnes over alt. Det er bare ikke nok arbeidskraft til å se på det hele fordi alt går så fort.» ®
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_supply_chain/
- : har
- :er
- :ikke
- $OPP
- 000
- 100
- 2022
- 350
- 7
- a
- Om oss
- Academia
- akademikere
- akseptert
- akseptere
- adgang
- aksesseres
- Ifølge
- faktisk
- tillegg
- en gang til
- AI
- algoritmer
- Alle
- tillate
- også
- alternativ
- alltid
- an
- og
- En annen
- noen
- søknader
- anvendt
- apps
- vilkårlig
- arkitekturer
- Arkiv
- arkiv
- ER
- argumentert
- rundt
- AS
- spør
- vurderingene
- assistenter
- At
- angripe
- angriper
- angripe
- Angrep
- forsøk
- revidert
- godkjenne
- tilgjengelig
- unngå
- tilbake
- Bakdører
- dårlig
- BE
- fordi
- Storfekjøtt
- vært
- før du
- bak
- være
- mener
- Stor
- biter
- Bot
- Break
- bygge
- bygget
- men
- by
- kom
- CAN
- forsiktig
- Årsak
- kjede
- endring
- Endringer
- Figur
- ChatGPT
- Klassifisere
- Lukke
- CO
- kode
- Felles
- samfunnet
- Selskaper
- Selskapet
- komponenter
- kompromiss
- kompromittert
- Gjennomføre
- konstruere
- inneholde
- innhold
- innhold
- Konvertering
- konvertere
- konvertert
- kopiere
- Bedriftens
- kunne
- lage
- opprettet
- Credentials
- kriminelle
- nysgjerrighet
- skikk
- Cybersecurity
- skade
- FARE
- dato
- datasett
- forsvar
- Avdeling
- avhengig
- utplassere
- utplassert
- utvikle
- utviklet
- utviklere
- Utvikling
- devs
- forskjellig
- vanskelig
- digitalt
- Don
- tviler
- nedlasting
- under
- effekt
- ellers
- innebygd
- Emery
- slutt
- Ingeniører
- nok
- entry
- spesielt
- etablert
- evaluert
- alle
- alle
- alt
- eksempel
- Kjøreglede
- henrettet
- utførende
- gjennomføring
- finnes
- utnytting
- Exploited
- øye
- Face
- Faktisk
- Fall
- fantastisk
- FAST
- frykt
- Noen få
- filet
- funn
- feil
- Til
- glemt
- format
- Sterk
- funnet
- brøkdel
- fra
- fullt
- Gevinst
- få
- giganten
- GitHub
- gitt
- Go
- skal
- flott
- voksen
- hacket
- HAD
- praktisk
- skadelig
- Ha
- hjelper
- her.
- skjult
- Gjemme seg
- skjule
- høyest
- kapre
- Holes
- håp
- vert
- Vertskapet
- Hvordan
- HTML
- HTTPS
- Hundrevis
- Hype
- if
- illustrere
- implementere
- in
- Incorporated
- innlemme
- INFOSEC
- Infrastruktur
- inngang
- usikker
- innsiden
- interessant
- inn
- introdusere
- involverer
- ironisk
- er n
- utstedelse
- IT
- DET ER
- selv
- jpg
- bare
- Hold
- hard
- Type
- Vet
- kjent
- Etiketten
- Tomt
- Språk
- stor
- i stor grad
- føre
- ledende
- læring
- minst
- Permisjon
- Legit
- Nivå
- bibliotekene
- Livssyklus
- i likhet med
- ll
- LLM
- Se
- ser ut som
- ser
- Lot
- maskin
- maskinlæring
- maskiner
- laget
- større
- Making
- skadelig
- malware
- mange
- Masquerade
- matematiske
- Kan..
- tankene
- mangler
- modell
- modeller
- Moduler
- mer
- flytting
- mye
- navn
- Trenger
- nettverk
- nettverk
- nevrale
- nevrale nettverket
- nevrale nettverk
- Ny
- Nei.
- bemerket
- nå
- mange
- forekomme
- of
- off
- Gammel
- on
- gang
- ONE
- på nett
- åpen
- åpen kildekode
- or
- organisasjon
- Annen
- ellers
- ut
- produksjon
- enn
- pakker
- patching
- Ansatte
- Utfør
- kanskje
- fase
- plukking
- brikke
- Sted
- plato
- Platon Data Intelligence
- PlatonData
- Spille
- spillere
- plugins
- poeng
- Populær
- del
- positur
- mulig
- potensiell
- potensielt
- praksis
- bytte
- privat
- sannsynligvis
- Problem
- prosess
- produsert
- Produkter
- program
- programmer
- Progress
- prosjekt
- prosjekter
- beskytte
- Bevis
- forutsatt
- offentlig
- publisert
- sette
- Python
- pytorch
- heller
- RE
- virkelig
- Forsikre
- Rød
- utgitt
- nådeløse
- påminnelse
- erstatte
- Repository
- anmode
- forespørsler
- krever
- forskning
- forsker
- forskere
- svar
- ikke sant
- Risiko
- rennende
- går
- jag
- s
- trygt
- sikrere
- Sikkerhet
- Sa
- sier
- forskere
- skript
- granskning
- sikre
- sikkerhet
- sett
- sensitive
- Servere
- tjeneste
- innstillinger
- SKIP
- levert
- Shop
- bør
- siden
- liten
- So
- Software
- programvareutvikling
- LØSE
- noen
- Noen
- noe
- kilde
- kildekoden
- spesielt
- spunnet
- Begynn
- oppstart
- startups
- Tilstand
- Story
- sterk
- send
- innsendt
- slik
- plutselig
- foreslår
- levere
- forsyningskjeden
- system
- Systemer
- takle
- tatt
- Snakker
- oppgaver
- tech
- teknikker
- pleier
- tensorflow
- test
- testet
- enn
- Det
- De
- Staten
- deres
- Dem
- seg
- deretter
- teoretiske
- teori
- Der.
- Disse
- de
- ting
- tror
- denne
- De
- selv om?
- tusener
- trussel
- Gjennom
- til
- sammen
- token
- fortalte
- tom
- også
- verktøy
- Tog
- trent
- Kurs
- Transformation
- trick
- Sannhet
- typer
- typisk
- unektelig
- forstå
- Forståelig
- universitet
- Oppdater
- oppdateringer
- oppfordret
- us
- bruke
- brukt
- Bruker
- Brukere
- ved hjelp av
- ulike
- Ve
- versjoner
- Se
- vp
- Sikkerhetsproblemer
- Sårbar
- advarte
- var
- Vei..
- måter
- we
- uke
- VI VIL
- var
- Hva
- uansett
- når
- hvilken
- mens
- HVEM
- vil
- med
- innenfor
- ord
- verden
- ville
- ville ikke
- Du
- Din
- zephyrnet