Feature Medtem ko se jim mudi razumeti, zgraditi in poslati izdelke umetne inteligence, razvijalce in podatkovne znanstvenike pozivamo, naj bodo pozorni na varnost in ne postanejo žrtev napadov v dobavni verigi.
Obstaja nešteto modelov, knjižnic, algoritmov, vnaprej zgrajenih orodij in paketov, s katerimi se lahko igrate, napredek pa je neizprosen. Izhod teh sistemov je morda druga zgodba, čeprav je nesporno, da je vedno vsaj nekaj novega za igranje.
Ne pozabite na vse navdušenje, hype, radovednost in strah pred zamudo, varnosti ni mogoče pozabiti. Če to za vas ni šok, fantastično. Toda tukaj je priročen opomnik, zlasti ker tehnologijo strojnega učenja sestavljajo znanstveniki in ne inženirji, vsaj v razvojni fazi, in medtem ko ti ljudje poznajo stvari, kot so arhitekture nevronskih mrež, kvantizacija in naslednje genskih tehnik usposabljanja, infosec razumljivo morda ni njihova močna stran.
Sestavljanje projekta AI se ne razlikuje toliko od izdelave katerega koli drugega dela programske opreme. Običajno boste zlepili knjižnice, pakete, podatke o usposabljanju, modele in izvorno kodo po meri za izvajanje nalog sklepanja. Komponente kode, ki so na voljo v javnih repozitorijih, lahko vsebujejo skrita stranska vrata ali eksfiltratorje podatkov, vnaprej zgrajeni modeli in nabori podatkov pa so lahko zastrupljeni, kar povzroči, da se aplikacije nepričakovano obnašajo neprimerno.
Pravzaprav lahko nekateri modeli vsebujejo zlonamerno programsko opremo, tj izvršeno če njihova vsebina ni varno deserializirana. Tudi varnost vtičnikov ChatGPT priti pod natančen pregled.
Z drugimi besedami, napadi v dobavni verigi, ki smo jih videli v svetu razvoja programske opreme, se lahko zgodijo v deželi umetne inteligence. Slabi paketi bi lahko povzročili ogrožanje delovnih postaj razvijalcev, kar bi povzročilo škodljive vdore v korporativna omrežja, poseganje v modele in nabore podatkov za usposabljanje pa bi lahko povzročilo, da bi aplikacije napačno razvrstile stvari, užalile uporabnike itd. Knjižnice in modeli z zakulisnimi vrati ali z zlonamerno programsko opremo, če so vključeni v poslano programsko opremo, lahko uporabnike teh aplikacij prav tako pustijo odprte za napade.
Rešili bodo zanimiv matematični problem in ga potem razporedili in to je to. Ni preizkušen s peresom, ni AI rdeče ekipe
Kot odgovor na to se pojavljajo novoustanovljena podjetja za kibernetsko varnost in umetno inteligenco, ki se ukvarjajo s to grožnjo; nedvomno imajo na to oko tudi uveljavljeni igralci, vsaj tako upamo. Projekte strojnega učenja je treba revidirati in pregledati, testirati glede varnosti in oceniti glede varnosti.
»[AI] je zrasel iz akademije. Večinoma so bili to raziskovalni projekti na univerzi ali majhni projekti razvoja programske opreme, ki so jih večinoma odcepili akademiki ali večja podjetja, v sebi pa preprosto nimajo varnosti,« Tom Bonner, podpredsednik raziskav pri HiddenLayerju, eden tak zagon, osredotočen na varnost, povedal Register.
»S programsko opremo bodo rešili zanimiv matematični problem, nato pa ga bodo uvedli in to je to. Ni preizkušen s peresom, ni rdečega združevanja AI, ocen tveganja ali varnega življenjskega cikla razvoja. Kar naenkrat sta se umetna inteligenca in strojno učenje resnično razmahnila in vsi želijo vstopiti v to. Vsi gredo in pobirajo vse običajne programske pakete, ki so zrasli iz akademije, in glej, glej, polni so ranljivosti, polni lukenj.«
Dobavna veriga umetne inteligence ima številne vstopne točke za kriminalce, ki lahko uporabljajo stvari, kot so tiposkvat Pretentati razvijalce v uporabo zlonamernih kopij sicer zakonitih knjižnic, s čimer bi prevarantom omogočili krajo občutljivih podatkov in poverilnic podjetja, ugrabitev strežnikov, na katerih se izvaja koda, in še več, trdijo. Obrambo dobavne verige programske opreme je treba uporabiti tudi pri razvoju sistemov strojnega učenja.
»Če pomislite na tortni diagram, kako vas bodo vdrli, ko v svojem podjetju ali organizaciji odprete oddelek za umetno inteligenco,« je povedal Dan McInerney, vodilni varnostni raziskovalec za umetno inteligenco pri Protect AI. Register, »majhen del tega kolača bodo napadi z vnosom modelov, o čemer vsi govorijo. In ogromen del bo napadel dobavno verigo – orodja, ki jih uporabljate za izdelavo samega modela.«
Vhodni napadi so zanimive načine s katero lahko ljudje zlomijo programsko opremo AI.
Za ponazoritev potencialne nevarnosti, HiddenLayer prejšnji teden poudarjeno trdno verjame, da je varnostna težava s spletno storitvijo Hugging Face, ki pretvori modele v nevarnem formatu Pickle v bolj varnega Safetensors, ki ga je prav tako razvil Hugging Face.
Pickle modeli lahko vsebujejo zlonamerno programsko opremo in drugo poljubno kodo, ki bi se lahko ob deserializaciji tiho in nepričakovano izvršila, kar ni dobro. Safetensors je bil ustvarjen kot varnejša alternativa: modeli, ki uporabljajo to obliko, po deserializaciji ne bi smeli izvajati vdelane kode. Za tiste, ki ne vedo, Hugging Face gosti na stotine tisoče modelov nevronskih mrež, naborov podatkov in delov kode, ki jih lahko razvijalci prenesejo in uporabljajo z le nekaj kliki ali ukazi.
Pretvornik Safetensors deluje na infrastrukturi Hugging Face in mu je mogoče naročiti, da pretvori model PyTorch Pickle, ki ga gosti Hugging Face, v kopijo v formatu Safetensors. Toda ta spletni proces pretvorbe je sam po sebi ranljiv za poljubno izvajanje kode, pravi HiddenLayer.
Raziskovalci HiddenLayer so povedali, da so ugotovili, da lahko oddajo zahtevo za pretvorbo za zlonamerni model Pickle, ki vsebuje poljubno kodo, med postopkom transformacije pa bi se ta koda izvajala v sistemih Hugging Face, kar bi nekomu omogočilo, da se začne zapletati s pretvorniškim botom in njegovimi uporabniki. Če bi uporabnik pretvoril zlonamerni model, bi njegov žeton Hugging Face lahko eksfiltriral skrita koda in »lahko bi pravzaprav ukradli njihov žeton Hugging Face, ogrozili njihovo skladišče in si ogledali vse zasebne repozitorije, nabore podatkov in modele, ki jih ima ta uporabnik dostop do,« je trdil HiddenLayer.
Poleg tega so nam povedali, da lahko do poverilnic pretvornika bota dostopa in razkrije koda, shranjena v modelu Pickle, kar omogoča nekomu, da se maskira v bota in odpre zahteve za vlečenje za spremembe v drugih skladiščih. Te spremembe bi lahko uvedle zlonamerno vsebino, če bi bile sprejete. Hugging Face smo prosili za odgovor na ugotovitve HiddenLayerja.
»Ironično je, da je bila storitev pretvorbe za pretvorbo v Safetensors sama po sebi strašno negotova,« nam je povedal Bonner iz HiddenLayerja. »Glede na raven dostopa, ki ga je imel pretvorbeni bot do skladišč, je bilo dejansko mogoče ukrasti žeton, ki ga uporabljajo za predložitev sprememb prek drugih skladišč.
»Torej v teoriji bi lahko napadalec poslal kakršno koli spremembo v katero koli skladišče in naredil, da je videti, kot da prihaja iz Hugging Face, in varnostna posodobitev bi ga lahko preslepila, da bi jo sprejel. Ljudje bi imeli samo modele za zakulisje ali nevarne modele v svojih skladiščih in ne bi vedeli.”
To je več kot le teoretična grožnja: trgovina Devops JFrog rekel, da je našel zlonamerna koda, ki se skriva v 100 modelih, ki jih gosti Hugging Face.
V resnici obstajajo različni načini za skrivanje škodljivega koristnega tovora kode v modelih, ki se – odvisno od formata datoteke – izvajajo, ko se nevronska omrežja naložijo in razčlenijo, kar nepridipravom omogoča dostop do strojev ljudi. Modela PyTorch in Tensorflow Keras "predstavljata največje potencialno tveganje za izvajanje zlonamerne kode, ker sta priljubljeni vrsti modela z znanimi tehnikami izvajanja kode, ki so bile objavljene," je opozoril JFrog.
Negotova priporočila
Tudi programerji, ki uporabljajo pomočnike za predlaganje kode za razvoj aplikacij, morajo biti previdni, je opozoril Bonner, sicer lahko na koncu vključijo nevarno kodo. GitHub Copilot je bil na primer usposobljen za odprtokodne repozitorije in vsaj 350,000 jih je potencialno ranljivih za stara varnostna težava ki vključuje arhive Python in tar.
Pythonova tarfile modul, kot že ime pove, pomaga programom razpakirati arhive tar. Možno je izdelati .tar tako, da ko modul Python ekstrahira datoteko v arhivu, poskuša prepisati poljubno datoteko v uporabnikovem datotečnem sistemu. To je mogoče izkoristiti za odstranjevanje nastavitev, zamenjavo skriptov in povzročanje drugih nesreč.
Napaka je bila opažena leta 2007 in poudarjeno znova leta 2022, zaradi česar so ljudje začeli popravljati projekte, da bi se izognili temu izkoriščanju. Te varnostne posodobitve morda niso prišle v nabore podatkov, ki se uporabljajo za usposabljanje velikih jezikovnih modelov za programiranje, je obžaloval Bonner. "Torej, če prosite LLM-a, da gre in zdaj odpakira datoteko tar, vam bo verjetno povrnil [staro] ranljivo kodo."
Bonner je skupnost umetne inteligence pozval, naj začne izvajati varnostne prakse dobavne verige, kot je zahteva od razvijalcev, da digitalno dokažejo, da so to, za kar se predstavljajo, ko spreminjajo javna skladišča kode, kar bi ljudi prepričalo, da so nove različice stvari ustvarili zakoniti razvijalci in niso bile zlonamerne spremembe. To bi od razvijalcev zahtevalo, da zavarujejo vse, kar uporabljajo za preverjanje pristnosti, tako da se nekdo drug ne more maskirati v njih.
In vsi razvijalci, veliki in majhni, bi morali opraviti ocene varnosti in pregledati orodja, ki jih uporabljajo, ter preizkusiti svojo programsko opremo, preden jo uvedejo.
Poskus povečanja varnosti v dobavni verigi umetne inteligence je težaven in s toliko orodji in modeli, ki se izdelujejo in izdajajo, je težko slediti.
McInerney iz Protect AI je poudaril, da je »trenutno v takšnem stanju. Povsod je veliko nizko visečega sadja. Enostavno ni dovolj delovne sile, da bi si ogledala vse, ker se vse premika tako hitro.« ®
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_supply_chain/
- :ima
- : je
- :ne
- $GOR
- 000
- 100
- 2022
- 350
- 7
- a
- O meni
- Akademija
- akademiki
- sprejeta
- sprejemanje
- dostop
- dostopna
- Po
- dejansko
- Poleg tega
- spet
- AI
- algoritmi
- vsi
- Dovoli
- Prav tako
- alternativa
- vedno
- an
- in
- Še ena
- kaj
- aplikacije
- uporabna
- aplikacije
- samovoljna
- arhitekture
- Arhiv
- Arhiv
- SE
- trdili
- okoli
- AS
- vprašati
- Ocene
- pomočniki
- At
- napad
- Napadalec
- Napadanje
- Napadi
- poskus
- revidiranih
- preverjanje pristnosti
- Na voljo
- izogniti
- nazaj
- Skrite
- Slab
- BE
- ker
- Goveji
- bilo
- pred
- zadaj
- počutje
- meni
- Big
- bitov
- Bot
- Break
- izgradnjo
- zgrajena
- vendar
- by
- prišel
- CAN
- previdni
- Vzrok
- verige
- spremenite
- Spremembe
- Graf
- ChatGPT
- Razvrsti
- Zapri
- CO
- Koda
- Skupno
- skupnost
- Podjetja
- podjetje
- deli
- Kompromis
- Ogroženo
- Ravnanje
- gradnjo
- vsebujejo
- vsebina
- Vsebina
- Pretvorba
- pretvorbo
- pretvori
- copy
- Corporate
- bi
- obrti
- ustvaril
- Mandatno
- Kriminalci
- radovednost
- po meri
- Cybersecurity
- poškodovali
- NEVARNOST
- datum
- nabor podatkov
- obrambe
- Oddelek
- Odvisno
- razporedi
- razporejeni
- Razvoj
- razvili
- Razvijalci
- Razvoj
- devs
- drugačen
- težko
- digitalno
- don
- dvomim
- prenesi
- med
- učinek
- ostalo
- vgrajeni
- smirkovim
- konec
- Inženirji
- dovolj
- Vpis
- zlasti
- ustanovljena
- ocenili
- Vsi
- vsi
- vse
- Primer
- Vznemirjenje
- izvršeno
- izvršitve
- izvedba
- obstaja
- izkoriščanje
- Exploited
- oči
- Obraz
- Dejstvo
- Padec
- fantastičen
- FAST
- strah
- Nekaj
- file
- Ugotovitve
- napaka
- za
- pozabljen
- format
- Močna
- je pokazala,
- ulomek
- iz
- polno
- Gain
- dobili
- velikan
- GitHub
- dana
- Go
- dogaja
- veliko
- goji
- kramp
- imel
- priročen
- škodljiva
- Imajo
- Pomaga
- tukaj
- skrita
- Skrij
- skrivanje
- najvišja
- ugrabitvijo
- Luknje
- upam,
- gostila
- Gostitelji
- Kako
- HTML
- HTTPS
- Stotine
- hype
- if
- ilustrirajte
- izvajanja
- in
- Vključena
- vključujoč
- INFOSEC
- Infrastruktura
- vhod
- negotov
- v notranjosti
- Zanimivo
- v
- uvesti
- vključujejo
- Ironično
- isn
- vprašanje
- IT
- ITS
- sam
- jpg
- samo
- Imejte
- keras
- Otrok
- Vedite
- znano
- label
- Država
- jezik
- velika
- v veliki meri
- vodi
- vodi
- učenje
- vsaj
- pustite
- Legit
- Stopnja
- knjižnice
- življenski krog
- kot
- ll
- LLM
- Poglej
- izgleda kot
- si
- Sklop
- stroj
- strojno učenje
- Stroji
- je
- velika
- Izdelava
- zlonamerno
- zlonamerna programska oprema
- več
- Maškarada
- matematični
- Maj ..
- moti
- manjka
- Model
- modeli
- Moduli
- več
- premikanje
- veliko
- Ime
- Nimate
- mreža
- omrežij
- Živčne
- nevronska mreža
- nevronske mreže
- Novo
- št
- opozoriti
- zdaj
- številne
- pojavijo
- of
- off
- Staro
- on
- enkrat
- ONE
- na spletu
- odprite
- open source
- or
- Organizacija
- Ostalo
- drugače
- ven
- izhod
- več
- pakete
- Zaplata
- ljudje
- Izvedite
- mogoče
- faza
- nabiranje
- kos
- Kraj
- platon
- Platonova podatkovna inteligenca
- PlatoData
- Predvajaj
- igralci
- plugins
- točke
- Popular
- del
- predstavljajo
- mogoče
- potencial
- potencialno
- vaje
- plen
- zasebna
- verjetno
- problem
- Postopek
- Proizvedeno
- Izdelki
- Program
- programi
- Napredek
- Projekt
- projekti
- zaščito
- Dokaži
- če
- javnega
- objavljeno
- dal
- Python
- pitorha
- precej
- RE
- res
- pomiriti
- Rdeča
- sprosti
- neusmiljen
- opomnik
- zamenjajte
- Skladišče
- zahteva
- zahteva
- zahteva
- Raziskave
- raziskovalec
- raziskovalci
- Odgovor
- Pravica
- Tveganje
- tek
- deluje
- hiteti
- s
- varno
- varnejši
- Varnost
- Je dejal
- pravijo,
- Znanstveniki
- skripte
- pregled
- zavarovanje
- varnost
- videl
- občutljiva
- Strežniki
- Storitev
- nastavitve
- LADJE
- pošiljajo
- Trgovina
- shouldnt
- saj
- majhna
- So
- Software
- Razvoj programske opreme
- SOLVE
- nekaj
- nekdo
- Nekaj
- vir
- Izvorna koda
- posebej
- zavrtel
- Začetek
- zagon
- Ustanavljanjem
- Država
- Zgodba
- Močno
- predloži
- predložen
- taka
- nenadoma
- Predlaga
- dobavi
- dobavne verige
- sistem
- sistemi
- reševanje
- sprejeti
- pogovori
- Naloge
- tech
- tehnike
- težava
- tensorflo
- Test
- Testiran
- kot
- da
- O
- Država
- njihove
- Njih
- sami
- POTEM
- Teoretični
- Teorija
- Tukaj.
- te
- jih
- stvari
- mislim
- ta
- tisti,
- čeprav?
- tisoče
- Grožnja
- skozi
- do
- skupaj
- žeton
- Rekel
- tom
- tudi
- orodja
- Vlak
- usposobljeni
- usposabljanje
- Preoblikovanje
- Trik
- Resnica
- Vrste
- tipično
- zanikati
- razumeli
- Razumljivo
- univerza
- Nadgradnja
- posodobitve
- nujno
- us
- uporaba
- Rabljeni
- uporabnik
- Uporabniki
- uporabo
- različnih
- Ve
- različice
- Poglej
- vp
- Ranljivosti
- Ranljivi
- Opozoril
- je
- način..
- načini
- we
- teden
- Dobro
- so bili
- Kaj
- karkoli
- kdaj
- ki
- medtem
- WHO
- bo
- z
- v
- besede
- svet
- bi
- ne bi
- Vi
- Vaša rutina za
- zefirnet