tunnusjoon Tehisintellektitoodete mõistmise, ehitamise ja tarnimisega kiirustades kutsutakse arendajaid ja andmeteadlasi üles olema turvalisuse suhtes tähelepanelik ja mitte langema tarneahela rünnakute ohvriks.
Mängimiseks on lugematu arv mudeleid, teeke, algoritme, eelehitatud tööriistu ja pakette ning edasiminek on järeleandmatu. Nende süsteemide väljund on võib-olla teine lugu, kuigi on vaieldamatu, et alati on vähemalt midagi uut, millega mängida.
Ärge unustage kogu põnevust, hüpet, uudishimu ja hirmu ilma jääda, turvalisust ei saa unustada. Kui see pole teile šokk, siis fantastiline. Kuid meeldetuletus on siinkohal kasulik, eriti kuna masinõppetehnoloogiat panevad kokku pigem teadlased kui insenerid, vähemalt arendusfaasis, ja kuigi need inimesed teavad, kuidas käituda sellistes asjades nagu närvivõrgu arhitektuur, kvantimine ja gen treeningtehnikad, infosec ei pruugi arusaadavalt olla nende tugevus.
Tehisintellekti projekti koostamine ei erine kuigivõrd mis tahes muu tarkvara loomisest. Tavaliselt liimite järeldustoimingute tegemiseks kokku teegid, paketid, koolitusandmed, mudelid ja kohandatud lähtekoodi. Avalikest hoidlatest saadaolevad koodikomponendid võivad sisaldada peidetud tagauksi või andmete väljafiltreid ning eelehitatud mudelid ja andmekogumid võivad olla mürgitatud, põhjustades rakenduste ootamatult sobimatut käitumist.
Tegelikult võivad mõned mudelid sisaldada pahavara, mis on täidetud kui nende sisu ei ole ohutult deserialiseeritud. ChatGPT pistikprogrammide turvalisus on samuti olemas alla tulla hoolikas kontroll.
Teisisõnu, tarneahela rünnakud, mida oleme näinud tarkvaraarenduse maailmas, võivad toimuda AI-maal. Halvad paketid võivad viia arendajate tööjaamade ohtu seadmiseni, mis võib kahjustada ettevõtte võrkudesse tungimist, ning mudelite ja koolitusandmekogumite võltsimine võib põhjustada rakendusi asjade valesti klassifitseerimise, kasutajate solvamise ja nii edasi. Tarnitud tarkvarasse kaasatud tagauksega või pahavaraga tegid ja mudelid võivad jätta ka nende rakenduste kasutajad rünnakuteks avatuks.
Nad lahendavad huvitava matemaatilise ülesande ja seejärel võtavad selle kasutusele ja kõik. Seda pole pliiatsiga testitud, puudub AI punane meeskonnatöö
Vastuseks on küberjulgeoleku ja tehisintellekti idufirmad esile kerkimas just selle ohuga võitlemiseks; kahtlemata on väljakujunenud mängijatel ka sellel silma peal, vähemalt nii me loodame. Masinõppeprojekte tuleks auditeerida ja kontrollida, nende turvalisust testida ja ohutust hinnata.
„[AI] on akadeemilisest ringkonnast välja kasvanud. Need on olnud suures osas ülikoolide uurimisprojektid või väikesed tarkvaraarendusprojektid, mis on suurelt jaolt olnud akadeemikute või suurfirmade poolt ja mille sees pole lihtsalt turvalisust," ütles Tom Bonner, HiddenLayeri uurimisosakonna asepresident. selline turvalisusele keskendunud käivitamine, ütles Register.
"Nad lahendavad tarkvara abil huvitava matemaatilise ülesande ja seejärel võtavad selle kasutusele ja kõik. Seda ei testita pastakaga, puudub AI punane meeskonnatöö, riskihinnangud ega turvaline arendustsükkel. Äkki on tehisintellekt ja masinõpe hoo sisse saanud ja kõik tahavad sellesse sisse saada. Nad kõik lähevad ja korjavad üles kõik tavalised tarkvarapaketid, mis on välja kasvanud akadeemilistest ringkondadest ja ennäe imet, need on täis turvaauke, täis auke.
AI tarneahelal on palju kurjategijate sisenemispunkte, kes saavad kasutada selliseid asju nagu kirjaviga Väidetakse, et arendajate petmiseks kasutama muidu legitiimsete teekide pahatahtlikke koopiaid, võimaldades kelmidel varastada tundlikke andmeid ja ettevõtte mandaate, kaaperdada koodi käitavaid servereid ja palju muud. Tarkvara tarneahela kaitsemehhanisme tuleks rakendada ka masinõppesüsteemide arendamisel.
"Kui mõtlete sektordiagrammile, kuidas teid häkitakse, kui avate oma ettevõttes või organisatsioonis tehisintellekti osakonna," ütles Protect AI juhtiv tehisintellekti turvateadlane Dan McInerney. Register, "väike osa sellest pirukast on mudelsisendrünnakud, millest kõik räägivad. Ja hiiglaslik osa ründab tarneahelat – tööriistu, mida kasutate mudeli ise ehitamiseks.
Sisendrünnakud on huvitavaid viise mida kasutades saavad inimesed tehisintellekti tarkvara lõhkuda.
Võimaliku ohu illustreerimiseks HiddenLayer teisel nädalal esile usub kindlalt, et Hugging Face'i pakutava võrguteenuse turvaprobleem, mis teisendab ebaturvalises Pickle-vormingus mudelid turvalisemaks. Seifid, mille on välja töötanud ka Hugging Face.
Pickle mudelid võivad sisaldada pahavara ja muud suvalist koodi, mida saab deserialiseerimisel vaikselt ja ootamatult käivitada, mis pole suurepärane. Safetensors loodi turvalisema alternatiivina: seda vormingut kasutavad mudelid ei tohiks deserialiseerimisel manustatud koodi käitada. Neile, kes ei tea, Hugging Face majutab sadu tuhandeid närvivõrgu mudeleid, andmekogumeid ja koodilõike, mida arendajad saavad vaid mõne klõpsu või käsuga alla laadida ja kasutada.
Safetensorsi muundur töötab Hugging Face'i infrastruktuuril ja seda saab juhendada Hugging Face'i hostitud PyTorch Pickle'i mudeli teisendamiseks Safetensorsi vormingus koopiaks. Kuid HiddenLayeri sõnul on see veebipõhine teisendusprotsess ise haavatav suvalise koodi täitmise suhtes.
HiddenLayeri teadlased ütlesid, et nad avastasid, et võivad esitada suvalist koodi sisaldava pahatahtliku Pickle'i mudeli konversioonitaotluse ja teisendusprotsessi käigus käivitatakse see kood Hugging Face'i süsteemides, võimaldades kellelgi hakata konverterboti ja selle kasutajatega jamama. Kui kasutaja teisendab pahatahtliku mudeli, võib peidetud kood tema Kallistava näo märgi väljafiltreerida ja "me võime tegelikult varastada tema kallistava näo märgi, ohustada nende hoidlat ja vaadata kõiki sellel kasutajal olevaid privaatseid hoidlaid, andmekogumeid ja mudeleid. juurdepääs,” väitis HiddenLayer.
Lisaks öeldi meile, et muundurboti mandaatidele pääseb juurde ja need võivad lekkida Pickle'i mudelisse peidetud koodi abil, võimaldades kellelgi end robotiks maskeerida ja avada tõmbetaotlusi muude hoidlate muutmiseks. Need muudatused võivad vastuvõtmisel tuua kaasa pahatahtlikku sisu. Oleme palunud Hugging Face'ilt HiddenLayeri leidude kohta vastust.
"Irooniline on see, et Safetensorite teisendamise teenus oli iseenesest kohutavalt ebaturvaline," rääkis HiddenLayeri Bonner. "Arvestades juurdepääsu taset, mis konversioonirotil hoidlatele oli, oli tegelikult võimalik varastada token, mida nad kasutavad muude hoidlate kaudu muudatuste esitamiseks.
"Nii et teoreetiliselt oleks ründaja võinud esitada mis tahes muudatuse mis tahes hoidlas ja jätta mulje, nagu see oleks pärit Hugging Face'ist, ning turvavärskendus oleks võinud neid petta sellega nõustuma. Inimestel oleks lihtsalt tagauksega mudelid või ebakindlad mudelid oma repodes olnud ja nad ei teaks.
See on rohkem kui teoreetiline oht: Devopsi pood JFrog ütles, et leidis pahatahtlik kood, mis peidab end Hugging Face'is hostitud 100 mudelis.
Tegelikult on mitmeid viise, kuidas peita kahjulikku koodikoormust mudelites, mis sõltuvalt failivormingust käivitatakse närvivõrkude laadimisel ja sõelumisel, võimaldades kurjategijatel pääseda ligi inimeste masinatele. PyTorchi ja Tensorflow Kerase mudelid kujutavad endast suurimat potentsiaalset pahatahtliku koodi käivitamise ohtu, kuna need on populaarsed mudelitüübid, millel on teadaolevad koodikäivitustehnikad, mis on avaldatud, märkis JFrog.
Ebakindlad soovitused
Bonner hoiatas, et ka programmeerijad, kes kasutavad rakenduste arendamiseks koodisoovitavaid abilisi, peavad olema ettevaatlikud, vastasel juhul võivad nad kasutada ebaturvalist koodi. Näiteks GitHub Copilot sai koolituse avatud lähtekoodiga hoidlate kohta ja vähemalt 350,000 XNUMX neist on potentsiaalselt haavatavad vana turvaprobleem kaasates Pythoni ja tar arhiive.
Pythoni oma tarfile moodul, nagu nimigi ütleb, aitab programmidel tararhiive lahti pakkida. Tar on võimalik koostada nii, et kui Pythoni moodul arhiivis oleva faili ekstraktib, proovib see kasutaja failisüsteemis suvalise faili üle kirjutada. Seda saab ära kasutada seadete prügikasti panemiseks, skriptide asendamiseks ja muude pahanduste tekitamiseks.
Viga märgati 2007. aastal ja esile 2022. aastal uuesti, ajendades inimesi selle ärakasutamise vältimiseks projekte lappima. Bonner kahetses, et need turvavärskendused ei pruugi olla jõudnud andmekogudesse, mida kasutatakse suurte keelemudelite programmeerimiseks. "Nii et kui palute LLM-il kohe tar-faili lahti pakkida, sülitab see teile tõenäoliselt [vana] haavatava koodi tagasi."
Bonner kutsus tehisintellekti kogukonda üles alustama tarneahela turbepraktikate rakendamist, näiteks nõudes arendajatelt avalikes koodihoidlates muudatuste tegemisel digitaalset tõestamist, et nad on need, kes nad end olevat, mis kinnitaks inimestele, et asjade uued versioonid on toodetud seaduslike arendajate poolt. ja need ei olnud pahatahtlikud muudatused. See eeldaks, et arendajad peavad kaitsma kõike, mida nad autentimiseks kasutavad, et keegi teine ei saaks end nendeks maskeerida.
Kõik arendajad, nii suured kui ka väikesed, peaksid läbi viima turbehinnanguid ja kontrollima kasutatavaid tööriistu ning testima oma tarkvara enne selle kasutuselevõttu.
Tehisintellekti tarneahela turvalisuse suurendamine on keeruline ning nii paljude tööriistade ja mudelite loomisel ja väljalaskmisel on raske sammu pidada.
Protect AI McInerney rõhutas, et „selline seis on meil praegu. Kõikjal on palju madalal rippuvaid puuvilju. Selle kõige vaatamiseks pole lihtsalt piisavalt tööjõudu, sest kõik liigub nii kiiresti. ®
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_supply_chain/
- :on
- :on
- :mitte
- $ UP
- 000
- 100
- 2022
- 350
- 7
- a
- MEIST
- Academia
- teadlased
- aktsepteeritud
- aktsepteerimine
- juurdepääs
- pääses
- Vastavalt
- tegelikult
- lisamine
- jälle
- AI
- algoritme
- Materjal: BPA ja flataatide vaba plastik
- Lubades
- Ka
- alternatiiv
- alati
- an
- ja
- Teine
- mistahes
- rakendused
- rakendatud
- apps
- omavoliline
- Arhitektuurid
- Arhiiv
- arhiiv
- OLEME
- vaidlesid
- ümber
- AS
- küsima
- hinnangud
- assistendid
- At
- rünnak
- ründaja
- Ründamine
- Reageerib
- katse
- auditeeritud
- autentida
- saadaval
- vältima
- tagasi
- Tagauksed
- Halb
- BE
- sest
- Veiseliha
- olnud
- enne
- taga
- on
- usub,
- Suur
- bits
- Bot
- Murdma
- ehitama
- ehitatud
- kuid
- by
- tuli
- CAN
- ettevaatlik
- Põhjus
- kett
- muutma
- Vaidluste lahendamine
- Joonis
- ChatGPT
- Klassifitseerige
- lähedal
- CO
- kood
- ühine
- kogukond
- Ettevõtted
- ettevõte
- komponendid
- kompromiss
- Kompromissitud
- Läbi viima
- ehitamine
- sisaldama
- sisu
- sisu
- Konverteerimine
- muutma
- ümber
- koopia
- Korporatiivne
- võiks
- käsitöö
- loodud
- volikiri
- Kurjategijad
- uudishimu
- tava
- Küberturvalisus
- kahjustamine
- OHT
- andmed
- andmekogumid
- Kaitsemeetmed
- osakond
- Olenevalt
- juurutada
- lähetatud
- arendama
- arenenud
- Arendajad
- & Tarkvaraarendus
- devs
- erinev
- raske
- digitaalselt
- don
- kahtlen
- lae alla
- ajal
- mõju
- teine
- varjatud
- smirgel
- lõpp
- Inseneride
- piisavalt
- kanne
- eriti
- asutatud
- hinnatud
- kõik
- igaüks
- kõik
- näide
- Erutus
- täidetud
- hukkamine
- täitmine
- olemas
- kasutamine
- Exploited
- silm
- nägu
- asjaolu
- Langema
- fantastiline
- KIIRE
- hirm
- vähe
- fail
- järeldused
- viga
- eest
- unustatud
- formaat
- Tugev
- avastatud
- murdosa
- Alates
- täis
- kasu
- saama
- hiiglane
- GitHub
- antud
- Go
- läheb
- suur
- kasvanud
- häkkinud
- olnud
- mugav
- kahjulik
- Olema
- aitab
- siin
- varjatud
- varjama
- varjamine
- kõrgeim
- kaaperdamine
- Augud
- lootus
- võõrustas
- hosts
- Kuidas
- HTML
- HTTPS
- sajad
- hype
- if
- Illustreerima
- rakendamisel
- in
- Inkorporeeritud
- kaasates
- infosek
- Infrastruktuur
- sisend
- ebakindel
- sees
- huvitav
- sisse
- kehtestama
- kaasates
- Irooniline
- pole
- probleem
- IT
- ITS
- ise
- jpg
- lihtsalt
- hoidma
- keras
- Laps
- Teadma
- teatud
- silt
- maa
- keel
- suur
- suurelt jaolt
- viima
- juhtivate
- õppimine
- kõige vähem
- Lahkuma
- legit
- Tase
- raamatukogud
- eluring
- nagu
- ll
- LLM
- Vaata
- näeb välja
- otsin
- Partii
- masin
- masinõpe
- masinad
- tehtud
- peamine
- Tegemine
- pahatahtlik
- malware
- palju
- teesklus
- matemaatiline
- mai..
- meeles
- puuduvad
- mudel
- mudelid
- moodulid
- rohkem
- liikuv
- palju
- nimi
- Vajadus
- võrk
- võrgustikud
- närvi-
- Närvivõrgus
- närvivõrgud
- Uus
- ei
- märkida
- nüüd
- arvukad
- esineda
- of
- maha
- Vana
- on
- kunagi
- ONE
- Internetis
- avatud
- avatud lähtekoodiga
- or
- organisatsioon
- Muu
- muidu
- välja
- väljund
- üle
- pakette
- Lappimine
- Inimesed
- täitma
- ehk
- faas
- korjamine
- tükk
- Koht
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängima
- mängijad
- pluginad
- võrra
- populaarne
- osa
- kujutavad
- võimalik
- potentsiaal
- potentsiaalselt
- tavad
- saak
- era-
- tõenäoliselt
- Probleem
- protsess
- Toodetud
- Toodet
- Programm
- Programmid
- Edu
- projekt
- projektid
- kaitsma
- Tõesta
- tingimusel
- avalik
- avaldatud
- panema
- Python
- pütorch
- pigem
- RE
- tõesti
- rahustama
- Red
- vabastatud
- järeleandmatu
- meeldetuletus
- asendama
- Hoidla
- taotleda
- Taotlusi
- nõudma
- teadustöö
- uurija
- Teadlased
- vastus
- õige
- Oht
- jooksmine
- jookseb
- kiirustama
- s
- ohutult
- ohutum
- ohutus
- Ütlesin
- ütlema
- teadlased
- skripte
- kontrolli
- kindlustama
- turvalisus
- nähtud
- tundlik
- Serverid
- teenus
- seaded
- LAEV
- veetud
- E-pood
- peaks
- alates
- väike
- So
- tarkvara
- tarkvaraarenduse
- LAHENDAGE
- mõned
- Keegi
- midagi
- allikas
- lähtekoodi
- eriti
- kedratud
- algus
- käivitamisel
- Alustavatel
- riik
- Lugu
- tugevalt
- esitama
- esitatud
- selline
- äkiline
- Soovitab
- varustama
- tarneahelas
- süsteem
- süsteemid
- lahendada
- võtnud
- Läbirääkimised
- ülesanded
- tech
- tehnikat
- kipub
- tensorivool
- test
- katsetatud
- kui
- et
- .
- Riik
- oma
- Neile
- ennast
- SIIS
- teoreetiline
- teooria
- Seal.
- Need
- nad
- asjad
- mõtlema
- see
- need
- kuigi?
- tuhandeid
- oht
- Läbi
- et
- kokku
- sümboolne
- ütles
- tom
- liiga
- töövahendid
- Rong
- koolitatud
- koolitus
- Transformation
- trikk
- Tõde
- liigid
- tüüpiliselt
- salgamatu
- mõistma
- Arusaadavalt
- Ülikool
- Värskendused
- Uudised
- tungivalt
- us
- kasutama
- Kasutatud
- Kasutaja
- Kasutajad
- kasutamine
- eri
- Ve
- versioonid
- vaade
- vp
- Haavatavused
- Haavatav
- hoiatas
- oli
- Tee..
- kuidas
- we
- nädal
- Hästi
- olid
- M
- mis iganes
- millal
- mis
- kuigi
- WHO
- will
- koos
- jooksul
- sõnad
- maailm
- oleks
- ei tahaks
- sa
- Sinu
- sephyrnet