Funkció Miközben a mesterséges intelligencia-termékek megértésére, megépítésére és szállítására sietnek, a fejlesztőket és az adattudósokat arra kérik, hogy ügyeljenek a biztonságra, és ne essenek áldozatul az ellátási lánc támadásainak.
Számtalan modell, könyvtár, algoritmus, előre elkészített eszköz és csomag létezik, amellyel játszani lehet, és a fejlődés könyörtelen. Ezeknek a rendszereknek a kimenete talán egy másik történet, bár tagadhatatlan, hogy mindig van valami új, amivel legalább lehet játszani.
Nem számít az izgalom, a hírverés, a kíváncsiság és a félelem, hogy lemaradnak, a biztonságot nem lehet elfelejteni. Ha ez nem sokk számodra, akkor fantasztikus. De itt hasznos egy emlékeztető, különösen azért, mert a gépi tanulási technológiát általában tudósok állítják össze, nem pedig mérnökök, legalábbis a fejlesztési fázisban, és bár ezek az emberek ismerik az olyan dolgokat, mint a neurális hálózati architektúrák, a kvantálás és a következő. gen edzéstechnikák, az infosec érthető módon nem biztos, hogy az erősségük.
Egy mesterséges intelligencia projekt összeállítása nem sokban különbözik bármely más szoftver megalkotásától. Általában könyvtárakat, csomagokat, betanítási adatokat, modelleket és egyéni forráskódot ragaszt össze a következtetési feladatok végrehajtásához. A nyilvános adattárakból elérhető kódösszetevők rejtett hátsó ajtókat vagy adatkiszűrőket tartalmazhatnak, és az előre elkészített modellek és adatkészletek mérgezhetők, hogy az alkalmazások váratlanul helytelenül viselkedjenek.
Valójában egyes modellek tartalmazhatnak rosszindulatú programokat végrehajtott ha tartalmuk nincs biztonságosan deszerializálva. A ChatGPT beépülő modulok biztonsága is Gyere alá alapos vizsgálat.
Más szavakkal, a szoftverfejlesztő világban tapasztalt ellátási lánc támadások az AI-országban is előfordulhatnak. A rossz csomagok a fejlesztői munkaállomások kompromittálásához vezethetnek, ami káros behatolásokhoz vezethet a vállalati hálózatokba, a modellek és oktatási adatkészletek manipulálása pedig arra késztetheti az alkalmazásokat, hogy rosszul osztályozzák a dolgokat, megsértsék a felhasználókat stb. A hátsó ajtós vagy rosszindulatú programokkal teli könyvtárak és modellek, ha beépítik a szállított szoftverbe, az ilyen alkalmazások felhasználóit is támadásra késztethetik.
Megoldanak egy érdekes matematikai problémát, majd bevezetik, és ennyi. Nincs tollal tesztelve, nincs AI red teaming
Válaszul kiberbiztonsági és mesterséges intelligencia startupok jelennek meg, amelyek kifejezetten e fenyegetés leküzdésére szolgálnak; kétségtelenül a bevett játékosok is figyelnek rá, legalábbis reméljük. A gépi tanulási projekteket auditálni és ellenőrizni kell, tesztelni kell a biztonság szempontjából, és értékelni kell a biztonság szempontjából.
„[A mesterséges intelligencia] kinőtt az akadémiából. Ezek nagyrészt egyetemi kutatási projektek, vagy kis szoftverfejlesztési projektek voltak, amelyeket nagyrészt akadémikusok vagy nagyvállalatok választottak ki, és egyszerűen nincs meg bennük a biztonság.” – Tom Bonner, a HiddenLayer kutatási alelnöke. ilyen biztonságra összpontosító indítás, mondta A regisztráció.
„Szoftverrel megoldanak egy érdekes matematikai problémát, majd telepítik, és ennyi. Nincs tollal tesztelve, nincs AI red teaming, kockázatértékelés vagy biztonságos fejlesztési életciklus. A mesterséges intelligencia és a gépi tanulás hirtelen beindult, és mindenki szeretne belemenni. Mindannyian felveszik az összes általános szoftvercsomagot, amelyek az akadémiából nőttek ki, és lám, tele vannak sebezhető pontokkal, tele vannak lyukakkal.”
A mesterséges intelligencia ellátási láncának számos belépési pontja van a bűnözők számára, akik használhatnak olyan dolgokat, mint pl elgépelés Az érvelés szerint a fejlesztők ráveszik az egyébként legális könyvtárak rosszindulatú másolatait, lehetővé téve a csalók számára, hogy bizalmas adatokat és vállalati hitelesítő adatokat lopjanak el, eltérítsék a kódot futtató szervereket és még sok mást. A szoftverellátási lánc védelmét a gépi tanulási rendszerek fejlesztésében is alkalmazni kell.
"Ha egy kördiagramra gondolsz arról, hogyan kerülhetsz feltörésbe, ha egy mesterséges intelligencia részleget nyitsz a cégedben vagy szervezetedben" - mondta Dan McInerney, a Protect AI vezető mesterséges intelligencia-biztonsági kutatója. A regisztráció, „ennek a tortának egy kis része modell input támadás lesz, amiről mindenki beszél. Egy óriási rész pedig az ellátási láncot fogja támadni – azokat az eszközöket, amelyeket a modell felépítéséhez használ.”
Bemeneti támadások érdekes módokon hogy az emberek feltörhetik az AI szoftvert a használatával.
A lehetséges veszély szemléltetésére a HiddenLayer a múlt héten kiemelt határozott meggyőződése, hogy a Hugging Face által nyújtott online szolgáltatás biztonsági problémája, amely a nem biztonságos Pickle formátumú modelleket biztonságosabbá alakítja. Biztosítók, amelyet szintén a Hugging Face fejlesztett ki.
A Pickle modellek rosszindulatú programokat és más tetszőleges kódokat tartalmazhatnak, amelyek csendben és váratlanul végrehajthatók deszerializáláskor, ami nem nagyszerű. A Safetensort biztonságosabb alternatívaként hozták létre: az ilyen formátumot használó modellek nem futhatnak beágyazott kódot deszerializálva. Azok számára, akik nem ismerik, a Hugging Face több százezer neurális hálózati modellt, adatkészletet és kódrészletet tárol, amelyeket a fejlesztők néhány kattintással vagy paranccsal letölthetnek és használhatnak.
A Safetensors konverter Hugging Face infrastruktúrán fut, és utasítható arra, hogy a Hugging Face által tárolt PyTorch Pickle modellt a Safetensors formátumú másolatává alakítsa. A HiddenLayer szerint azonban maga az online konverziós folyamat ki van téve tetszőleges kódfuttatásnak.
A HiddenLayer kutatói azt találták, hogy egy tetszőleges kódot tartalmazó rosszindulatú Pickle-modellhez küldhetnek be konverziós kérelmet, és az átalakítási folyamat során ezt a kódot a Hugging Face rendszerein hajtják végre, lehetővé téve, hogy valaki elkezdjen kavarni az átalakító bottal és annak felhasználóival. Ha egy felhasználó átalakított egy rosszindulatú modellt, akkor az Ölelőarc-tokenjét kiszűrheti a rejtett kód, és „valójában ellophatjuk az Ölelőarc-tokenjét, feltörhetjük a tárhelyüket, és megtekinthetjük az adott felhasználó összes privát tárolóját, adatkészletét és modelljét. hozzáférést” – érvelt HiddenLayer.
Ezenkívül azt mondtuk, hogy az átalakító bot hitelesítő adataihoz egy Pickle-modellben elrejtett kód hozzáférhet és kiszivároghat, lehetővé téve, hogy valaki botnak álcázza magát, és lekérési kéréseket nyissa meg más adattárak módosítására. Ezek a változtatások, ha elfogadják, rosszindulatú tartalmat vezethetnek be. Arra kértük a Hugging Face-t, hogy válaszoljon a HiddenLayer megállapításaira.
„Ironikus módon a Safetensorsra konvertáló szolgáltatás maga is borzasztóan bizonytalan volt” – mondta nekünk a HiddenLayer Bonner munkatársa. „Tekintettel arra, hogy a konverziós bot milyen szintű hozzáféréssel rendelkezett a tárhelyekhez, valójában el lehetett lopni azt a tokent, amelyet a változtatások más tárolókon keresztül történő benyújtására használnak.
„Tehát elméletileg egy támadó bármilyen módosítást beküldhetett volna bármelyik adattárba, és úgy tűnhetett volna, mintha a Hugging Face-től származna, és egy biztonsági frissítés becsaphatta volna, hogy elfogadja azt. Az embereknek csak hátsóajtós vagy bizonytalan modelljeik lettek volna a repójukban, és nem tudták volna.
Ez több, mint elméleti fenyegetés: Devops bolt JFrog azt mondta, hogy talált rosszindulatú kód rejtőzik a Hugging Face-en tárolt 100 modellben.
Valójában különféle módok léteznek a káros kódok elrejtésére olyan modellekben, amelyek – a fájlformátumtól függően – a neurális hálózatok betöltésekor és elemzésekor futnak le, lehetővé téve a gonosztevők számára, hogy hozzáférjenek az emberek gépeihez. A PyTorch és a Tensorflow Keras modellek „fenyegetik a legnagyobb kockázatot a rosszindulatú kód futtatására, mivel ezek népszerű modelltípusok, ismert kódvégrehajtási technikákkal, amelyeket publikáltak” – jegyezte meg JFrog.
Nem biztonságos ajánlások
Bonner figyelmeztetett, hogy azoknak a programozóknak is óvatosnak kell lenniük, akik kódjavasló asszisztenseket használnak az alkalmazások fejlesztéséhez, ellenkező esetben előfordulhat, hogy nem biztonságos kódot építenek be. A GitHub Copilot például nyílt forráskódú adattárakat képezett, és közülük legalább 350,000 XNUMX potenciálisan sebezhető régi biztonsági probléma Python és tar archívumok bevonásával.
Pythoné tarfile modul, ahogy a neve is sugallja, segít a programoknak kicsomagolni a tar archívumokat. Lehetőség van egy .tar létrehozására úgy, hogy amikor az archívumban lévő fájlt a Python modul kibontja, megkíséreljen felülírni egy tetszőleges fájlt a felhasználó fájlrendszerében. Ez kihasználható a beállítások kukázására, a szkriptek cseréjére, és egyéb balhék előidézésére.
A hibát 2007-ben és kiemelt 2022-ben ismét, ami arra készteti az embereket, hogy elkezdjék javítani a projekteket, hogy elkerüljék ezt a kizsákmányolást. Lehetséges, hogy ezek a biztonsági frissítések nem kerültek be a nagy nyelvi modellek programozásra betanításához használt adatkészletekbe – panaszkodott Bonner. "Tehát ha megkérsz egy LLM-et, hogy menjen ki és csomagoljon ki egy tar fájlt, valószínűleg visszaköpi [a régi] sebezhető kódot."
Bonner sürgette a mesterséges intelligencia közösségét, hogy kezdje meg az ellátási lánc biztonsági gyakorlatainak bevezetését, például a fejlesztőktől annak digitális bizonyítását, hogy azok, akiknek mondják magukat, amikor módosítják a nyilvános kódtárakat, ami megnyugtatná az embereket, hogy a dolgok új verzióit legális fejlesztők hozták létre. és nem voltak rosszindulatú változtatások. Ez megkövetelné a fejlesztőktől, hogy minden hitelesítési eszközt biztosítsanak, hogy valaki más ne álcázhassa magát nekik.
Valamennyi fejlesztőnek – kicsiknek és nagyoknak – biztonsági felméréseket kell végeznie, meg kell vizsgálnia az általa használt eszközöket, és tollal kell tesztelnie a szoftverét, mielőtt az üzembe helyezése megkezdődik.
A mesterséges intelligencia ellátási láncának biztonságának fokozása bonyolult, és mivel rengeteg eszközt és modellt gyártanak és bocsátanak ki, nehéz lépést tartani.
A Protect AI munkatársa, McInerney hangsúlyozta: „ilyen állapotban vagyunk jelenleg. Sok alacsonyan lógó gyümölcs létezik mindenhol. Egyszerűen nincs elég munkaerő ahhoz, hogy mindezt megvizsgálja, mert minden olyan gyorsan halad.” ®
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_supply_chain/
- :van
- :is
- :nem
- $ UP
- 000
- 100
- 2022
- 350
- 7
- a
- Rólunk
- Akadémia
- tudósok
- elfogadott
- elfogadó
- hozzáférés
- igénybe vett
- Szerint
- tulajdonképpen
- mellett
- újra
- AI
- algoritmusok
- Minden termék
- lehetővé téve
- Is
- alternatív
- mindig
- an
- és a
- Másik
- bármilyen
- alkalmazások
- alkalmazott
- alkalmazások
- önkényes
- architektúrák
- Archív
- levéltár
- VANNAK
- érvelt
- körül
- AS
- kérdez
- értékelések
- asszisztensek
- At
- támadás
- támadó
- Támadó
- Támadások
- kísérlet
- ellenőrzött
- hitelesíteni
- elérhető
- elkerülése érdekében
- vissza
- Hátsóajtó
- Rossz
- BE
- mert
- Marhahús
- óta
- előtt
- mögött
- hogy
- úgy gondolja,
- Nagy
- bitek
- Bot
- szünet
- épít
- épült
- de
- by
- jött
- TUD
- óvatos
- Okoz
- lánc
- változik
- Változások
- Táblázatos
- ChatGPT
- osztályoz
- közel
- CO
- kód
- Közös
- közösség
- Companies
- vállalat
- alkatrészek
- kompromisszum
- Veszélyeztetett
- Magatartás
- építése
- tartalmaz
- tartalom
- tartalom
- Átalakítás
- megtérít
- átalakított
- másolat
- Társasági
- tudott
- kézműves
- készítette
- Hitelesítő adatok
- bűnözők
- kíváncsiság
- szokás
- Kiberbiztonság
- káros
- VESZÉLY
- dátum
- adatkészletek
- védések
- osztály
- attól
- telepíteni
- telepített
- Fejleszt
- fejlett
- fejlesztők
- Fejlesztés
- fejlesztőkkel
- különböző
- nehéz
- digitálisan
- Don
- kétlem
- letöltés
- alatt
- hatás
- más
- beágyazott
- csiszolókő
- végén
- Mérnökök
- elég
- belépés
- különösen
- megalapozott
- értékelték
- mindenki
- mindenki
- minden
- példa
- Izgalom
- végrehajtott
- végrehajtó
- végrehajtás
- létezik
- kizsákmányolás
- Hasznosított
- szem
- Arc
- tény
- Esik
- fantasztikus
- GYORS
- félelem
- kevés
- filé
- megállapítások
- hibája
- A
- elfelejtett
- formátum
- Erős
- talált
- töredék
- ból ből
- Tele
- Nyereség
- kap
- óriás
- GitHub
- adott
- Go
- megy
- nagy
- felnőtt
- csapkodott
- kellett
- ügyes
- káros
- Legyen
- segít
- itt
- Rejtett
- elrejt
- bujkál
- legnagyobb
- eltérít
- Holes
- remény
- házigazdája
- hosts
- Hogyan
- HTML
- HTTPS
- Több száz
- hype
- if
- ábrázol
- végrehajtási
- in
- Bejegyzett
- amely magában foglalja
- infosec
- Infrastruktúra
- bemenet
- bizonytalan
- belső
- érdekes
- bele
- bevezet
- bevonásával
- Ironikusan
- Hát
- kérdés
- IT
- ITS
- maga
- jpg
- éppen
- Tart
- keras
- Kedves
- Ismer
- ismert
- Címke
- Telek
- nyelv
- nagy
- nagymértékben
- vezet
- vezető
- tanulás
- legkevésbé
- Szabadság
- Legális
- szint
- könyvtárak
- életciklus
- mint
- ll
- LLM
- néz
- hasonló
- keres
- Sok
- gép
- gépi tanulás
- gép
- készült
- fontos
- Gyártás
- rosszindulatú
- malware
- sok
- álöltözet
- matematikai
- Lehet..
- bánja
- hiányzó
- modell
- modellek
- Modulok
- több
- mozgó
- sok
- név
- Szükség
- hálózat
- hálózatok
- ideg-
- neurális hálózat
- neurális hálózatok
- Új
- nem
- neves
- Most
- számos
- előfordul
- of
- kedvezmény
- Régi
- on
- egyszer
- ONE
- online
- nyitva
- nyílt forráskódú
- or
- szervezet
- Más
- másképp
- ki
- teljesítmény
- felett
- csomagok
- Foltozás
- Emberek (People)
- Teljesít
- talán
- fázis
- szedés
- darab
- Hely
- Plató
- Platón adatintelligencia
- PlatoData
- játszani
- játékos
- Plugins
- pont
- Népszerű
- porció
- póz
- lehetséges
- potenciális
- potenciálisan
- gyakorlat
- zsákmány
- magán
- valószínűleg
- Probléma
- folyamat
- Készült
- Termékek
- Program
- Programok
- Haladás
- program
- projektek
- védelme
- Bizonyít
- feltéve,
- nyilvános
- közzétett
- tesz
- Piton
- pytorch
- Inkább
- RE
- tényleg
- megnyugtatni
- Piros
- felszabaduló
- könyörtelen
- emlékeztető
- cserélni
- raktár
- kérni
- kéri
- szükség
- kutatás
- kutató
- kutatók
- válasz
- jobb
- Kockázat
- futás
- fut
- rohanás
- s
- biztosan
- biztonságosabb
- Biztonság
- Mondott
- azt mondják
- tudósok
- szkriptek
- ellenőrzéssel
- biztonság
- biztonság
- látott
- érzékeny
- Szerverek
- szolgáltatás
- beállítások
- HAJÓ
- szállított
- Webshop
- kellene
- óta
- kicsi
- So
- szoftver
- szoftverfejlesztés
- SOLVE
- néhány
- Valaki
- valami
- forrás
- forráskód
- kifejezetten
- fonott
- kezdet
- indítás
- Startups
- Állami
- Történet
- erősen
- beküldése
- benyújtott
- ilyen
- hirtelen
- javasolja,
- kínálat
- ellátási lánc
- rendszer
- Systems
- felszerelés
- meghozott
- Talks
- feladatok
- tech
- technikák
- hajlamos
- tensorflow
- teszt
- kipróbált
- mint
- hogy
- A
- Az állam
- azok
- Őket
- maguk
- akkor
- elméleti
- elmélet
- Ott.
- Ezek
- ők
- dolgok
- Szerintem
- ezt
- azok
- bár?
- ezer
- fenyegetés
- Keresztül
- nak nek
- együtt
- jelképes
- mondta
- Tomi
- is
- szerszámok
- Vonat
- kiképzett
- Képzések
- Átalakítás
- trükk
- igazság
- típusok
- jellemzően
- tagadhatatlan
- megért
- Érthetően
- egyetemi
- Frissítések
- Frissítés
- sürgette
- us
- használ
- használt
- használó
- Felhasználók
- segítségével
- különféle
- Ve
- verzió
- Megnézem
- vp
- sérülékenységek
- Sebezhető
- figyelmeztetett
- volt
- Út..
- módon
- we
- hét
- JÓL
- voltak
- Mit
- bármi
- amikor
- ami
- míg
- WHO
- lesz
- val vel
- belül
- szavak
- világ
- lenne
- nem
- te
- A te
- zephyrnet