A közelmúltban közzétett kutatás szerint a szoftverfejlesztők nagy nyelvi modelleket (LLM) használnak a korábban gondoltnál nagyobb lehetőséget a támadók számára, hogy rosszindulatú csomagokat terjeszthessenek a fejlesztői környezetekbe.
Az LLM biztonsági beszállító, a Lasso Security tanulmánya egy tavalyi jelentés nyomon követése, amely a lehetőségekről szól támadók, hogy visszaéljenek az LLM-ek hallucinációs hajlamával, vagy a látszólag elfogadható, de tényszerűen nem megalapozott generálás a felhasználói bevitelre adott válaszként eredményezi.
AI csomag hallucináció
A korábbi tanulmány a ChatGPT azon tendenciájára összpontosított, hogy kódkönyvtárak neveit gyártsa – többek között –, amikor a szoftverfejlesztők az AI-képes chatbot segítségét kérték egy fejlesztői környezetben. Más szóval, a chatbot néha nem létező csomagokra mutató hivatkozásokat lövellt ki nyilvános kódtárolókban, amikor a fejlesztő megkérheti, hogy javasoljon csomagokat a projektben.
Bar Lanyado biztonsági kutató, a tanulmány szerzője és jelenleg a Lasso Security munkatársa azt találta, hogy a támadók könnyen eldobhatnak egy tényleges rosszindulatú csomagot arra a helyre, amelyre a ChatGPT mutat, és ugyanazt a nevet adhatják neki, mint a hallucinált csomagnak. Bármely fejlesztő, aki letölti a csomagot a ChatGPT ajánlása alapján, rosszindulatú programokat vezethet be fejlesztői környezetébe.
Lanyado-é nyomon követési kutatás megvizsgálta a csomag hallucináció problémájának elterjedtségét négy különböző nagy nyelvi modellben: GPT-3.5-Turbo, GPT-4, Gemini Pro (korábban Bard) és Coral (Cohere). Azt is tesztelte, hogy az egyes modellek mennyire hajlamosak hallucinált csomagokat generálni különböző programozási nyelveken, valamint azt, hogy milyen gyakorisággal generálják ugyanazt a hallucinált csomagot.
A tesztekhez Lanyado egy listát állított össze több ezer „hogyan kell” kérdésből, amelyekhez a fejlesztők különböző programozási környezetekben – python, node.js, go, .net, ruby – leggyakrabban kérnek segítséget az LLM-ektől a fejlesztői környezetekben. Lanyado ezután minden modellnek feltett egy kódolással kapcsolatos kérdést, valamint egy, a kérdéshez kapcsolódó csomagra vonatkozó ajánlást. Arra is kért minden modellt, hogy ajánljanak további 10 csomagot ugyanazon probléma megoldására.
Ismétlődő eredmények
Az eredmények aggasztóak voltak. Lanyado Geminivel folytatott „beszélgetéseinek” megdöbbentő 64.5%-a hallucinált csomagokat generált. A Coral esetében ez a szám 29.1% volt; más LLM-ek, mint például a GPT-4 (24.2%) és a GPT3.5 (22.5%), nem jártak sokkal jobban.
Amikor Lanyado minden modellnek 100-szor feltette ugyanazt a kérdéssort, hogy megtudja, milyen gyakran hallucinálják a modellek ugyanazokat a csomagokat, az ismétlési arányokat is szemöldökhúzónak találta. Cohere például az esetek 24%-ában ugyanazokat a hallucinált csomagokat okádta ki; Chat GPT-3.5 és Gemini körülbelül 14%, GPT-4 pedig 20%. Több esetben a különböző modellek ugyanazt vagy hasonló csomagokat hallucináltak. A legtöbb ilyen kereszthallucinált modell a GPT-3.5 és a Gemini között fordult elő.
Lanyado azt mondja, hogy még ha különböző fejlesztők is feltesznek egy kérdést egy LLM-nek ugyanabban a témában, de másképp fogalmazták meg a kérdéseket, akkor is valószínű, hogy az LLM minden esetben ugyanazt a hallucinált csomagot ajánlja. Más szavakkal, minden fejlesztő, aki LLM-et használ a kódoláshoz, valószínűleg sok hasonló hallucinált csomaggal találkozik.
„A kérdés teljesen más lehet, de hasonló témában, és a hallucináció továbbra is előfordulna, így ez a technika nagyon hatékony” – mondja Lanyado. „A jelenlegi kutatás során „ismétlődő csomagokat” kaptunk sok különböző kérdéshez és tárgyhoz, sőt különböző modellekre is, ami növeli a hallucinált csomagok használatának valószínűségét.”
Könnyen kihasználható
Például egy támadó, aki néhány hallucinált csomag nevével van felfegyverkezve, ugyanolyan nevű csomagokat tölthet fel a megfelelő tárolókba, tudván, hogy nagy a valószínűsége annak, hogy egy LLM ráirányítja a fejlesztőket. Annak bizonyítására, hogy a fenyegetés nem elméleti, Lanyado vett egy „huggingface-cli” nevű hallucinált csomagot, amellyel a tesztjei során találkozott, és feltöltött egy azonos nevű üres csomagot a Hugging Face gépi tanulási modellek adattárába. A fejlesztők több mint 32,000 XNUMX alkalommal töltötték le a csomagot, mondja.
A fenyegetések szereplői szempontjából a csomaghallucinációk viszonylag egyszerű vektort kínálnak a rosszindulatú programok terjesztésére. „Amint azt a kutatási eredményekből láttuk, ez nem olyan nehéz” – mondja. Átlagosan az összes modell 35%-ban hallucinált csaknem 48,000 3.5 kérdésre, teszi hozzá Lanyado. A GPT-18 volt a legalacsonyabb százalékban hallucinációk; Megjegyzi, a Gemini érte el a legmagasabb pontszámot, XNUMX%-os átlagos ismétlődéssel mind a négy modellben.
Lanyado azt javasolja, hogy a fejlesztők körültekintően járjanak el, amikor egy LLM csomagjavaslatai szerint járnak el, amikor nem teljesen biztosak azok pontosságában. Azt is elmondja, hogy amikor a fejlesztők egy ismeretlen nyílt forráskódú csomaggal találkoznak, fel kell keresniük a csomagtárat, és meg kell vizsgálniuk a közösség méretét, a karbantartási rekordokat, az ismert sebezhetőségeket és az általános elkötelezettségi arányt. A fejlesztőknek is alaposan át kell vizsgálniuk a csomagot, mielőtt bevezetnék a fejlesztői környezetbe.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://www.darkreading.com/application-security/pervasive-llm-hallucinations-expand-code-developer-attack-surface
- :is
- :nem
- $ UP
- 000
- 10
- 100
- 2%
- 22
- 24
- 29
- 32
- 35%
- 7
- a
- visszaélés
- Szerint
- pontosság
- át
- ható
- tényleges
- Hozzáteszi
- AI
- Minden termék
- majdnem
- Is
- között
- an
- és a
- bármilyen
- megfelelő
- VANNAK
- fegyveres
- körül
- AS
- kérdez
- Támogatás
- At
- támadás
- támadó
- szerző
- átlagos
- bár
- alapján
- BE
- előtt
- Jobb
- között
- nagyobb
- de
- hívott
- eset
- óvatosság
- csevegés
- chatbot
- ChatGPT
- kód
- Kódolás
- általában
- közösség
- összeállított
- teljesen
- beszélgetések
- Korall
- tudott
- kidolgozott
- Jelenlegi
- bizonyítani
- Fejlesztő
- fejlesztők
- Fejlesztés
- nem
- különböző
- eltérően
- terjeszteni
- elosztó
- letöltve
- letöltések
- Csepp
- alatt
- minden
- könnyen
- könnyű
- Hatékony
- találkozás
- végén
- eljegyzés
- Környezet
- környezetek
- Még
- megvizsgálni
- Gyakorol
- Bontsa
- Exploit
- Arc
- kevés
- összpontosított
- A
- korábban
- talált
- négy
- Frekvencia
- gyakran
- ból ből
- Gemini
- generál
- generált
- Ad
- Go
- jó
- földelt
- kellett
- történik
- Kemény
- he
- segít
- legnagyobb
- övé
- Hogyan
- How To
- HTTPS
- if
- in
- Más
- Növeli
- bemenet
- példa
- bele
- bevezetéséről
- IT
- ITS
- jpg
- Ismerve
- ismert
- nyelv
- Nyelvek
- nagy
- keresztnév
- Tavaly
- tanulás
- könyvtárak
- mint
- valószínűség
- Valószínű
- linkek
- Lista
- LLM
- elhelyezkedés
- legalacsonyabb
- gép
- gépi tanulás
- karbantartás
- Gyártás
- rosszindulatú
- malware
- sok
- esetleg
- modell
- modellek
- több
- a legtöbb
- sok
- név
- nevek
- Szükség
- háló
- csomópont
- node.js
- nem létező
- Megjegyzések
- Most
- szám
- történt
- of
- ajánlat
- on
- ONE
- nyitva
- nyílt forráskódú
- Alkalom
- or
- Más
- ki
- felett
- átfogó
- csomag
- csomagok
- százalék
- Plató
- Platón adatintelligencia
- PlatoData
- valószínű
- pont
- pont
- potenciális
- ajándékot
- korábban
- per
- Probléma
- Programozás
- programozási nyelvek
- program
- nyilvános
- Piton
- kérdés
- Kérdések
- Arány
- Az árak
- kapott
- nemrég
- ajánl
- Ajánlást
- ajánlások
- nyilvántartások
- összefüggő
- viszonylag
- felszabaduló
- ismétlő
- jelentést
- raktár
- kutatás
- kutató
- válasz
- Eredmények
- s
- azonos
- látta
- azt mondja,
- beolvasás
- Szerzett
- biztonság
- lát
- Keresnek
- látszólag
- készlet
- számos
- kellene
- hasonló
- Méret
- szoftver
- Szoftverfejlesztők
- SOLVE
- néha
- forrás
- álláspont
- ijesztő
- Még mindig
- egyértelmű
- Tanulmány
- tárgy
- ilyen
- javasol
- javasolja,
- biztos
- felületi
- technika
- tendencia
- kipróbált
- tesztek
- mint
- hogy
- A
- azok
- akkor
- elméleti
- Ott.
- Ezek
- ők
- ezt
- alaposan
- gondoltam
- ezer
- fenyegetés
- idő
- alkalommal
- nak nek
- együtt
- vett
- téma
- TELJESEN
- nyugtalanító
- ismeretlen
- feltöltve
- használ
- használt
- használó
- segítségével
- eladó
- nagyon
- Látogat
- sérülékenységek
- volt
- we
- JÓL
- voltak
- amikor
- ami
- val vel
- szavak
- lenne
- év
- zephyrnet