GPT-4 võib nõuandeid lugedes ära kasutada tõelisi haavatavusi

Taasavaldanud Platon

järgijaid: 0

GPT-4 saab ära kasutada tõelisi haavatavusi, lugedes nõuandeid PlatoBlockchain Data Intelligence. Vertikaalne otsing. Ai.

AI agendid, mis kombineerivad suuri keelemudeleid automatiseerimistarkvaraga, saavad turvanõuandeid lugedes edukalt ära kasutada reaalse maailma turvaauke, on väitnud teadlased.

Äsja välja antud paber, neli Illinoisi ülikooli Urbana-Champaigni (UIUC) arvutiteadlast – Richard Fang, Rohan Bindu, Akul Gupta ja Daniel Kang – teatavad, et OpenAI GPT-4 suurkeelemudel (LLM) suudab iseseisvalt ära kasutada reaalmaailma süsteemide haavatavusi, kui see on antud. CVE nõuanne, mis kirjeldab viga.

"Selle näitamiseks kogusime andmekogumi 15 ühepäevasest haavatavusest, mis sisaldab neid, mis on CVE kirjelduses kriitilise raskusastmega liigitatud," selgitavad USA autorid oma artiklis.

"Kui võtta arvesse CVE kirjeldust, on GPT-4 võimeline ära kasutama 87 protsenti nendest haavatavustest, võrreldes 0 protsendiga kõigi teiste testitavate mudelite (GPT-3.5, avatud lähtekoodiga LLM-id) ja avatud lähtekoodiga haavatavuse skannerite (ZAP ja Metasploit) puhul. .”

Kui ekstrapoleerida tulevaste mudelite suutlikkust, on tõenäoline, et nad on palju võimekamad kui see, millele lapsed saavad praegu juurde pääseda.

Mõiste "ühepäevane haavatavus" viitab haavatavustele, mis on avalikustatud, kuid mida pole parandatud. Ja CVE kirjelduse all tähendab meeskond NISTi jagatud CVE-sildiga nõuannet – nt see CVE-2024-28859 jaoks.

Testitud ebaõnnestunud mudelid – GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B ja OpenChat 3.5 – ei sisaldanud kahte juhtivat GPT-4 kommertskonkurenti, Anthropicu Claude 3 ja Google'i Gemini 1.5 Pro. UIUC boffinitel ei olnud neile mudelitele juurdepääsu, kuigi nad loodavad neid mingil hetkel testida.

Teadlaste töö põhineb varasemad leiud et LLM-e saab kasutada veebisaitide rünnakute automatiseerimiseks liivakastikeskkonnas.

GPT-4, ütles UIUC dotsent Daniel Kang e-kirjas Register, "saab tegelikult iseseisvalt teostada samme teatud ärakasutamiseks, mida avatud lähtekoodiga haavatavuse skannerid (kirjutamise ajal) ei leia."

Kang ütles, et ootab LLM-i agente, mis on loodud (antud juhul) vestlusroti mudeli ühendamisel reageerima LangChainis rakendatud automatiseerimisraamistik muudab kasutamise kõigi jaoks palju lihtsamaks. Meile öeldakse, et need agendid võivad lisateabe saamiseks järgida CVE kirjeldustes olevaid linke.

"Samuti, kui ekstrapoleerida seda, mida GPT-5 ja tulevased mudelid suudavad, tundub tõenäoline, et need on palju võimekamad kui see, millele lapsed saavad praegu juurde pääseda," ütles ta.

LLM-agendi (GPT-4) juurdepääsu keelamine asjakohasele CVE kirjeldusele vähendas selle edukuse määra 87 protsendilt kõigest seitsmele protsendile. Siiski ütles Kang, et ta ei usu, et turvateabe avaliku kättesaadavuse piiramine on elujõuline viis LLM-agentide eest kaitsmiseks.

"Ma isiklikult ei usu, et turvalisus läbi varguse on vastuvõetav, mis tundub olevat turvauurijate seas valitsev tarkus," selgitas ta. "Loodan, et minu töö ja muu töö julgustab ennetavaid turvameetmeid, näiteks pakettide korrapärast värskendamist, kui turvapaigad välja tulevad."

LLM-i agent ei suutnud ära kasutada ainult kahte 15 näidist: Iris XSS (CVE-2024-25640) ja Hertzbeat RCE (CVE-2023-51653). Esimene osutus paberi andmetel problemaatiliseks, kuna Irise veebirakendusel on liides, mida agendil on äärmiselt raske navigeerida. Ja viimane sisaldab üksikasjalikku hiinakeelset kirjeldust, mis arvatavasti ajas ingliskeelse viipa all tegutseva LLM-agendi segadusse.

Testitud haavatavustest 4 tekkisid pärast GPT-82 treeningu katkestamist, mis tähendab, et mudel ei saanud nende kohta koolituse ajal mingeid andmeid. Nende CVE-de edukuse määr oli veidi madalam, 9 protsenti ehk 11 XNUMX-st.

Mis puudutab vigade olemust, siis need kõik on loetletud ülaltoodud dokumendis ja meile öeldakse: "Meie haavatavused hõlmavad veebisaitide haavatavusi, konteineri haavatavusi ja haavatavaid Pythoni pakette. Rohkem kui pooled on CVE kirjelduse järgi liigitatud "kõrge" või "kriitilise" raskusastmega.

Kang ja tema kolleegid arvutasid välja eduka LLM-agendi rünnaku maksumuse ja leidsid 8.80 dollarit rünnaku kohta, mis on nende sõnul umbes 2.8 korda väiksem, kui maksaks inimese läbitungimistesti 30 minutiks palkamine.

Kangi sõnul koosneb agendikood vaid 91 koodireast ja 1,056 viipa märgist. GPT-4 tootja OpenAI palus teadlastel oma viipasid avalikkusele mitte avaldada, kuigi nad ütlevad, et esitavad need nõudmisel.

OpenAI ei vastanud kohe kommentaaritaotlusele. ®