LLM-id, nagu ChatGPT, lekivad pidevalt tundlikke andmeid

LLM-id, nagu ChatGPT, lekivad pidevalt tundlikke andmeid

Ajatempel: 3. oktoober 2023 3:39
LLM-id, nagu ChatGPT, lekivad pidevalt tundlikke andmeid PlatoBlockchaini andmeluure. Vertikaalne otsing. Ai.

Põhja-Carolina ülikooli Chapel Hilli töörühm on oma teedrajavas uuringus valgustanud kiireloomulist andmete säilitamise probleemi suurtes keelemudelites (LLM), nagu OpenAI ChatGPT ja Google'i Bard.

Vaatamata kustutamiskatsetele taastuvad nende tehisintellektimudelite keerukused jätkuvalt tundlikke andmeid, tekitades tõsise vestluse infoturbe ja tehisintellekti eetika teemal.

Kustutamatute andmete mõistatus

Teadlased asusid uurima tundliku teabe väljajuurimist LLM-idest. Siiski komistasid nad ilmutuse peale. Selliste andmete kustutamine on vaevaline, kuid kustutamise kontrollimine on sama suur väljakutse. Kui need tehisintellekti behemotid on läbinud ulatuslike andmekogude kasutamise, hoiavad nad andmeid oma keerulises parameetrite ja kaalude rägastikus.

See raske olukord muutub kurjakuulutavaks, kui AI mudelid paiskab tahtmatult välja tundlikke andmeid, nagu isikuidentifikaatorid või finantsdokumendid, luues potentsiaalselt aluse pahatahtlikule kasutamisele.

Pealegi on probleemi tuum nende mudelite kujunduses. Esialgne etapp hõlmab väljaõpet suurte andmebaaside alal ja viimistlemist, et tagada ühtsed väljundid. Terminoloogia „Generative Pretraained Transformer”, mis on kapseldatud GPT-sse, annab pilguheit sellele mehhanismile.

UNC teadlased selgitasid välja hüpoteetilise stsenaariumi, mille kohaselt LLM, kes on nautinud hulgaliselt tundlikke pangaandmeid, muutub potentsiaalseks ohuks. AI arendajate kasutatavad kaasaegsed kaitsepiirded ei suuda seda muret leevendada.

Need kaitsemeetmed, nagu kõvasti kodeeritud juhised või paradigma, mida tuntakse inimese tagasisidest õppimise tugevdamise (RLHF) nime all, mängivad soovimatute väljundite ohjeldamisel üliolulist rolli. Kuid nad jätavad andmed endiselt mudeli kuristikku varitsema, olles valmis välja kutsuma pelgalt viipa ümbersõnastamisega.

Turvalõhe ületamine

Vaatamata moodsate mudelite redigeerimise meetodite (nt Rank-One Model Editing) kasutuselevõtule avastas UNC meeskond, et oluline faktiline teave on endiselt kättesaadav. Nende avastused näitasid, et fakte saab ellu äratada umbes 38% ja 29% juhtudest vastavalt whiteboxi ja blackboxi rünnakute kaudu.

Oma otsingul kasutasid teadlased mudelit, mida tuntakse GPT-J nime all. Oma 6 miljardi parameetriga on see kolossaalse GPT-3.5-ga võrreldes kääbus. ChatGPT baasmudel 170 miljardi parameetriga. See terav kontrast viitab tohutule väljakutsele, mis seisneb suuremate mudelite, nagu GPT-3.5, desinfitseerimises põhjendamatute andmete põhjal.

Lisaks töötasid UNC teadlased välja uusi kaitsemeetodeid, et kaitsta LLM-e konkreetsete "väljatõmberünnakute" eest. Need alatud skeemid kasutavad mudeli kaitsepiirdeid tundlike andmete välja püüdmiseks. Sellegipoolest vihjas leht kurjakuulutavalt pidevale kassi ja hiire mängule, kus kaitsestrateegiad jälitaksid igavesti arenevat ründavat taktikat.

Microsoft delegeerib Bolsteri AI-sse tuumameeskonna

Seoses sellega on AI kasvav valdkond ajendanud selliseid tehnoloogiainimesi nagu Microsoft minema kaardistamata aladele. Microsofti hiljutine tuumaenergia meeskonna moodustamine AI algatuste toetamiseks rõhutab tehisintellekti ja energiaressursside kasvavaid nõudmisi ning põimunud tulevikku. AI-mudelite arenedes kasvab nende isu energia järele, sillutades teed uuenduslikele lahendustele, et rahuldada seda kasvavat nõudlust.

Diskursus andmete säilitamise ja kustutamise üle LLM-ides ületab akadeemilisi koridore. See kutsub üles põhjalikule uurimisele ja kogu tööstusharu hõlmavale dialoogile, et edendada tugevat raamistikku, mis tagab andmeturbe, edendades samal ajal tehisintellekti kasvu ja potentsiaali.

See UNC teadlaste ettevõtmine on märkimisväärne samm nn kustutamatute andmete probleemi mõistmise ja lõpuks lahendamise suunas, samm lähemale tehisintellekti muutmisele digitaalajastul turvalisemaks tööriistaks.

Ajatempel:

Veel alates MetaNews