LLM's zoals ChatGPT lekken voortdurend gevoelige gegevens

LLM's zoals ChatGPT lekken voortdurend gevoelige gegevens

Tijdstempel: 3 oktober 2023 3:39 uur
LLM's zoals ChatGPT lekken voortdurend gevoelige gegevens PlatoBlockchain Data Intelligence. Verticaal zoeken. Ai.

In een baanbrekend onderzoek heeft een team van de Universiteit van North Carolina, Chapel Hill, licht geworpen op de urgente kwestie van gegevensretentie in grote taalmodellen (LLM's) zoals OpenAI's ChatGPT en Google's Bard.

Ondanks pogingen tot verwijdering blijven de complexiteiten van deze AI-modellen terugkeren gevoelige gegevens, wat een heftig gesprek op gang brengt over informatiebeveiliging en AI-ethiek.

Het 'onverwijderbare' gegevensraadsel

De onderzoekers begonnen aan een zoektocht om de uitroeiing van gevoelige informatie van LLM's te onderzoeken. Ze stuitten echter op een openbaring. Het verwijderen van dergelijke gegevens is lastig, maar het verifiëren van de verwijdering vormt een even grote uitdaging. Eenmaal getraind in uitgebreide datasets, bewaren deze AI-giganten de gegevens in hun complexe doolhof van parameters en gewichten.

Deze hachelijke situatie wordt onheilspellend wanneer de AI-modellen onbedoeld gevoelige gegevens vrijgeven, zoals persoonlijke identificatiegegevens of financiële gegevens, waardoor mogelijk de basis wordt gelegd voor snode toepassingen.

Bovendien ligt de kern van het probleem in de ontwerpblauwdruk van deze modellen. De voorbereidende fase omvat training in grote databases en afstemming om coherente resultaten te garanderen. De terminologie ‘Generative Pretrained Transformer’, samengevat in GPT, biedt een kijkje in dit mechanisme.

De UNC-wetenschappers hebben een hypothetisch scenario toegelicht waarin een LLM, die zich tegoed heeft gedaan aan een schat aan gevoelige bankgegevens, een potentiële bedreiging wordt. De hedendaagse vangrails die door AI-ontwikkelaars worden ingezet, kunnen deze bezorgdheid niet wegnemen.

Deze beschermende maatregelen, zoals hardgecodeerde aanwijzingen of een paradigma dat bekend staat als Reinforcement Learning from Human Feedback (RLHF), spelen een cruciale rol bij het terugdringen van ongewenste resultaten. Ze laten de gegevens echter nog steeds op de loer liggen in de afgrond van het model, klaar om te worden opgeroepen met slechts een herformulering van een prompt.

Het overbruggen van de veiligheidskloof

Ondanks de inzet van geavanceerde modelbewerkingsmethoden, zoals Rank-One Model Editing, ontdekte het UNC-team dat aanzienlijke feitelijke informatie toegankelijk bleef. Uit hun bevindingen bleek dat feiten in respectievelijk 38% en 29% van de gevallen weer tot leven konden worden gewekt door middel van whitebox- en blackbox-aanvallen.

In hun zoektocht gebruikten de onderzoekers een model dat bekend staat als GPT-J. Met zijn 6 miljard parameters is het een dwerg vergeleken met de kolossale GPT-3.5, een basismodel voor ChatGPT met 170 miljard parameters. Dit schril contrast duidt op de enorme uitdaging om grotere modellen zoals GPT-3.5 te zuiveren van ongegronde gegevens.

Bovendien hebben de UNC-wetenschappers nieuwe verdedigingsmethoden ontwikkeld om LLM’s te beschermen tegen specifieke ‘extractieaanvallen’. Deze snode plannen maken misbruik van de vangrails van het model om gevoelige gegevens eruit te vissen. Niettemin zinspeelde de krant onheilspellend op een voortdurend kat-en-muisspel, waarbij defensieve strategieën de evoluerende offensieve tactieken voor altijd zouden achtervolgen.

Microsoft delegeert een nucleair team om AI te versterken

In verband hiermee heeft het ontluikende rijk van AI technische giganten als Microsoft ertoe aangezet zich op onbekende terreinen te begeven. De recente vorming door Microsoft van een kernenergieteam om AI-initiatieven te ondersteunen onderstreept de escalerende eisen en de met elkaar verweven toekomst van AI en energiebronnen. Naarmate AI-modellen evolueren, groeit hun honger naar energie, wat de weg vrijmaakt voor innovatieve oplossingen om aan deze groeiende vraag te voldoen.

Het discours rond het bewaren en verwijderen van gegevens in LLM's overstijgt de academische corridors. Het lonkt tot een grondig onderzoek en een sectorbrede dialoog om een ​​robuust raamwerk te bevorderen dat gegevensbeveiliging garandeert en tegelijkertijd de groei en het potentieel van AI koestert.

Deze onderneming van de UNC-onderzoekers is een belangrijke stap in de richting van het begrijpen en uiteindelijk oplossen van het 'niet-verwijderbare' dataprobleem, een stap dichter bij het maken van AI een veiliger hulpmiddel in het digitale tijdperk.

Tijdstempel:

Meer van MetaNieuws