LLM, такі як ChatGPT, постійно витікають конфіденційні дані

LLM, такі як ChatGPT, постійно витікають конфіденційні дані

Мітка часу: 3 жовтня 2023 3:39
LLMs, такі як ChatGPT, постійно витікають конфіденційні дані PlatoBlockchain Data Intelligence. Вертикальний пошук. Ai.

У піонерському дослідженні команда з Університету Північної Кароліни, Чапел-Хілл, пролила світло на нагальну проблему збереження даних у великих мовних моделях (LLM), таких як ChatGPT від OpenAI і Bard від Google.

Незважаючи на спроби видалення, тонкощі цих моделей ШІ продовжують виривати конфіденційні дані, викликавши серйозну дискусію про інформаційну безпеку та етику ШІ.

Головоломка з даними, які не можна видалити

Дослідники розпочали пошуки, щоб дослідити видалення конфіденційної інформації з LLM. Однак вони натрапили на одкровення. Видалення таких даних складне, але перевірка видалення є не меншою проблемою. Після навчання на великих наборах даних ці гіганти ШІ зберігають дані у складному лабіринті параметрів і ваг.

Це скрутне становище стає зловісним, коли Моделі AI ненавмисно розповсюджувати конфіденційні дані, такі як особисті ідентифікатори або фінансові записи, потенційно закладаючи основу для нечесного використання.

Крім того, суть проблеми полягає в дизайні цих моделей. Попередній етап передбачає навчання на величезних базах даних і тонке налаштування для забезпечення узгоджених результатів. Термінологія «генеративний попередньо навчений трансформатор», інкапсульована в GPT, пропонує короткий погляд на цей механізм.

Вчені UNC розкрили гіпотетичний сценарій, за яким магістр права, поласувавши великою кількістю конфіденційних банківських даних, стає потенційною загрозою. Сучасні огорожі, які використовують розробники штучного інтелекту, не можуть заспокоїти цю проблему.

Ці захисні заходи, такі як жорстко закодовані підказки або парадигма, відома як підкріплююче навчання на основі зворотного зв’язку людини (RLHF), відіграють важливу роль у стримуванні небажаних результатів. Однак вони все ще залишають дані, що ховаються в безодні моделі, готові бути викликані простим перефразуванням підказки.

Подолання прогалини в безпеці

Незважаючи на застосування найсучасніших методів редагування моделей, таких як Rank-One Model Editing, команда UNC виявила, що значна фактична інформація залишається доступною. Їхні висновки показали, що факти можуть бути відроджені приблизно в 38% і 29% випадків за допомогою атак whitebox і blackbox відповідно.

У своїх пошуках дослідники використовували модель, відому як GPT-J. З його 6 мільярдами параметрів, це карлик порівняно з колосальним GPT-3.5, a базова модель для ChatGPT зі 170 мільярдами параметрів. Цей яскравий контраст натякає на монументальне завдання очищення більших моделей, таких як GPT-3.5, від необґрунтованих даних.

Крім того, вчені UNC розробили нові методи захисту, щоб захистити LLM від конкретних «атак вилучення». Ці підлі схеми використовують огорожі моделі, щоб виловити конфіденційні дані. Тим не менш, газета зловісно натякала на вічну гру в кішки-мишки, де захисні стратегії вічно переслідуватимуть наступальну тактику, що розвивається.

Microsoft делегує ядерну команду для підтримки штучного інтелекту

У зв’язку з цим зростаюча сфера штучного інтелекту спонукала таких технічних гігантів, як Microsoft, вирушити на незвідані території. Нещодавнє створення Microsoft команди ядерної енергетики для підтримки ініціатив штучного інтелекту підкреслює ескалацію потреб і взаємопов’язане майбутнє ШІ та енергетичних ресурсів. З розвитком моделей штучного інтелекту зростає їхній апетит до енергії, прокладаючи шлях для інноваційних рішень, які задовольнять зростаючий попит.

Дискурс навколо збереження та видалення даних у LLM виходить за межі академічних коридорів. Це спонукає до ретельного вивчення та загальногалузевого діалогу для сприяння надійній структурі, яка забезпечує безпеку даних, одночасно сприяючи зростанню та потенціалу ШІ.

Ця ініціатива дослідників UNC є значним кроком до розуміння та остаточного вирішення проблеми «невидалюваних» даних, кроком ближче до того, щоб зробити штучний інтелект безпечнішим інструментом у цифрову епоху.

Часова мітка:

Більше від МетаНовини