Дослідники Jimmy OpenAI і Google закриті моделі

Дослідники Jimmy OpenAI і Google закриті моделі

Мітка часу: 13 березня 2024 р., 4:34
Researchers jimmy OpenAI's and Google's closed models PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Бофінам вдалося вилучити відкриті закриті служби штучного інтелекту від OpenAI і Google за допомогою атаки, яка відновлює приховану частину моделей трансформерів.

Атака частково висвітлює певний тип так званої моделі «чорного ящика», розкриваючи проекційний рівень вбудованої моделі трансформатора через запити API. Вартість цього варіюється від кількох доларів до кількох тисяч, залежно від розміру атакуваної моделі та кількості запитів.

Не менше 13 комп’ютерних науковців із Google DeepMind, ETH Zurich, Університету Вашингтона, OpenAI та Університету Макгілла написали папір опис атаки, яка ґрунтується на техніці атаки моделі екстракції запропонований В 2016.

«За менш ніж 20 доларів США наша атака витягує всю матрицю проекцій мовних моделей ади та мови Беббіджа OpenAI», — заявляють дослідники у своїй статті. «Таким чином ми вперше підтверджуємо, що ці моделі чорної скриньки мають приховані розміри 1024 і 2048 відповідно. Ми також відновлюємо точний розмір прихованого розміру моделі gpt-3.5-turbo, і оцінюємо, що відновлення всієї матриці проекції коштуватиме менше 2,000 доларів США на запити».

Дослідники розкрили свої висновки OpenAI і Google, обидва з яких, як кажуть, запровадили засоби захисту для пом’якшення атаки. Вони вирішили не публікувати розмір двох моделей OpenAI gpt-3.5-turbo, які все ще використовуються. Обидві моделі ada та bebbage застаріли, тому розголошення відповідних розмірів було визнано нешкідливим.

Хоча атака не повністю викриває модель, дослідники кажуть, що вона може виявити остаточну модель вагова матриця – або його ширина, яка часто пов’язана з кількістю параметрів – і надає інформацію про можливості моделі, яка може бути корисною для подальшого дослідження. Вони пояснюють, що можливість отримати будь-які параметри з виробничої моделі є дивною та небажаною, оскільки техніка атаки може бути розширюваною, щоб відновити ще більше інформації.

«Якщо у вас є ваги, то у вас є повна модель», — пояснив Едуард Харріс, технічний директор Gladstone AI, в електронному листі до Реєстр. «Те, що Google [та інші] зробили, — це реконструкція деяких параметрів повної моделі, запитуючи її, як це робить користувач. Вони показали, що можна реконструювати важливі аспекти моделі, не маючи доступу до ваг взагалі».

Доступ до достатньої кількості інформації про запатентовану модель може дозволити комусь відтворити її – сценарій, який Gladstone AI розглядав у повідомити на замовлення Державного департаменту США під назвою «Поглиблена оборона: план дій щодо підвищення рівня безпеки та безпеки передового ШІ».

У доповіді, випущений вчора, надає аналіз і рекомендації щодо того, як уряд має використовувати штучний інтелект і захищатися від того, як він створює потенційну загрозу національній безпеці.

Одна з рекомендацій звіту полягає в тому, щоб «уряд США терміново дослідив підходи до обмеження випуску або продажу у відкритому доступі передових моделей штучного інтелекту, що перевищують ключові порогові можливості або загальні навчальні обчислення». Це включає «[запровадження] адекватних заходів безпеки для захисту критично важливої ​​IP-адреси, включаючи вагові коефіцієнти моделі».

Відповідаючи на запитання про рекомендації звіту Gladstone у світлі висновків Google, Гарріс покладався: «Загалом, щоб виконувати подібні атаки, вам потрібно — принаймні на даний момент — виконувати запити за шаблонами, які може виявити компанія, яка обслуговує модель. , що є OpenAI у випадку GPT-4. Ми рекомендуємо відстежувати шаблони використання високого рівня, що має бути зроблено таким чином, щоб зберегти конфіденційність, щоб виявити спроби реконструювати параметри моделі за допомогою цих підходів».

«Звичайно, цей вид захисту першого проходу також може стати непрактичним, і нам може знадобитися розробити більш складні контрзаходи (наприклад, трохи рандомізувати, які моделі служать і які відповіді в будь-який момент часу, або інші підходи). Однак ми не вникаємо в цей рівень деталей у самому плані». ®

Часова мітка:

Більше від Реєстр