Невиправлені критичні вразливості відкривають моделі AI для захоплення

Дослідники виявили майже десяток критичних вразливостей в інфраструктурі, що використовується моделями штучного інтелекту (плюс три помилки високого та два середнього ступеня тяжкості), які можуть поставити компанії під загрозу, коли вони прагнуть скористатися перевагами ШІ. Частина з них залишилася невиправленою.

Уражені платформи використовуються для розміщення, розгортання та спільного використання великих мовних моделей (LLM) та інших платформ машинного навчання та ШІ. Вони включають Ray, який використовується в розподіленому навчанні моделей машинного навчання; MLflow, платформа життєвого циклу машинного навчання; ModelDB, платформа керування машинним навчанням; і H20 версія 3, платформа з відкритим кодом для машинного навчання на основі Java.

MБезпекова фірма Protect AI, що займається навчанням achine, оприлюднила результати 16 листопада в рамках своєї спеціальної програми винагород за помилки Huntr. Це ніповідомив розробників програмного забезпечення та постачальників про вразливості, надавши їм 45 днів для виправлення проблем.

Кожній із проблем було призначено ідентифікатор CVE, і хоча багато проблем було виправлено, інші залишаються невиправленими. У цьому випадку Protect AI рекомендував обхідний шлях у його консультативний.

Помилки ШІ становлять високий ризик для організацій

Відповідно до Protect AI, уразливості в системах ШІ можуть надати зловмисникам несанкціонований доступ до моделей ШІ, дозволяючи їм кооптувати моделі для власних цілей.

Але вони також можуть дати їм доступ до решти мережі, каже Шон Морган, головний архітектор Protect AI. Наприклад, зламаний сервер і викрадення облікових даних із служб штучного інтелекту з низьким кодом є двома можливостями для початкового доступу.

«Сервери висновків можуть мати доступні кінцеві точки, щоб користувачі могли використовувати моделі ML [віддалено], але існує багато способів потрапити в чиюсь мережу», — каже він. «Ці системи ML, які ми націлюємо [за допомогою програми винагороди за помилки], часто мають підвищені привілеї, тому дуже важливо, щоб якщо хтось увійшов у вашу мережу, вони не могли швидко перерости в дуже чутливу систему. .”

Наприклад, критична проблема включення локального файлу (тепер виправлена) в API для платформи розподіленого навчання Ray дозволяє зловмиснику читати будь-який файл у системі. Інша проблема на платформі H20 (також виправлена) дозволяє виконувати код через імпорт моделі ШІ.

Ризик не теоретичний: великі компанії вже розпочали агресивні кампанії, щоб знайти корисні моделі штучного інтелекту та застосувати їх на своїх ринках і в операціях. Наприклад, банки вже використовують машинне навчання та штучний інтелект для обробки іпотечних кредитів і боротьби з відмиванням грошей.

Поки знаходять уразливості в цих системах ШІ може призвести до компрометації інфраструктури, крадіжка інтелектуальної власності також є великою метою, каже Дар’ян Дехганпішех, президент і співзасновник Protect AI.

«Промислове шпигунство є важливою складовою, і в боротьбі за штучний інтелект і машинне навчання моделі є дуже цінним активом інтелектуальної власності», — каже він. «Подумайте про те, скільки грошей витрачається на щоденне навчання моделі, а коли ви говорите про мільярди параметрів і багато іншого, так багато інвестицій, просто чистий капітал, який легко скомпрометувати або вкрасти».

Боротьба з новими експлойтами проти інфраструктури, що лежить в основі взаємодії природної мови, яку люди мають із системами штучного інтелекту, такими як ChatGPT, матиме ще більший вплив, каже Дейн Шерретс, старший архітектор рішень у HackerOne. Це тому, що коли кіберзлочинці зможуть ініціювати такі вразливості, ефективність систем ШІ зробить вплив набагато більшим.

Ці атаки «можуть змусити систему видати чутливі або конфіденційні дані або допомогти зловмиснику отримати доступ до серверної частини системи», — каже він. «Уразливості штучного інтелекту, як отруєння навчальними даними, також можуть мати значний хвильовий ефект, що призводить до широкого поширення помилкових або зловмисних результатів».

Безпека для інфраструктури ШІ: часто забувають

Після впровадження ChatGPT рік тому технології та послуги, засновані на ШІ, особливо генеративний ШІ (GenAI), почали розвиватися. На її сліді а різноманіття ворожих атак були розроблені, які можуть бути націлені на системи ШІ та машинного навчання та їхні операції. 15 листопада, наприклад, охоронна фірма Adversa AI
розкрив низку атак на системи на базі GPT включаючи швидкий витік і перерахування API, до яких система має доступ.

Проте виявлення помилок ProtectAI підкреслює той факт, що інструменти та інфраструктура, які підтримують процеси машинного навчання та операції ШІ, також можуть стати цілями. І часто компанії використовують інструменти та робочі процеси на основі ШІ без частого консультування груп інформаційної безпеки.

«Як і в будь-якому високотехнологічному ажіотажному циклі, люди розгортатимуть системи, створюватимуть програми та створюватимуть нові можливості для задоволення потреб бізнесу та ринку, і часто або нехтуватимуть безпекою, а створюватимуть ці «тіньових стеків», або вони припустять, що існуючі можливості безпеки, які вони мають, можуть убезпечити їх», — каже Дехганпіше. «Але те, що ми [професіонали з кібербезпеки] робимо для традиційних центрів обробки даних, не обов’язково забезпечує вашу безпеку в хмарі, і навпаки».

Protect AI використовував свою платформу винагороди за помилки, яка отримала назву Huntr, щоб отримати інформацію про вразливості від тисяч дослідників для різних платформ машинного навчання, але поки що пошук помилок у цьому секторі залишається в зародковому стані. Однак це може змінитися.

Наприклад, Zero Day Initiative Trend Micro ще не користується значним попитом на пошук помилок у інструментах AI/ML, але група спостерігає регулярні зміни в тому, які типи вразливостей галузь хоче знайти дослідникам, і, ймовірно, буде зосереджено увагу на AI. незабаром, каже Дастін Чайлдс, керівник відділу поінформованості про загрози Zero Day Initiative Trend Micro.

«Ми бачимо те ж саме в штучному інтелекті, що й в інших галузях, коли вони розвивалися», — каже він. «Спочатку безпека була позбавлена ​​пріоритету на користь додавання функціональності. Тепер, коли він досяг певного рівня визнання, люди починають запитувати про наслідки для безпеки».

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://www.darkreading.com/vulnerabilities-threats/unpatched-critical-vulnerabilities-ai-models-takeover