Якщо ви думали, що сьогодні проблема безпеки ланцюга поставок програмного забезпечення досить складна, пристебніться. Вибухове зростання використання штучного інтелекту (ШІ) скоро зробить ці проблеми ланцюжка поставок експоненціально важчими для навігації в найближчі роки.
Розробники, професіонали з безпеки додатків і спеціалісти DevSecOps покликані виправляти недоліки з найвищим ризиком, які ховаються в тому, що здається нескінченними комбінаціями компонентів з відкритим кодом і пропрієтарних компонентів, які вплетені в їхні програми та хмарну інфраструктуру. Але це постійна боротьба, намагаючись навіть зрозуміти, які компоненти вони мають, які з них уразливі та які вади піддають їх найбільшому ризику. Очевидно, що вони вже намагаються розумно керувати цими залежностями у своєму програмному забезпеченні.
Що стане складнішим, так це мультиплікаційний ефект, який штучний інтелект може додати до ситуації.
Моделі ШІ як самовиконуваний код
Інструменти з підтримкою штучного інтелекту та машинного навчання (ML) — це програмне забезпечення, таке ж, як і будь-які інші додатки, і їхній код так само страждає від незахищеності ланцюжка поставок. Однак вони додають ще одну змінну активів до суміші, яка значно збільшує поверхню атаки ланцюга постачання програмного забезпечення ШІ: моделі ШІ/ML.
«Програми штучного інтелекту відрізняються від будь-якої іншої форми програмного забезпечення тим, що [вони певним чином покладаються] на так звану модель машинного навчання», — пояснює Дар’ян Дехганпішех, співзасновник Protect AI. «Як наслідок, сама модель машинного навчання тепер є активом у вашій інфраструктурі. Якщо у вашій інфраструктурі є актив, вам потрібна можливість сканувати ваше середовище, визначати, де вони знаходяться, що містять, хто має дозволи та що вони роблять. І якщо ви не можете зробити це з моделями сьогодні, ви не можете керувати ними».
Моделі AI/ML забезпечують основу для здатності системи AI розпізнавати шаблони, робити прогнози, приймати рішення, запускати дії або створювати вміст. Але правда полягає в тому, що більшість організацій навіть не знають, як отримати доступ до всіх моделей ШІ, вбудованих у їх програмне забезпечення. Моделі та інфраструктура навколо них побудовані інакше, ніж інші компоненти програмного забезпечення, і традиційні інструменти безпеки та програмного забезпечення не створені для сканування або розуміння того, як працюють моделі штучного інтелекту або які вони мають недоліки. Це те, що робить їх унікальними, каже Дехганпішех, який пояснює, що це, по суті, приховані фрагменти самовиконуваного коду.
«За задумом модель — це фрагмент коду, що виконується самостійно. Він має певну свободу волі», — каже Дехганпіше. «Якби я сказав вам, що у вашій інфраструктурі є активи, які ви не бачите, не можете ідентифікувати, ви не знаєте, що вони містять, ви не знаєте, що таке код, і вони виконуються самостійно і мати зовнішні дзвінки, це звучить підозріло як вірус дозволу, чи не так?»
Ранній спостерігач ШІ-небезпеки
Випереджати цю проблему стало великим поштовхом для нього та його співзасновників, які запустили Protect AI у 2022 році, яка є однією з низки нових фірм, що з’являються для вирішення проблем безпеки моделі та походження даних, які загрозливо виникають в епоху ШІ. Дехганпішех і співзасновник Ієн Свонсон побачили проблиск майбутнього, коли раніше разом працювали над розробкою рішень AI/ML в AWS. Dehghanpisheh був світовим лідером серед архітекторів рішень AI/ML.
«Протягом часу, який ми провели разом в AWS, ми бачили, як клієнти створюють системи штучного інтелекту/ML неймовірно швидкими темпами, задовго до того, як генеративний штучний інтелект захопив серця й уми всіх, від керівництва до Конгресу», — говорить він, пояснюючи, що він працював із низкою інженерів та експертів із розвитку бізнесу, а також активно співпрацював із клієнтами. «Тоді ми зрозуміли, як і де знаходяться вразливості безпеки, унікальні для систем AI/ML».
За його словами, вони помітили три основні речі щодо AI/ML, які мали неймовірні наслідки для майбутнього кібербезпеки. Перше полягало в тому, що темпи впровадження були настільки швидкими, що вони на власні очі бачили, як швидко навколо розробки штучного інтелекту та використання бізнесу з’являлися тіньові ІТ-структури, які уникали такого типу управління, яке контролювало б будь-який інший вид розвитку на підприємстві.
По-друге, більшість використовуваних інструментів — будь то комерційні чи з відкритим кодом — були створені науковцями з обробки даних та перспективними інженерами ML, які ніколи не навчалися концепціям безпеки.
«У результаті ви отримали дійсно корисні, дуже популярні, дуже розповсюджені, широко розповсюджені інструменти, які не створювалися з принципом безпеки», — каже він.
Системи штучного інтелекту не створені «Безпека насамперед»
Як результат, у багатьох системах штучного інтелекту/ML і спільних інструментах відсутні основи автентифікації та авторизації, і вони часто надають занадто великий доступ для читання та запису у файлових системах, пояснює він. У поєднанні з незахищеними мережевими конфігураціями, а потім із тими властивими проблемами в моделях, організації починають стикатися з каскадними проблемами безпеки в цих надзвичайно складних, важких для розуміння системах.
«Це змусило нас зрозуміти, що існуючим інструментам безпеки, процесам, інфраструктурам — незалежно від того, на яку зміну ви пішли, — не вистачає контексту, який потрібен інженерам з машинного навчання, дослідникам даних і розробникам штучного інтелекту», — каже він.
Нарешті, третє важливе спостереження, яке він і Свонсон зробили під час тих днів AWS, полягали в тому, що зламів ШІ не буде. Вони вже приїхали.
«Ми бачили, що клієнти мали порушення в різноманітних системах штучного інтелекту/ML, які мали бути виявлені, але не були», — каже він. «Це говорить нам про те, що набір і процеси, а також елементи управління реагуванням на інциденти не були створені спеціально для того, як розроблялася AI/ML. Ця проблема стала набагато гіршою, оскільки генеративний ШІ набрав обертів».
Моделі ШІ широко поширені
Деганпішех і Свонсон також почали спостерігати, як моделі та навчальні дані створюють новий унікальний ланцюжок постачання штучного інтелекту, який потрібно розглядати так само серйозно, як і решту ланцюга постачання програмного забезпечення. Як і в інших сферах розробки сучасного програмного забезпечення та хмарних інновацій, науковці з обробки даних та експерти зі штучного інтелекту сприяли прогресу систем ШІ/ML завдяки широкому використанню компонентів із відкритим кодом і спільних компонентів, включаючи моделі ШІ та дані, які використовуються для їх навчання. Дуже багато систем штучного інтелекту, чи то академічних, чи то комерційних, створено з використанням чужої моделі. Як і в інших сферах сучасного розвитку, вибух у розробці штучного інтелекту продовжує щоденно спричиняти величезний приплив нових модельних ресурсів, які поширюються по всьому ланцюжку поставок, а це означає, що відслідковувати їх стає все важче.
Візьмемо, наприклад, Hugging Face. Це одне з найбільш широко використовуваних онлайн-сховищ моделей ШІ з відкритим кодом — його засновники кажуть, що хочуть стати GitHub для ШІ. Ще в листопаді 2022 року користувачі Hugging Face поділилися зі спільнотою 93,501 414,695 різними моделями. Наступного листопада кількість моделей зросла до 527,244 XNUMX. Тепер, лише через три місяці, це число зросло до XNUMX XNUMX. Це питання, масштаби якого зростають з кожним днем. І це збирається поставити проблему безпеки ланцюжка поставок програмного забезпечення «на стероїди», — каже Дехганпіше.
A недавній аналіз його фірма знайшла тисячі моделей, якими відкрито ділиться на Hugging Face, які можуть виконувати довільний код під час завантаження моделі або висновку. Хоча Hugging Face виконує базове сканування свого репозиторію на наявність проблем із безпекою, багато моделей пропускаються на цьому шляху — принаймні половина моделей високого ризику, виявлених під час дослідження, не були визнані платформою небезпечними, і Hugging Face пояснює це в документації що визначення безпеки моделі є зрештою відповідальністю її користувачів.
Кроки для боротьби з ланцюгом поставок ШІ
Деганпіше вважає, що стрижень кібербезпеки в епоху штучного інтелекту почнеться спочатку зі створення структурованого розуміння походження ШІ. Це включає походження моделі та походження даних, які, по суті, є походженням та історією цих активів, як вони були змінені та метаданими, пов’язаними з ними.
«Це перше місце, з чого потрібно почати. Ви не можете виправити те, чого не бачите, чого не можете знати і що не можете визначити, чи не так?» він каже.
Тим часом, на щоденному операційному рівні Дехганпішех вважає, що організаціям необхідно створити можливості для сканування своїх моделей, шукаючи недоліки, які можуть вплинути не лише на надійність системи, але й на цілісність її виходу. Сюди входять такі проблеми, як зміщення штучного інтелекту та несправність, яка може спричинити реальну фізичну шкоду, скажімо, через наїзд автономного автомобіля на пішохода.
«По-перше, вам потрібно відсканувати», — каже він. «По-друге, ви повинні розуміти ці скани. І по-третє, коли у вас є щось, що позначено прапорцем, вам, по суті, потрібно зупинити цю модель від активації. Вам потрібно обмежити його свободу дій».
Поштовх для MLSecOps
MLSecOps — це рух, нейтральний щодо постачальників, який відображає рух DevSecOps у традиційному світі програмного забезпечення.
«Подібно до переходу від DevOps до DevSecOps, вам потрібно робити дві речі одночасно. Перше, що вам потрібно зробити, це пояснити практикуючим спеціалістам, що безпека — це виклик і що це спільна відповідальність», — каже Дехганпіше. «Друга річ, яку вам потрібно зробити, — це надати контекст і захистити інструменти, завдяки яким науковці з обробки даних, інженери машинного навчання [і] розробники штучного інтелекту залишаються на передовій і постійно впроваджують інновації, але дозволяючи проблемам безпеки відійти на задній план. .”
Крім того, він каже, що організаціям доведеться почати додавати політику управління, ризиків і відповідності, а також можливості забезпечення виконання та процедури реагування на інциденти, які допомагають керувати діями та процесами, які відбуваються, коли виявляються небезпеки. Як і у випадку з міцною екосистемою DevSecOps, це означає, що MLSecOps потребуватиме активної участі зацікавлених сторін бізнесу на всіх рівнях керівної ланки.
Хороша новина полягає в тому, що безпека штучного інтелекту/ML виграє від однієї речі, якої не було в жодній іншій швидкій технологічній інновації, а саме від нормативних вимог.
«Подумайте про будь-який інший перехід технологій», — каже Дехганпіше. «Назвіть один випадок, коли федеральний регулюючий орган або навіть державний регулюючий орган сказали так на ранній стадії: «Ой, ой, ой, ти маєш розповісти мені все, що в ньому є». Ви повинні визначити пріоритети знання цієї системи. Ви повинні розставити пріоритети в списку матеріалів. Немає жодного».
Це означає, що багато лідерів у галузі безпеки, швидше за все, отримають підтримку для створення можливостей безпеки штучного інтелекту набагато раніше в життєвому циклі інновації. Однією з найбільш очевидних ознак такої підтримки є швидкий перехід до спонсорування нових посад в організаціях.
«Найбільша відмінність, яку привнесло регулятивне мислення, полягає в тому, що в січні 2023 року концепція директора з безпеки штучного інтелекту була новою і не існувала. Але в червні ви почали бачити ці ролі», — каже Дехганпіше. «Тепер вони всюди — і вони фінансуються».
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- : має
- :є
- : ні
- :де
- ][стор
- $UP
- 10
- 2022
- 2023
- 501
- 7
- a
- здатність
- МЕНЮ
- академічний
- доступ
- через
- дії
- активує
- додавати
- додати
- доповнення
- адреса
- прийнята
- Прийняття
- досягнення
- агентство
- попереду
- AI
- Моделі AI
- Системи ШІ
- AI / ML
- ВСІ
- Дозволити
- по
- вже
- Також
- кількість
- an
- та
- Інший
- будь-який
- додаток
- захист додатків
- застосування
- довільний
- архітектурний
- архітектори
- ЕСТЬ
- навколо
- прибулий
- штучний
- штучний інтелект
- Штучний інтелект (AI)
- AS
- активи
- Активи
- асоційований
- At
- атака
- Authentication
- авторизації
- автономний
- знати
- AWS
- назад
- фон
- основний
- Основи
- Бій
- BE
- ставати
- було
- перед тим
- за
- буття
- вважає,
- вигода
- зміщення
- Великий
- найбільший
- Білл
- Кровотеча
- заболочений
- порушення
- приніс
- пряжка
- будувати
- будівельники
- Створюємо
- побудований
- бізнес
- розвиток бізнесу
- але
- by
- C-люкс
- званий
- Виклики
- CAN
- можливості
- захоплений
- автомобіль
- спійманий
- Викликати
- певний
- ланцюг
- виклик
- змінилися
- ясно
- очевидно
- хмара
- інфраструктура хмари
- Співзасновник
- співзасновники
- код
- комбінації
- Приходити
- майбутній
- комерційний
- співтовариство
- комплекс
- дотримання
- Компоненти
- концепція
- поняття
- Турбота
- Конгрес
- вважається
- постійна
- постійно
- містити
- зміст
- контекст
- може
- з'єднаний
- Гуркіт
- створювати
- створення
- Клієнти
- Кібербезпека
- цикл
- щодня
- дані
- день
- Днів
- рішення
- вважається
- визначати
- залежно
- дизайн
- визначення
- розробка
- А не було
- різниця
- різний
- інакше
- важкий
- Директор
- зникають
- відкритий
- розподілений
- do
- документація
- робить
- байдуже
- Дон
- вниз
- водіння
- під час
- Раніше
- Рано
- екосистема
- край
- ефект
- елементи
- ще
- вбудований
- Нескінченний
- примус
- Інженери
- досить
- підприємство
- юридичні особи
- Навколишнє середовище
- Епоха
- по суті
- Навіть
- Кожен
- все
- все
- скрізь
- приклад
- виконувати
- виконавчий
- існувати
- існуючий
- розширений
- experts
- пояснюючи
- Пояснює
- вибух
- експоненціально
- широко
- Face
- мода
- ШВИДКО
- Федеральний
- філе
- Фірма
- фірми
- Перший
- з перших вуст
- виправляти
- позначений прапором
- недоліки
- недоліки
- після
- для
- форма
- знайдений
- фонд
- засновники
- каркаси
- від
- підживлюється
- Функції
- накопичувальна
- майбутнє
- набирає
- ворота
- генеративний
- Генеративний ШІ
- отримати
- отримання
- GitHub
- Давати
- Проблиск
- Глобальний
- буде
- добре
- є
- керувати
- управління
- надавати
- значно
- Зростання
- було
- Половина
- важче
- шкодити
- Мати
- he
- допомога
- прихований
- найвищий
- дуже
- його
- його
- історія
- Як
- How To
- Однак
- HTTPS
- величезний
- i
- ідентифікувати
- if
- Impact
- наслідки
- in
- інцидент
- реагування на інциденти
- includes
- У тому числі
- Збільшує
- неймовірний
- неймовірно
- приплив
- Інфраструктура
- притаманне
- інноваційний
- інновація
- небезпечно
- цілісність
- Інтелект
- в
- участь
- isn
- питання
- питання
- IT
- ЙОГО
- сам
- січня
- робота
- JPG
- червень
- просто
- тримати
- зберігання
- тримає
- Дитина
- Знати
- знання
- відсутність
- сходи
- пізніше
- запуск
- лідер
- Лідери
- вивчення
- найменш
- залишити
- рівень
- життя
- як
- Ймовірно
- родовід
- загрузка
- Довго
- шукати
- маячить
- серія
- машина
- навчання за допомогою машини
- made
- основний
- Більшість
- зробити
- РОБОТИ
- управляти
- управління
- мандатів
- багато
- Матеріали
- Матерія
- me
- засоби
- метадані
- умів
- Розум
- пропущений
- відсутній
- змішувати
- ML
- модель
- Моделі
- сучасний
- Імпульс
- місяців
- більше
- найбільш
- рухатися
- руху
- багато
- ім'я
- а саме
- Переміщення
- Необхідність
- мережу
- ніколи
- Нові
- нові фірми
- новини
- немає
- роман
- Листопад
- зараз
- номер
- спостереження
- Очевидний
- of
- часто
- on
- один раз
- ONE
- ті,
- онлайн
- тільки
- відкрити
- з відкритим вихідним кодом
- відкрито
- оперативний
- or
- організації
- походження
- Інше
- з
- вихід
- поза
- над
- наглядати
- алюр
- моделі
- дозвіл
- Дозволи
- фізичний
- підібраний
- частина
- частин
- місце
- платформа
- plato
- Інформація про дані Платона
- PlatoData
- Політика
- популярний
- Прогнози
- раніше
- Пріоритетність
- Проблема
- проблеми
- Процедури
- процеси
- професіонали
- власником
- PROS
- захист
- забезпечувати
- Штовхати
- put
- швидко
- діапазон
- швидко
- RE
- Читати
- Реальний світ
- реалізувати
- зрозумів,
- насправді
- визнавати
- регулятор
- Регулятори
- регуляторні
- покладатися
- Сховище
- дослідження
- відповідь
- відповідальність
- REST
- обмежити
- результат
- право
- Risk
- моделі ризику
- ролі
- s
- Безпека
- Зазначений
- то ж
- бачив
- say
- говорить
- сканування
- сканування
- сканування
- Вчені
- сфера
- другий
- безпеку
- побачити
- бачачи
- Здається,
- серйозно
- комплект
- тінь
- загальні
- зсув
- Повинен
- Ознаки
- аналогічний
- ситуація
- So
- Софтвер
- програмні компоненти
- розробка програмного забезпечення
- ланцюг постачання програмного забезпечення
- solid
- рішення
- Рішення
- деякі
- Хтось
- що в сім'ї щось
- звуки
- Source
- відпрацьований
- спонсор
- Рекламні
- зацікавлених сторін
- стенди
- старт
- почалася
- стан
- заходи
- Стоп
- сильний
- структурований
- Бореться
- поставка
- ланцюжка поставок
- підтримка
- поверхню
- Підозріло
- система
- Systems
- таблиця
- вирішення проблем
- Приймати
- Технологія
- Технологічні інновації
- сказати
- ніж
- Що
- Команда
- Основи
- Майбутнє
- їх
- Їх
- потім
- Там.
- Ці
- вони
- річ
- речі
- думати
- третій
- це
- ті
- думка
- тисячі
- три
- через
- час
- до
- сьогодні
- разом
- сказав
- занадто
- інструменти
- трек
- традиційний
- поїзд
- навчений
- Навчання
- перехід
- викликати
- Правда
- намагається
- два
- Зрештою
- розуміти
- розуміння
- створеного
- us
- використання
- використовуваний
- корисний
- користувачі
- використання
- змінна
- різноманітність
- Ve
- дуже
- вірус
- видимість
- Уразливості
- Вразливий
- хотіти
- було
- шлях..
- we
- ДОБРЕ
- пішов
- були
- були
- Що
- коли
- Чи
- який
- в той час як
- ВООЗ
- чий
- широко
- волі
- з
- Work
- працював
- світ
- гірше
- б
- запис
- років
- Ти
- вашу
- зефірнет