особливість Поки вони поспішають зрозуміти, створювати та постачати продукти ШІ, розробників і спеціалістів із обробки даних закликають дбати про безпеку та не ставати жертвою атак у ланцюзі поставок.
Існує незліченна кількість моделей, бібліотек, алгоритмів, готових інструментів і пакетів, з якими можна грати, і прогрес невпинний. Вихід цих систем, мабуть, інша історія, хоча, беззаперечно, завжди є щось нове, з чим можна пограти.
Не зважаючи на хвилювання, ажіотаж, цікавість і страх втратити щось, безпеку не можна забувати. Якщо це для вас не шок, то фантастично. Але нагадування тут є корисним, особливо тому, що технологію машинного навчання, як правило, створюють науковці, а не інженери, принаймні на етапі розробки, і хоча ці люди добре знаються на таких речах, як архітектури нейронних мереж, квантування та наступні... Техніки навчання gen, infosec, зрозуміло, не може бути їх сильною стороною.
Зведення проекту штучного інтелекту не дуже відрізняється від створення будь-якого іншого програмного забезпечення. Зазвичай ви об’єднуєте бібліотеки, пакунки, навчальні дані, моделі та настроюваний вихідний код для виконання завдань логічного висновку. Компоненти коду, доступні в загальнодоступних сховищах, можуть містити приховані бекдори або викрадачі даних, а попередньо створені моделі та набори даних можуть бути отруєні, щоб спричинити неочікувану неналежну поведінку програм.
Насправді деякі моделі можуть містити зловмисне програмне забезпечення виконано якщо їх вміст не безпечно десеріалізовано. Безпека плагінів ChatGPT також є прийти під пильний огляд.
Іншими словами, атаки на ланцюг поставок, які ми спостерігали у світі розробки програмного забезпечення, можуть статися в країні ШІ. Погані пакети можуть призвести до скомпрометації робочих станцій розробників, що призведе до шкідливих вторгнень у корпоративні мережі, а підроблені моделі та навчальні набори даних можуть призвести до того, що програми неправильно класифікують речі, образять користувачів тощо. Бібліотеки та моделі з бекдорами або зловмисним програмним забезпеченням, якщо їх включити до програмного забезпечення, що поставляється, також можуть зробити користувачів цих програм відкритими для атак.
Вони розв’яжуть цікаву математичну задачу, а потім її розгорнуть і все. Це не перевірено пером, немає AI red teaming
У відповідь на це з’являються стартапи з кібербезпеки та штучного інтелекту, спеціально спрямовані на боротьбу з цією загрозою; безсумнівно, відомі гравці також придивляються до цього, принаймні ми на це сподіваємось. Проекти машинного навчання слід перевіряти та перевіряти, перевіряти на безпеку та оцінювати на безпеку.
«[ШІ] виріс із академічних кіл. Здебільшого це були дослідницькі проекти в університеті або невеликі проекти з розробки програмного забезпечення, створені в основному науковцями чи великими компаніями, і вони просто не мають внутрішнього захисту», – Том Боннер, віце-президент з досліджень HiddenLayer, один такий стартап, орієнтований на безпеку, сказав Реєстр.
«Вони вирішать цікаву математичну задачу за допомогою програмного забезпечення, а потім розгорнуть його, і все. Це не перевірено пером, немає штучного інтелекту, оцінки ризиків або безпечного життєвого циклу розробки. Раптом штучний інтелект і машинне навчання набули справжнього розквіту, і всі прагнуть потрапити в це. Вони всі йдуть і збирають усі звичайні пакети програмного забезпечення, які виросли з академії, і ось ось, вони повні вразливостей, повні дірок».
Ланцюг постачання ШІ має численні точки входу для злочинців, які можуть використовувати такі речі, як друкарський сквот Стверджується, що обманом змусити розробників використовувати шкідливі копії законних бібліотек, дозволяючи шахраям викрадати конфіденційні дані та корпоративні облікові дані, захоплювати сервери, на яких запущений код, тощо. Захист ланцюга постачання програмного забезпечення також слід застосовувати до розробки систем машинного навчання.
«Якщо ви подумаєте про кругову діаграму того, як вас зламатимуть, коли ви відкриєте відділ штучного інтелекту у своїй компанії чи організації», — сказав Ден Макінерні, провідний дослідник безпеки ШІ в Protect AI. Реєстр, «крихітну частку цього пирога складатимуть атаки введення даних, про які всі говорять. І гігантська частина атакуватиме ланцюжок постачання – інструменти, які ви використовуєте для створення моделі».
Вхідні атаки є цікаві способи за допомогою якого люди можуть зламати програмне забезпечення ШІ.
Щоб проілюструвати потенційну небезпеку, HiddenLayer минулого тижня виділений на його тверду думку, це проблема безпеки через онлайн-сервіс, наданий Hugging Face, який перетворює моделі з небезпечного формату Pickle на більш безпечний Safetensors, також розроблений Hugging Face.
Моделі Pickle можуть містити зловмисне програмне забезпечення та інший довільний код, який може мовчки та неочікувано виконуватися під час десеріалізації, що не дуже добре. Safetensors було створено як безпечнішу альтернативу: моделі, які використовують цей формат, не повинні запускати вбудований код після десеріалізації. Для тих, хто не знає, Hugging Face містить сотні тисяч моделей нейронних мереж, наборів даних і фрагментів коду, які розробники можуть завантажити та використовувати лише кількома клацаннями миші або командами.
Конвертер Safetensors працює на інфраструктурі Hugging Face, і його можна наказати перетворити модель PyTorch Pickle, розміщену на Hugging Face, на копію у форматі Safetensors. Але сам процес онлайн-перетворення вразливий до виконання довільного коду, згідно з HiddenLayer.
Дослідники HiddenLayer заявили, що виявили, що вони можуть надіслати запит на перетворення для шкідливої моделі Pickle, що містить довільний код, і під час процесу перетворення цей код буде виконано в системах Hugging Face, дозволяючи комусь почати возитися з ботом-конвертером та його користувачами. Якщо користувач конвертував шкідливу модель, його маркер Hugging Face міг бути викрадений прихованим кодом, і «ми могли б фактично викрасти його маркер Hugging Face, скомпрометувати його сховище та переглянути всі приватні сховища, набори даних і моделі, які має цей користувач доступ до", - стверджував HiddenLayer.
Крім того, ми повідомили, що облікові дані бота-конвертера можуть бути доступні та витоку через код, схований у моделі Pickle, що дозволяє комусь маскуватися під бота та відкривати запити на внесення змін до інших сховищ. Ці зміни можуть внести шкідливий вміст, якщо їх прийняти. Ми попросили Hugging Face відповісти на висновки HiddenLayer.
«За іронією долі, служба перетворення на Safetensors сама по собі була жахливо небезпечною», — сказав нам Боннер із HiddenLayer. «Враховуючи рівень доступу, який мав конвертаційний бот до репозиторіїв, насправді можна було викрасти токен, який вони використовували для внесення змін через інші репозиторії.
«Отже, теоретично, зловмисник міг надіслати будь-яку зміну в будь-яке сховище та зробити так, ніби воно надійшло від Hugging Face, а оновлення безпеки могло б обдурити його, щоб прийняти його. Люди просто мали бекдоровані моделі або незахищені моделі у своїх сховищах і не знали б».
Це більше, ніж теоретична загроза: магазин Devops JFrog сказав, що знайшов шкідливий код ховається в 100 моделях, розміщених на Hugging Face.
Насправді існують різні способи приховати шкідливе корисне навантаження коду в моделях, які – залежно від формату файлу – виконуються під час завантаження та аналізу нейронних мереж, дозволяючи зловмисникам отримати доступ до машин людей. Моделі PyTorch і Tensorflow Keras «створюють найвищий потенційний ризик виконання шкідливого коду, оскільки вони є популярними типами моделей із відомими техніками виконання коду, які були опубліковані», — зазначив JFrog.
Ненадійні рекомендації
Боннер попереджає, що програмісти, які використовують помічників із підказками коду для розробки додатків, також повинні бути обережними, інакше вони можуть включити незахищений код. GitHub Copilot, наприклад, пройшов навчання на репозиторіях з відкритим кодом, і принаймні 350,000 XNUMX із них потенційно вразливі до стара проблема безпеки з використанням архівів Python і tar.
Пітона tarfile модуль, як випливає з назви, допомагає програмам розпаковувати архіви tar. Можна створити .tar так, що коли файл в архіві розпаковується модулем Python, він намагатиметься перезаписати довільний файл у файловій системі користувача. Це можна використати для сміття налаштувань, заміни сценаріїв та спричинення інших неприємностей.
Недолік був помічений у 2007 році виділений знову в 2022 році, спонукаючи людей почати виправляти проекти, щоб уникнути цієї експлуатації. Ці оновлення безпеки, можливо, не потрапили в набори даних, які використовуються для навчання великих мовних моделей програмуванню, поскаржився Боннер. «Тож якщо ви попросите магістра розпакувати файл tar прямо зараз, він, ймовірно, виплюне вам [старий] вразливий код».
Боннер закликав спільноту штучного інтелекту почати впроваджувати методи безпеки ланцюга постачання, наприклад вимагати від розробників цифрового підтвердження того, ким вони себе видають, коли вносять зміни до загальнодоступних сховищ коду, що запевнить людей у тому, що нові версії речей створено законними розробниками. і не були зловмисними змінами. Це вимагатиме від розробників захисту всього, що вони використовують для автентифікації, щоб хтось інший не міг маскуватися під них.
І всі розробники, великі та малі, повинні проводити оцінку безпеки та перевіряти інструменти, які вони використовують, а також тестувати своє програмне забезпечення перед його розгортанням.
Спроба посилити безпеку в ланцюжку постачання штучного інтелекту складна, і з такою кількістю інструментів і моделей, що створюються та випускаються, важко встигати.
МакІнерні з Protect AI підкреслив, що «це такий стан, у якому ми зараз перебуваємо. Повсюди є багато низькорослих фруктів. Просто не вистачає робочої сили, щоб усе це подивитися, тому що все рухається дуже швидко». ®
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_supply_chain/
- : має
- :є
- : ні
- $UP
- 000
- 100
- 2022
- 350
- 7
- a
- МЕНЮ
- Академія
- вчені
- прийнятий
- приймає
- доступ
- доступний
- За
- насправді
- доповнення
- знову
- AI
- алгоритми
- ВСІ
- Дозволити
- Також
- альтернатива
- завжди
- an
- та
- Інший
- будь-який
- застосування
- прикладної
- додатка
- довільний
- архітектури
- архів
- архів
- ЕСТЬ
- сперечався
- навколо
- AS
- запитати
- оцінки
- помічники
- At
- атака
- нападаючий
- Атакуючий
- нападки
- спроба
- аудит
- перевіряти справжність
- доступний
- уникнути
- назад
- бекдори
- поганий
- BE
- оскільки
- Яловичина
- було
- перед тим
- за
- буття
- вважає,
- Великий
- біти
- Бот
- Перерва
- будувати
- побудований
- але
- by
- прийшов
- CAN
- обережний
- Викликати
- ланцюг
- зміна
- Зміни
- Графік
- ChatGPT
- Класифікувати
- близько
- CO
- код
- загальний
- співтовариство
- Компанії
- компанія
- Компоненти
- компроміс
- Компрометація
- Проводити
- будівництво
- містити
- зміст
- зміст
- Перетворення
- конвертувати
- перероблений
- скопіювати
- Корпоративний
- може
- виробити
- створений
- Повноваження
- злочинці
- цікавість
- виготовлений на замовлення
- Кібербезпека
- руйнівний
- НЕБЕЗПЕЧНО
- дані
- набори даних
- оборонні споруди
- відділ
- Залежно
- розгортання
- розгорнути
- розвивати
- розвиненою
- розробників
- розробка
- деви
- різний
- важкий
- в цифровому вигляді
- Дон
- сумніваюся
- скачати
- під час
- ефект
- ще
- вбудований
- з'являються
- кінець
- Інженери
- досить
- запис
- особливо
- встановлений
- оцінюється
- всі
- все
- все
- приклад
- Збудження
- виконано
- виконання
- виконання
- існує
- експлуатація
- експлуатований
- очей
- Face
- факт
- Падати
- фантастичний
- ШВИДКО
- страх
- кілька
- філе
- результати
- недолік
- для
- забутий
- формат
- Forte
- знайдений
- фракція
- від
- Повний
- Отримувати
- отримати
- гігант
- GitHub
- даний
- Go
- буде
- великий
- вирощений
- зламаний
- було
- мобільний
- шкідливий
- Мати
- допомагає
- тут
- прихований
- приховувати
- приховування
- найвищий
- викрадати
- Отвори
- надія
- відбувся
- хостів
- Як
- HTML
- HTTPS
- Сотні
- обман
- if
- ілюструвати
- реалізації
- in
- Зареєстрований
- включення
- INFOSEC
- Інфраструктура
- вхід
- небезпечно
- всередині
- цікавий
- в
- вводити
- за участю
- Як не дивно
- isn
- питання
- IT
- ЙОГО
- сам
- JPG
- просто
- тримати
- керас
- Дитина
- Знати
- відомий
- етикетка
- земля
- мова
- великий
- в значній мірі
- вести
- провідний
- вивчення
- найменш
- Залишати
- Законний
- рівень
- libraries
- Життєвий цикл
- як
- ll
- LLM
- подивитися
- виглядає як
- шукати
- серія
- машина
- навчання за допомогою машини
- Машинки для перманенту
- made
- основний
- Робить
- malicious
- шкідливих програм
- багато
- маскарад
- математичний
- Може..
- mind
- відсутній
- модель
- Моделі
- Модулі
- більше
- переміщення
- багато
- ім'я
- Необхідність
- мережу
- мереж
- нервовий
- нейронної мережі
- нейронні мережі
- Нові
- немає
- зазначив,
- зараз
- численний
- відбуваються
- of
- від
- Старий
- on
- один раз
- ONE
- онлайн
- відкрити
- з відкритим вихідним кодом
- or
- організація
- Інше
- інакше
- з
- вихід
- над
- пакети
- Виправлення
- Люди
- Виконувати
- може бути
- фаза
- збір
- частина
- місце
- plato
- Інформація про дані Платона
- PlatoData
- Play
- гравці
- plugins
- точок
- популярний
- частина
- поза
- це можливо
- потенціал
- потенційно
- практики
- видобуток
- приватний
- ймовірно
- Проблема
- процес
- Вироблений
- Продукти
- програма
- програми
- прогрес
- проект
- проектів
- захист
- Доведіть
- за умови
- громадськість
- опублікований
- put
- Python
- піторх
- швидше
- RE
- насправді
- заспокоїти
- червоний
- випущений
- невблаганна
- нагадування
- замінювати
- Сховище
- запросити
- запитів
- вимагати
- дослідження
- дослідник
- Дослідники
- відповідь
- право
- Risk
- біг
- пробіжки
- порив
- s
- безпечно
- безпечніше
- Безпека
- Зазначений
- say
- Вчені
- scripts
- огляд
- безпечний
- безпеку
- бачив
- чутливий
- Сервери
- обслуговування
- налаштування
- КОРАБЕЛЬ
- занурено
- Магазин
- Повинен
- з
- невеликий
- So
- Софтвер
- розробка програмного забезпечення
- ВИРІШИТИ
- деякі
- Хтось
- що в сім'ї щось
- Source
- вихідні
- конкретно
- крутився
- старт
- введення в експлуатацію
- Стартапи
- стан
- Історія
- сильно
- представляти
- представлений
- такі
- раптовий
- Запропонує
- поставка
- ланцюжка поставок
- система
- Systems
- снасті
- прийняті
- Переговори
- завдання
- технології
- методи
- має тенденцію
- тензорний потік
- тест
- перевірений
- ніж
- Що
- Команда
- Держава
- їх
- Їх
- самі
- потім
- теоретичний
- теорія
- Там.
- Ці
- вони
- речі
- думати
- це
- ті
- хоча?
- тисячі
- загроза
- через
- до
- разом
- знак
- сказав
- Том
- занадто
- інструменти
- поїзд
- навчений
- Навчання
- Перетворення
- трюк
- Правда
- Типи
- типово
- незаперечний
- розуміти
- Зрозуміло
- університет
- Оновити
- Updates
- закликав
- us
- використання
- використовуваний
- користувач
- користувачі
- використання
- різний
- Ve
- версії
- вид
- vp
- Уразливості
- Вразливий
- попередили
- було
- шлях..
- способи
- we
- week
- ДОБРЕ
- були
- Що
- будь
- коли
- який
- в той час як
- ВООЗ
- волі
- з
- в
- слова
- світ
- б
- хіба що
- Ти
- вашу
- зефірнет