Если вы считаете, что проблема безопасности цепочки поставок программного обеспечения сегодня достаточно сложна, пристегнитесь. Взрывной рост использования искусственного интеллекта (ИИ) в ближайшие годы сделает решение этих проблем в цепочке поставок экспоненциально труднее.
Разработчики, специалисты по безопасности приложений и специалисты DevSecOps призваны исправлять самые опасные недостатки, которые скрываются в, казалось бы, бесконечных комбинациях компонентов с открытым исходным кодом и проприетарных компонентов, вплетенных в их приложения и облачную инфраструктуру. Но это постоянная борьба за то, чтобы хотя бы понять, какие компоненты у них есть, какие из них уязвимы и какие недостатки подвергают их наибольшему риску. Очевидно, что они уже изо всех сил пытаются разумно управлять этими зависимостями в своем программном обеспечении.
Что еще сложнее, так это мультипликативный эффект, который ИИ может добавить к ситуации.
Модели ИИ как самоисполняющийся код
Инструменты с поддержкой искусственного интеллекта и машинного обучения (ML) представляют собой такое же программное обеспечение, как и любые другие приложения, и их код с такой же вероятностью может пострадать от небезопасности цепочки поставок. Однако они добавляют к этому набору еще одну переменную актива, которая значительно увеличивает поверхность атаки в цепочке поставок программного обеспечения для искусственного интеллекта: модели искусственного интеллекта и машинного обучения.
«Что отличает приложения искусственного интеллекта от любой другой формы программного обеспечения, так это то, что [они полагаются] тем или иным образом на так называемую модель машинного обучения», — объясняет Дарьян Дехганпишех, соучредитель Protect AI. «В результате сама эта модель машинного обучения теперь является активом вашей инфраструктуры. Если в вашей инфраструктуре есть активы, вам нужна возможность сканировать вашу среду, определять, где они находятся, что они содержат, у кого есть разрешения и что они делают. И если вы не можете сделать то же самое с моделями сегодня, вы не сможете ими управлять».
Модели AI/ML обеспечивают основу для способности системы искусственного интеллекта распознавать закономерности, делать прогнозы, принимать решения, запускать действия или создавать контент. Но правда в том, что большинство организаций даже не знают, как начать получать представление обо всех моделях ИИ, встроенных в их программное обеспечение. Модели и инфраструктура вокруг них построены иначе, чем другие программные компоненты, а традиционные инструменты безопасности и программного обеспечения не предназначены для сканирования или понимания того, как работают модели ИИ или в чем их недостатки. Именно это делает их уникальными, говорит Дехганпише, который объясняет, что по сути они представляют собой скрытые фрагменты самоисполняющегося кода.
«Модель по своей сути представляет собой самоисполняющийся фрагмент кода. У него есть определенная свобода действий», — говорит Дехганпише. «Если бы я сказал вам, что во всей вашей инфраструктуре есть активы, которые вы не можете видеть, не можете идентифицировать, вы не знаете, что они содержат, вы не знаете, что это за код, и они самоисполняются и у вас есть внешние звонки, это подозрительно похоже на вирус разрешений, не так ли?
Один из первых наблюдателей небезопасности ИИ
Опережение этой проблемы стало большим стимулом для него и его соучредителей, запустивших в 2022 году компанию Protect AI, которая является одной из множества новых фирм, возникающих для решения проблем безопасности моделей и происхождения данных, которые надвигаются в эпоху искусственного интеллекта. Деганпише и соучредитель Ян Суонсон увидели проблеск будущего, когда ранее вместе работали над созданием решений AI/ML в AWS. Деганпише был мировым лидером среди архитекторов решений AI/ML.
«За время, которое мы провели вместе в AWS, мы видели, как клиенты невероятно быстрыми темпами создают системы искусственного интеллекта и машинного обучения, задолго до того, как генеративный искусственный интеллект захватил сердца и умы всех, от высшего руководства до Конгресса», — говорит он, объясняя, что он работал с рядом инженеров и экспертов по развитию бизнеса, а также активно работал с клиентами. «Именно тогда мы поняли, как и где находятся уязвимости безопасности, уникальные для систем искусственного интеллекта и машинного обучения».
По его словам, они заметили три основные вещи в области искусственного интеллекта и машинного обучения, которые имели невероятные последствия для будущего кибербезопасности. Во-первых, темпы внедрения были настолько быстрыми, что они воочию увидели, как быстро вокруг разработки ИИ и использования его в бизнесе возникают теневые ИТ-структуры, ускользающие от управления, которое бы контролировало любой другой вид развития на предприятии.
Во-вторых, большинство используемых инструментов — как коммерческих, так и с открытым исходным кодом — были созданы специалистами по обработке данных и подающими надежды инженерами машинного обучения, которые никогда не обучались концепциям безопасности.
«В результате у вас появились действительно полезные, очень популярные, очень распространенные и широко распространенные инструменты, которые не были созданы с учетом приоритета безопасности», — говорит он.
Системы искусственного интеллекта не созданы «безопасность прежде всего»
В результате многим системам искусственного интеллекта и машинного обучения и общим инструментам не хватает основ аутентификации и авторизации, и они часто предоставляют слишком большой доступ для чтения и записи в файловых системах, объясняет он. В сочетании с небезопасными конфигурациями сети, а затем и с присущими моделями проблемами, организации начинают увязнуть в каскадных проблемах безопасности в этих очень сложных и трудных для понимания системах.
«Это заставило нас осознать, что существующие инструменты, процессы и структуры безопасности — независимо от того, насколько вы пошли налево, — не имеют контекста, который понадобится инженерам машинного обучения, специалистам по обработке данных и разработчикам искусственного интеллекта», — говорит он.
Наконец, третье важное наблюдение, которое он и Свенсон сделали в те дни в AWS, заключалось в том, что нарушений ИИ не произойдет. Они уже прибыли.
«Мы видели, что у клиентов были нарушения в различных системах искусственного интеллекта и машинного обучения, которые должны были быть обнаружены, но не были обнаружены», — говорит он. «Это говорит нам о том, что набор и процессы, а также элементы управления реагированием на инциденты не были специально созданы для того, как создавался ИИ/МО. Эта проблема стала намного хуже, поскольку генеративный ИИ набрал обороты».
Модели искусственного интеллекта широко распространены
Деганпише и Суонсон также начали понимать, как модели и обучающие данные создают уникальную новую цепочку поставок ИИ, к которой необходимо относиться так же серьезно, как и к остальной части цепочки поставок программного обеспечения. Как и в случае с остальными современными разработками программного обеспечения и облачными инновациями, ученые, работающие с данными, и эксперты по искусственному интеллекту способствовали развитию систем искусственного интеллекта и машинного обучения за счет безудержного использования открытого исходного кода и общих компонентов, включая модели искусственного интеллекта и данные, используемые для их обучения. Очень многие системы искусственного интеллекта, как академические, так и коммерческие, созданы с использованием чужой модели. И, как и в случае с остальными современными разработками, бурный рост развития ИИ продолжает вызывать огромный ежедневный приток новых моделей активов, распространяющихся по цепочке поставок, а это означает, что отслеживать их становится все труднее.
Возьмем, к примеру, «Обнимающее лицо». Сегодня это один из наиболее широко используемых онлайн-хранилищ моделей ИИ с открытым исходным кодом — его основатели заявляют, что хотят стать GitHub ИИ. Еще в ноябре 2022 года пользователи Hugging Face поделились с сообществом 93,501 414,695 различными моделями. В ноябре следующего года количество моделей выросло до 527,244 XNUMX. Теперь, всего три месяца спустя, это число увеличилось до XNUMX XNUMX. Это проблема, масштабы которой с каждым днем растут как снежный ком. И это поставит проблему безопасности цепочки поставок программного обеспечения «на стероиды», говорит Дехганпише.
A недавний анализ его фирма обнаружила, что тысячи моделей, которые открыто публикуются на Hugging Face, могут выполнять произвольный код при загрузке модели или выводе. Хотя Hugging Face выполняет базовое сканирование своего репозитория на предмет проблем безопасности, многие модели на этом пути упускаются — по крайней мере половина моделей с высоким риском, обнаруженных в ходе исследования, не были сочтены платформой небезопасными, и Hugging Face ясно дает это понять в документации. что определение безопасности модели в конечном итоге является ответственностью ее пользователей.
Шаги по решению проблемы цепочки поставок ИИ
Дехганпише считает, что краеугольным камнем кибербезопасности в эпоху искусственного интеллекта станет создание структурированного понимания происхождения искусственного интеллекта. Сюда входит происхождение модели и происхождение данных, которые, по сути, являются источником и историей этих активов, тем, как они были изменены, а также связанными с ними метаданными.
«Это первое, с чего стоит начать. Ты не можешь исправить то, чего не видишь, чего не можешь знать и что не можешь определить, верно?» он говорит.
Между тем, на повседневном оперативном уровне Дехганпише считает, что организациям необходимо наращивать возможности для сканирования своих моделей в поисках недостатков, которые могут повлиять не только на усиление защиты системы, но и на целостность ее результатов. Сюда входят такие проблемы, как предвзятость и неисправности ИИ, которые могут нанести реальный физический вред, например, в результате столкновения автономного автомобиля с пешеходом.
«Во-первых, вам нужно отсканировать», — говорит он. «Во-вторых, вам нужно понять эти сканирования. И в-третьих, когда у вас есть что-то помеченное, вам, по сути, нужно остановить активацию этой модели. Вам необходимо ограничить его влияние».
Стремление к MLSecOps
MLSecOps — это движение, не зависящее от поставщиков, которое отражает движение DevSecOps в традиционном мире программного обеспечения.
«Подобно переходу от DevOps к DevSecOps, вам придется делать две вещи одновременно. Первое, что вам нужно сделать, — это дать практикующим понять, что безопасность — это вызов и что это общая ответственность», — говорит Дехганпише. «Второе, что вам нужно сделать, — это дать контекст и обеспечить безопасность инструментов, которые позволят специалистам по данным, инженерам по машинному обучению и разработчикам искусственного интеллекта быть на переднем крае и постоянно внедрять инновации, но позволяя проблемам безопасности отойти на второй план. ».
Кроме того, по его словам, организациям придется начать добавлять политики управления, рисков и соответствия требованиям, а также возможности обеспечения соблюдения требований и процедуры реагирования на инциденты, которые помогают управлять действиями и процессами, которые происходят при обнаружении угроз безопасности. Как и в случае с прочной экосистемой DevSecOps, это означает, что MLSecOps потребуется активное участие заинтересованных сторон на всех уровнях исполнительной лестницы.
Хорошей новостью является то, что безопасность AI/ML получает выгоду от того, чего не было ни у одной другой быстрой технологической инновации, а именно от нормативных требований сразу же.
«Подумайте о любом другом технологическом переходе», — говорит Дехганпише. «Назовите хотя бы один случай, когда федеральный регулирующий орган или даже регулирующие органы штата сказали на столь раннем этапе: «Эй, эй, эй, вы должны рассказать мне все, что в нем есть». Вы должны расставить приоритеты в знании этой системы. Вы должны расставить приоритеты в спецификации материалов. Его нет.
Это означает, что многие руководители в области безопасности с большей вероятностью получат поддержку в создании возможностей безопасности ИИ гораздо раньше в жизненном цикле инноваций. Одним из наиболее очевидных признаков этой поддержки является быстрый переход к спонсированию новых должностей в организациях.
«Самое большое отличие, которое привнес нормативный менталитет, заключается в том, что в январе 2023 года концепция директора по безопасности ИИ была новой и не существовала. Но к июню вы начали видеть эти роли», — говорит Дехганпише. «Теперь они повсюду — и они финансируются».
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- :имеет
- :является
- :нет
- :куда
- ][п
- $UP
- 10
- 2022
- 2023
- 501
- 7
- a
- способность
- О нас
- академический
- доступ
- через
- действия
- активирующий
- Добавить
- добавить
- дополнение
- адрес
- принял
- Принятие
- достижения
- агентство
- впереди
- AI
- AI модели
- Системы искусственного интеллекта
- AI / ML
- Все
- Позволяющий
- вдоль
- уже
- причислены
- количество
- an
- и
- Другой
- любой
- Применение
- безопасность приложения
- Приложения
- произвольный
- спроектированный
- Архитекторы
- МЫ
- около
- прибывший
- искусственный
- искусственный интеллект
- Искусственный интеллект (AI)
- AS
- активы
- Активы
- связанный
- At
- атаковать
- Аутентификация
- разрешение
- автономный
- знать
- AWS
- назад
- фон
- основной
- Основы
- Боевой
- BE
- становиться
- было
- до
- за
- не являетесь
- считает,
- пользу
- смещение
- большой
- Крупнейшая
- Билл
- Кровотечение
- затянутый
- нарушения
- принес
- пряжка
- строить
- Строители
- Строительство
- построенный
- бизнес
- развитие бизнеса
- но
- by
- С-люкс
- под названием
- Объявления
- CAN
- возможности
- захваченный
- автомобиль
- пойманный
- Вызывать
- определенный
- цепь
- вызов
- менялась
- Очистить
- явно
- облако
- облачная инфраструктура
- Соучредитель
- соучредители
- код
- комбинации
- как
- приход
- коммерческая
- сообщество
- комплекс
- Соответствие закону
- компоненты
- сама концепция
- понятия
- Обеспокоенность
- Конгресс
- считается
- постоянная
- постоянно
- содержать
- содержание
- контекст
- может
- соединенный
- Грохот
- Создайте
- Создающий
- Клиенты
- Информационная безопасность
- цикл
- ежедневно
- данным
- день
- Дней
- решения
- считается
- определять
- Зависимости
- Проект
- определения
- Развитие
- А не было
- разница
- различный
- по-разному
- трудный
- директор
- исчезать
- открытый
- распределенный
- do
- документации
- приносит
- Безразлично
- Дон
- вниз
- вождение
- в течение
- Ранее
- Рано
- экосистема
- Edge
- эффект
- элементы
- еще
- встроенный
- Бесконечный
- принуждение
- Инженеры
- достаточно
- Предприятие
- лиц
- Окружающая среда
- Эпоха
- по существу
- Даже
- Каждая
- все члены
- многое
- везде
- пример
- выполнять
- исполнительный
- существовать
- существующий
- расширенный
- эксперты
- объясняя
- Объясняет
- взрыв
- экспоненциально
- широко
- Face
- Фэшн
- БЫСТРО
- Федеральный
- Файл
- Фирма
- Компаний
- Во-первых,
- из первых рук
- фиксированный
- Помеченные
- недостатки
- недостатки
- после
- Что касается
- форма
- найденный
- Год основания
- Учредителями
- каркасы
- от
- подпитывается
- Функции
- фундированный
- будущее
- получение
- ворота
- генеративный
- Генеративный ИИ
- получить
- получающий
- GitHub
- Дайте
- проблеск
- Глобальный
- будет
- хорошо
- есть
- регламентировать
- управление
- предоставлять
- значительно
- Рост
- было
- Половина
- Сильнее
- вред
- Есть
- he
- помощь
- Скрытый
- наивысший
- очень
- его
- его
- история
- Как
- How To
- Однако
- HTTPS
- огромный
- i
- определения
- if
- Влияние
- последствия
- in
- инцидент
- реакция на инцидент
- включает в себя
- В том числе
- Увеличивает
- невероятный
- невероятно
- приток
- Инфраструктура
- свойственный
- инновации
- Инновации
- небезопасный
- целостность
- Интеллекта
- в
- участие
- мобильной
- вопрос
- вопросы
- IT
- ЕГО
- саму трезвость
- январь
- работа
- JPG
- июнь
- всего
- Сохранить
- хранение
- держит
- Вид
- Знать
- знания
- Отсутствие
- лестница
- новее
- запуск
- лидер
- Лидеры
- изучение
- наименее
- оставил
- уровень
- ЖИЗНЬЮ
- такое как
- Вероятно
- происхождение
- загрузка
- Длинное
- искать
- надвигающийся
- серия
- машина
- обучение с помощью машины
- сделанный
- основной
- Большинство
- сделать
- ДЕЛАЕТ
- управлять
- управление
- мандаты
- многих
- материалы
- Вопрос
- me
- означает
- Метаданные
- умов
- Мышление
- пропущенный
- отсутствующий
- смешивать
- ML
- модель
- Модели
- Модерн
- Импульс
- месяцев
- БОЛЕЕ
- самых
- двигаться
- движение
- много
- имя
- а именно
- Откройте
- Необходимость
- сеть
- никогда
- Новые
- новые фирмы
- Новости
- нет
- роман
- Ноябрь
- сейчас
- номер
- наблюдение
- Очевидный
- of
- .
- on
- консолидировать
- ONE
- те,
- онлайн
- только
- открытый
- с открытым исходным кодом
- открыто
- оперативный
- or
- организации
- происхождения
- Другое
- внешний
- выходной
- внешнюю
- за
- надзирать
- Темп
- паттеранами
- разрешение
- Разрешения
- физический
- взял
- кусок
- штук
- Часть
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- сборах
- Популярное
- Predictions
- предварительно
- Расставляйте приоритеты
- Проблема
- проблемам
- Процедуры
- Процессы
- профессионалы
- ( изучите наши патенты),
- PROS
- для защиты
- обеспечивать
- Push
- положил
- быстро
- ассортимент
- быстро
- RE
- Читать
- реальный мир
- реализовать
- реализованный
- на самом деле
- признавать
- регулятор
- Регулирующие органы
- регуляторы
- полагаться
- хранилище
- исследованиям
- ответ
- ответственность
- ОТДЫХ
- ограничивать
- результат
- правую
- Снижение
- модели риска
- роли
- s
- Сохранность
- Сказал
- то же
- видел
- сообщили
- говорит
- сканирование
- сканирование
- сканирует
- Ученые
- сфера
- Во-вторых
- безопасность
- посмотреть
- видя
- кажется
- серьезно
- набор
- Shadow
- общие
- сдвиг
- должен
- Признаки
- аналогичный
- ситуация
- So
- Software
- программные компоненты
- разработка программного обеспечения
- цепочка поставок программного обеспечения
- твердый
- Решение
- Решения
- некоторые
- Кто-то
- удалось
- звуки
- Источник
- потраченный
- спонсор
- Спонсоров
- заинтересованных сторон
- стоит
- Начало
- и политические лидеры
- Область
- Шаги
- Stop
- сильный
- структурированный
- Борющийся
- поставка
- цепочками поставок
- поддержка
- Поверхность
- с подозрением
- система
- системы
- ТАБЛИЦЫ
- Tackling
- взять
- Технологии
- Технологические инновации
- сказать
- чем
- который
- Ассоциация
- Основы
- Будущее
- их
- Их
- тогда
- Там.
- Эти
- они
- задача
- вещи
- think
- В третьих
- этой
- те
- мысль
- тысячи
- три
- Через
- время
- в
- сегодня
- вместе
- заявил
- слишком
- инструменты
- трек
- традиционный
- Train
- специалистов
- Обучение
- переход
- вызвать
- Правда
- пытается
- два
- В конечном счете
- понимать
- понимание
- созданного
- us
- использование
- используемый
- полезный
- пользователей
- через
- переменная
- разнообразие
- Ve
- очень
- вирус
- видимость
- Уязвимости
- Уязвимый
- хотеть
- законопроект
- Путь..
- we
- ЧТО Ж
- пошел
- были
- разве
- Что
- когда
- будь то
- , которые
- в то время как
- КТО
- чья
- широко
- будете
- Работа
- работавший
- Мир
- хуже
- бы
- записывать
- лет
- Ты
- ВАШЕ
- зефирнет