Адаптация безопасности для защиты систем искусственного интеллекта и машинного обучения

Адаптация безопасности для защиты систем искусственного интеллекта и машинного обучения

Отметка времени: 10 января 2024 г., 1:00
Адаптация безопасности для защиты систем искусственного интеллекта и машинного обучения PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Искусственный интеллект (ИИ) — это не просто последнее модное словечко в бизнесе; это быстро меняет отрасли и переопределяет бизнес-процессы. Тем не менее, поскольку компании стремятся интегрировать искусственный интеллект и машинное обучение (МО) во все аспекты своей деятельности, они также внедряют новые проблемы безопасности и рисков. При акценте на гибких методах разработки для достижения конкурентного преимущества безопасность отходит на второй план. Так было в первые дни существования Всемирной паутины и мобильных приложений, и мы снова наблюдаем это в стремлении к искусственному интеллекту.

Способы создания, обучения и эксплуатации систем искусственного интеллекта и машинного обучения существенно отличаются от процесса разработки традиционных ИТ-систем, веб-сайтов или приложений. Хотя некоторые из тех же рисков, которые применяются в традиционной ИТ-безопасности, по-прежнему актуальны и для AI/ML, существуют несколько существенных и сложных различий. В отличие от веб-приложений, использующих базу данных, приложения ИИ основаны на моделях машинного обучения. Процесс построения модели включает сбор, обработку и уточнение данных; обучение моделей ML на данных; затем запускаем эти модели в масштабе, чтобы делать выводы и повторять их на основе того, что они изучают.

Существует четыре основные области, в которых разработка традиционного программного обеспечения и ИИ/МО расходятся. Это, соответственно, измененные состояния по сравнению с динамическими состояниями, правила и термины по сравнению с использованием и вводом, прокси-среды по сравнению с действующими системами, а также контроль версий по сравнению с изменениями происхождения.

Инструменты AI/ML с открытым исходным кодом, такие как Млфлоу и луч, предоставляют удобные рамки для построения моделей. Но многие из этих инструментов и инфраструктур программного обеспечения с открытым исходным кодом (OSS) страдают от нестандартных уязвимостей, которые могут привести к серьезной эксплуатации и нанесению вреда. По отдельности библиотеки AI/ML сами по себе создают гораздо большую поверхность для атак, поскольку они содержат огромные объемы данных и моделей, которые так же безопасны, как и инструмент AI/ML, в котором они сохранены. Если эти инструменты скомпрометированы, злоумышленники могут получить доступ к нескольким хранящую конфиденциальную информацию в базах данных, модифицируя модели и внедряя вредоносное ПО.

Задуманная безопасность для искусственного интеллекта и машинного обучения

Традиционной ИТ-безопасности не хватает нескольких ключевых возможностей для защиты систем искусственного интеллекта и машинного обучения. Во-первых, это возможность сканировать инструменты, используемые учеными, работающими с данными, для разработки строительных блоков систем искусственного интеллекта и машинного обучения, таких как Ноутбуки Jupyter и другие инструменты в цепочке поставок AI/ML на предмет уязвимостей безопасности.

Хотя защита данных является центральным компонентом ИТ-безопасности, в AI/ML она приобретает дополнительную важность, поскольку для обучения модели постоянно используются живые данные. Это оставляет злоумышленнику возможность манипулировать данными AI/ML и может привести к повреждению моделей и невыполнению намеченных функций.

В средах AI/ML защита данных требует создания неизменяемой записи, которая связывает данные с моделью. Следовательно, если данные каким-либо образом модифицируются или изменяются, пользователь, желающий переобучить модель, увидит, что значения хеширования (которые используются для обеспечения целостности данных во время передачи) не совпадают. Этот контрольный журнал создает запись, позволяющую отслеживать, когда файл данных был отредактирован и где эти данные хранятся, чтобы определить, имело ли место нарушение.

Кроме того, сканирование моделей AI/ML необходимо для обнаружения угроз безопасности, таких как внедрение команд. Это связано с тем, что модель — это актив, который живет в памяти, но при сохранении на диск (для распространения среди коллег) в формат может быть внедрен код. Таким образом, хотя модель продолжит работать так же, как и раньше, она будет выполнять произвольный код.

Учитывая эти уникальные проблемы, вот несколько полезных рекомендаций, которые следует учитывать:

  • Найдите зависимости для уязвимостей: Контекстуальная видимость и надежные инструменты запросов могут создать широкое представление обо всех системах ML в режиме реального времени. Он должен охватывать всех поставщиков, поставщиков облачных услуг и ресурсы цепочки поставок, участвующих в разработке AI/ML, чтобы обеспечить представление обо всех зависимостях и угрозах. Динамическая спецификация материалов ML (ML BOM) может содержать список всех компонентов и зависимостей, предоставляя организации полную информацию о происхождении всех систем AI/ML в сети.

  • Безопасные разрешения в облаке: Утечка данных из облачных контейнеров может стать фатальным недостатком в безопасности ИИ, учитывая, что модель использует эти данные для обучения. Разрешения на сканирование в облаке являются приоритетом для предотвращения потери данных.

  • Приоритизация безопасности хранения данных: Внедряйте интегрированные проверки безопасности, политики и шлюзы, чтобы автоматически сообщать и предупреждать о нарушениях политик, чтобы обеспечить безопасность модели.

  • Инструменты разработки сканирования: Точно так же, как операции разработки превратились в операции по обеспечению безопасности, разработка AI/ML должна включать безопасность в процесс разработки, сканируя среды разработки и инструменты, такие как ML Flow, и их зависимости на наличие любых уязвимостей, а также все модели AI/ML и вводимые данные.

  • Регулярно проверяйте: Автоматизированные инструменты могут предоставить необходимые неизменяемые реестры, которые служат версиями среды AI/ML с отметками времени. Это поможет провести судебно-медицинский анализ в случае нарушения, показав, кто, где и когда мог нарушать политику. Кроме того, аудит может помочь обновить средства защиты для борьбы с угрозами.

Чтобы использовать потенциал ИИ и одновременно устранить присущие ему риски безопасности, организациям следует рассмотреть возможность внедрения лучших практик, перечисленных выше, и начать внедрять их. МЛСекОпс.

Отметка времени:

Больше от Темное чтение