Неисправленные критические уязвимости открывают возможности для захвата моделей искусственного интеллекта

Неисправленные критические уязвимости открывают возможности для захвата моделей искусственного интеллекта

Отметка времени: 16 ноября 2023 г., 12:47
Неисправленные критические уязвимости открывают модели искусственного интеллекта для захвата аналитики данных PlatoBlockchain. Вертикальный поиск. Ай.

Исследователи выявили почти дюжину критических уязвимостей в инфраструктуре, используемой моделями ИИ (плюс три ошибки высокой и две ошибки средней серьезности), которые могут подвергнуть компании риску, когда они стремятся воспользоваться преимуществами ИИ. Некоторые из них остаются непропатченными.

Затронутые платформы используются для размещения, развертывания и совместного использования моделей большого языка (LLM), а также других платформ машинного обучения и искусственного интеллекта. К ним относятся Ray, используемый при распределенном обучении моделей машинного обучения; MLflow, платформа жизненного цикла машинного обучения; МодельБД, платформа управления машинным обучением; и H20 версия 3, платформа с открытым исходным кодом для машинного обучения на основе Java.

MКомпания Protect AI, занимающаяся безопасностью машинного обучения, обнародовала результаты 16 ноября в рамках своей программы поиска ошибок в области искусственного интеллекта Huntr. Это нетуведомил разработчиков программного обеспечения и поставщиков об уязвимостях, предоставив им 45 дней на исправление проблем.

Каждой из проблем был присвоен идентификатор CVE, и хотя многие проблемы были исправлены, другие остались не исправленными, и в этом случае Protect AI рекомендовал обходной путь в его консультативный.

Ошибки искусственного интеллекта представляют высокий риск для организаций

По данным Protect AI, уязвимости в системах ИИ могут предоставить злоумышленникам несанкционированный доступ к моделям ИИ, что позволит им использовать модели в своих целях.

Но они также могут предоставить им доступ к остальной части сети, говорит Шон Морган, главный архитектор Protect AI. Например, две возможности для первоначального доступа — это компрометация сервера и кража учетных данных из низкокодовых служб искусственного интеллекта.

«Серверы вывода могут иметь доступные конечные точки, позволяющие пользователям использовать модели машинного обучения [удаленно], но существует множество способов попасть в чью-то сеть», — говорит он. «Эти системы машинного обучения, на которые мы нацелены [с помощью программы bug bounty], часто имеют повышенные привилегии, поэтому очень важно, чтобы, если кто-то сможет проникнуть в вашу сеть, он не мог быстро перейти в очень чувствительную систему. ».

Например, критическая проблема с локальным включением файлов (теперь исправленная) в API платформы распределенного обучения Ray позволяет злоумышленнику прочитать любой файл в системе. Другая проблема в платформе H20 (также исправлена) позволяет выполнять код посредством импорта модели искусственного интеллекта.

Риск не является теоретическим: крупные компании уже начали агрессивные кампании по поиску полезных моделей ИИ и применению их на своих рынках и в своей деятельности. Например, банки уже используют машинное обучение и искусственный интеллект для обработки ипотечных кредитов и борьбы с отмыванием денег.

Находя уязвимости в этих системах искусственного интеллекта может привести к компрометации инфраструктуры, кража интеллектуальной собственности также является большой целью, говорит Дарьян Дехганпише, президент и соучредитель Protect AI.

«Промышленный шпионаж играет важную роль, а в борьбе за искусственный интеллект и машинное обучение модели являются очень ценным активом интеллектуальной собственности», — говорит он. «Подумайте, сколько денег тратится на обучение модели ежедневно, а когда вы говорите о миллиарде параметров и многом другом, то это большие инвестиции, просто чистый капитал, который легко скомпрометировать или украсть».

Борьба с новыми эксплойтами в инфраструктуре, лежащей в основе взаимодействия людей на естественном языке с системами искусственного интеллекта, такими как ChatGPT, будет еще более значимой, говорит Дейн Шерретс, старший архитектор решений в HackerOne. Это потому, что когда киберпреступники смогут запускать подобные уязвимости, эффективность систем искусственного интеллекта сделает воздействие намного более значительным.

Эти атаки «могут привести к тому, что система выдаст конфиденциальные данные или поможет злоумышленнику получить доступ к серверной части системы», — говорит он. «Уязвимости искусственного интеллекта, такие как отравление обучающих данных, также могут иметь значительный волновой эффект, приводя к широкому распространению ошибочных или вредоносных результатов».

Безопасность инфраструктуры искусственного интеллекта: часто упускают из виду

После появления ChatGPT год назад технологии и услуги на основе искусственного интеллекта, особенно генеративного искусственного интеллекта (GenAI), получили широкое распространение. Вслед за этим разнообразие враждебных атак были разработаны, которые могут быть нацелены на системы искусственного интеллекта и машинного обучения и их работу. Например, 15 ноября компания Adversa AI, занимающаяся безопасностью искусственного интеллекта,
раскрыл ряд атак на системы на базе GPT включая утечку информации и перечисление API, к которым система имеет доступ.

Тем не менее, обнаруженные ProtectAI ошибки подчеркивают тот факт, что инструменты и инфраструктура, поддерживающие процессы машинного обучения и операции ИИ, также могут стать объектами атак. И часто предприятия внедряют инструменты и рабочие процессы на основе искусственного интеллекта. без частой консультации с группами информационной безопасности.

«Как и в любом цикле хай-тек-хайпа, люди развертывают системы, выпускают приложения и создают новый опыт для удовлетворения потребностей бизнеса и рынка, и часто либо пренебрегают безопасностью, либо создают эти своего рода «теневые стеки», или они будут полагать, что существующие возможности безопасности, которые у них есть, могут обеспечить их безопасность», — говорит Дехганпишех. «Но то, что мы [специалисты по кибербезопасности] делаем для традиционных центров обработки данных, не обязательно обеспечивает вашу безопасность в облаке, и наоборот».

Protect AI использовал свою платформу по поиску ошибок, получившую название Huntr, для сбора заявок на уязвимости от тысяч исследователей для различных платформ машинного обучения, но поиск ошибок в этом секторе пока находится в зачаточном состоянии. Однако ситуация может измениться.

Например, в рамках инициативы Trend Micro «Zero Day Initiative» пока не наблюдается значительного спроса на поиск ошибок в инструментах искусственного интеллекта и машинного обучения, но группа наблюдает регулярные изменения в том, какие типы уязвимостей индустрия хочет, чтобы исследователи находили, и, вероятно, будет уделяться внимание искусственному интеллекту. «скоро», — говорит Дастин Чайлдс, руководитель отдела осведомленности об угрозах компании Trend Micro Zero Day Initiative.

«Мы видим в ИИ то же самое, что и в других отраслях по мере их развития», — говорит он. «Сначала безопасность была смещена с приоритета в пользу добавления функциональности. Теперь, когда это достигло определенного уровня признания, люди начинают задаваться вопросом о последствиях для безопасности».

Отметка времени:

Больше от Темное чтение