Две критические уязвимости безопасности в платформе Hugging Face AI открыли двери для злоумышленников, стремящихся получить доступ к данным и моделям клиентов и изменить их.
Одна из уязвимостей безопасности дала злоумышленникам доступ к моделям машинного обучения (ML), принадлежащим другим клиентам на платформе Hugging Face, а вторая позволила им перезаписать все изображения в общем реестре контейнеров. Оба недостатка, обнаруженные исследователями из Wiz, были связаны с возможностью злоумышленников захватить часть инфраструктуры вывода Hugging Face.
Исследователи Wiz обнаружили слабые места в трех конкретных компонентах: API-интерфейс Hugging Face Inference, который позволяет пользователям просматривать и взаимодействовать с доступными моделями на платформе; Hugging Face Inference Endpoints — или выделенная инфраструктура для развертывания моделей искусственного интеллекта в производстве; и Hugging Face Spaces, хостинг-сервис для демонстрации приложений AI/ML или для совместной работы над разработкой моделей.
Проблема с рассолом
Изучая инфраструктуру Hugging Face и способы использования обнаруженных ими ошибок в качестве оружия, исследователи Wiz обнаружили, что любой может легко загрузить на платформу модели AI/ML, в том числе модели, основанные на формате Pickle. Соленый огурец — широко используемый модуль для хранения объектов Python в файле. Хотя даже сам фонд программного обеспечения Python считает Pickle небезопасным, он остается популярным из-за простоты использования и знакомства с ним людей.
«Относительно просто создать модель PyTorch (Pickle), которая будет выполнять произвольный код при загрузке», — говорит Wiz.
Исследователи Wiz воспользовались возможностью загрузить в Hugging Face частную модель на основе Pickle, которая при загрузке запускала обратную оболочку. Затем они взаимодействовали с ним с помощью API-интерфейса Inference для достижения функциональности, подобной оболочке, которую исследователи использовали для изучения своей среды в инфраструктуре Hugging Face.
Это упражнение быстро показало исследователям, что их модель работает в модуле в кластере Amazon Elastic Kubernetes Service (EKS). После этого исследователи смогли использовать распространенные неправильные настройки для извлечения информации, которая позволила им получить привилегии, необходимые для просмотра секретов, которые могли бы позволить им получить доступ к другим арендаторам в общей инфраструктуре.
С помощью Hugging Face Spaces компания Wiz обнаружила, что злоумышленник может выполнить произвольный код во время сборки приложения, который позволит ему проверять сетевые подключения со своего компьютера. Их проверка показала одно подключение к общему реестру контейнеров, содержащему изображения, принадлежащие другим клиентам, которые они могли подделать.
«В чужих руках возможность записи во внутренний реестр контейнеров может иметь серьезные последствия для целостности платформы и привести к атакам в цепочке поставок на пространства клиентов», — сказал Виз.
Обнимающее Лицо сказало это полностью смягчило риски, обнаруженные Wiz. Тем временем компания определила, что проблемы, по крайней мере частично, связаны с ее решением продолжить использование файлов Pickle на платформе Hugging Face, несмотря на вышеупомянутые хорошо задокументированные риски безопасности, связанные с такими файлами.
«Файлы Pickle легли в основу большинства исследований Wiz и других недавних публикаций исследователей безопасности об Hugging Face», — отметили в компании. Разрешение использования Pickle на Hugging Face — это «бремя для наших инженеров и специалистов по безопасности, и мы приложили значительные усилия для снижения рисков, одновременно позволяя сообществу ИИ использовать инструменты по своему выбору».
Возникающие риски при использовании ИИ как услуги
Wiz описал свое открытие как показатель рисков, о которых организациям необходимо знать при использовании общей инфраструктуры для размещения, запуска и разработки новых моделей и приложений ИИ, которая становится известной как «ИИ как услуга». Компания сравнила риски и связанные с ними меры по снижению рисков с теми, с которыми организации сталкиваются в средах общедоступных облаков, и рекомендовала им применять те же меры по снижению рисков и в средах искусственного интеллекта.
«Организации должны обеспечить прозрачность и управление всем используемым стеком искусственного интеллекта, а также тщательно анализировать все риски», — заявил Уиз в своем блоге на этой неделе. Это включает в себя анализ «использования вредоносные модели, раскрытие данных обучения, конфиденциальные данные в обучении, уязвимости в AI SDK, раскрытие услуг AI и другие токсичные комбинации рисков, которые могут быть использованы злоумышленниками», — заявил поставщик средств безопасности.
Эрик Швейк, директор по стратегии кибербезопасности Salt Security, говорит, что есть две основные проблемы, связанные с использованием ИИ как услуги, о которых организациям необходимо знать. «Во-первых, злоумышленники могут загружать вредоносные модели искусственного интеллекта или использовать уязвимости в стеке вывода для кражи данных или манипулирования результатами», — говорит он. «Во-вторых, злоумышленники могут попытаться скомпрометировать данные обучения, что приведет к предвзятым или неточным выводам ИИ, что широко известно как отравление данных».
По его словам, выявление этих проблем может оказаться сложной задачей, особенно с учетом того, насколько сложными становятся модели ИИ. Чтобы справиться с некоторыми из этих рисков, организациям важно понимать, как их приложения и модели искусственного интеллекта взаимодействуют с API, и найти способы защитить это. «Организации могут также захотеть изучить Объяснимый ИИ (XAI) чтобы помочь сделать модели ИИ более понятными, — говорит Швейк, — и это может помочь выявить и смягчить предвзятость или риск в моделях ИИ».
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://www.darkreading.com/cloud-security/critical-bugs-hugging-face-ai-platform-pickle
- :имеет
- :является
- 7
- a
- способность
- в состоянии
- О нас
- доступ
- По
- Достигать
- приобретать
- актеры
- плюс
- AI
- AI модели
- Платформа AI
- Услуги искусственного интеллекта
- AI / ML
- Все
- разрешено
- Позволяющий
- позволяет
- причислены
- изменять
- Amazon
- Амазон Эластик Кубернетес Сервис
- an
- анализировать
- анализ
- и
- кто угодно
- API
- Применение
- Приложения
- Применить
- Программы
- произвольный
- МЫ
- AS
- связанный
- At
- нападающий
- нападки
- доступен
- знать
- основанный
- BE
- , так как:
- становление
- было
- не являетесь
- принадлежащий
- смещение
- пристрастный
- Блог
- изоферменты печени
- ошибки
- строить
- бремя
- by
- CAN
- осторожно
- цепь
- сложные
- Выберите
- облако
- Кластер
- код
- комбинации
- Общий
- обычно
- сообщество
- Компания
- полностью
- комплекс
- компоненты
- скомпрометированы
- связи
- Коммутация
- Container
- продолжать
- Основные
- может
- выработать
- критической
- клиент
- данные клиентов
- Клиенты
- Информационная безопасность
- данным
- решение
- преданный
- считается
- развертывание
- описано
- Несмотря на
- развивать
- Развитие
- директор
- открытый
- do
- сделанный
- Двери
- в течение
- простота
- простота в использовании
- легко
- усилие
- появление
- столкновение
- Проект и
- обеспечивать
- Весь
- Окружающая среда
- средах
- особенно
- Даже
- исследовать
- Изучение
- выполнять
- Упражнение
- Эксплуатировать
- Эксплуатируемый
- Больше
- Экспозиция
- извлечение
- Face
- фамильярность
- Файл
- Файлы
- Найдите
- Во-первых,
- недостатки
- Что касается
- формат
- найденный
- Год основания
- от
- функциональность
- дал
- управление
- было
- Руки
- вредный
- Есть
- имеющий
- he
- помощь
- кашель
- хостинг
- Как
- HTML
- HTTPS
- идентифицированный
- определения
- изображений
- последствия
- важную
- in
- неточный
- включает в себя
- В том числе
- ориентировочный
- информация
- Инфраструктура
- небезопасный
- целостность
- взаимодействовать
- в нашей внутренней среде,
- в
- вопросы
- IT
- ЕГО
- саму трезвость
- JPG
- известный
- вести
- ведущий
- изучение
- наименее
- позволять
- Кредитное плечо
- погрузка
- искать
- машина
- обучение с помощью машины
- основной
- главные проблемы
- сделать
- злонамеренный
- управлять
- Май..
- Между тем
- может быть
- смягчать
- ML
- модель
- Модели
- Модули
- БОЛЕЕ
- самых
- Необходимость
- сеть
- Новые
- отметил,
- объекты
- of
- on
- ONE
- открытый
- or
- организации
- Другое
- наши
- выходы
- за
- части
- Люди
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- отравление
- Популярное
- частная
- привилегии
- Проблема
- Производство
- что такое варган?
- Открытое облако
- публикациям
- положил
- Питон
- pytorch
- быстро
- последний
- Управление по борьбе с наркотиками (DEA)
- реестра
- Связанный
- относительно
- остатки
- обязательный
- исследованиям
- исследователи
- Итоги
- обратный
- обзоре
- Снижение
- рисках,
- Run
- Бег
- s
- Сказал
- соль
- то же
- говорит
- SDKS
- Во-вторых
- секреты
- безопасный
- безопасность
- риски безопасности
- Шесть
- чувствительный
- обслуживание
- Услуги
- общие
- Оболочка
- должен
- Showcasing
- показал
- значительный
- Software
- некоторые
- пространства
- конкретный
- стек
- воровать
- хранение
- простой
- Стратегия
- такие
- поставка
- цепочками поставок
- взять
- команды
- который
- Ассоциация
- их
- Их
- тогда
- Там.
- Эти
- они
- этой
- На этой неделе
- те
- хоть?
- угроза
- актеры угрозы
- три
- время
- в
- приняли
- инструменты
- Обучение
- стараться
- два
- понимать
- на
- Применение
- использование
- используемый
- пользователей
- через
- продавец
- Вид
- видимость
- Уязвимости
- хотеть
- законопроект
- Путь..
- способы
- we
- слабые
- неделя
- ЧТО Ж
- были
- когда
- который
- в то время как
- широко
- будете
- в
- работает
- бы
- записывать
- Неправильно
- плохие руки
- зефирнет