Исследователи обнаружили около 100 моделей машинного обучения (ML), которые были загружены на платформу искусственного интеллекта (ИИ) Hugging Face и потенциально позволяют злоумышленникам внедрять вредоносный код на компьютеры пользователей. Результаты еще раз подчеркивают растущую угрозу, которая таится, когда злоумышленники отравлять общедоступные модели ИИ за нечестную деятельность.
По данным JFrog Security Research, обнаружение вредоносных моделей является частью продолжающегося исследования компании о том, как злоумышленники могут использовать модели машинного обучения для компрометации пользовательских сред. блог опубликованной на этой неделе.
В частности, JFrog разработала среду сканирования для тщательного изучения файлов моделей, загруженных в Hugging Face — широко используемый общедоступный репозиторий моделей искусственного интеллекта — с целью обнаружения и нейтрализации возникающих угроз, особенно от выполнения кода.
Запустив этот инструмент, исследователи обнаружили, что модели, загруженные в репозиторий, содержат вредоносную полезную нагрузку. В одном примере сканер отметил модель PyTorch, загруженную в репозиторий пользователем baller423 (учетная запись, которая впоследствии была удалена), которая позволяет злоумышленникам вставлять произвольный код Python в ключевой процесс. Это потенциально может привести к вредоносному поведению при загрузке модели на компьютер пользователя.
Анализ полезной нагрузки обнимающего лица
Хотя обычно полезные нагрузки, встроенные в модели ИИ, загружаемые исследователями, направлены на демонстрацию уязвимостей или доказательств концепции, не причиняя вреда, полезная нагрузка, загруженная baller423, существенно отличается, пишет в своем посте старший исследователь безопасности JFrog Дэвид Коэн.
Он инициировал обратное соединение с реальным IP-адресом 210.117.212.93. поведение, которое «является заметно более навязчивым и потенциально вредоносный, поскольку он устанавливает прямое соединение с внешним сервером, что указывает на потенциальную угрозу безопасности, а не просто на демонстрацию уязвимости», — написал он.
JFrog обнаружил, что диапазон IP-адресов принадлежит Kreonet, что означает «Открытая сеть исследовательской среды Кореи». Kreonet служит высокоскоростной сетью в Южной Корее для поддержки передовых исследований и образовательных проектов; поэтому вполне возможно, что за этой моделью стояли исследователи или практики ИИ.
«Однако фундаментальным принципом исследований безопасности является воздержание от публикации реальных работающих эксплойтов или вредоносного кода», — отметил Коэн, и этот принцип был нарушен, когда вредоносный код попытался подключиться обратно к реальному IP-адресу.
Более того, вскоре после удаления модели исследователи столкнулись с новыми экземплярами той же полезной нагрузки с разными IP-адресами, один из которых остается активным.
Дальнейшее расследование Hugging Face выявило около 100 потенциально вредоносных моделей, что подчеркивает более широкое влияние общая угроза безопасности со стороны вредоносных моделей ИИ, что требует постоянной бдительности и более активной безопасности, написал Коэн.
Как работают вредоносные модели ИИ
Чтобы понять, как злоумышленники могут использовать модели Hugging Face ML в качестве оружия, необходимо понять, как вредоносная модель PyTorch, подобная той, что загружена baller423, работает в контексте Разработка Python и искусственного интеллекта.
Выполнение кода может произойти при загрузке определенных типов моделей ML — например, модели, которая использует так называемый формат «pickle», общий формат для сериализации объектов Python. Это связано с тем, что файлы Pickle также могут содержать произвольный код, который выполняется при загрузке файла, согласно JFrog.
Загрузка моделей PyTorch с помощью преобразователей (распространенный подход разработчиков) предполагает использование функции torch.load(), которая десериализует модель из файла. По словам JFrog, особенно при работе с моделями PyTorch, обученными с помощью библиотеки Transformers Hugging Face, разработчики часто используют этот метод для загрузки модели вместе с ее архитектурой, весом и любыми связанными конфигурациями.
Таким образом, трансформеры обеспечивают комплексную основу для задач обработки естественного языка, облегчая создание и внедрение сложных моделей, заметил Коэн.
«Похоже, что вредоносная полезная нагрузка была внедрена в файл модели PyTorch с помощью метода __reduce__ модуля Pickle», — написал он. «Этот метод позволяет злоумышленникам вставлять произвольный код Python в процесс десериализации, что потенциально может привести к вредоносному поведению при загрузке модели».
Хотя Hugging Face имеет ряд качественных встроенных средств защиты, включая сканирование на наличие вредоносных программ, сканирование Pickle и сканирование секретов, он не блокирует и не ограничивает загрузку моделей Pickle напрямую. Вместо этого он просто помечает их как «небезопасные», что означает, что кто-то все равно может загрузить и запустить потенциально опасные модели.
Более того, важно отметить, что не только модели на основе Pickle подвержены выполнению вредоносного кода. Например, вторым по распространенности типом модели Hugging Face является Tensorflow Keras, который также может выполнять произвольный код, хотя, по данным JFrog, злоумышленникам не так просто воспользоваться этим методом.
Снижение риска, связанного с отравленными моделями искусственного интеллекта
Это не первый случай, когда исследователи обнаруживают угрозу безопасности ИИ в Hugging Face, платформе, на которой сообщество ML совместно работает над моделями, наборами данных и приложениями. Исследователи из стартапа Lasso Security, занимающегося безопасностью искусственного интеллекта, ранее заявляли, что им удалось получить доступ к репозиториям Meta’s Bloom, Meta-Llama и Pythia big Language Model (LLM) с помощью незащищенные токены доступа к API, которые они обнаружили на GitHub и Hugging Face платформа для разработчиков LLM.
Доступ позволил бы противнику молча отравлять тренировочные данные в этих широко используемых программах LLM крадут модели и наборы данных и потенциально выполняют другие вредоносные действия.
Действительно, растущее существование общедоступных и, следовательно, потенциально вредоносные модели AI/ML По мнению JFrog, представляет серьезный риск для цепочки поставок, особенно в случае атак, нацеленных конкретно на демографические группы, такие как инженеры искусственного интеллекта/МО и конвейерные машины.
Чтобы снизить этот риск, разработчикам ИИ следует использовать новые доступные им инструменты, такие как Охотник, платформу для поиска ошибок, специально созданную для устранения уязвимостей ИИ, чтобы повысить уровень безопасности моделей и платформ ИИ, написал Коэн.
«Эти коллективные усилия необходимы для укрепления репозиториев Hugging Face и защиты конфиденциальности и целостности инженеров AI/ML и организаций, полагающихся на эти ресурсы», — написал он.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- :имеет
- :является
- :нет
- :куда
- 100
- 210
- 212
- 7
- a
- в состоянии
- О нас
- доступ
- По
- Учетная запись
- активный
- активно
- деятельность
- фактического соединения
- адрес
- адреса
- продвинутый
- После
- AI
- AI модели
- Платформа AI
- AI / ML
- цель
- разрешено
- вдоль
- причислены
- an
- анализ
- и
- любой
- API
- Доступ к API
- появляется
- Приложения
- подхода
- произвольный
- архитектура
- МЫ
- искусственный
- искусственный интеллект
- Искусственный интеллект (AI)
- AS
- связанный
- At
- нападки
- попытка
- доступен
- назад
- , так как:
- было
- поведение
- за
- не являетесь
- принадлежит
- Заблокировать
- Блог
- Цвести
- встроенный
- by
- под названием
- CAN
- Причинение
- определенный
- цепь
- код
- Cohen
- сотрудничает
- собирательный
- COM
- Общий
- сообщество
- комплексный
- скомпрометированы
- Свяжитесь
- связи
- постоянная
- содержать
- контекст
- может
- создание
- данным
- наборы данных
- Давид
- занимавшийся
- запросы
- Демографическая
- демонстрировать
- развертывание
- обнаруживать
- застройщиков
- направлять
- открытый
- открытие
- Безразлично
- скачать
- легко
- образовательных
- усилие
- встроенный
- появление
- включить
- позволяет
- усилия
- Инженеры
- повышать
- Окружающая среда
- средах
- налаживает
- Даже
- пример
- выполнять
- выполненный
- проведение
- выполнение
- существование
- Эксплуатировать
- использует
- и, что лучший способ
- Face
- облегчающий
- Файл
- Файлы
- результаты
- Фирма
- Во-первых,
- Впервые
- Помеченные
- Что касается
- формат
- найденный
- Рамки
- от
- функция
- фундаментальный
- далее
- GitHub
- Рост
- происходить
- вред
- вредный
- Есть
- he
- выделив
- Как
- Однако
- HTTPS
- Влияние
- императив
- важную
- in
- В том числе
- с указанием
- начатый
- вводить
- пример
- вместо
- целостность
- Интеллекта
- в
- навязчивый
- ходе расследования,
- включает в себя
- IP
- IP-адрес
- IP-адреса
- мобильной
- IT
- ЕГО
- JPG
- всего
- keras
- Основные
- Корея
- язык
- большой
- вести
- ведущий
- изучение
- Библиотека
- такое как
- LLM
- загрузка
- погрузка
- машина
- обучение с помощью машины
- Продукция
- основной
- злонамеренный
- вредоносных программ
- Май..
- означает
- меров
- Мета
- метод
- смягчать
- смягчающим
- ML
- модель
- Модели
- Модули
- БОЛЕЕ
- Названный
- натуральный
- Обработка естественного языка
- сеть
- Новые
- особенно
- в своих размышлениях
- отметил,
- номер
- объекты
- of
- .
- on
- ONE
- постоянный
- на
- открытый
- открытая сеть
- or
- организации
- Другое
- прямой
- часть
- особенно
- трубопровод
- Платформа
- Платформы
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- яд
- представляет
- возможное
- После
- потенциал
- потенциально
- превалирующий
- предварительно
- принцип
- политикой конфиденциальности.
- Проактивная
- процесс
- обработка
- обеспечивать
- что такое варган?
- публично
- опубликованный
- Издательство
- Питон
- pytorch
- ассортимент
- скорее
- реальные
- опираясь
- остатки
- удален
- хранилище
- требуется
- исследованиям
- исследователь
- исследователи
- Полезные ресурсы
- ограничивать
- обратный
- пронизана
- Снижение
- Бег
- s
- охрана
- Сказал
- то же
- сканирование
- секреты
- безопасность
- запуск безопасности
- старший
- сервер
- служит
- Наборы
- Оболочка
- вскоре
- должен
- демонстрации
- существенно
- с
- некоторые
- Кто-то
- сложный
- Южная
- Южная Корея
- конкретно
- Спонсоров
- стоит
- ввод в эксплуатацию
- По-прежнему
- такие
- поставка
- цепочками поставок
- поддержка
- восприимчивый
- с учетом
- цель
- задачи
- tensorflow
- чем
- который
- Ассоциация
- Их
- тогда
- следовательно
- Эти
- они
- этой
- На этой неделе
- хоть?
- угроза
- угрозы
- Таким образом
- время
- в
- Лексемы
- инструментом
- инструменты
- факел
- специалистов
- Обучение
- трансформеры
- напишите
- Типы
- типично
- непокрытый
- подчеркивать
- понимать
- понимание
- загружено
- использование
- используемый
- Информация о пользователе
- использования
- через
- Различная
- зоркость
- Уязвимости
- уязвимость
- законопроект
- неделя
- были
- Что
- когда
- , которые
- широко
- Шире
- в
- без
- Работа
- работает
- работает
- бы
- писал
- зефирнет