Более 100 моделей выполнения вредоносного кода на обнимающемся лице

Исследователи обнаружили более 100 вредоносных моделей машинного обучения (ML) на платформе Hugging Face AI, которые могут позволить злоумышленникам внедрять вредоносный код на компьютеры пользователей.

Хотя Hugging Face принимает меры безопасности, полученные результаты подчеркивают растущий риск «использования в качестве оружия» общедоступных моделей, поскольку они могут создать бэкдор для злоумышленников.

Результаты исследования JFrog Security Research являются частью продолжающегося исследования, целью которого является анализ того, как хакеры могут использовать ML для атак на пользователей.

Вредный контент

Согласно статье Вычисление Исследователи разработали усовершенствованную систему сканирования для тщательного изучения моделей, размещенных на платформе Hugging Face AI, таких как PyTorch и Tensorflow Keras.

Hugging Face — это платформа, разработанная для обмена моделями, наборами данных и приложениями искусственного интеллекта. Проанализировав модели, исследователи обнаружили вредоносную полезную нагрузку «внутри, казалось бы, безобидных моделей».

И это несмотря на то, что Hugging Face принимает меры безопасности, такие как сканирование на наличие вредоносных программ и рассолов. Однако платформа не ограничивает загрузку моделей, которые могут быть потенциально опасными, а также позволяет сделать общедоступными AI модели подвергаться злоупотреблениям и использованию в качестве оружия со стороны пользователей.

По их словам, при изучении платформы и существующих моделей исследователи безопасности JFrog обнаружили около 100 моделей ИИ со вредоносными функциями. отчету.

Некоторые из этих моделей, как указывается в отчете, способны выполнять код на компьютерах пользователей, «тем самым создавая постоянный бэкдор для злоумышленников».

Исследователи также указали, что такие результаты исключают ложноположительные результаты. По их словам, это точное представление о распространенности вредоносных моделей на платформе.

Читайте также: Apple перенаправляет автомобильную команду на искусственный интеллект после спада на рынке электромобилей

Примеры

Согласно отчету JFrog, один из «тревожных» случаев связан с PyTorch модель. Сообщается, что модель была загружена пользователем под ником «baller423», который впоследствии был удален с платформы Hugging Face.

При дальнейшем изучении модели исследователи заметили, что она содержит вредоносную полезную нагрузку, позволяющую установить обратную оболочку на указанном хосте (210.117.212.93).

Старший исследователь безопасности JFrog Дэвид Коэн сказал: «(Это) заметно более навязчиво и потенциально вредоносный, поскольку он устанавливает прямое соединение с внешним сервером, что указывает на потенциальную угрозу безопасности, а не просто на демонстрацию уязвимости», — написал он.

При этом используется «метод '_reduce_' модуля Pickle Python для выполнения произвольного кода при загрузке файла модели, эффективно обходя традиционные методы обнаружения».

Исследователи также признали, что одна и та же полезная нагрузка создавала соединения с разными IP-адресами, «предполагая, что операторы могут быть исследователями, а не злонамеренными хакерами».

Звонок для пробуждения

Команда JFrog отметила, что полученные результаты являются тревожным сигналом для Hugging Face, показывая, что их платформа склонна к манипуляциям и потенциальным угрозам.

«Эти инциденты служат острым напоминанием о продолжающихся угрозах, с которыми сталкиваются репозитории Hugging Face и другие популярные репозитории, такие как Kaggle, которые потенциально могут поставить под угрозу конфиденциальность и безопасность организаций, использующих эти ресурсы, а также создать проблемы для инженеров AI/ML», — заявили в компании. исследователи.

Это приходит как кибербезопасность угрожает во всем мире растет, чему способствует распространение инструментов искусственного интеллекта, а злоумышленники злоупотребляют ими в злонамеренных целях. Хакеры также используют ИИ для проведения фишинговых атак и обмана людей.

Однако команда JFrog сделала и другие открытия.

Игровая площадка для исследователей

Исследователи также отметили, что Обнимая лицо превратился в игровую площадку для исследователей, «которые хотят бороться с возникающими угрозами, о чем свидетельствует разнообразный набор тактик обхода мер безопасности».

Например, полезная нагрузка, загруженная «baller423», инициировала обратное соединение оболочки с диапазоном IP-адресов, принадлежащим Kreonet (Открытая сеть исследовательской среды Кореи).

По Темное Чтение, Kreonet — это высокоскоростная сеть в Южной Корее, поддерживающая передовые исследования и образовательную деятельность; «Поэтому вполне возможно, что за этой моделью стояли исследователи или практики ИИ».

«Мы видим, что большинство «вредоносных» полезных данных на самом деле являются попытками исследователей и/или вознаграждением за обнаружение ошибок добиться выполнения кода для, казалось бы, законных целей», — сказал Коэн.

Однако, несмотря на законные цели, команда JFrog предупредила, что стратегии, используемые исследователями, ясно демонстрируют, что такие платформы, как Hugging Face, открыты для атак в цепочке поставок. По мнению команды, их можно настроить, чтобы сосредоточиться на конкретной демографической группе, например, на инженерах искусственного интеллекта или машинного обучения.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://metanews.com/over-100-malicious-code-execution-models-on-hugging-face-backdoors-users-devices/