Los investigadores han descubierto alrededor de 100 modelos de aprendizaje automático (ML) que se han subido a la plataforma de inteligencia artificial (IA) de Hugging Face y que potencialmente permiten a los atacantes inyectar código malicioso en las máquinas de los usuarios. Los hallazgos subrayan aún más la creciente amenaza que acecha cuando los atacantes envenenar modelos de IA disponibles públicamente por actividad nefasta.
El descubrimiento de los modelos maliciosos por parte de JFrog Security Research es parte de una investigación en curso de la empresa sobre cómo los atacantes pueden usar modelos ML para comprometer los entornos de los usuarios, según una entrada de blog publicado esta semana.
En concreto, JFrog desarrolló un entorno de escaneo para examinar los archivos de modelos cargados en Hugging Face, un repositorio público de modelos de IA ampliamente utilizado, para detectar y neutralizar amenazas emergentes. particularmente de la ejecución de código.
Al ejecutar esta herramienta, los investigadores descubrieron que los modelos cargados en el repositorio albergaban cargas útiles maliciosas. En un ejemplo, el escáner marcó un modelo de PyTorch cargado en un repositorio por un usuario llamado baller423 (una cuenta que desde entonces ha sido eliminada) que permite a los atacantes insertar código Python arbitrario en un proceso clave. Potencialmente, esto podría provocar un comportamiento malicioso cuando el modelo se carga en la máquina de un usuario.
Análisis de carga útil de la cara abrazada
Si bien normalmente las cargas útiles integradas en los modelos de IA cargados por los investigadores tienen como objetivo demostrar vulnerabilidades o mostrar pruebas de concepto sin causar daño, la carga útil cargada por baller423 difería significativamente, escribió en la publicación el investigador senior de seguridad de JFrog, David Cohen.
Inició una conexión de shell inversa a una dirección IP real, 210.117.212.93, comportamiento que “es notablemente más intrusivo y potencialmente malicioso, ya que establece una conexión directa a un servidor externo, lo que indica una posible amenaza a la seguridad en lugar de una mera demostración de vulnerabilidad”, escribió.
JFrog descubrió que el rango de direcciones IP pertenece a Kreonet, que significa "Red abierta del entorno de investigación de Corea". Kreonet sirve como una red de alta velocidad en Corea del Sur para respaldar iniciativas educativas y de investigación avanzada; por lo tanto, es posible que investigadores o profesionales de la IA hayan estado detrás del modelo.
"Sin embargo, un principio fundamental en la investigación de seguridad es abstenerse de publicar exploits o códigos maliciosos que funcionen realmente", un principio que se violó cuando el código malicioso intentó conectarse nuevamente a una dirección IP real, señaló Cohen.
Además, poco después de que se eliminó el modelo, los investigadores encontraron más instancias de la misma carga útil con diferentes direcciones IP, una de las cuales permanece activa.
Una investigación más exhaustiva sobre Hugging Face descubrió unos 100 modelos potencialmente maliciosos, lo que pone de relieve el impacto más amplio del amenaza de seguridad general proveniente de modelos de IA maliciosos, lo que exige una vigilancia constante y una seguridad más proactiva, escribió Cohen.
Cómo funcionan los modelos maliciosos de IA
Para comprender cómo los atacantes pueden convertir en armas los modelos Hugging Face ML es necesario comprender cómo funciona un modelo PyTorch malicioso como el subido por baller423 en el contexto de Desarrollo de Python y IA.
La ejecución de código puede ocurrir al cargar ciertos tipos de modelos de ML, por ejemplo, un modelo que usa lo que se llama formato "pickle", un formato común para serializar objetos de Python. Esto se debe a que los archivos pickle también pueden contener código arbitrario que se ejecuta cuando se carga el archivo, según JFrog.
Cargar modelos PyTorch con transformadores, un enfoque común por parte de los desarrolladores, implica el uso de la función torch.load(), que deserializa el modelo desde un archivo. Particularmente cuando se trata de modelos PyTorch entrenados con la biblioteca Transformers de Hugging Face, los desarrolladores suelen emplear este método para cargar el modelo junto con su arquitectura, pesos y cualquier configuración asociada, según JFrog.
Los transformadores, entonces, proporcionan un marco integral para las tareas de procesamiento del lenguaje natural, facilitando la creación y el despliegue de modelos sofisticados, observó Cohen.
"Parece que la carga útil maliciosa se inyectó en el archivo del modelo PyTorch utilizando el método __reduce__ del módulo pickle", escribió. "Este método permite a los atacantes insertar código Python arbitrario en el proceso de deserialización, lo que podría generar un comportamiento malicioso cuando se carga el modelo".
Si bien Hugging Face tiene una serie de protecciones de seguridad integradas de calidad, incluido el escaneo de malware, el escaneo de pickle y el escaneo de secretos, no bloquea ni restringe directamente la descarga de modelos de pickle. En cambio, simplemente los marca como “inseguros”, lo que significa que alguien aún puede descargar y ejecutar modelos potencialmente dañinos.
Además, es importante tener en cuenta que no sólo los modelos basados en pickle son susceptibles de ejecutar código malicioso. Por ejemplo, el segundo tipo de modelo más frecuente en Hugging Face es Tensorflow Keras, que también puede ejecutar código arbitrario, aunque no es tan fácil para los atacantes explotar este método, según JFrog.
Mitigar el riesgo de modelos de IA envenenados
Esta no es la primera vez que los investigadores encuentran un riesgo de seguridad de IA en Hugging Face, una plataforma donde la comunidad de ML colabora en modelos, conjuntos de datos y aplicaciones. Los investigadores de la startup de seguridad de IA Lasso Security dijeron anteriormente que pudieron acceder a los repositorios de modelos de lenguaje grande (LLM) de Meta's Bloom, Meta-Llama y Pythia utilizando tokens de acceso API no seguros que descubrieron en GitHub y Hugging Face plataforma para desarrolladores de LLM.
El acceso habría permitido a un adversario datos de entrenamiento envenenados silenciosamente en estos LLM ampliamente utilizados, roban modelos y conjuntos de datos y potencialmente ejecutan otras actividades maliciosas.
De hecho, la creciente existencia de recursos disponibles públicamente y, por tanto, Modelos de IA/ML potencialmente maliciosos Según JFrog, representa un riesgo importante para la cadena de suministro, particularmente para los ataques que se dirigen específicamente a grupos demográficos como ingenieros de IA/ML y máquinas de tuberías.
Para mitigar este riesgo, los desarrolladores de IA deberían utilizar las nuevas herramientas disponibles, como Cazador, una plataforma de recompensas por errores diseñada específicamente para vulnerabilidades de IA para mejorar la postura de seguridad de los modelos y plataformas de IA, escribió Cohen.
"Este esfuerzo colectivo es imperativo para fortalecer los repositorios de Hugging Face y salvaguardar la privacidad y la integridad de los ingenieros y organizaciones de IA/ML que dependen de estos recursos", escribió.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- :posee
- :es
- :no
- :dónde
- 100
- 210
- 212
- 7
- a
- Poder
- Nuestra Empresa
- de la máquina
- Conforme
- Mi Cuenta
- lector activo
- actividades
- actividad
- real
- dirección
- direcciones
- avanzado
- Después
- AI
- Modelos AI
- Plataforma de IA
- AI / ML
- objetivo
- permitido
- a lo largo de
- también
- an
- análisis
- y
- cualquier
- abejas
- Acceso API
- aparece
- aplicaciones
- enfoque
- arbitrario
- arquitectura
- somos
- artificial
- inteligencia artificial
- Inteligencia Artificial (AI)
- AS
- asociado
- At
- ataques
- atentado
- Hoy Disponibles
- Atrás
- porque
- esto
- comportamiento
- detrás de
- "Ser"
- pertenece
- Bloquear
- Blog
- Florecer (bloom)
- incorporado
- by
- , que son
- PUEDEN
- causando
- a ciertos
- cadena
- código
- Cohen
- colabora
- Colectivo
- COM
- Algunos
- vibrante e inclusiva
- exhaustivo
- compromiso
- Contacto
- conexión
- constante
- que no contengo
- contexto
- podría
- creación
- datos
- conjuntos de datos
- David
- tratar
- demandas
- Demografía
- demostrar
- despliegue
- detectar
- desarrolladores
- de reservas
- descubierto CRISPR
- descubrimiento
- doesn
- descargar
- de forma sencilla
- educativo
- esfuerzo
- integrado
- emergentes
- habilitar
- permite
- esfuerzos
- certificados
- mejorar
- Entorno
- ambientes
- Incluso
- ejemplo
- ejecutar
- ejecutado
- ejecución
- ejecución
- existencia
- Explotar
- exploits
- externo
- Cara
- facilitando
- Archive
- archivos
- Los resultados
- Firme
- Nombre
- primer vez
- marcado
- formato
- encontrado
- Marco conceptual
- Desde
- función
- fundamental
- promover
- GitHub
- Creciendo
- suceder
- daño
- perjudicial
- Tienen
- he
- destacando
- Cómo
- Sin embargo
- HTTPS
- Impacto
- INDISPENSABLE
- importante
- in
- Incluye
- indicando
- iniciado
- inyectar
- ejemplo
- integridad
- Intelligence
- dentro
- intrusiva
- investigación
- implica
- IP
- Dirección IP
- Direcciones IP
- ISN
- IT
- SUS
- jpg
- solo
- keras
- Clave
- Corea
- idioma
- large
- Lead
- líder
- aprendizaje
- Biblioteca
- como
- LLM
- carga
- carga
- máquina
- máquina de aprendizaje
- Máquinas
- gran
- malicioso
- el malware
- Puede..
- significa
- mero
- Meta
- Método
- Mitigar las
- mitigar
- ML
- modelo
- modelos
- Módulo
- más,
- Llamado
- Natural
- Procesamiento natural del lenguaje
- del sistema,
- Nuevo
- notablemente
- nota
- señaló
- número
- objetos
- of
- a menudo
- on
- ONE
- en marcha
- sobre
- habiertos
- red abierta
- or
- para las fiestas.
- Otro
- total
- parte
- particularmente
- industrial
- plataforma
- Plataformas
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- tóxico
- plantea
- posible
- Publicación
- posible
- la posibilidad
- frecuente
- previamente
- principio
- política de privacidad
- Proactiva
- tratamiento
- proporcionar
- público
- en público
- publicado
- DTP
- Python
- piñón
- calidad
- distancia
- más bien
- real
- confiando
- permanece
- Remoto
- repositorio
- requiere
- la investigación
- investigador
- investigadores
- Recursos
- restringir
- marcha atrás
- acribillado
- Riesgo
- correr
- s
- salvaguardar
- Said
- mismo
- exploración
- secretos
- EN LINEA
- inicio de seguridad
- mayor
- servidor
- sirve
- Sets
- Cáscara
- Dentro de poco
- tienes
- mostrar
- significativamente
- desde
- algo
- Alguien
- sofisticado
- Sur
- Corea del Sur
- específicamente
- Patrocinado
- es la
- inicio
- Sin embargo
- tal
- suministro
- cadena de suministro
- SOPORTE
- susceptible
- adaptado
- Target
- tareas
- tensorflow
- que
- esa
- La
- Les
- luego
- por lo tanto
- Estas
- ellos
- así
- esta semana
- ¿aunque?
- amenaza
- amenazas
- Así
- equipo
- a
- Tokens
- del IRS
- antorcha
- entrenado
- Formación
- transformers
- tipo
- tipos
- típicamente
- descubierto
- guion bajo
- entender
- comprensión
- subido
- utilizan el
- usado
- Usuario
- usos
- usando
- variar
- vigilancia
- Vulnerabilidades
- vulnerabilidad
- fue
- semana
- tuvieron
- ¿
- cuando
- que
- extensamente
- más ancho
- dentro de
- sin
- Actividades:
- trabajando
- funciona
- se
- escribí
- zephyrnet