Vulnerabilidades críticas sin parches abren modelos de IA a la adquisición

Vulnerabilidades críticas sin parches abren modelos de IA a la adquisición

Marca de tiempo: 16 de noviembre de 2023 12:47 p.m.
Vulnerabilidades críticas sin parches abren modelos de IA para hacerse cargo de la inteligencia de datos de PlatoBlockchain. Búsqueda vertical. Ai.

Los investigadores han identificado casi una docena de vulnerabilidades críticas en la infraestructura utilizada por los modelos de IA (más tres errores de gravedad alta y dos de gravedad media), que podrían poner a las empresas en riesgo mientras compiten por aprovechar la IA. Algunos de ellos siguen sin parchear.

Las plataformas afectadas se utilizan para alojar, implementar y compartir modelos de lenguaje grandes (LLM) y otras plataformas de aprendizaje automático e inteligencia artificial. Incluyen Ray, utilizado en el entrenamiento distribuido de modelos de aprendizaje automático; MLflow, una plataforma de ciclo de vida de aprendizaje automático; ModeloDB, una plataforma de gestión de aprendizaje automático; y H20 versión 3, una plataforma de código abierto para aprendizaje automático basada en Java.

MLa empresa de seguridad de aprendizaje automático Protect AI reveló los resultados el 16 de noviembre como parte de su programa de recompensas por errores específico de IA, Huntr. Que noNotificó a los mantenedores y proveedores de software sobre las vulnerabilidades, dándoles 45 días para solucionar los problemas.

A cada uno de los problemas se le ha asignado un identificador CVE y, si bien muchos de los problemas se han solucionado, otros siguen sin parchearse, en cuyo caso Protect AI recomendó una solución alternativa en su aviso.

Los errores de IA presentan un alto riesgo para las organizaciones

Según Protect AI, las vulnerabilidades en los sistemas de IA pueden dar a los atacantes acceso no autorizado a los modelos de IA, permitiéndoles cooptar los modelos para sus propios objetivos.

Pero también pueden darles una puerta de entrada al resto de la red, dice Sean Morgan, arquitecto jefe de Protect AI. El compromiso del servidor y el robo de credenciales de servicios de inteligencia artificial de bajo código son dos posibilidades para el acceso inicial, por ejemplo.

"Los servidores de inferencia pueden tener puntos finales accesibles para que los usuarios puedan usar modelos de aprendizaje automático [de forma remota], pero hay muchas maneras de ingresar a la red de alguien", afirma. “Estos sistemas de aprendizaje automático a los que nos dirigimos [con el programa de recompensas por errores] a menudo tienen privilegios elevados, por lo que es muy importante que, si alguien puede ingresar a su red, no pueda escalar rápidamente los privilegios a un sistema muy sensible. .”

Por ejemplo, un problema crítico de inclusión de archivos locales (ahora parcheado) en la API de la plataforma de aprendizaje distribuido Ray permite a un atacante leer cualquier archivo en el sistema. Otro problema en la plataforma H20 (también solucionado) permite que el código se ejecute mediante la importación de un modelo de IA.

El riesgo no es teórico: las grandes empresas ya se han embarcado en campañas agresivas para encontrar modelos de IA útiles y aplicarlos a sus mercados y operaciones. Los bancos ya utilizan el aprendizaje automático y la inteligencia artificial para el procesamiento de hipotecas y la lucha contra el lavado de dinero, por ejemplo.

Al encontrar vulnerabilidades en estos sistemas de IA "Puede comprometer la infraestructura, robar la propiedad intelectual también es un gran objetivo", dice Daryan Dehghanpisheh, presidente y cofundador de Protect AI.

"El espionaje industrial es un componente importante y, en la batalla por la IA y el aprendizaje automático, los modelos son un activo de propiedad intelectual muy valioso", afirma. "Piense en cuánto dinero se gasta diariamente en entrenar un modelo, y cuando se habla de mil millones de parámetros, y más, es una gran inversión, solo capital puro que fácilmente se ve comprometido o robado".

Luchar contra nuevos exploits contra la infraestructura que sustenta las interacciones de lenguaje natural que las personas tienen con sistemas de inteligencia artificial como ChatGPT tendrá un impacto aún mayor, dice Dane Sherrets, arquitecto senior de soluciones de HackerOne. Esto se debe a que cuando los ciberdelincuentes sean capaces de desencadenar este tipo de vulnerabilidades, la eficiencia de los sistemas de inteligencia artificial hará que el impacto sea mucho mayor.

Estos ataques "pueden hacer que el sistema escupe datos sensibles o confidenciales, o ayudar al actor malintencionado a obtener acceso al backend del sistema", afirma. "Las vulnerabilidades de la IA, como el envenenamiento de los datos de entrenamiento, también pueden tener un efecto dominó significativo, dando lugar a una difusión generalizada de resultados erróneos o maliciosos".

Seguridad para la infraestructura de IA: a menudo se pasa por alto

Tras la introducción de ChatGPT hace un año, las tecnologías y servicios basados ​​en IA, especialmente la IA generativa (GenAI), han despegado. A su paso, un variedad de ataques adversarios Se han desarrollado tecnologías que pueden apuntar a sistemas de inteligencia artificial y aprendizaje automático y sus operaciones. El 15 de noviembre, por ejemplo, la empresa de seguridad de IA Adversa AI
reveló una serie de ataques a sistemas basados ​​en GPT incluida la filtración rápida y la enumeración de las API a las que tiene acceso el sistema.

Sin embargo, las revelaciones de errores de ProtectAI subrayan el hecho de que las herramientas y la infraestructura que respaldan los procesos de aprendizaje automático y las operaciones de IA también pueden convertirse en objetivos. Y, a menudo, las empresas han adoptado herramientas y flujos de trabajo basados ​​en IA. sin consultar frecuentemente a los grupos de seguridad de la información.

“Como ocurre con cualquier ciclo publicitario de alta tecnología, las personas implementarán sistemas, lanzarán aplicaciones y crearán nuevas experiencias para satisfacer las necesidades del negocio y del mercado y, a menudo, descuidarán la seguridad y crearán estas tipos de 'pilas en la sombra', o asumirán que las capacidades de seguridad existentes que tienen pueden mantenerlos a salvo”, dice Dehghanpisheh. "Pero las cosas que nosotros [los profesionales de la ciberseguridad] estamos haciendo para los centros de datos tradicionales no necesariamente lo mantienen seguro en la nube, y viceversa".

Protect AI utilizó su plataforma de recompensas por errores, denominada Huntr, para solicitar presentaciones de vulnerabilidades de miles de investigadores para diferentes plataformas de aprendizaje automático, pero hasta ahora, la búsqueda de errores en este sector aún está en su infancia. Sin embargo, eso podría estar a punto de cambiar.

Por ejemplo, la Iniciativa Día Cero de Trend Micro aún no ha visto una demanda significativa para encontrar errores en las herramientas de IA/ML, pero el grupo ha visto cambios regulares en los tipos de vulnerabilidades que la industria quiere que encuentren los investigadores, y es probable que se acerque un enfoque en la IA. pronto, afirma Dustin Childs, jefe de concienciación sobre amenazas de la Iniciativa Día Cero de Trend Micro.

"Estamos viendo en la IA lo mismo que vimos en otras industrias a medida que se desarrollaron", afirma. “Al principio, se le quitó prioridad a la seguridad en favor de agregar funcionalidad. Ahora que ha alcanzado un cierto nivel de aceptación, la gente está empezando a preguntar sobre las implicaciones para la seguridad”.

Sello de tiempo:

Mas de Lectura oscura