Startup tiene como objetivo asegurar el desarrollo de inteligencia artificial y aprendizaje automático

A medida que las empresas agregan cada vez más capacidades de inteligencia artificial (IA) a sus carteras de productos, los expertos en seguridad cibernética advierten que los componentes de aprendizaje automático (ML) son vulnerables a nuevos tipos de ataques y necesitan protección.

La startup HiddenLayer, que se lanzó el 19 de julio, tiene como objetivo ayudar a las empresas a proteger mejor sus modelos sensibles de aprendizaje automático y los datos utilizados para entrenar esos modelos. La compañía ha lanzado sus primeros productos dirigidos al segmento de detección y respuesta de ML, con el objetivo de fortalecer los modelos contra ataques y proteger los datos utilizados para entrenar esos modelos.

Los riesgos no son teóricos: los fundadores de la empresa trabajaron en Cylance cuando los investigadores encontraron formas de eludir el motor de inteligencia artificial de la empresa para detectar malware, dice Christopher Sestito, director ejecutivo de HiddenLayer.

“Atacaron al modelo a través del producto mismo e interactuaron con el modelo lo suficiente como para… determinar dónde era más débil el modelo”, dice.

Sestito espera que los ataques contra los sistemas AI/ML crezcan a medida que más empresas incorporen las funciones en sus productos.

“AI y ML son las tecnologías de más rápido crecimiento que jamás hayamos visto, por lo que esperamos que sean los vectores de ataque de más rápido crecimiento que jamás hayamos visto”, dice.

Defectos en el modelo de aprendizaje automático

ML se ha convertido en una herramienta imprescindible para la próxima generación de productos de muchas empresas, pero las empresas generalmente agregan funciones basadas en IA sin considerar las implicaciones de seguridad. Entre las amenazas se encuentran la evasión de modelos, como la investigación realizada contra Cylance, y la extracción funcional, donde los atacantes pueden consultar un modelo y construir un sistema funcional equivalente basado en los resultados.

Hace dos años, Microsoft, MITRE y otras empresas creó la matriz de amenazas de aprendizaje automático adversario para catalogar las amenazas potenciales contra los sistemas basados ​​en IA. Ahora renombrado como el Panorama de amenazas adversarias para sistemas de inteligencia artificial (ATLAS), el diccionario de posibles ataques destaca que las tecnologías innovadoras atraerán ataques innovadores.

“A diferencia de las vulnerabilidades de seguridad cibernética tradicionales que están vinculadas a sistemas de software y hardware específicos, las vulnerabilidades de ML adversarias están habilitadas por limitaciones inherentes que subyacen a los algoritmos de ML”, según el Página del proyecto ATLAS en GitHub. “Los datos se pueden armar de nuevas maneras, lo que requiere una extensión de cómo modelamos el comportamiento del adversario cibernético, para reflejar los vectores de amenazas emergentes y el ciclo de vida del ataque de aprendizaje automático adverso en rápida evolución”.

La amenaza práctica es bien conocida por los tres fundadores de HiddenLayer (Sestito, Tanner Burns y James Ballard) que trabajaron juntos en Cylance. En aquel entonces, los investigadores de Skylight Cyber código bueno conocido adjunto - en realidad, una lista de cadenas del ejecutable del juego Rocket League - para engañar a la tecnología de Cylance haciéndoles creer que el 84% del malware era en realidad benigno.

“Lideramos el esfuerzo de ayuda después de que nuestro modelo de aprendizaje automático fuera atacado directamente a través de nuestro producto y nos dimos cuenta de que esto sería un problema enorme para cualquier organización que implemente modelos ML en sus productos”, dijo Sestito en una declaración que anuncia el lanzamiento de HiddenLayer.

Buscando adversarios en tiempo real

HiddenLayer tiene como objetivo crear un sistema que pueda monitorear el funcionamiento de los sistemas ML y, sin necesidad de acceder a los datos o cálculos, determinar si el software está siendo atacado utilizando uno de los métodos adversarios conocidos.

“Estamos analizando las interacciones de comportamiento con los modelos; podría ser una dirección IP o un punto final”, dice Sestito. “Estamos analizando si el modelo se está utilizando como se pretende o si las entradas y salidas se están aprovechando o si el solicitante está tomando decisiones de muy alta entropía”.

La capacidad de realizar análisis de comportamiento en tiempo real distingue a la detección y respuesta de ML de la empresa de otros enfoques, dice. Además, la tecnología no requiere acceso al modelo específico o los datos de entrenamiento, lo que aísla aún más la propiedad intelectual, dice HiddenLayer.

El enfoque también significa que la sobrecarga del agente de seguridad es pequeña, del orden de 1 o 2 milisegundos, dice Sestito.

“Estamos analizando las entradas después de que se han vectorizado los datos sin procesar, por lo que hay muy poco impacto en el rendimiento”, dice.