Startup visa proteger IA e desenvolvimento de aprendizado de máquina

À medida que as empresas adicionam cada vez mais recursos de inteligência artificial (IA) a seus portfólios de produtos, os especialistas em segurança cibernética alertam que os componentes de aprendizado de máquina (ML) são vulneráveis ​​a novos tipos de ataques e precisam ser protegidos.

A startup HiddenLayer, lançada em 19 de julho, visa ajudar as empresas a proteger melhor seus modelos sensíveis de aprendizado de máquina e os dados usados ​​para treinar esses modelos. A empresa lançou seus primeiros produtos voltados para o segmento de detecção e resposta de ML, com o objetivo de fortalecer os modelos contra ataques, bem como proteger os dados usados ​​para treinar esses modelos.

Os riscos não são teóricos: os fundadores da empresa trabalhavam na Cylance quando os pesquisadores encontraram maneiras de contornar o mecanismo de IA da empresa para detectar malware, diz Christopher Sestito, CEO da HiddenLayer.

“Eles atacaram o modelo por meio do próprio produto e interagiram com o modelo o suficiente para … determinar onde o modelo era mais fraco”, diz ele.

A Sestito espera que os ataques contra sistemas AI/ML cresçam à medida que mais empresas incorporam os recursos em seus produtos.

“AI e ML são as tecnologias de crescimento mais rápido que já vimos, então esperamos que sejam os vetores de ataque de crescimento mais rápido que já vimos também”, diz ele.

Falhas no modelo de aprendizado de máquina

O ML tornou-se obrigatório para a próxima geração de produtos de muitas empresas, mas as empresas geralmente adicionam recursos baseados em IA sem considerar as implicações de segurança. Entre as ameaças estão a evasão de modelo, como a pesquisa realizada contra a Cylance, e a extração funcional, em que os invasores podem consultar um modelo e construir um sistema funcional equivalente com base nas saídas.

Dois anos atrás, Microsoft, MITRE e outras empresas criou a Matriz Adversária de Ameaças de Aprendizado de Máquina para catalogar as ameaças potenciais contra sistemas baseados em IA. Agora renomeado como o Cenário de ameaças adversas para sistemas de inteligência artificial (ATLAS), o dicionário de possíveis ataques destaca que tecnologias inovadoras atrairão ataques inovadores.

“Ao contrário das vulnerabilidades de segurança cibernética tradicionais que estão vinculadas a sistemas de software e hardware específicos, as vulnerabilidades adversárias de ML são habilitadas por limitações inerentes subjacentes aos algoritmos de ML”, de acordo com o Página do projeto ATLAS no GitHub. “Os dados podem ser armados de novas maneiras, o que requer uma extensão de como modelamos o comportamento do adversário cibernético, para refletir os vetores de ameaças emergentes e o ciclo de vida do ataque de aprendizado de máquina do adversário em rápida evolução.”

A ameaça prática é bem conhecida dos três fundadores da HiddenLayer – Sestito, Tanner Burns e James Ballard – que trabalharam juntos na Cylance. Naquela época, os pesquisadores da Skylight Cyber código bom conhecido anexado — na verdade, uma lista de strings do executável do jogo Rocket League — para enganar a tecnologia da Cylance fazendo-a acreditar que 84% do malware era realmente benigno.

“Lideramos o esforço de socorro depois que nosso modelo de aprendizado de máquina foi atacado diretamente por meio de nosso produto e percebemos que isso seria um enorme problema para qualquer organização que implantasse modelos de ML em seus produtos”, disse Sestito em uma declaração anunciando o lançamento do HiddenLayer.

Procurando adversários em tempo real

O HiddenLayer visa criar um sistema que possa monitorar o funcionamento dos sistemas de ML e, sem precisar acessar os dados ou cálculos, determinar se o software está sendo atacado usando um dos métodos adversários conhecidos.

“Estamos analisando as interações comportamentais com os modelos – pode ser um endereço IP ou endpoint”, diz Sestito. “Estamos analisando se o modelo está sendo usado como se pretende ou se as entradas e saídas estão sendo aproveitadas ou se o solicitante está tomando decisões de entropia muito alta.”

A capacidade de fazer análises comportamentais em tempo real diferencia a detecção e a resposta de ML da empresa de outras abordagens, diz ele. Além disso, a tecnologia não requer acesso ao modelo específico ou aos dados de treinamento, isolando ainda mais a propriedade intelectual, diz HiddenLayer.

A abordagem também significa que a sobrecarga do agente de segurança é pequena, da ordem de 1 ou 2 milissegundos, diz Sestito.

“Estamos analisando as entradas depois que os dados brutos foram vetorizados, portanto, há muito pouco impacto no desempenho”, diz ele.