Bugs críticos colocam a plataforma de IA Hugging Face em apuros

Duas vulnerabilidades críticas de segurança na plataforma Hugging Face AI abriram a porta para invasores que buscam acessar e alterar dados e modelos de clientes.

Uma das falhas de segurança deu aos invasores uma maneira de acessar modelos de aprendizado de máquina (ML) pertencentes a outros clientes na plataforma Hugging Face, e a segunda permitiu que eles substituíssem todas as imagens em um registro de contêiner compartilhado. Ambas as falhas, descobertas por pesquisadores da Wiz, tinham a ver com a capacidade dos invasores de assumir o controle de partes da infraestrutura de inferência do Hugging Face.

Os pesquisadores do Wiz encontraram pontos fracos em três componentes específicos: API de inferência do Hugging Face, que permite aos usuários navegar e interagir com os modelos disponíveis na plataforma; Abraçando endpoints de inferência facial — ou infraestrutura dedicada para implantar modelos de IA em produção; e Hugging Face Spaces, um serviço de hospedagem para apresentar aplicativos de IA/ML ou para trabalhar colaborativamente no desenvolvimento de modelos.

O problema com picles

Ao examinar a infraestrutura do Hugging Face e as formas de transformar os bugs descobertos em armas, os pesquisadores da Wiz descobriram que qualquer um poderia facilmente fazer upload de um modelo de IA/ML para a plataforma, incluindo aqueles baseados no formato Pickle. Salmoura é um módulo amplamente utilizado para armazenar objetos Python em um arquivo. Embora até mesmo a própria fundação de software Python considere o Pickle inseguro, ele continua popular devido à sua facilidade de uso e à familiaridade que as pessoas têm com ele.

“É relativamente simples criar um modelo PyTorch (Pickle) que executará código arbitrário ao carregar”, de acordo com Wiz.

Os pesquisadores do Wiz aproveitaram a capacidade de fazer upload de um modelo privado baseado em Pickle para o Hugging Face que executaria um shell reverso ao carregar. Eles então interagiram com ele usando a API Inference para obter funcionalidade semelhante ao shell, que os pesquisadores usaram para explorar seu ambiente na infraestrutura do Hugging Face.

Esse exercício mostrou rapidamente aos pesquisadores que seu modelo estava sendo executado em um pod em um cluster no Amazon Elastic Kubernetes Service (EKS). A partir daí, os pesquisadores conseguiram aproveitar configurações incorretas comuns para extrair informações que lhes permitiram adquirir os privilégios necessários para visualizar segredos que poderiam ter permitido o acesso a outros locatários na infraestrutura compartilhada.

Com o Hugging Face Spaces, Wiz descobriu que um invasor poderia executar código arbitrário durante o tempo de construção do aplicativo, o que permitiria examinar as conexões de rede de sua máquina. A análise deles mostrou uma conexão com um registro de contêiner compartilhado contendo imagens pertencentes a outros clientes que eles poderiam ter adulterado.

“Nas mãos erradas, a capacidade de gravar no registro interno de contêineres pode ter implicações significativas para a integridade da plataforma e levar a ataques à cadeia de suprimentos nos espaços dos clientes”, disse Wiz.

Abraçando o rosto disse mitigou completamente os riscos que Wiz descobriu. Enquanto isso, a empresa identificou os problemas como, pelo menos em parte, relacionados à sua decisão de continuar permitindo o uso de arquivos Pickle na plataforma Hugging Face, apesar dos riscos de segurança bem documentados acima mencionados associados a tais arquivos.  

“Os arquivos Pickle têm estado no centro da maioria das pesquisas feitas por Wiz e outras publicações recentes de pesquisadores de segurança sobre Hugging Face”, observou a empresa. Permitir o uso do Pickle no Hugging Face é “um fardo para nossas equipes de engenharia e segurança e fizemos um esforço significativo para mitigar os riscos, ao mesmo tempo que permitimos que a comunidade de IA use as ferramentas que escolher”.

Riscos emergentes com IA como serviço

Wiz descreveu sua descoberta como indicativo dos riscos que as organizações precisam estar cientes ao usar infraestrutura compartilhada para hospedar, executar e desenvolver novos modelos e aplicações de IA, o que está se tornando conhecido como “IA como serviço”. A empresa comparou os riscos e as mitigações associadas àqueles que as organizações encontram em ambientes de nuvem pública e recomendou que aplicassem as mesmas mitigações também em ambientes de IA.

“As organizações devem garantir visibilidade e governança de toda a pilha de IA usada e analisar cuidadosamente todos os riscos”, disse Wiz em um blog esta semana. Isso inclui analisar o “uso de modelos maliciosos, exposição de dados de treinamento, dados confidenciais em treinamento, vulnerabilidades em SDKs de IA, exposição de serviços de IA e outras combinações de riscos tóxicos que podem ser exploradas por invasores”, disse o fornecedor de segurança.

Eric Schwake, diretor de estratégia de segurança cibernética da Salt Security, diz que há duas questões principais relacionadas ao uso da IA ​​como serviço que as organizações precisam estar cientes. “Primeiro, os agentes de ameaças podem carregar modelos de IA prejudiciais ou explorar vulnerabilidades na pilha de inferência para roubar dados ou manipular resultados”, diz ele. “Em segundo lugar, atores mal-intencionados podem tentar comprometer os dados de treinamento, levando a resultados de IA tendenciosos ou imprecisos, comumente conhecidos como envenenamento de dados”.

Identificar esses problemas pode ser desafiador, especialmente considerando a complexidade dos modelos de IA, diz ele. Para ajudar a gerenciar alguns desses riscos, é importante que as organizações entendam como seus aplicativos e modelos de IA interagem com a API e encontrem maneiras de proteger isso. “As organizações também podem querer explorar IA Explicável (XAI) para ajudar a tornar os modelos de IA mais compreensíveis”, diz Schwake, “e pode ajudar a identificar e mitigar preconceitos ou riscos nos modelos de IA”.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://www.darkreading.com/cloud-security/critical-bugs-hugging-face-ai-platform-pickle