Os pesquisadores descobriram cerca de 100 modelos de aprendizado de máquina (ML) que foram carregados na plataforma de inteligência artificial (IA) Hugging Face e potencialmente permitem que invasores injetem código malicioso nas máquinas dos usuários. As descobertas ressaltam ainda mais a crescente ameaça que se esconde quando os invasores envenenar modelos de IA disponíveis publicamente por atividades nefastas.
A descoberta dos modelos maliciosos pela JFrog Security Research faz parte de uma pesquisa contínua da empresa sobre como os invasores podem usar modelos de ML para comprometer os ambientes dos usuários, de acordo com um post de blog publicado esta semana.
Especificamente, JFrog desenvolveu um ambiente de varredura para examinar arquivos de modelo carregados no Hugging Face — um repositório público de modelos de IA amplamente utilizado — para detectar e neutralizar ameaças emergentes, particularmente da execução de código.
Ao executar esta ferramenta, os pesquisadores descobriram que os modelos carregados no repositório abrigavam cargas maliciosas. Em um exemplo, o scanner sinalizou um modelo PyTorch carregado em um repositório por um usuário chamado baller423 – uma conta que já foi excluída – que permite que invasores insiram código Python arbitrário em um processo chave. Isso pode levar a um comportamento malicioso quando o modelo é carregado na máquina de um usuário.
Análise de carga útil de abraços faciais
Embora normalmente as cargas incorporadas em modelos de IA carregados por pesquisadores tenham como objetivo demonstrar vulnerabilidades ou apresentar provas de conceito sem causar danos, a carga carregada por baller423 diferiu significativamente, escreveu o pesquisador sênior de segurança da JFrog, David Cohen, no post.
Ele iniciou uma conexão shell reversa com um endereço IP real, 210.117.212.93, comportamento que “é notavelmente mais intrusivo e potencialmente malicioso, pois estabelece uma conexão direta com um servidor externo, indicando uma potencial ameaça à segurança, em vez de uma mera demonstração de vulnerabilidade”, escreveu ele.
JFrog descobriu que o intervalo de endereços IP pertence a Kreonet, que significa “Korea Research Environment Open Network”. Kreonet serve como uma rede de alta velocidade na Coreia do Sul para apoiar pesquisas avançadas e empreendimentos educacionais; portanto, é possível que pesquisadores ou profissionais de IA estejam por trás do modelo.
“No entanto, um princípio fundamental na investigação de segurança é abster-se de publicar explorações reais ou códigos maliciosos”, um princípio que foi violado quando o código malicioso tentou ligar-se novamente a um endereço IP real, observou Cohen.
Além disso, logo após a remoção do modelo, os pesquisadores encontraram outras instâncias da mesma carga com endereços IP variados, um dos quais permanece ativo.
Uma investigação mais aprofundada sobre o Hugging Face revelou cerca de 100 modelos potencialmente maliciosos, destacando o impacto mais amplo do ameaça geral à segurança de modelos maliciosos de IA, que exige vigilância constante e segurança mais proativa, escreveu Cohen.
Como funcionam os modelos de IA maliciosos
Para entender como os invasores podem transformar os modelos Hugging Face ML em armas, é necessário entender como um modelo PyTorch malicioso como o carregado por baller423 funciona no contexto de Desenvolvimento Python e IA.
A execução de código pode acontecer ao carregar certos tipos de modelos de ML — por exemplo, um modelo que usa o chamado formato “pickle”, um formato comum para serializar objetos Python. Isso ocorre porque os arquivos pickle também podem conter código arbitrário que é executado quando o arquivo é carregado, de acordo com JFrog.
Carregar modelos PyTorch com transformadores, uma abordagem comum dos desenvolvedores, envolve o uso da função torch.load(), que desserializa o modelo de um arquivo. Particularmente ao lidar com modelos PyTorch treinados com a biblioteca Transformers do Hugging Face, os desenvolvedores costumam empregar esse método para carregar o modelo junto com sua arquitetura, pesos e quaisquer configurações associadas, de acordo com JFrog.
Os transformadores, então, fornecem uma estrutura abrangente para tarefas de processamento de linguagem natural, facilitando a criação e implantação de modelos sofisticados, observou Cohen.
“Parece que a carga maliciosa foi injetada no arquivo de modelo PyTorch usando o método __reduce__ do módulo pickle”, escreveu ele. “Este método permite que invasores insiram código Python arbitrário no processo de desserialização, potencialmente levando a um comportamento malicioso quando o modelo é carregado.”
Embora o Hugging Face tenha uma série de proteções de segurança integradas de qualidade - incluindo verificação de malware, verificação de pickle e verificação de segredos - ele não bloqueia ou restringe completamente o download de modelos pickle. Em vez disso, apenas os marca como “inseguros”, o que significa que alguém ainda pode baixar e executar modelos potencialmente prejudiciais.
Além disso, é importante observar que não são apenas os modelos baseados em pickle que são suscetíveis à execução de código malicioso. Por exemplo, o segundo tipo de modelo mais prevalente no Hugging Face é o Tensorflow Keras, que também pode executar código arbitrário, embora não seja tão fácil para os invasores explorarem esse método, de acordo com JFrog.
Mitigando o risco de modelos de IA envenenados
Esta não é a primeira vez que pesquisadores encontram um risco à segurança de IA no Hugging Face, uma plataforma onde a comunidade de ML colabora em modelos, conjuntos de dados e aplicativos. Pesquisadores da Lasso Security, startup de segurança de IA, disseram anteriormente que conseguiram acessar os repositórios de modelo de linguagem grande (LLM) da Meta's Bloom, Meta-Llama e Pythia usando tokens de acesso à API inseguros que descobriram no GitHub e no Hugging Face plataforma para desenvolvedores LLM.
O acesso teria permitido que um adversário envenenar silenciosamente os dados de treinamento nesses LLMs amplamente utilizados, roubam modelos e conjuntos de dados e potencialmente executam outras atividades maliciosas.
Na verdade, a crescente existência de informações publicamente disponíveis e, portanto, modelos de IA/ML potencialmente maliciosos representa um grande risco para a cadeia de abastecimento, especialmente para ataques que visam especificamente dados demográficos, como engenheiros de IA/ML e máquinas de pipeline, de acordo com JFrog.
Para mitigar este risco, os desenvolvedores de IA devem usar novas ferramentas disponíveis, como Caçador, uma plataforma de recompensas de bugs adaptada especificamente para vulnerabilidades de IA para melhorar a postura de segurança de modelos e plataformas de IA, escreveu Cohen.
“Este esforço coletivo é fundamental para fortalecer os repositórios do Hugging Face e proteger a privacidade e integridade dos engenheiros e organizações de IA/ML que dependem desses recursos”, escreveu ele.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
- :tem
- :é
- :não
- :onde
- 100
- 210
- 212
- 7
- a
- Capaz
- Sobre
- Acesso
- Segundo
- Conta
- ativo
- atividades
- atividade
- real
- endereço
- endereços
- avançado
- Depois de
- AI
- Modelos de IA
- Plataforma de IA
- AI / ML
- visar
- permitidas
- juntamente
- tb
- an
- análise
- e
- qualquer
- api
- Acesso à API
- aparece
- aplicações
- abordagem
- arbitrário
- arquitetura
- SOMOS
- artificial
- inteligência artificial
- Inteligência artificial (AI)
- AS
- associado
- At
- Ataques
- tentada
- disponível
- em caminho duplo
- Porque
- sido
- comportamento
- atrás
- ser
- pertence
- Bloquear
- Blog
- Florescer
- construídas em
- by
- chamado
- CAN
- causando
- certo
- cadeia
- código
- cohen
- colabora
- Collective
- COM
- comum
- comunidade
- compreensivo
- compromisso
- Contato
- da conexão
- constante
- não contenho
- contexto
- poderia
- criação
- dados,
- conjuntos de dados
- David
- lidar
- demandas
- Demografia
- demonstrar
- desenvolvimento
- descobrir
- desenvolvedores
- diretamente
- descoberto
- descoberta
- não
- download
- fácil
- educacional
- esforço
- incorporado
- emergente
- permitir
- permite
- esforços
- Engenheiros
- aumentar
- Meio Ambiente
- ambientes
- estabelece
- Mesmo
- exemplo
- executar
- executado
- executando
- execução
- existência
- Explorar
- façanhas
- externo
- Rosto
- facilitando
- Envie o
- Arquivos
- descobertas
- Empresa
- Primeiro nome
- primeira vez
- marcado
- Escolha
- formato
- encontrado
- Quadro
- da
- função
- fundamental
- mais distante
- GitHub
- Crescente
- acontecer
- prejudicar
- prejudicial
- Ter
- he
- Destacando
- Como funciona o dobrador de carta de canal
- Contudo
- HTTPS
- Impacto
- imperativo
- importante
- in
- Incluindo
- indicador
- iniciado
- injetável
- instância
- em vez disso
- integridade
- Inteligência
- para dentro
- intrusivo
- investigação
- envolve
- IP
- Endereço IP
- Endereços IP
- isn
- IT
- ESTÁ
- jpg
- apenas por
- keras
- Chave
- Coréia
- língua
- grande
- conduzir
- principal
- aprendizagem
- Biblioteca
- como
- LLM
- carregar
- carregamento
- máquina
- aprendizado de máquina
- máquinas
- principal
- malicioso
- malwares
- Posso..
- significa
- mers
- Meta
- método
- Mitigar
- mitigando
- ML
- modelo
- modelos
- Módulo
- mais
- Nomeado
- natural
- Processamento de linguagem natural
- rede
- Novo
- notavelmente
- nota
- notado
- número
- objetos
- of
- frequentemente
- on
- ONE
- contínuo
- para
- aberto
- rede aberta
- or
- organizações
- Outros
- abertamente
- parte
- particularmente
- oleoduto
- plataforma
- Plataformas
- platão
- Inteligência de Dados Platão
- PlatãoData
- veneno
- coloca
- possível
- Publique
- potencial
- potencialmente
- prevalecente
- anteriormente
- princípio
- política de privacidade
- Proactive
- processo
- em processamento
- fornecer
- público
- publicamente
- publicado
- Publishing
- Python
- pytorch
- qualidade
- alcance
- em vez
- reais
- contando
- permanece
- Removido
- repositório
- exige
- pesquisa
- investigador
- pesquisadores
- Recursos
- restringir
- reverso
- riscado
- Risco
- corrida
- s
- salvaguardando
- Dito
- mesmo
- exploração
- segredos!
- segurança
- inicialização de segurança
- senior
- servidor
- serve
- Conjuntos
- concha
- Em breve
- rede de apoio social
- mostrar
- de forma considerável
- desde
- alguns
- Alguém
- sofisticado
- Sul
- Coreia do Sul
- especificamente
- Patrocinado
- fica
- inicialização
- Ainda
- tal
- supply
- cadeia de suprimentos
- ajuda
- suscetível
- adaptados
- Target
- tarefas
- fluxo tensor
- do que
- que
- A
- Eles
- então
- assim sendo
- Este
- deles
- isto
- esta semana
- Apesar?
- ameaça
- ameaças
- Assim
- tempo
- para
- Tokens
- ferramenta
- ferramentas
- tocha
- treinado
- Training
- transformadores
- tipo
- tipos
- tipicamente
- descoberto
- sublinhar
- compreender
- compreensão
- carregado
- usar
- usava
- Utilizador
- usos
- utilização
- variando
- vigilância
- vulnerabilidades
- vulnerabilidade
- foi
- semana
- foram
- O Quê
- quando
- qual
- largamente
- mais largo
- de
- dentro
- sem
- Atividades:
- trabalhar
- trabalho
- seria
- escreveu
- zefirnet