Se você achava que o problema de segurança da cadeia de suprimentos de software já era bastante difícil hoje, aperte o cinto. O crescimento explosivo da utilização da inteligência artificial (IA) está prestes a tornar essas questões da cadeia de abastecimento exponencialmente mais difíceis de resolver nos próximos anos.
Desenvolvedores, profissionais de segurança de aplicativos e profissionais de DevSecOps são chamados para corrigir as falhas de maior risco que se escondem no que parecem ser as infinitas combinações de código aberto e componentes proprietários que estão integrados em seus aplicativos e infraestrutura em nuvem. Mas é uma batalha constante tentar entender quais componentes eles possuem, quais são vulneráveis e quais falhas os colocam em maior risco. Claramente, eles já estão lutando para gerenciar essas dependências de maneira sensata em seu software como ele está.
O que vai ficar mais difícil é o efeito multiplicador que a IA pode adicionar à situação.
Modelos de IA como código autoexecutável
As ferramentas habilitadas para IA e aprendizado de máquina (ML) são softwares iguais a qualquer outro tipo de aplicativo – e seu código tem a mesma probabilidade de sofrer inseguranças na cadeia de suprimentos. No entanto, eles acrescentam outra variável de ativos ao mix que aumenta muito a superfície de ataque da cadeia de fornecimento de software de IA: modelos de IA/ML.
“O que separa os aplicativos de IA de todas as outras formas de software é que [eles dependem] de alguma forma ou estilo de algo chamado modelo de aprendizado de máquina”, explica Daryan Dehghanpisheh, cofundador da Protect AI. “Como resultado, o próprio modelo de aprendizado de máquina é agora um ativo em sua infraestrutura. Quando você tem um ativo em sua infraestrutura, precisa da capacidade de verificar seu ambiente, identificar onde eles estão, o que contêm, quem tem permissões e o que fazem. E se você não pode fazer isso com os modelos hoje, você não pode gerenciá-los.”
Os modelos de IA/ML fornecem a base para a capacidade de um sistema de IA de reconhecer padrões, fazer previsões, tomar decisões, desencadear ações ou criar conteúdo. Mas a verdade é que a maioria das organizações nem sequer sabe como começar a ganhar visibilidade de todos os modelos de IA incorporados no seu software. Os modelos e a infraestrutura em torno deles são construídos de forma diferente de outros componentes de software, e as ferramentas tradicionais de segurança e software não são construídas para procurar ou entender como os modelos de IA funcionam ou como eles apresentam falhas. Isso é o que os torna únicos, diz Dehghanpisheh, que explica que são essencialmente peças ocultas de código autoexecutável.
“Um modelo, por design, é um trecho de código autoexecutável. Tem uma certa capacidade de agência”, diz Dehghanpisheh. “Se eu lhe dissesse que você tem ativos em toda a sua infraestrutura que não consegue ver, não consegue identificar, não sabe o que eles contêm, não sabe qual é o código e eles se autoexecutam e receber chamadas externas, isso soa suspeitamente como um vírus de permissão, não é?
Um observador precoce das inseguranças da IA
Antecipar-se a essa questão foi o grande impulso por trás dele e de seus cofundadores para lançar o Protect AI em 2022, que é uma entre uma série de novas empresas surgindo para resolver problemas de segurança de modelo e linhagem de dados que estão surgindo na era da IA. Dehghanpisheh e o cofundador Ian Swanson tiveram um vislumbre do futuro quando trabalharam juntos anteriormente na construção de soluções de IA/ML na AWS. Dehghanpisheh era o líder global em arquitetos de soluções de IA/ML.
“Durante o tempo que passamos juntos na AWS, vimos clientes construindo sistemas de IA/ML em um ritmo incrivelmente rápido, muito antes de a IA generativa capturar os corações e mentes de todos, desde o alto escalão até o Congresso”, diz ele, explicando que ele trabalhou com diversos engenheiros e especialistas em desenvolvimento de negócios, bem como extensivamente com clientes. “Foi quando percebemos como e onde estão as vulnerabilidades de segurança exclusivas dos sistemas de IA/ML.”
Eles observaram três coisas básicas sobre IA/ML que tiveram implicações incríveis para o futuro da segurança cibernética, diz ele. A primeira foi que o ritmo de adoção foi tão rápido que eles viram em primeira mão a rapidez com que entidades de TI obscuras estavam surgindo em torno do desenvolvimento de IA e do uso comercial que escapavam ao tipo de governança que supervisionaria qualquer outro tipo de desenvolvimento na empresa.
A segunda era que a maioria das ferramentas usadas — sejam elas comerciais ou de código aberto — foram desenvolvidas por cientistas de dados e engenheiros de ML emergentes que nunca haviam sido treinados em conceitos de segurança.
“Como resultado, tivemos ferramentas realmente úteis, muito populares, muito distribuídas e amplamente adotadas que não foram desenvolvidas com uma mentalidade de segurança em primeiro lugar”, diz ele.
Sistemas de IA não construídos com “segurança em primeiro lugar”
Como resultado, muitos sistemas de IA/ML e ferramentas compartilhadas carecem dos princípios básicos de autenticação e autorização e muitas vezes concedem muito acesso de leitura e gravação em sistemas de arquivos, explica ele. Juntamente com configurações de rede inseguras e, em seguida, com os problemas inerentes aos modelos, as organizações começam a ficar atoladas em problemas de segurança em cascata nesses sistemas altamente complexos e difíceis de entender.
“Isso nos fez perceber que as ferramentas, processos e estruturas de segurança existentes – não importa a mudança que você fizesse, estavam faltando o contexto que os engenheiros de aprendizado de máquina, cientistas de dados e construtores de IA precisariam”, diz ele.
Por fim, a terceira observação importante que ele e Swanson fizeram durante a época da AWS foi que as violações de IA não ocorreriam. Eles já haviam chegado.
“Vimos clientes terem violações em vários sistemas de IA/ML que deveriam ter sido detectados, mas não foram”, diz ele. “O que isso nos disse é que o conjunto e os processos, bem como os elementos de gerenciamento de resposta a incidentes, não foram construídos especificamente para a forma como a IA/ML estava sendo arquitetada. Esse problema tornou-se muito pior à medida que a IA generativa ganhou impulso.”
Os modelos de IA são amplamente compartilhados
Dehghanpisheh e Swanson também começaram a ver como os modelos e dados de treinamento estavam criando uma nova cadeia de fornecimento de IA única que precisaria ser considerada tão seriamente quanto o resto da cadeia de fornecimento de software. Assim como acontece com o restante do desenvolvimento de software moderno e da inovação nativa da nuvem, os cientistas de dados e especialistas em IA impulsionaram avanços nos sistemas de IA/ML por meio do uso desenfreado de código aberto e componentes compartilhados — incluindo modelos de IA e os dados usados para treiná-los. Muitos sistemas de IA, sejam acadêmicos ou comerciais, são construídos usando o modelo de outra pessoa. E, tal como acontece com o resto do desenvolvimento moderno, a explosão no desenvolvimento da IA continua a gerar um enorme fluxo diário de novos modelos de ativos proliferados em toda a cadeia de abastecimento, o que significa que é cada vez mais difícil acompanhá-los.
Veja o Abraço do Rosto, por exemplo. Este é um dos repositórios on-line de modelos de IA de código aberto mais usados atualmente – seus fundadores dizem que querem ser o GitHub da IA. Em novembro de 2022, os usuários do Hugging Face compartilharam 93,501 modelos diferentes com a comunidade. Em novembro seguinte, esse número explodiu para 414,695 modelos. Agora, apenas três meses depois, esse número aumentou para 527,244. Esta é uma questão cuja abrangência cresce a cada dia. E vai colocar o problema de segurança da cadeia de fornecimento de software “com esteróides”, diz Dehghanpisheh.
A análise recente por sua empresa descobriu que milhares de modelos que são compartilhados abertamente no Hugging Face podem executar código arbitrário no carregamento ou inferência do modelo. Embora o Hugging Face faça algumas varreduras básicas em seu repositório em busca de problemas de segurança, muitos modelos são perdidos ao longo do caminho – pelo menos metade dos modelos de alto risco descobertos na pesquisa não foram considerados inseguros pela plataforma, e o Hugging Face deixa isso claro na documentação que determinar a segurança de um modelo é, em última análise, responsabilidade de seus usuários.
Etapas para lidar com a cadeia de suprimentos de IA
Dehghanpisheh acredita que o eixo da segurança cibernética na era da IA começará primeiro com a criação de uma compreensão estruturada da linhagem da IA. Isso inclui a linhagem do modelo e a linhagem de dados, que são essencialmente a origem e o histórico desses ativos, como eles foram alterados e os metadados associados a eles.
“Esse é o primeiro lugar para começar. Você não pode consertar o que não pode ver, o que não pode saber e o que não pode definir, certo?” ele diz.
Entretanto, ao nível operacional diário, Dehghanpisheh acredita que as organizações precisam de desenvolver capacidades para analisar os seus modelos, procurando falhas que possam ter impacto não só no reforço do sistema, mas também na integridade dos seus resultados. Isso inclui questões como preconceitos e mau funcionamento da IA que podem causar danos físicos no mundo real, por exemplo, quando um carro autônomo colide com um pedestre.
“A primeira coisa é que você precisa digitalizar”, diz ele. “A segunda coisa é que você precisa entender essas varreduras. E a terceira é que, quando você tem algo sinalizado, você basicamente precisa impedir a ativação desse modelo. Você precisa restringir sua agência.”
O impulso para MLSecOps
MLSecOps é um movimento neutro em relação ao fornecedor que reflete o movimento DevSecOps no mundo do software tradicional.
“Semelhante à mudança de DevOps para DevSecOps, você precisa fazer duas coisas ao mesmo tempo. A primeira coisa que você precisa fazer é conscientizar os profissionais de que a segurança é um desafio e uma responsabilidade compartilhada”, diz Dehghanpisheh. “A segunda coisa que você precisa fazer é contextualizar e colocar segurança em ferramentas que mantenham cientistas de dados, engenheiros de aprendizado de máquina e construtores de IA na vanguarda e inovando constantemente, mas permitindo que as preocupações de segurança desapareçam em segundo plano. .”
Além disso, ele diz que as organizações terão que começar a adicionar políticas de governança, risco e conformidade, além de capacidades de fiscalização e procedimentos de resposta a incidentes que ajudem a governar as ações e processos que ocorrem quando inseguranças são descobertas. Tal como acontece com um ecossistema DevSecOps sólido, isso significa que o MLSecOps precisará de um forte envolvimento das partes interessadas empresariais em todo o caminho até a hierarquia executiva.
A boa notícia é que a segurança de IA/ML está se beneficiando de algo que nenhuma outra inovação tecnológica rápida teve desde o início – ou seja, mandatos regulatórios desde o início.
“Pense em qualquer outra transição tecnológica”, diz Dehghanpisheh. “Cite uma vez em que um regulador federal ou mesmo reguladores estaduais disseram isso no início: 'Ei, ei, ei, você tem que me contar tudo o que está nele. Você tem que priorizar o conhecimento desse sistema. Você tem que priorizar uma lista de materiais. Não há nenhum.
Isto significa que muitos líderes de segurança têm maior probabilidade de obter adesão para desenvolver capacidades de segurança de IA muito mais cedo no ciclo de vida da inovação. Um dos sinais mais óbvios deste apoio é a rápida mudança para patrocinar novas funções profissionais nas organizações.
“A maior diferença que a mentalidade regulatória trouxe para a mesa é que em janeiro de 2023, o conceito de um diretor de segurança de IA era novo e não existia. Mas em junho você começou a ver esses papéis”, diz Dehghanpisheh. “Agora eles estão em toda parte – e são financiados.”
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- :tem
- :é
- :não
- :onde
- ][p
- $UP
- 10
- 2022
- 2023
- 501
- 7
- a
- habilidade
- Sobre
- acadêmico
- Acesso
- em
- ações
- ativando
- adicionar
- acrescentando
- Adição
- endereço
- adotado
- Adoção
- avanços
- agência
- à frente
- AI
- Modelos de IA
- Sistemas de IA
- AI / ML
- Todos os Produtos
- Permitindo
- juntamente
- já
- tb
- quantidade
- an
- e
- Outro
- qualquer
- Aplicação
- segurança da aplicação
- aplicações
- arbitrário
- arquitetado
- arquitetos
- SOMOS
- por aí
- chegou
- artificial
- inteligência artificial
- Inteligência artificial (AI)
- AS
- ativo
- Ativos
- associado
- At
- ataque
- Autenticação
- autorização
- Autônomo
- consciente
- AWS
- em caminho duplo
- fundo
- basic
- fundamentos básicos
- Batalha
- BE
- tornam-se
- sido
- antes
- atrás
- ser
- acredita
- beneficiando
- viés
- Grande
- O maior
- Projeto de lei
- Hemorragia
- atolado
- violações
- Trazido
- fivela
- construir
- construtores
- Prédio
- construído
- negócio
- desenvolvimento de negócios
- mas a
- by
- C-suite
- chamado
- chamadas
- CAN
- capacidades
- capturados
- carro
- apanhados
- Causar
- certo
- cadeia
- desafiar
- mudado
- remover filtragem
- claramente
- Na nuvem
- infraestrutura de nuvem
- Co-fundador
- co-fundadores
- código
- combinações
- como
- vinda
- comercial
- comunidade
- integrações
- compliance
- componentes
- conceito
- conceitos
- Preocupações
- Congresso
- considerado
- constante
- constantemente
- não contenho
- conteúdo
- contexto
- poderia
- acoplado
- Falhando
- crio
- Criar
- Clientes
- Cíber segurança
- ciclo
- diariamente
- dados,
- dia
- dias
- decisões
- considerado
- definir
- dependências
- Design
- determinando
- Desenvolvimento
- didn
- diferença
- diferente
- diferentemente
- difícil
- Diretor
- desaparecer
- descoberto
- distribuído
- do
- documentação
- parece
- não
- don
- down
- condução
- durante
- Mais cedo
- Cedo
- ecossistema
- borda
- efeito
- elementos
- outro
- incorporado
- Interminável
- aplicação
- Engenheiros
- suficiente
- Empreendimento
- entidades
- Meio Ambiente
- Era
- essencialmente
- Mesmo
- Cada
- todos
- tudo
- em toda parte
- exemplo
- executar
- executivo
- existir
- existente
- expandido
- especialistas
- explicando
- Explica
- explosão
- exponencialmente
- extensivamente
- Rosto
- Moda
- RÁPIDO
- Federal
- Envie o
- Empresa
- empresas
- Primeiro nome
- em primeira mão
- Fixar
- marcado
- falho
- falhas
- seguinte
- Escolha
- formulário
- encontrado
- Foundation
- fundadores
- enquadramentos
- da
- alimentaram
- funções
- financiado
- futuro
- ganhando
- portão
- generativo
- IA generativa
- ter
- obtendo
- GitHub
- OFERTE
- Vislumbre
- Global
- vai
- Bom estado, com sinais de uso
- tem
- governo
- governo
- conceder
- grandemente
- Growth
- tinha
- Metade
- mais duro
- prejudicar
- Ter
- he
- ajudar
- oculto
- mais
- altamente
- ele
- sua
- história
- Como funciona o dobrador de carta de canal
- Como Negociar
- Contudo
- HTTPS
- enorme
- i
- identificar
- if
- Impacto
- implicações
- in
- incidente
- resposta a incidentes
- inclui
- Incluindo
- Aumenta
- incrível
- incrivelmente
- influxo
- Infraestrutura
- inerente
- inovando
- Inovação
- inseguro
- integridade
- Inteligência
- para dentro
- envolvimento
- isn
- emitem
- questões
- IT
- ESTÁ
- se
- janeiro
- Trabalho
- jpg
- Junho
- apenas por
- Guarda
- manutenção
- mantém
- Tipo
- Saber
- Conhecimento
- Falta
- escada
- mais tarde
- de lançamento
- líder
- líderes
- aprendizagem
- mínimo
- esquerda
- Nível
- vida
- como
- Provável
- linhagem
- carregar
- longo
- procurando
- iminente
- lote
- máquina
- aprendizado de máquina
- moldadas
- principal
- Maioria
- fazer
- FAZ
- gerencia
- de grupos
- mandatos
- muitos
- materiais
- Importância
- me
- significa
- metadados
- mentes
- Mindset
- perdido
- desaparecido
- misturar
- ML
- modelo
- modelos
- EQUIPAMENTOS
- Ímpeto
- mês
- mais
- a maioria
- mover
- movimento
- muito
- nome
- nomeadamente
- Navegar
- você merece...
- rede
- nunca
- Novo
- novas empresas
- notícias
- não
- romance
- Novembro
- agora
- número
- observação
- óbvio
- of
- frequentemente
- on
- uma vez
- ONE
- queridos
- online
- só
- aberto
- open source
- abertamente
- operacional
- or
- organizações
- origem
- Outros
- Fora
- saída
- lado de fora
- Acima de
- vigiar
- Paz
- padrões
- permissão
- permissões
- físico
- escolhido
- peça
- peças
- Lugar
- plataforma
- platão
- Inteligência de Dados Platão
- PlatãoData
- políticas
- Popular
- Previsões
- anteriormente
- Priorizar
- Problema
- problemas
- procedimentos
- processos
- proprietário
- PROS
- proteger
- fornecer
- Empurrar
- colocar
- rapidamente
- alcance
- rápido
- RE
- Leia
- mundo real
- perceber
- realizado
- clientes
- reconhecer
- regulador
- Reguladores
- reguladores
- depender
- repositório
- pesquisa
- resposta
- responsabilidade
- DESCANSO
- restringir
- resultar
- certo
- Risco
- modelos de risco
- papéis
- s
- Segurança
- Dito
- mesmo
- serra
- dizer
- diz
- digitalização
- exploração
- digitaliza
- cientistas
- escopo
- Segundo
- segurança
- Vejo
- visto
- parece
- a sério
- conjunto
- Shadow
- compartilhado
- mudança
- rede de apoio social
- Sinais
- semelhante
- situação
- So
- Software
- componentes de software
- desenvolvimento de software
- cadeia de suprimentos de software
- sólido
- solução
- Soluções
- alguns
- Alguém
- algo
- sons
- fonte
- gasto
- patrocinador
- Patrocinado
- partes interessadas
- fica
- começo
- começado
- Estado
- Passos
- Dê um basta
- mais forte,
- estruturada
- Lutando
- supply
- cadeia de suprimentos
- ajuda
- superfície
- Suspeitosamente
- .
- sistemas
- mesa
- abordando
- Tire
- Tecnologia
- Inovação Tecnológica
- dizer
- do que
- que
- A
- O Básico
- O Futuro
- deles
- Eles
- então
- Lá.
- Este
- deles
- coisa
- coisas
- think
- Terceiro
- isto
- aqueles
- pensamento
- milhares
- três
- Através da
- tempo
- para
- hoje
- juntos
- disse
- também
- ferramentas
- pista
- tradicional
- Trem
- treinado
- Training
- transição
- desencadear
- Verdade
- tentando
- dois
- Em última análise
- compreender
- compreensão
- único
- us
- usar
- usava
- útil
- usuários
- utilização
- variável
- variedade
- Ve
- muito
- vírus
- visibilidade
- vulnerabilidades
- Vulnerável
- queremos
- foi
- Caminho..
- we
- BEM
- fui
- foram
- eram
- O Quê
- quando
- se
- qual
- enquanto
- QUEM
- de quem
- largamente
- precisarão
- de
- Atividades:
- trabalhou
- mundo
- pior
- seria
- escrever
- anos
- Vocês
- investimentos
- zefirnet