Microsoft reforça defesas no Azure AI

A Microsoft anunciou vários novos recursos no Azure AI Studio que, segundo a empresa, devem ajudar os desenvolvedores a construir aplicativos generativos de IA que sejam mais confiáveis ​​e resilientes contra a manipulação maliciosa de modelos e outras ameaças emergentes.

Em uma postagem no blog de 29 de março, Sarah Bird, diretora de produtos de IA responsável da Microsoft, apontou para preocupações crescentes sobre os agentes de ameaças que usam ataques de injeção imediata fazer com que os sistemas de IA se comportem de maneira perigosa e inesperada como o principal fator impulsionador das novas ferramentas.

“As organizações também preocupado com qualidade e confiabilidade”, Pássaro disse. “Eles querem garantir que seus sistemas de IA não gerem erros ou adicionem informações que não sejam fundamentadas nas fontes de dados do aplicativo, o que pode minar a confiança do usuário.”

Estúdio de IA do Azure é uma plataforma hospedada que as organizações podem usar para criar assistentes de IA personalizados, copilotos, bots, ferramentas de pesquisa e outros aplicativos, baseados em seus próprios dados. Anunciada em novembro de 2023, a plataforma hospeda modelos de aprendizado de máquina da Microsoft e também modelos de diversas outras fontes, incluindo OpenAI. Meta, Abraçando Rosto e Nvidia. Ele permite que os desenvolvedores integrem rapidamente recursos multimodais e recursos de IA responsáveis ​​em seus modelos.

Outros grandes players, como Amazon e Google, correram para o mercado com ofertas semelhantes no ano passado para aproveitar o interesse crescente em tecnologias de IA em todo o mundo. Um estudo recente encomendado pela IBM descobriu que 42% de organizações com mais de 1,000 funcionários já estão usando ativamente a IA de alguma forma, com muitos deles planejando aumentar e acelerar os investimentos na tecnologia nos próximos anos. E nem todos eles estavam dizendo a TI antecipadamente sobre o uso de IA.

Proteção contra engenharia imediata

Os cinco novos recursos que a Microsoft adicionou — ou adicionará em breve — ao Azure AI Studio são: Prompt Shields; detecção de aterramento; mensagens do sistema de segurança; avaliações de segurança; e monitoramento de riscos e segurança. Os recursos são projetados para enfrentar alguns desafios significativos que os pesquisadores descobriram recentemente – e continuam a descobrir rotineiramente – no que diz respeito ao uso de grandes modelos de linguagem e ferramentas generativas de IA.

Escudos de alerta por exemplo, é a mitigação da Microsoft para o que é conhecido como ataques imediatos indiretos e jailbreaks. O recurso baseia-se nas mitigações existentes no Azure AI Studio contra o risco de jailbreak. Em ataques imediatos de engenharia, os adversários usam avisos que parecem inócuos e não abertamente prejudiciais para tentar orientar um modelo de IA para gerar respostas prejudiciais e indesejáveis. A engenharia imediata está entre as mais perigosas em uma classe crescente de ataques que tentam e modelos de IA de jailbreak ou fazer com que eles se comportem de maneira inconsistente com quaisquer filtros e restrições que os desenvolvedores possam ter incorporado a eles.  

Pesquisadores mostraram recentemente como os adversários podem se envolver em ataques imediatos de engenharia para fazer com que modelos generativos de IA funcionem. derramar seus dados de treinamento, para vomitar informações pessoais, gerar desinformação e conteúdo potencialmente prejudicial, como instruções sobre como fazer ligação direta em um carro.

Com o Prompt Shields, os desenvolvedores podem integrar recursos em seus modelos que ajudam a distinguir entre entradas de sistema válidas e potencialmente não confiáveis; definir delimitadores para ajudar a marcar o início e o fim do texto de entrada e usar marcação de dados para marcar textos de entrada. Prompt Shields está atualmente disponível em modo de visualização no Azure AI Content Safety e estará disponível em breve, de acordo com a Microsoft.

Mitigações para alucinações de modelos e conteúdo prejudicial

Enquanto isso, com a detecção de aterramento, a Microsoft adicionou um recurso ao Azure AI Studio que, segundo ela, pode ajudar os desenvolvedores a reduzir o risco de seus modelos de IA “alucinarem”. A alucinação de modelo é uma tendência dos modelos de IA de gerar resultados que parecem plausíveis, mas são completamente inventados e não baseados – ou fundamentados – nos dados de treinamento. As alucinações do LLM podem ser extremamente problemáticas se uma organização considerar o resultado como factual e agir de acordo com ele de alguma forma. Em um ambiente de desenvolvimento de software, por exemplo, as alucinações do LLM podem resultar na introdução potencial de código vulnerável pelos desenvolvedores em seus aplicativos.

Novo do Azure AI Studio detecção de aterramento a capacidade consiste basicamente em ajudar a detectar - de forma mais confiável e em maior escala - resultados de IA generativos potencialmente não fundamentados. O objetivo é dar aos desenvolvedores uma maneira de testar seus modelos de IA em relação ao que a Microsoft chama de métricas de fundamentação, antes de implantar o modelo no produto. O recurso também destaca declarações potencialmente infundadas nas saídas do LLM, para que os usuários saibam que devem verificar a saída antes de usá-la. A detecção de aterramento ainda não está disponível, mas deverá estar disponível em um futuro próximo, segundo a Microsoft.

O novo estrutura de mensagens do sistema oferece uma maneira para os desenvolvedores definirem claramente as capacidades de seu modelo, seu perfil e limitações em seu ambiente específico. Os desenvolvedores podem usar o recurso para definir o formato da saída e fornecer exemplos do comportamento pretendido, tornando mais fácil para os usuários detectar desvios do comportamento pretendido. É outro novo recurso que ainda não está disponível, mas deve estar em breve.

Recém-anunciado o Azure AI Studio avaliações de segurança capacidade e sua monitoramento de risco e segurança recurso estão atualmente disponíveis no status de visualização. As organizações podem usar o primeiro para avaliar a vulnerabilidade de seu modelo LLM a ataques de jailbreak e à geração de conteúdo inesperado. A capacidade de monitoramento de risco e segurança permite que os desenvolvedores detectem entradas de modelo que são problemáticas e que podem desencadear conteúdo alucinado ou inesperado, para que possam implementar mitigações contra ele.

“A IA generativa pode ser um multiplicador de forças para todos os departamentos, empresas e indústrias”, disse Bird, da Microsoft. “Ao mesmo tempo, os modelos básicos introduzem novos desafios para a segurança e proteção que exigem novas mitigações e aprendizagem contínua.”

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai