Proteção de dados básica para aceleração LLM empresarial com Protopia AI | Amazon Web Services

Esta postagem foi escrita em colaboração com Balaji Chandrasekaran, Jennifer Cwagenberg e Andrew Sansom e Eiman Ebrahimi da Protopia AI.

Novos e poderosos modelos de linguagem grande (LLMs) estão mudando rapidamente os negócios, melhorando a eficiência e a eficácia para uma variedade de casos de uso empresarial. A velocidade é essencial, e a adoção de tecnologias LLM pode criar ou destruir a vantagem competitiva de uma empresa. A AWS é especialmente adequada para fornecer às empresas as ferramentas necessárias para implantar LLMs em escala para permitir a tomada de decisões críticas.

Na implementação da tecnologia de IA generativa, as empresas têm preocupações reais sobre a exposição de dados e a propriedade de informações confidenciais que podem ser enviadas para LLMs. Estas preocupações com a privacidade e a proteção de dados podem retardar ou limitar o uso de LLMs nas organizações. As empresas precisam de uma maneira responsável e mais segura de enviar informações confidenciais aos modelos, sem precisar assumir as despesas gerais proibitivamente altas do DevOps local.

A postagem descreve como você pode superar os desafios de reter a propriedade dos dados e preservar a privacidade dos dados ao usar LLMs, implantando o Stained Glass Transform da Protopia AI para proteger seus dados. Protopia IA fez parceria com a AWS para fornecer o componente crítico de proteção e propriedade de dados para a adoção empresarial segura e eficiente de IA generativa. Esta postagem descreve a solução e demonstra como ela pode ser usada na AWS para casos de uso corporativo populares, como Geração Aumentada de Recuperação (RAG) e com LLMs de última geração como lhama 2.

Visão geral da transformação de vitral

As organizações procuram manter total propriedade e controle de seus dados corporativos confidenciais. Este é um pilar da IA ​​responsável e um requisito emergente de proteção de dados e privacidade acima e além da segurança básica e das garantias legais dos fornecedores de LLM.

Embora as unidades de negócios empresariais queiram utilizar LLMs para diversas tarefas, elas também estão preocupadas com o vazamento de segredos comerciais, propriedade intelectual e outras informações proprietárias através de dados enviados para esses modelos. Ao mesmo tempo, os escritórios de segurança empresarial, conformidade, gerenciamento de dados e informações estão apreensivos com a possibilidade de expor ou vazar informações de clientes em texto simples ou outros dados regulamentados fora da empresa. A AWS e a Protopia AI estão formando uma parceria para fornecer o componente crítico que atende a essa necessidade comum dos clientes corporativos.

O Stained Glass Transform (SGT) da Protopia AI resolve esses desafios convertendo dados corporativos desprotegidos em uma re-representação aleatória, conhecida como dados RmoRed, conforme mostrado na figura a seguir. Essa representação é uma incorporação estocástica dos dados originais, preservando as informações que o LLM alvo precisa para funcionar sem expor prompts ou consultas confidenciais, contexto ou dados de ajuste fino. Essa re-representação é uma transformação unidirecional que não pode ser revertida, garantindo a privacidade holística dos dados corporativos e a proteção contra o vazamento de informações confidenciais em texto simples para LLMs. A aplicabilidade da SGT não se limita aos modelos de linguagem. Rerepresentações aleatórias também podem ser geradas para dados visuais e estruturados. O nome Stained Glass Transform está enraizado na aparência visual de re-representações aleatórias de dados visuais que podem se assemelhar à visualização dos dados através de vitrais, conforme demonstrado neste Caso de uso da Marinha dos EUA.

O SGT funciona com LLMs de última geração, como o Llama 2. A figura a seguir mostra um exemplo de aplicação do SGT a um modelo Llama 2 para seguir instruções enquanto adiciona uma camada de proteção à instrução e ao contexto. O lado esquerdo da figura mostra um exemplo de documento financeiro como contexto, com a instrução solicitando ao modelo que resuma o documento. No canto inferior esquerdo, é mostrada a resposta gerada pelo Llama 2 ao operar no prompt bruto. Ao usar o SGT, os embeddings associados a este prompt são transformados no lado do cliente em embeddings estocásticos, conforme descrito com mais detalhes posteriormente neste post. O canto inferior direito mostra que o Llama 2 ainda pode gerar uma resposta correta se os dados RmoRed (embeddings pós-transformação) forem enviados em vez dos embeddings desprotegidos. O canto superior direito mostra que se os dados do RmoRed vazassem, uma reconstrução do prompt original resultaria em texto ininteligível.

Para criar um SGT para um determinado modelo como o Llama 2, o Protopia AI fornece uma biblioteca leve chamada Stained Glass SDK, que é uma extensão do PyTorch. Conforme mostrado na figura a seguir, após a criação de um SGT, ele pode ser integrado em pipelines de implantação de diversas maneiras. A transformação criada a partir do SDK pode ser implantada localmente, em uma configuração híbrida ou totalmente na nuvem. Isso é possível porque o SGT foi projetado para ser um processo leve que requer poucos recursos computacionais e, como tal, tem impacto mínimo no caminho crítico de inferência. Outra avaliação importante é a retenção da precisão do modelo usando dados re-representados. Observamos que em diferentes tipos de dados e variações de modelo, a precisão é mantida dentro dos limites de tolerância desejáveis ​​ao usar dados re-representados.

Essas opções de implantação e manutenção da precisão permitem a adoção confiável do SGT por todas as partes interessadas de uma organização empresarial. Para proteger ainda mais a saída do LLM, o Protopia AI pode codificar as saídas da consulta para uma representação cujo decodificador está disponível apenas para o proprietário dos dados corporativos.

Visão geral da solução

A seção anterior descreveu como você pode usar o Stained Glass Transform em uma variedade de arquiteturas. A figura a seguir detalha as etapas envolvidas na criação, implantação e uso do SGT para LLMs:

• Criação de SGT – A equipe que treina o modelo básico de LLM (provedores de LLMs proprietários, provedor de serviços em nuvem ou equipes corporativas de ML criando seus próprios LLMs) executa o software Stained Glass SDK da Protopia AI sem alterar suas práticas existentes para treinamento e implantação do LLM. Após a conclusão do treinamento do modelo básico, o SDK é executado como uma passagem de otimização no modelo de linguagem para calcular o SGT. Este passo de otimização é entregue por meio de uma extensão do PyTorch. O SDK envolve o modelo básico e descobre matematicamente uma transformação de vitral exclusiva para esse LLM. Mais detalhes da matemática subjacente podem ser encontrados no white paper que acompanha. Observe que, como a própria equipe que treina o LLM também está executando o SDK do Stained Glass, não há exposição ou envio de pesos de modelo necessários para que esta etapa seja concluída.
• Liberação e implantação do SGT – O SGT resultante da etapa de otimização anterior é implantado como parte do pipeline de dados que alimenta o LLM treinado. Conforme descrito na seção anterior, o SGT fica do lado do cliente corporativo.
• Uso do SGT – O SGT é executado nos prompts criados pela empresa e gera prompts protegidos, que são enviados ao LLM implementado. Isso permite que a empresa mantenha a propriedade de suas consultas e contextos confidenciais. Usando o Protopia AI Stained Glass, os dados confidenciais desprotegidos não saem do site da empresa ou da zona de confiança.

Você pode usar o SDK do Stained Glass para criar um SGT de várias maneiras. Por exemplo, você pode usar o Stained Glass SDK em ambientes de aprendizado de máquina (ML) autogerenciados com Serviço Amazon Elastic Kubernetes (Amazon EKS) para treinamento e inferência ou dentro Amazon Elastic Compute Nuvem (Amazon EC2) diretamente. Outra opção é que ele pode ser executado dentro Amazon Sage Maker para criar um SGT para um determinado modelo treinado. A transformação da entrada para implantação durante a inferência do cliente é independente da implementação de implantação escolhida.

A figura a seguir ilustra uma possível implementação em um ambiente de ML autogerenciado onde o treinamento de uma transformação de vitral é realizado no Amazon EKS.

Neste fluxo de trabalho, um contêiner é criado usando o SDK do Stained Glass e implantado no Registro do Amazon Elastic Container (Amazon ECR). Esse contêiner é então implantado no Amazon EKS para treinar um SGT que é salvo no Serviço de armazenamento simples da Amazon (Amazon S3). Se estiver usando o Amazon EC2, você poderá treinar uma transformação diretamente na sua instância como parte da configuração do ML. O SDK do Stained Glass pode ser executado em vários tipos de instâncias, incluindo famílias de instâncias Amazon P5, P4 ou G5, com base nos requisitos básicos do LLM. Depois que o LLM é implantado para ser usado para inferência, o aplicativo cliente usa o SGT criado, que é uma operação leve, para transformar prompts e contexto antes de enviá-los ao LLM. Ao fazer isso, apenas os dados transformados são expostos ao LLM e a propriedade da entrada original é mantida no lado do cliente.

A figura a seguir demonstra como você pode treinar uma transformação e executar inferência no SageMaker.

A criação do SGT segue um caminho semelhante à configuração do Amazon EKS, ingerindo os dados de treinamento do Amazon S3, treinando um SGT em um contêiner e salvando-o no Amazon S3. Você pode usar o Stained Glass SDK em sua configuração existente do SageMaker com Estúdio Amazon SageMaker, Cadernos SageMakere um Trabalho de treinamento SageMaker. O LLM é hospedado como um endpoint SageMaker acessível pelo aplicativo cliente. A inferência para o aplicativo cliente também é idêntica à configuração do Amazon EKS, exceto pelo que atende ao modelo.

Re-representações aleatórias para proteger prompts de LLM e dados de ajuste fino

Esta seção cobre uma variedade de casos de uso que demonstram como a re-representação aleatória protege os prompts do LLM. Os exemplos ilustram as principais implicações para os esforços empresariais de IA generativa: abrindo novas portas para casos de uso de IA, acelerando a velocidade de lançamento no mercado, protegendo adequadamente os dados empresariais e mantendo a propriedade dos dados confidenciais necessários para uso em prompts de LLM.

Caso de uso RAG

Um caso de uso empresarial popular para LLMs é Retrieval Augmented Generation (RAG). A figura a seguir mostra um exemplo ilustrativo onde os prompts e fontes são protegidos por vitral. O lado esquerdo da figura mostra os prompts desprotegidos e as informações de origem. Em uma implementação empresarial do RAG, as fontes podem incluir informações confidenciais, como segredos comerciais empresariais, propriedade intelectual ou informações financeiras. O lado direito mostra a melhor reconstrução possível em texto legível por humanos a partir dos prompts RmoRed criados pelo SGT.

Podemos observar que mesmo na melhor reconstrução possível, a informação fica completamente ofuscada. No entanto, a resposta do modelo com e sem a transformação é a mesma, com ponteiros para os documentos de origem originais, preservando assim a precisão da pergunta e dos documentos de origem ao executar este popular caso de uso empresarial.

Ampla aplicabilidade em LLMs e idiomas

Um dos destaques do Stained Glass SDK é que ele é altamente resiliente a avanços de modelo e adaptável a modelos de última geração, como lhama 2. A figura a seguir mostra um SGT que foi criado em um Llama 2 LLM que foi previamente ajustado para trabalhar com texto em japonês. Este exemplo ilustra ainda que os SGTs podem ser criados e aplicados para qualquer linguagem e que até mesmo as entradas para modelos ajustados podem ser transformadas. A aplicabilidade geral do SGT é impulsionada pela base robusta do SDK do Stained Glass, que é independente de modelos e dados.

Protegendo dados de ajuste fino, bem como prompts

O Stained Glass Transform não se limita apenas a proteger os dados no momento da inferência; ele também pode proteger os dados usados ​​para ajustar um modelo básico. O processo de criação da transformação para ajuste fino de conjuntos de dados é o mesmo explicado na seção de arquitetura da solução anteriormente nesta postagem. A transformação é criada para que o modelo base seja ajustado sem acessar os dados de ajuste fino. Depois que o SGT foi criado e treinado para o modelo básico, o conjunto de dados de ajuste fino é transformado em re-representações aleatórias que serão então usadas para ajustar o modelo básico. Este processo é explicado com mais detalhes no white paper que acompanha.

No exemplo a seguir, um cliente corporativo precisava ajustar um modelo existente para detecção de anomalias no log de rede. Eles usaram vitrais para transformar o conjunto de dados sensíveis de ajuste fino em incorporações aleatórias, que foram usadas para ajustar seu modelo básico. Eles descobriram que o modelo de detecção que foi ajustado nas representações transformadas teve um desempenho quase idêntico em comparação com o cenário hipotético de ajuste fino do modelo básico no conjunto de dados de ajuste fino desprotegido. A tabela a seguir mostra dois exemplos de registros de dados de texto simples do conjunto de dados de ajuste fino e uma reconstrução em texto desses mesmos registros de dados do conjunto de dados de ajuste fino.

Sob o capô da transformação de vitrais para LLMs

Quando aplicado à visão computacional, o SGT opera em recursos de pixel de entrada e, para LLMs, opera no nível de incorporação. Para destacar como funciona o Stained Glass Transform, imagine os embeddings de prompt como uma matriz, conforme ilustrado à esquerda da figura a seguir. Em cada entrada, há um valor determinístico. Este valor pode ser mapeado para os dados originais, expondo o prompt desprotegido. Stained Glass Transform converte esta matriz de valores determinísticos em uma matriz cujos elementos são uma nuvem de possibilidades.

O prompt transformado é renderizado amostrando o ruído das distribuições de probabilidade definidas pelo SGT e adicionando o ruído amostrado aos embeddings determinísticos, o que randomiza os valores originais do prompt de forma irreversível. O modelo ainda compreende o prompt re-representado aleatoriamente no nível matemático e pode realizar sua tarefa com precisão.

Conclusão

Esta postagem discutiu como o Stained Glass Transform da Protopia AI separa a propriedade e a proteção de dados brutos do processo de operações de ML, permitindo que as empresas retenham a propriedade e mantenham a privacidade de informações confidenciais em prompts de LLM e no ajuste fino de dados. Ao utilizar esta proteção de dados de última geração para uso de LLM, as empresas podem acelerar a adoção de modelos básicos e LLMs, preocupando-se menos com a exposição de informações confidenciais. Ao desbloquear com segurança o valor dos dados empresariais reais, as organizações podem viabilizar as eficiências e os resultados de negócios prometidos dos LLMs de forma mais eficiente e rápida. Para saber mais sobre esta tecnologia, você pode encontrar mais leituras no white paper que acompanha e conecte-se com Protopia AI para obter acesso e testá-lo nos dados da sua empresa.

Sobre Protopia AI

A Protopia AI é líder em tecnologias de IA/ML de proteção de dados e preservação de privacidade com sede em Austin, Texas, e é especializada em permitir que algoritmos de IA e plataformas de software operem sem a necessidade de acessar informações de texto simples. Nos últimos 2 anos, a Protopia AI demonstrou com sucesso seu principal produto Stained Glass Transform em uma variedade de casos de uso e tipos de dados de ML com a Marinha dos EUA, serviços financeiros líderes e provedores de tecnologia globais.

A Protopia AI trabalha com empresas, provedores de IA generativa e LLM e provedores de serviços em nuvem (CSPs) para permitir a manutenção da propriedade e da confidencialidade dos dados corporativos ao usar soluções de IA/ML. A Protopia AI fez parceria com a AWS para fornecer um componente crítico de proteção e propriedade de dados para a adoção empresarial de IA generativa e foi uma das 21 startups selecionadas para o evento inaugural. Acelerador de IA generativo da AWS em 2023.

---

Sobre os autores

Balaji Chandrasekaran é vice-presidente de entrada no mercado e capacitação do cliente da Protopia AI, trabalha em estreita colaboração com os clientes para aproveitar a IA em seus negócios, priorizando a proteção e privacidade de dados. Antes da Protopia AI, Balaji foi líder de produto para soluções de IA na Infor, desenvolvendo produtos centrados em valor e ao mesmo tempo atuando como um parceiro confiável para clientes empresariais em diversos setores. Fora do trabalho, ele gosta de música, fazer caminhadas e viajar com a família.

Jennifer Cwagenberg lidera a equipe de engenharia da Protopia AI e trabalha para garantir que a tecnologia Stained Glass atenda às necessidades de seus clientes para proteger seus dados. Jennifer tem experiência anterior com segurança, trabalhando na Toyota em seu Grupo de Segurança Cibernética de Produtos, gerenciando cargas de trabalho em nuvem na N-able e responsável por dados no Match.com.

André Sansom é engenheiro de soluções de IA na Protopia AI, onde ajuda empresas a usar IA enquanto preserva informações privadas e confidenciais em seus dados. Antes da Protopia AI, ele trabalhou como consultor técnico focado em viabilizar soluções de IA para clientes em vários setores, incluindo Finanças, Manufatura, Saúde e Educação. Ele também ensinou Ciência da Computação e Matemática para alunos do ensino médio, universitário e profissional.

Eiman Ebrahimi, PhD, é cofundador e CEO da Protopia AI. Ebrahimi é apaixonado por permitir que a IA enriqueça a experiência humana em diferentes setores sociais e industriais. Protopia AI é uma visão para aprimorar as lentes através das quais a IA observa os dados necessários e de qualidade de que necessita, ao mesmo tempo que cria novas capacidades para proteger informações confidenciais. Antes da Protopia AI, ele foi Cientista Pesquisador Sênior na NVIDIA por 9 anos. Seu trabalho na pesquisa da NVIDIA teve como objetivo resolver problemas de acesso a conjuntos de dados massivos em ML/IA. Ele também foi coautor de publicações revisadas por pares sobre como utilizar o poder de milhares de GPUs para viabilizar o treinamento de grandes modelos de linguagem.

Rohit Talluri é especialista em IA generativa GTM na Amazon Web Services (AWS). Ele está fazendo parceria com os principais criadores de modelos generativos de IA, clientes estratégicos, principais parceiros de IA/ML e equipes de serviço da AWS para permitir a próxima geração de inteligência artificial, aprendizado de máquina e computação acelerada na AWS. Anteriormente, ele foi arquiteto de soluções empresariais e líder de soluções globais para consultoria de fusões e aquisições da AWS.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/foundational-data-protection-for-enterprise-llm-acceleration-with-protopia-ai/