Capacite seus usuários empresariais a extrair insights de documentos da empresa usando Amazon SageMaker Canvas e Generative AI | Amazon Web Services

As empresas procuram aproveitar o potencial do Machine Learning (ML) para resolver problemas complexos e melhorar os resultados. Até recentemente, a construção e implantação de modelos de ML exigiam níveis profundos de habilidades técnicas e de codificação, incluindo o ajuste de modelos de ML e a manutenção de pipelines operacionais. Desde a sua introdução em 2021, Tela do Amazon SageMaker permitiu que analistas de negócios construíssem, implantassem e usassem uma variedade de modelos de ML – incluindo tabular, visão computacional e processamento de linguagem natural – sem escrever uma linha de código. Isso acelerou a capacidade das empresas de aplicar ML em casos de uso como previsão de séries temporais, previsão de rotatividade de clientes, análise de sentimentos, detecção de defeitos industriais e muitos outros.

Conforme anunciado em 5 de outubro de 2023, o SageMaker Canvas expandiu seu suporte de modelos para modelos básicos (FMs) – grandes modelos de linguagem usados ​​para gerar e resumir conteúdo. Com o Lançamento em 12 de outubro de 2023, o SageMaker Canvas permite que os usuários façam perguntas e obtenham respostas baseadas em seus dados corporativos. Isso garante que os resultados sejam específicos do contexto, abrindo casos de uso adicionais onde o ML sem código pode ser aplicado para resolver problemas de negócios. Por exemplo, as equipes de negócios agora podem formular respostas consistentes com o vocabulário e os princípios específicos de uma organização e podem consultar mais rapidamente documentos extensos para obter respostas específicas e fundamentadas no conteúdo desses documentos. Todo esse conteúdo é realizado de forma privada e segura, garantindo que todos os dados sensíveis sejam acessados ​​com governança e salvaguardas adequadas.

Para começar, um administrador de nuvem configura e preenche Amazona Kendra índices com dados corporativos como fontes de dados para o SageMaker Canvas. Os usuários do Canvas selecionam o índice onde estão seus documentos e podem idealizar, pesquisar e explorar sabendo que o resultado sempre será respaldado por suas fontes de verdade. O SageMaker Canvas usa FMs de última geração de Rocha Amazônica e JumpStart do Amazon SageMaker. As conversas podem ser iniciadas com vários FMs lado a lado, comparando os resultados e tornando a IA generativa verdadeiramente acessível a todos.

Nesta postagem, revisaremos o recurso lançado recentemente, discutiremos a arquitetura e apresentaremos um guia passo a passo para permitir que o SageMaker Canvas consulte documentos de sua base de conhecimento, conforme mostrado na captura de tela a seguir.

Visão geral da solução

Os modelos básicos podem produzir alucinações – respostas genéricas, vagas, não relacionadas ou factualmente incorretas. Geração Aumentada de Recuperação (RAG) é uma abordagem frequentemente usada para reduzir alucinações. As arquiteturas RAG são usadas para recuperar dados de fora de um FM, que são então usados ​​para realizar aprendizado no contexto para responder à consulta do usuário. Isto garante que o FM possa utilizar dados de uma base de conhecimento confiável e utilizar esse conhecimento para responder às perguntas dos usuários, reduzindo o risco de alucinação.

Com o RAG, os dados externos ao FM e usados ​​para aumentar os prompts do usuário podem vir de diversas fontes de dados diferentes, como repositórios de documentos, bancos de dados ou APIs. A primeira etapa é converter seus documentos e quaisquer consultas do usuário em um formato compatível para realizar uma pesquisa semântica de relevância. Para tornar os formatos compatíveis, uma coleção de documentos, ou biblioteca de conhecimento, e consultas enviadas por usuários são convertidas em representações numéricas usando modelos de incorporação.

Com esta versão, a funcionalidade RAG é fornecida de maneira contínua e sem código. As empresas podem enriquecer a experiência de chat no Canvas com o Amazon Kendra como sistema de gerenciamento de conhecimento subjacente. O diagrama a seguir ilustra a arquitetura da solução.

Conectar o SageMaker Canvas ao Amazon Kendra requer uma configuração única. Descrevemos o processo de configuração detalhadamente em Configurando o Canvas para consultar documentos. Se você ainda não configurou seu domínio SageMaker, consulte Integrado ao domínio do Amazon SageMaker.

Como parte da configuração do domínio, um administrador de nuvem pode escolher um ou mais índices Kendra que o analista de negócios pode consultar ao interagir com o FM por meio do SageMaker Canvas.

Depois que os índices Kendra são hidratados e configurados, os analistas de negócios os usam com o SageMaker Canvas iniciando um novo bate-papo e selecionando o botão “Consultar Documentos”. O SageMaker Canvas gerenciará então a comunicação subjacente entre o Amazon Kendra e o FM escolhido para realizar as seguintes operações:

1. Consulte os índices Kendra com a pergunta vinda do usuário.
2. Recupere os trechos (e as fontes) dos índices Kendra.
3. Projete o prompt com os snippets da consulta original para que o modelo base possa gerar uma resposta a partir dos documentos recuperados.
4. Forneça a resposta gerada ao usuário, juntamente com referências às páginas/documentos que foram utilizados para formular a resposta.

Configurando o Canvas para consultar documentos

Nesta seção, orientaremos você nas etapas de configuração do Canvas para consultar documentos veiculados por meio de índices Kendra. Você deve ter os seguintes pré-requisitos:

• Configuração do domínio SageMaker – Integrado ao domínio do Amazon SageMaker
• Crie uma Índice Kendra (ou mais de um)
• Configure o conector Kendra Amazon S3 – siga o Conector Amazon S3 – e fazer upload de arquivos PDF e outros documentos para o bucket do Amazon S3 associado ao índice Kendra
• Configure o IAM para que o Canvas tenha as permissões apropriadas, incluindo aquelas necessárias para chamar endpoints Amazon Bedrock e/ou SageMaker – siga as instruções Configurar bate-papo no Canvas documentação

Agora você pode atualizar o Domínio para que ele possa acessar os índices desejados. No console do SageMaker, para o domínio fornecido, selecione Editar na guia Configurações de domínio. Ative a opção “Habilitar documentos de consulta com Amazon Kendra”, que pode ser encontrada na etapa Configurações do Canvas. Uma vez ativado, escolha um ou mais índices Kendra que deseja usar com o Canvas.

Isso é tudo o que é necessário para configurar o recurso de consulta de documentos do Canvas. Os usuários agora podem entrar em um bate-papo no Canvas e começar a usar as bases de conhecimento que foram anexadas ao domínio por meio dos índices Kendra. Os mantenedores da base de conhecimento podem continuar a atualizar a fonte da verdade e com a capacidade de sincronização do Kendra, os usuários do chat poderão usar automaticamente as informações atualizadas de maneira contínua.

Usando o recurso Consultar Documentos para bate-papo

Como usuário do SageMaker Canvas, o recurso Consultar documentos pode ser acessado em um bate-papo. Para iniciar a sessão de bate-papo, clique ou pesquise o botão “Gerar, extrair e resumir conteúdo” na guia Modelos prontos para uso no SageMaker Canvas.

Uma vez lá, você pode ativar e desativar Consultar Documentos com o botão de alternância na parte superior da tela. Confira o prompt de informações para saber mais sobre o recurso.

Quando Consultar Documentos está habilitado, você pode escolher entre uma lista de índices Kendra habilitados pelo administrador da nuvem.

Você pode selecionar um índice ao iniciar um novo chat. Você pode então fazer uma pergunta na experiência do usuário com o conhecimento sendo obtido automaticamente do índice selecionado. Observe que após o início de uma conversa em um índice específico, não é possível alternar para outro índice.

Para as perguntas feitas, o chat mostrará a resposta gerada pelo FM junto com os documentos fontes que contribuíram para a geração da resposta. Ao clicar em qualquer um dos documentos de origem, o Canvas abre uma prévia do documento, destacando o trecho utilizado pelo FM.

Conclusão

A IA conversacional tem imenso potencial para transformar a experiência do cliente e do funcionário, fornecendo um assistente semelhante ao humano com interações naturais e intuitivas, como:

• Realizar pesquisas sobre um tópico ou pesquisar e navegar na base de conhecimento da organização
• Resumindo volumes de conteúdo para coletar insights rapidamente
• Pesquisando entidades, sentimentos, PII e outros dados úteis e aumentando o valor comercial do conteúdo não estruturado
• Geração de rascunhos para documentos e correspondência comercial
• Criação de artigos de conhecimento a partir de fontes internas distintas (incidentes, registros de bate-papo, wikis)

A integração inovadora de interfaces de chat, recuperação de conhecimento e FMs permite que as empresas forneçam respostas precisas e relevantes às perguntas dos usuários, usando seu conhecimento de domínio e fontes de verdade.

Ao conectar o SageMaker Canvas às bases de conhecimento no Amazon Kendra, as organizações podem manter seus dados proprietários em seu próprio ambiente e, ao mesmo tempo, se beneficiar dos recursos de linguagem natural de última geração dos FMs. Com o lançamento do recurso Query Documents do SageMaker Canvas, estamos facilitando para qualquer empresa o uso de LLMs e seu conhecimento empresarial como fonte de verdade para potencializar uma experiência de bate-papo segura. Toda essa funcionalidade está disponível em formato sem código, permitindo que as empresas evitem o manuseio de tarefas repetitivas e não especializadas.

Para saber mais sobre o SageMaker Canvas e como ele ajuda a facilitar o início do aprendizado de máquina para todos, confira o Anúncio do SageMaker Canvas. Saiba mais sobre como o SageMaker Canvas ajuda a promover a colaboração entre cientistas de dados e analistas de negócios lendo o Postagem de criação, compartilhamento e implantação. Finalmente, para aprender como criar seu próprio fluxo de trabalho de geração aumentada de recuperação, consulte RAG do SageMaker JumpStart.

Referências

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., Kiela, D. (2020). Geração aumentada de recuperação para tarefas de PNL com uso intensivo de conhecimento. Avanços nos sistemas de processamento de informações neurais, 33, 9459-9474.

---

Sobre os autores

Davide Gallitelli é arquiteto de soluções especialista sênior em IA/ML. Ele está baseado em Bruxelas e trabalha em estreita colaboração com clientes em todo o mundo que desejam adotar tecnologias de aprendizado de máquina de baixo código/sem código e IA generativa. Ele é desenvolvedor desde muito jovem, começando a programar aos 7 anos. Começou a aprender IA/ML na universidade e se apaixonou por isso desde então.

Bilal Alam é arquiteto de soluções empresariais na AWS com foco no setor de serviços financeiros. Na maioria dos dias, Bilal ajuda os clientes a construir, melhorar e proteger seu ambiente AWS para implantar suas cargas de trabalho mais críticas. Ele tem vasta experiência em telecomunicações, redes e desenvolvimento de software. Mais recentemente, ele tem estudado o uso de IA/ML para resolver problemas de negócios.

Mistério Pashmeen é gerente de produto sênior da AWS. Fora do trabalho, Pashmeen gosta de caminhadas aventureiras, fotografia e passar o tempo com sua família.

Dan Sinnreich é gerente de produto sênior na AWS, ajudando a democratizar o aprendizado de máquina com baixo/sem código. Antes da AWS, Dan construiu e comercializou plataformas SaaS empresariais e modelos de séries temporais usados ​​por investidores institucionais para gerenciar riscos e construir portfólios ideais. Fora do trabalho, ele pode ser encontrado jogando hóquei, mergulhando e lendo ficção científica.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/empower-your-business-users-to-extract-insights-from-company-documents-using-amazon-sagemaker-canvas-generative-ai/