Esta postagem foi coescrita com Anthony Medeiros, Gerente de Engenharia e Arquitetura de Soluções para Inteligência Artificial da América do Norte, e Blake Santschi, Gerente de Business Intelligence, da Schneider Electric. Especialistas adicionais da Schneider Electric incluem Jesse Miller, Somik Chowdhury, Shaswat Babhulgaonkar, David Watkins, Mark Carlson e Barbara Sleczkowski.
Os sistemas Enterprise Resource Planning (ERP) são usados pelas empresas para gerenciar diversas funções de negócios, como contabilidade, vendas ou gerenciamento de pedidos em um único sistema. Em particular, eles são usados rotineiramente para armazenar informações relacionadas às contas dos clientes. Diferentes organizações dentro de uma empresa podem usar diferentes sistemas ERP e fundi-los é um desafio técnico complexo em escala que requer conhecimento específico do domínio.
A Schneider Electric é líder na transformação digital de gestão de energia e automação industrial. Para melhor servir as necessidades dos seus clientes, a Schneider Electric precisa de acompanhar as ligações entre contas de clientes relacionadas nos seus sistemas ERP. À medida que sua base de clientes cresce, novos clientes são adicionados diariamente e suas equipes de conta precisam classificar manualmente esses novos clientes e vinculá-los à entidade controladora adequada.
A decisão de vinculação baseia-se nas informações mais recentes disponíveis publicamente na Internet ou na mídia e pode ser afetada por aquisições recentes, notícias de mercado ou reestruturações divisionais. Um exemplo de vinculação de contas seria identificar o relacionamento entre a Amazon e sua subsidiária, Whole Foods Market [fonte].
A Schneider Electric está a implementar grandes modelos de linguagem devido às suas capacidades de resposta a questões em vários domínios específicos de conhecimento, a data em que o modelo foi treinado está a limitar o seu conhecimento. Eles enfrentaram esse desafio usando um modelo de linguagem grande de código aberto Retriever-Augmented Generation disponível em JumpStart do Amazon SageMaker para processar grandes quantidades de conhecimento externo extraído e exibir relacionamentos corporativos ou públicos entre registros ERP.
No início de 2023, quando a Schneider Electric decidiu automatizar parte do seu processo de vinculação de contas usando inteligência artificial (IA), a empresa fez parceria com o AWS Machine Learning Solutions Lab (MLSL). Com a experiência da MLSL em consultoria e execução de ML, a Schneider Electric conseguiu desenvolver uma arquitetura de IA que reduziria o esforço manual nos seus fluxos de trabalho de ligação e proporcionaria acesso mais rápido aos dados às suas equipas de análise a jusante.
IA generativa
A IA generativa e os grandes modelos de linguagem (LLMs) estão transformando a forma como as organizações empresariais são capazes de resolver desafios tradicionalmente complexos relacionados ao processamento e compreensão da linguagem natural. Alguns dos benefícios oferecidos pelos LLMs incluem a capacidade de compreender grandes porções de texto e responder a perguntas relacionadas, produzindo respostas semelhantes às humanas. A AWS facilita aos clientes a experimentação e a produção de cargas de trabalho LLM, disponibilizando muitas opções por meio do Amazon SageMaker JumpStart, Rocha Amazônica e Titã Amazona.
Aquisição de Conhecimento Externo
Os LLMs são conhecidos pela sua capacidade de comprimir o conhecimento humano e demonstraram capacidades notáveis em responder a perguntas em vários domínios específicos do conhecimento, mas o seu conhecimento é limitado pela data em que o modelo foi treinado. Abordamos esse corte de informações acoplando o LLM a uma API de pesquisa do Google para fornecer um poderoso LLM de recuperação aumentada (RAG) que aborda os desafios da Schneider Electric. O RAG é capaz de processar grandes quantidades de conhecimento externo extraído da pesquisa do Google e exibir relações corporativas ou públicas entre os registros do ERP.
Veja o seguinte exemplo:
Questão: Quem é a controladora da One Medical?
Consulta do Google: “Uma empresa-mãe médica” → informações → LLM
Responda: One Medical, uma subsidiária da Amazon…
O exemplo anterior (retirado da base de dados de clientes da Schneider Electric) diz respeito a uma aquisição que ocorreu em fevereiro de 2023 e, portanto, não seria abrangida apenas pelo LLM devido a cortes de conhecimento. Aumentar o LLM com a pesquisa do Google garante as informações mais atualizadas.
Modelo Flan-T5
Nesse projeto utilizamos o modelo Flan-T5-XXL da Flan-T5 família de modelos.
Os modelos Flan-T5 são ajustados por instrução e, portanto, são capazes de executar várias tarefas de PNL de disparo zero. Em nossa tarefa posterior, não houve necessidade de acomodar uma grande quantidade de conhecimento mundial, mas sim de um bom desempenho na resposta a perguntas, dado um contexto de textos fornecidos por meio de resultados de pesquisa e, portanto, o modelo T11 de parâmetros 5B teve um bom desempenho.
O JumpStart fornece implantação conveniente desta família de modelos por meio de Estúdio Amazon SageMaker e o SDK do SageMaker. Isso inclui Flan-T5 Pequeno, Flan-T5 Base, Flan-T5 Grande, Flan-T5 XL e Flan-T5 XXL. Além disso, JumpStart oferece algumas versões do Flan-T5 XXL em diferentes níveis de quantização. Implantamos Flan-T5-XXL em um endpoint para inferência usando Início rápido do Amazon SageMaker Studio.
Recuperação LLM Aumentada com LangChain
LangChain é uma estrutura popular e de rápido crescimento que permite o desenvolvimento de aplicativos desenvolvidos por LLMs. É baseado no conceito de correntes, que são combinações de diferentes componentes projetados para melhorar a funcionalidade dos LLMs para uma determinada tarefa. Por exemplo, permite-nos personalizar solicita e integrar LLMs com diferentes ferramentas, como mecanismos de pesquisa externos ou fontes de dados. Em nosso caso de uso, usamos o Google Serpente componente para pesquisar na web e implantou o modelo Flan-T5-XXL disponível em Início rápido do Amazon SageMaker Studio. LangChain realiza a orquestração geral e permite que as páginas de resultados da pesquisa sejam alimentadas na instância Flan-T5-XXL.
A Geração Aumentada de Recuperação (RAG) consiste em duas etapas:
- Recuperação de pedaços de texto relevantes de fontes externas
- aumentar dos pedaços com contexto no prompt dado ao LLM.
Para o caso de uso da Schneider Electric, o RAG procede da seguinte forma:
- O nome da empresa fornecido é combinado com uma pergunta como “Quem é a empresa controladora de X”, onde X é a empresa fornecida) e passado para uma consulta no Google usando o Serper AI
- As informações extraídas são combinadas com a pergunta inicial e original e repassadas ao LLM para resposta.
O diagrama a seguir ilustra esse processo.
Use o seguinte código para criar um endpoint:
Ferramenta de pesquisa instantânea:
No código a seguir, encadeamos os componentes de recuperação e aumento:
A Engenharia Prompt
A combinação do contexto e da pergunta é chamada de prompt. Percebemos que o prompt geral que usamos (variações em torno de perguntar pela empresa controladora) teve um bom desempenho para a maioria dos setores públicos (domínios), mas não generalizou bem para educação ou saúde, uma vez que a noção de empresa controladora não é significativa nesses casos. Para educação usamos “X” enquanto para saúde usamos “Y”.
Para ativar essa seleção de prompt específico de domínio, também tivemos que identificar o domínio ao qual uma determinada conta pertence. Para isso, também utilizamos um RAG onde uma questão de múltipla escolha “Qual é o domínio de {conta}?” como primeira etapa e com base na resposta que perguntamos ao pai da conta usando o prompt relevante como segunda etapa. Veja o seguinte código:
As instruções específicas do setor aumentaram o desempenho geral de 55% para 71% de precisão. No geral, o esforço e o tempo investidos para desenvolver solicita parecem melhorar significativamente a qualidade da resposta do LLM.
RAG com dados tabulares (SEC-10k)
Os registros SEC 10K são outra fonte confiável de informações para subsidiárias e subdivisões arquivadas anualmente por empresas de capital aberto. Esses registros estão disponíveis diretamente na SEC EDGAR Ou através de CorpWatch API.
Assumimos que as informações são fornecidas em formato tabular. Abaixo está um pseudo csv conjunto de dados que imita o formato original do conjunto de dados SEC-10K. É possível mesclar vários csv fontes de dados em um dataframe pandas combinado:
# A pseudo dataset similar by schema to the CorpWatch API dataset
df.head()
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/schneider-electric-leverages-retrieval-augmented-llms-on-sagemaker-to-ensure-real-time-updates-in-their-erp-systems/
- :tem
- :é
- :não
- :onde
- $UP
- 1
- 10
- 100
- 10K
- 11
- 15 anos
- 15%
- 160
- 17
- 2023
- 7
- 710
- a
- habilidade
- Capaz
- Sobre
- acima
- abstração
- acelerar
- Acesso
- acomodar
- Conta
- Contabilidade
- Contas
- precisão
- preciso
- aquisição
- aquisições
- em
- Açao Social
- adicionado
- Adição
- Adicional
- endereço
- endereçado
- endereços
- vantagens
- afetado
- Agente
- AI
- AI / ML
- Permitindo
- permite
- sozinho
- tb
- Amazon
- Aprendizado de máquina da Amazon
- Amazon Sage Maker
- JumpStart do Amazon SageMaker
- Amazon Web Services
- América
- entre
- quantidade
- quantidades
- an
- analítica
- e
- Anualmente
- Outro
- responder
- Anthony
- api
- aparecer
- aplicações
- aplicado
- Aplicando
- arquitetura
- SOMOS
- por aí
- artificial
- inteligência artificial
- Inteligência artificial (AI)
- AS
- perguntar
- pergunta
- assumir
- At
- aumentar
- aumentado
- automatizar
- Automação
- disponível
- disponível diretamente
- AWS
- Aprendizado de máquina da AWS
- Bancário
- base
- baseado
- BE
- sido
- antes
- pertence
- abaixo
- Benefícios
- MELHOR
- entre
- Blocos
- Impulsionado
- Traz
- construir
- Prédio
- negócio
- funções empresariais
- inteligência de negócios
- mas a
- by
- chamado
- CAN
- capacidades
- capaz
- Carlson
- apanhados
- cadeia
- desafiar
- desafios
- escolha
- Cidades
- classificar
- CNBC
- código
- Coluna
- combinação
- combinações
- combinado
- Empresas
- Empresa
- integrações
- componente
- componentes
- compreender
- conceito
- Preocupações
- consiste
- consultor
- consumidor
- contexto
- Conveniente
- Responsabilidade
- crio
- Criar valor
- cliente
- Clientes
- diariamente
- dados,
- acesso a dados
- orientado por dados
- banco de dados
- conjuntos de dados
- Data
- David
- decidido
- decisão
- entregar
- entregando
- demonstraram
- implantado
- Implantação
- desenvolvimento
- Design
- projetado
- detalhe
- detalhado
- desenvolver
- em desenvolvimento
- Desenvolvimento
- diferente
- digital
- Transformação Digital
- diretamente
- do
- documento
- domínio
- domínios
- dois
- Cedo
- fácil
- Educação
- esforço
- Elétrico
- permitir
- Ponto final
- energia
- Engenharia
- Motores
- garantir
- entrar
- empresas
- entidade
- ERP
- exemplo
- execução
- apresentar
- vasta experiência
- experimentar
- experiência
- especialistas
- estender
- externo
- Exxon Mobil
- família
- RÁPIDO
- mais rápido
- Fevereiro
- Alimentado
- poucos
- arquivada
- limalha
- final
- Encontre
- Primeiro nome
- Foco
- focado
- seguinte
- segue
- alimentos
- Escolha
- formato
- Quadro
- da
- funcionalidade
- funções
- mais distante
- Além disso
- GAS
- geração
- generativo
- IA generativa
- dado
- Global
- Pesquisa do Google
- gráficos
- Crescente
- Cresce
- garantias
- tinha
- aconteceu
- Ter
- he
- saúde
- ajuda
- sua experiência
- superior
- sua
- Como funciona o dobrador de carta de canal
- HTML
- http
- HTTPS
- humano
- i
- identificação
- identificar
- ilustra
- melhorar
- melhorar
- in
- incluir
- inclui
- incubadora
- industrial
- indústria
- INFORMAÇÕES
- do estado inicial,
- iniciativas
- entrada
- insights
- instância
- integrar
- Inteligência
- interagir
- interesses
- Internet
- para dentro
- investido
- IT
- ESTÁ
- joshua
- jpg
- Guarda
- Chave
- Saber
- Conhecimento
- conhecido
- laboratório
- língua
- grande
- camada
- líder
- principal
- aprendizagem
- níveis
- aproveita as
- arrecadação
- como
- Limitado
- limitando
- LINK
- vinculação
- Links
- LLM
- máquina
- aprendizado de máquina
- a manter
- FAZ
- Fazendo
- gerencia
- de grupos
- Gerente
- manual
- manualmente
- muitos
- marca
- mercado
- News Market
- significativo
- Mídia
- médico
- dados médicos
- ir
- fusão
- métodos
- poder
- moleiro
- ML
- modelo
- modelos
- mais
- a maioria
- múltiplo
- nome
- nomeando
- natural
- Processamento de linguagem natural
- você merece...
- Cria
- Novo
- New York
- Cidade de Nova Iorque
- notícias
- PNL
- não
- Norte
- América do Norte
- Noção
- agora
- observação
- of
- oferecido
- AZEITE E AZEITE EVO
- Petróleo e Gás
- on
- ONE
- Um médico
- aberto
- open source
- Opções
- or
- orquestração
- ordem
- organização
- organizacional
- organizações
- original
- Outros
- A Nossa
- Fora
- saída
- global
- próprio
- páginas
- pandas
- parâmetros
- empresa-mãe
- parte
- particular
- parceria
- passou
- apaixonado
- caminho
- Realizar
- atuação
- realizada
- realização
- executa
- farmacêutico
- phd
- oleoduto
- planejamento
- platão
- Inteligência de Dados Platão
- PlatãoData
- Popular
- possível
- Publique
- alimentado
- poderoso
- anteriormente
- Diretor
- problemas
- prossegue
- processo
- em processamento
- produtor
- projeto
- adequado
- fornecido
- fornece
- público
- publicamente
- qualidade
- questão
- Frequentes
- em vez
- em tempo real
- recentemente
- registros
- reduzir
- relacionado
- relacionamento
- Relacionamentos
- relevante
- confiável
- notável
- exige
- pesquisa
- investigador
- recurso
- resposta
- respostas
- resultar
- Resultados
- retorno
- uma conta de despesas robusta
- rotineiramente
- LINHA
- Execute
- sábio
- vendas
- Escala
- Schneider Electric
- Ciência
- Cientista
- Sdk
- Pesquisar
- Mecanismos de busca
- SEC
- Segundo
- setor
- Setores
- seguro
- Vejo
- doadores,
- senior
- servir
- Serviços
- vários
- ela
- de forma considerável
- semelhante
- desde
- pequeno
- solução
- Soluções
- RESOLVER
- alguns
- fonte
- Fontes
- especializada
- específico
- Spin
- girou
- estado-da-arte
- estatístico
- Passo
- Passos
- loja
- estruturas
- estudo
- subdivisões
- subsidiário
- tal
- Apoiar
- .
- sistemas
- tomado
- Tarefa
- tarefas
- Profissionais
- equipes
- Dados Técnicos:
- texto
- do que
- que
- A
- as informações
- deles
- Eles
- teórico
- Lá.
- assim sendo
- Este
- deles
- isto
- pensamento
- Através da
- Assim
- tempo
- para
- juntos
- ferramenta
- ferramentas
- topo
- pista
- negociadas
- tradicionalmente
- treinado
- Transformação
- transformando
- digno de confiança
- Twitch
- dois
- descobrir
- compreensão
- destravar
- que vai mais à frente
- Atualizações
- us
- usar
- usava
- utilização
- valor
- vário
- Grande
- versões
- Verticais
- via
- foi
- Caminho..
- maneiras
- we
- Riqueza
- web
- serviços web
- BEM
- O Quê
- O que é a
- quando
- qual
- enquanto
- QUEM
- inteiro
- precisarão
- de
- dentro
- de gestão de documentos
- fluxos de trabalho
- trabalho
- mundo
- seria
- X
- anos
- Iorque
- Vocês
- zefirnet