Os mecanismos de pesquisa nem sempre ajudam na precisão do chatbot

Os mecanismos de pesquisa nem sempre ajudam na precisão do chatbot

Carimbo de data / hora: 7 de junho de 2023, 12h33
Os mecanismos de pesquisa nem sempre ajudam na precisão do chatbot PlatoBlockchain Data Intelligence. Pesquisa vertical. Ai.

O acesso aos motores de busca não tende a melhorar a capacidade de um chatbot de IA de gerar respostas precisas e atualizadas às consultas, o que significa que os desenvolvedores terão que encontrar novas técnicas para tornar a interação mais útil, de acordo com a pesquisa.

Grandes modelos de linguagem (LLMs) como GPT-3.5 – a base para ChatGPT – são treinados em texto extraído da Internet até setembro de 2021. Empresas como Google e Microsoft tentam aumentar LLMs com motores de busca, dando-lhes acesso ao conhecimento na web atual Páginas.

Como demonstrado pelos seus respectivos Bardo e Bing chatbots, Google e Microsoft ainda lutam para produzir respostas precisas às consultas de pesquisa – mesmo que a resposta correta possa estar em algum lugar na Internet.

“Poderíamos pensar que conectar o mecanismo de pesquisa e o ChatGPT é uma solução perfeita, mas a realidade é mais desafiadora devido à precisão limitada dos resultados da pesquisa”, disse Hongyin Luo, associado de pós-doutorado no Laboratório de Ciência da Computação e Inteligência Artificial do MIT. O registro.

Luo explica que os motores de busca são sistemas de recuperação baseados em palavras-chave e nem sempre fornecem respostas diretas à maioria das perguntas. Além disso, diferentes páginas da web podem conter informações não relacionadas, contraditórias ou falsas. Bing reivindicou incorretamente Adolf Hitler era membro da banda Radiohead em um resultado de pesquisa, por exemplo.

internautas especulado se o erro pode ter sido causado por um página no Wikidata que mencionou Radiohead e Adolf Hitler.

Para que o Bard e o Bing sejam úteis, os desenvolvedores precisarão descobrir como fazer com que os LLMs extraiam as informações mais úteis de um mar de texto que é barulhento, confuso e inconsistente. Luo e seus colegas do MIT e da Universidade Chinesa de Hong Kong acreditam que os modelos precisam ser ainda mais ajustados para que possam seguir melhor as instruções sobre como gerar respostas para pesquisas na web.

A equipe ajustou o Meta chamadas, um LLM de sete bilhões de parâmetros, ajustando-o em um banco de dados contendo 52,000 pares de instruções baseadas em texto e respostas correspondentes geradas pelo GPT-4. Os pesquisadores também construíram um conjunto de dados separado contendo as cinco principais páginas da web associadas a cada instrução e treinaram o modelo para gerar a resposta correta, classificando as fontes de acordo com o quão relevantes e alinhadas elas estavam com a resposta correta.

Luo disse que o modelo ajustado – apelidado VELA-7B, que significa aprendizagem por instrução aumentada por pesquisa – é melhor para ignorar resultados de pesquisa que distraem ou não são confiáveis ​​e gera respostas de maior qualidade. Os detalhes foram publicado [PDF] em um artigo divulgado no arXiv, e o modelo código está no GitHub. Você também pode brincar com um demonstração do sistema hospedado no Hugging Face.

“Nosso modelo aprende a encontrar informações úteis em resultados de pesquisa barulhentos e a gerar respostas tão precisas quanto possível. Como resultado, nosso modelo pode resumir melhor informações valiosas e gerar melhores respostas para diversas consultas de pesquisa, mesmo quando os mecanismos de pesquisa não conseguem lidar com elas muito bem”, disse Luo.

“Nosso treinamento inclui explicitamente uma etapa que esclarece se cada resultado da pesquisa é útil ou não, e o modelo de linguagem segue as informações úteis selecionadas. Este processo filtra os resultados de pesquisa mais não confiáveis ​​e não relacionados e melhora o desempenho médio no seguimento de instruções.”

Os experimentos iniciais mostraram que o SAIL-7B superou o GPT-3.5 e outros modelos contendo mais parâmetros em diversas tarefas. Os experimentos avaliaram suas habilidades para responder perguntas abertas e de bom senso, bem como verificar fatos e detectar discurso de ódio. Os modelos foram alimentados com páginas da Wikipedia e resultados de pesquisa do DuckDuckGo para ajudá-los a escolher as respostas certas em uma lista de respostas candidatas. O GPT-4, entretanto, ainda era melhor que o SAIL-7B.

“O desafio é que modelos maiores têm conhecimento, memorização e habilidades de raciocínio muito mais fortes, então nosso modelo ainda não é tão bom quanto o GPT-4. No entanto, o SAIL-7B é uma prova de conceito com um modelo ‘pequeno’, e nosso próximo passo é treinar um modelo maior com a estratégia que propomos”, disse-nos Luo.

No entanto, os modelos ajustados com a atual técnica de aprendizagem de instrução aumentada por pesquisa não são perfeitos. Os pesquisadores notaram que não conseguem explicar porque um resultado de pesquisa é confiável ou não. Eles esperam encontrar outra estratégia para aumentar a precisão e a confiabilidade no futuro. ®

Carimbo de hora:

Mais de O registro