Como a Searchmetrics usa o Amazon SageMaker para encontrar automaticamente palavras-chave relevantes e tornar seus analistas humanos 20% mais rápidos

Republicado por Platão

seguidores: 0

Searchmetrics é um fornecedor global de dados de pesquisa, software e soluções de consultoria, ajudando os clientes a transformar dados de pesquisa em insights de negócios exclusivos. Até o momento, a Searchmetrics ajudou mais de 1,000 empresas, como McKinsey & Company, Lowe's e AXA, a encontrar uma vantagem no cenário de pesquisa hipercompetitivo.

Em 2021, a Searchmetrics recorreu à AWS para ajudar no uso de inteligência artificial (IA) para melhorar ainda mais seus recursos de insights de pesquisa.

Neste post, compartilhamos como a Searchmetrics construiu uma solução de IA que aumentou a eficiência de sua força de trabalho humana em 20% ao encontrar automaticamente palavras-chave de pesquisa relevantes para qualquer tópico, usando Amazon Sage Maker e sua integração nativa com Hugging Face.

Como a Searchmetrics usa o Amazon SageMaker para encontrar automaticamente palavras-chave relevantes e tornar seus analistas humanos 20% mais rápidos no PlatoBlockchain Data Intelligence. Pesquisa vertical. Ai.

“O Amazon SageMaker tornou muito fácil avaliar e integrar os modelos de PNL de última geração do Hugging Face em nossos sistemas.
A solução que construímos nos torna mais eficientes e melhora muito a experiência do usuário.”– Ioannis Foukarakis, chefe de dados, Searchmetrics

Usando IA para identificar a relevância de uma lista de palavras-chave

Uma parte importante da oferta de insights da Searchmetrics é sua capacidade de identificar as palavras-chave de pesquisa mais relevantes para um determinado tópico ou intenção de pesquisa.

Para fazer isso, a Searchmetrics tem uma equipe de analistas que avaliam a relevância potencial de determinadas palavras-chave com base em uma palavra-chave específica. Os analistas usam uma ferramenta interna para revisar uma palavra-chave dentro de um determinado tópico e uma lista gerada de palavras-chave potencialmente relacionadas e, em seguida, devem selecionar uma ou mais palavras-chave relacionadas que sejam relevantes para esse tópico.

Esse processo manual de filtragem e seleção era demorado e reduzia a capacidade da Searchmetrics de fornecer insights para seus clientes.

Para melhorar esse processo, a Searchmetrics procurou construir uma solução de IA que pudesse usar o processamento de linguagem natural (NLP) para entender a intenção de um determinado tópico de pesquisa e classificar automaticamente uma lista não vista de palavras-chave em potencial por relevância.

Usando o SageMaker e o Hugging Face para criar rapidamente recursos avançados de PNL

Para resolver isso, a equipe de engenharia da Searchmetrics recorreu ao SageMaker, uma plataforma de aprendizado de máquina (ML) de ponta a ponta que ajuda desenvolvedores e cientistas de dados a criar, treinar e implantar modelos de ML de maneira rápida e fácil.

O SageMaker acelera a implantação de cargas de trabalho de ML simplificando o processo de criação de ML. Ele fornece um amplo conjunto de recursos de ML em uma infraestrutura totalmente gerenciada. Isso remove o trabalho pesado indiferenciado que muitas vezes dificulta o desenvolvimento de ML.

A Searchmetrics escolheu o SageMaker por causa de toda a gama de recursos fornecidos em todas as etapas do processo de desenvolvimento de ML:

SageMaker laptops permitiu que a equipe da Searchmetrics criasse rapidamente ambientes de desenvolvimento de ML totalmente gerenciados, realizasse o pré-processamento de dados e experimentasse diferentes abordagens
A transformação em lote os recursos do SageMaker permitiram que a Searchmetrics processasse eficientemente suas cargas úteis de inferência em massa, bem como integrasse facilmente em seu serviço da Web existente em produção

A Searchmetrics também estava particularmente interessada na integração nativa do SageMaker com Abraçando o rosto, uma empolgante startup de PNL que fornece acesso fácil a mais de 7,000 modelos de linguagem pré-treinados por meio de sua popular biblioteca Transformers.

O SageMaker fornece uma integração direta com o Hugging Face por meio de um estimador dedicado do Hugging Face no SDK do SageMaker. Isso facilita a execução de modelos Hugging Face na infraestrutura totalmente gerenciada do SageMaker.

Com essa integração, a Searchmetrics pôde testar e experimentar uma variedade de modelos e abordagens diferentes para encontrar a abordagem de melhor desempenho para seu caso de uso.

A solução final usa um pipeline de classificação zero-shot para identificar as palavras-chave mais relevantes. Diferentes modelos pré-treinados e estratégias de consulta foram avaliados, com facebook/bart-grande-mnli apresentando os resultados mais promissores.

Usando a AWS para melhorar a eficiência operacional e encontrar novas oportunidades de inovação

Com o SageMaker e sua integração nativa com o Hugging Face, a Searchmetrics foi capaz de construir, treinar e implantar uma solução de PNL que pudesse entender um determinado tópico e classificar com precisão uma lista não vista de palavras-chave com base em sua relevância. O conjunto de ferramentas oferecido pelo SageMaker tornou mais fácil experimentar e implantar.

Quando integrado à ferramenta interna existente da Searchmetrics, esse recurso de IA proporcionou uma redução média de 20% no tempo necessário para que os analistas humanos concluíssem seu trabalho. Isso resultou em maior rendimento, melhor experiência do usuário e integração mais rápida de novos usuários.

Esse sucesso inicial não apenas melhorou o desempenho operacional dos analistas de pesquisa da Searchmetrics, mas também ajudou a Searchmetrics a traçar um caminho mais claro para implantar soluções de automação mais abrangentes usando IA em seus negócios.

Essas novas e empolgantes oportunidades de inovação ajudam a Searchmetrics a continuar aprimorando seus recursos de insights e também a garantir que os clientes continuem à frente no cenário de pesquisa hipercompetitivo.

Além disso, Hugging Face e AWS anunciaram uma parceria no início de 2022 que torna ainda mais fácil treinar modelos de Hugging Face no SageMaker. Esta funcionalidade está disponível através do desenvolvimento do Hugging Face Contêineres de aprendizado profundo da AWS (DLC). Esses contêineres incluem Hugging Face Transformers, Tokenizers e a biblioteca Datasets, que nos permite usar esses recursos para trabalhos de treinamento e inferência.

Para obter uma lista das imagens DLC disponíveis, consulte disponível Imagens de contêineres de aprendizado profundo, que são mantidos e atualizados regularmente com patches de segurança. Você pode encontrar muitos exemplos de como treinar modelos Hugging Face com esses DLCs e o Abraçando Face SDK Python na sequência GitHub repo.

Saiba mais sobre como você pode acelerar sua capacidade de inovar com IA/ML visitando Conceitos básicos do Amazon SageMaker, obtendo conteúdo de aprendizado prático revisando o Recursos para desenvolvedores do Amazon SageMaker, ou visitando Abraçando o rosto no Amazon SageMaker.

Sobre o autor

Daniel Burke é a líder europeia de IA e ML no grupo de Private Equity da AWS. Daniel trabalha diretamente com fundos de Private Equity e suas empresas de portfólio, ajudando-os a acelerar a adoção de IA e ML para melhorar a inovação e aumentar o valor da empresa.