Searchmetrics가 Amazon SageMaker를 사용하여 관련 키워드를 자동으로 찾고 인적 분석가를 20% 더 빠르게 만드는 방법

검색 통계 검색 데이터, 소프트웨어 및 컨설팅 솔루션을 제공하는 글로벌 공급업체로서 고객이 검색 데이터를 고유한 비즈니스 통찰력으로 전환할 수 있도록 지원합니다. 현재까지 Searchmetrics는 McKinsey & Company, Lowe's 및 AXA와 같은 1,000개 이상의 회사가 경쟁이 치열한 검색 환경에서 이점을 찾도록 도왔습니다.

2021년에 Searchmetrics는 검색 통찰력 기능을 더욱 개선하기 위해 인공 지능(AI) 사용을 지원하기 위해 AWS로 눈을 돌렸습니다.

이 게시물에서는 Searchmetrics가 특정 주제에 대한 관련 검색 키워드를 자동으로 찾아 직원의 효율성을 20%까지 높이는 AI 솔루션을 구축한 방법을 공유합니다. 아마존 세이지 메이커 Hugging Face와의 기본 통합.

“Amazon SageMaker는 Hugging Face의 최첨단 NLP 모델을 평가하고 우리 시스템에 통합하는 것을 쉽게 만들었습니다. 우리가 구축한 솔루션은 우리를 보다 효율적으로 만들고 사용자 경험을 크게 향상시킵니다."– Ioannis Foukarakis, Searchmetrics 데이터 책임자

AI를 사용하여 키워드 목록에서 관련성 식별

Searchmetrics의 통찰력 제공의 핵심 부분은 주어진 주제 또는 검색 의도에 대해 가장 관련성이 높은 검색 키워드를 식별하는 기능입니다.

이를 위해 Searchmetrics에는 특정 시드 단어가 제공된 특정 키워드의 잠재적 관련성을 평가하는 분석가 팀이 있습니다. 분석가는 내부 도구를 사용하여 주어진 주제 내의 키워드와 잠재적으로 관련된 키워드의 생성된 목록을 검토한 다음 해당 주제와 관련된 하나 이상의 관련 키워드를 선택해야 합니다.

이 수동 필터링 및 선택 프로세스는 시간이 많이 걸리고 고객에게 통찰력을 제공하는 Searchmetrics의 능력을 저하시켰습니다.

이 프로세스를 개선하기 위해 Searchmetrics는 자연어 처리(NLP)를 사용하여 주어진 검색 주제의 의도를 이해하고 관련성에 따라 보이지 않는 잠재적 키워드 목록의 순위를 자동으로 지정할 수 있는 AI 솔루션을 구축하려고 했습니다.

SageMaker 및 Hugging Face를 사용하여 고급 NLP 기능을 빠르게 구축

이 문제를 해결하기 위해 Searchmetrics의 엔지니어링 팀은 개발자와 데이터 과학자가 ML 모델을 빠르고 쉽게 구축, 교육 및 배포하는 데 도움이 되는 종단 간 기계 학습(ML) 플랫폼인 SageMaker로 전환했습니다.

SageMaker는 ML 빌드 프로세스를 단순화하여 ML 워크로드 배포를 가속화합니다. 완전 관리형 인프라 위에 광범위한 ML 기능을 제공합니다. 이렇게 하면 ML 개발을 너무 자주 방해하는 미분화된 무거운 작업이 제거됩니다.

Searchmetrics는 ML 개발 프로세스의 모든 단계에서 제공되는 전체 기능 범위 때문에 SageMaker를 선택했습니다.

• 세이지 메이커 노트북 Searchmetrics 팀이 완전 관리형 ML 개발 환경을 신속하게 가동하고 데이터 사전 처리를 수행하며 다양한 접근 방식을 실험할 수 있도록 했습니다.
• XNUMXD덴탈의 일괄 변환 SageMaker의 기능을 통해 Searchmetrics는 추론 페이로드를 대량으로 효율적으로 처리하고 프로덕션 환경의 기존 웹 서비스에 쉽게 통합할 수 있었습니다.

Searchmetrics는 또한 SageMaker와 SageMaker의 기본 통합에 특히 관심이 있었습니다. 포옹하는 얼굴, 인기 있는 Transformers 라이브러리를 통해 7,000개 이상의 사전 훈련된 언어 모델에 쉽게 액세스할 수 있는 흥미로운 NLP 스타트업입니다.

SageMaker는 전용 Hugging Face 추정기를 통해 Hugging Face와 직접 통합을 제공합니다. 세이지메이커 SDK. 따라서 완전 관리형 SageMaker 인프라에서 Hugging Face 모델을 쉽게 실행할 수 있습니다.

이 통합을 통해 Searchmetrics는 다양한 모델과 접근 방식을 테스트하고 실험하여 사용 사례에 가장 적합한 접근 방식을 찾을 수 있었습니다.

최종 솔루션은 제로샷 분류 파이프라인을 사용하여 가장 관련성이 높은 키워드를 식별합니다. 다양한 사전 훈련된 모델과 쿼리 전략이 평가되었습니다. 페이스북/bart-large-mnli 가장 유망한 결과를 제공합니다.

AWS를 사용하여 운영 효율성을 개선하고 새로운 혁신 기회 찾기

SageMaker 및 Hugging Face와의 기본 통합을 통해 Searchmetrics는 주어진 주제를 이해하고 관련성을 기반으로 보이지 않는 키워드 목록의 순위를 정확하게 지정할 수 있는 NLP 솔루션을 구축, 교육 및 배포할 수 있었습니다. SageMaker에서 제공하는 도구 세트를 사용하면 실험하고 배포하기가 더 쉬워졌습니다.

Searchmetrics의 기존 내부 도구와 통합될 때 이 AI 기능은 인간 분석가가 작업을 완료하는 데 걸리는 시간을 평균 20% 단축했습니다. 그 결과 더 높은 처리량, 향상된 사용자 경험, 더 빠른 신규 사용자 온보딩이 가능해졌습니다.

이 초기 성공은 Searchmetrics의 검색 분석가의 운영 성능을 향상시켰을 뿐만 아니라 Searchmetrics가 비즈니스에서 AI를 사용하여 보다 포괄적인 자동화 솔루션을 배포하는 더 명확한 경로를 차트화하는 데 도움이 되었습니다.

이러한 흥미롭고 새로운 혁신 기회를 통해 Searchmetrics는 통찰력 기능을 계속 개선하고 고객이 계속해서 경쟁이 치열한 검색 환경에서 앞서 나갈 수 있도록 합니다.

또한 Hugging Face와 AWS는 2022년 초 SageMaker에서 Hugging Face 모델을 더욱 쉽게 훈련할 수 있는 파트너십을 발표했습니다. 이 기능은 Hugging Face 개발을 통해 제공됩니다. AWS 딥 러닝 컨테이너 (DLC). 이러한 컨테이너에는 Hugging Face Transformers, Tokenizers 및 Datasets 라이브러리가 포함되어 있어 교육 및 추론 작업에 이러한 리소스를 사용할 수 있습니다.

사용 가능한 DLC 이미지 목록은 사용 가능한 딥 러닝 컨테이너 이미지, 보안 패치로 유지 관리되고 정기적으로 업데이트됩니다. 이 DLC와 포옹 얼굴 모델을 훈련하는 방법에 대한 많은 예를 찾을 수 있습니다 허깅페이스 파이썬 SDK 다음에서 GitHub 레포.

다음을 방문하여 AI/ML로 혁신 능력을 가속화할 수 있는 방법에 대해 자세히 알아보십시오. Amazon SageMaker 시작하기, 검토하여 실습 학습 콘텐츠 얻기 Amazon SageMaker 개발자 리소스, 또는 방문 Amazon SageMaker에서 포옹하는 얼굴.

저자에 관하여

다니엘 버크 AWS의 Private Equity 그룹에서 AI 및 ML의 유럽 리더입니다. Daniel은 사모 펀드 및 포트폴리오 회사와 직접 협력하여 AI 및 ML 채택을 가속화하여 혁신을 개선하고 기업 가치를 높일 수 있도록 지원합니다.

• 코인스마트. 유럽 ​​최고의 비트코인 ​​및 암호화폐 거래소.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 무료 액세스.
• 크립토호크. 알트코인 레이더. 무료 시험판.
• 출처: https://aws.amazon.com/blogs/machine-learning/how-searchmetrics-uses-amazon-sagemaker-to-automatically-find-relevant-keywords-and-make-their-human-analysts-20- 더 빠르게/