Як Searchmetrics використовує Amazon SageMaker для автоматичного пошуку релевантних ключових слів і прискорення роботи аналітиків на 20%

Пошукова метрика є глобальним постачальником пошукових даних, програмного забезпечення та консалтингових рішень, допомагаючи клієнтам перетворювати пошукові дані на унікальну бізнес-ідею. На сьогодні Searchmetrics допомогла більш ніж 1,000 компаніям, таким як McKinsey & Company, Lowe's та AXA, знайти переваги в умовах гіперконкурентного пошуку.

У 2021 році Searchmetrics звернулася до AWS, щоб допомогти у використанні штучного інтелекту (AI) для подальшого покращення своїх можливостей аналізу пошуку.

У цій публікації ми розповідаємо про те, як Searchmetrics створила рішення зі штучним інтелектом, яке підвищило ефективність людської робочої сили на 20%, автоматично знаходячи релевантні ключові слова для будь-якої теми, використовуючи Amazon SageMaker і його рідна інтеграція з Hugging Face.

Використання ШІ для визначення релевантності зі списку ключових слів

Ключовою частиною пропозицій Searchmetrics є його здатність визначати найбільш релевантні ключові слова для певної теми або наміру пошуку.

Для цього Searchmetrics має команду аналітиків, які оцінюють потенційну релевантність певних ключових слів для певного початкового слова. Аналітики використовують внутрішній інструмент для перегляду ключового слова в межах даної теми та створеного списку потенційно пов’язаних ключових слів, а потім мають вибрати одне або кілька пов’язаних ключових слів, які мають відношення до цієї теми.

Цей процес фільтрації та вибору вручну забирав багато часу та сповільнював здатність Searchmetrics надавати інформацію своїм клієнтам.

Щоб покращити цей процес, Searchmetrics намагалася створити рішення з штучним інтелектом, яке могло б використовувати обробку природної мови (NLP), щоб зрозуміти наміри даної теми пошуку та автоматично ранжувати невидимий список потенційних ключових слів за релевантністю.

Використання SageMaker і Hugging Face для швидкого створення розширених можливостей НЛП

Щоб вирішити цю проблему, команда інженерів Searchmetrics звернулася до SageMaker, наскрізної платформи машинного навчання (ML), яка допомагає розробникам і науковцям з даних швидко й легко створювати, навчати й розгортати моделі машинного навчання.

SageMaker прискорює розгортання робочих навантажень ML, спрощуючи процес складання ML. Він надає широкий набір можливостей ML на додаток до повністю керованої інфраструктури. Це усуває недиференційовану важку роботу, яка занадто часто перешкоджає розвитку ML.

Searchmetrics обрала SageMaker через повний спектр можливостей, які він надав на кожному етапі процесу розробки ML:

• SageMaker ноутбуки дозволив команді Searchmetrics швидко розгорнути повністю керовані середовища розробки ML, виконати попередню обробку даних та експериментувати з різними підходами
• Команда пакетне перетворення можливості в SageMaker дозволили Searchmetrics ефективно обробляти свої корисні дані для висновків масою, а також легко інтегруватися в існуючий веб-сервіс у виробництві

Searchmetrics також був особливо зацікавлений у нативній інтеграції SageMaker з Обіймати обличчя, захоплюючий стартап НЛП, який забезпечує легкий доступ до понад 7,000 попередньо навчених мовних моделей через свою популярну бібліотеку Transformers.

SageMaker забезпечує пряму інтеграцію з Hugging Face через спеціальний інструмент оцінки Hugging Face у SageMaker SDK. Це дозволяє легко запускати моделі Hugging Face на повністю керованій інфраструктурі SageMaker.

Завдяки цій інтеграції Searchmetrics зміг протестувати й поекспериментувати з рядом різних моделей і підходів, щоб знайти найбільш ефективний підхід до їхнього варіанту використання.

Кінцеве рішення використовує конвеєр класифікації нульового рівня для визначення найбільш релевантних ключових слів. Були оцінені різні попередньо навчені моделі та стратегії запитів, с facebook/bart-large-mnli надання найбільш перспективних результатів.

Використання AWS для підвищення ефективності роботи та пошуку нових можливостей для інновацій

Завдяки SageMaker та його вбудованої інтеграції з Hugging Face Searchmetrics зміг створити, навчити та розгорнути рішення НЛП, яке могло б розуміти певну тему та точно ранжувати невидимий список ключових слів на основі їхньої релевантності. Набір інструментів, запропонований SageMaker, полегшив експерименти та розгортання.

При інтеграції з існуючим внутрішнім інструментом Searchmetrics ця можливість штучного інтелекту зменшила в середньому на 20% час, необхідний аналітикам для виконання своєї роботи. Це призвело до підвищення пропускної здатності, покращення користувацького досвіду та швидшого адаптації нових користувачів.

Цей початковий успіх не тільки покращив операційну ефективність пошукових аналітиків Searchmetrics, але й допоміг Searchmetrics намітити більш чіткий шлях до розгортання більш комплексних рішень для автоматизації з використанням AI у своєму бізнесі.

Ці нові захоплюючі інноваційні можливості допомагають Searchmetrics продовжувати вдосконалювати свої можливості аналітики, а також допомагають їм гарантувати, що клієнти продовжують залишатися попереду в умовах гіперконкурентного пошуку.

Крім того, Hugging Face і AWS оголосили про партнерство на початку 2022 року, що спрощує навчання моделей Hugging Face на SageMaker. Ця функція доступна завдяки розробці Hugging Face Контейнери глибокого навчання AWS (DLC). Ці контейнери включають Hugging Face Transformers, Tokenizer і бібліотеку Datasets, що дозволяє нам використовувати ці ресурси для навчання та роботи з висновками.

Список доступних зображень DLC див Зображення контейнерів для глибокого навчання, які підтримуються та регулярно оновлюються виправленнями безпеки. Ви можете знайти багато прикладів того, як тренувати моделі Hugging Face за допомогою цих DLC і SDK для Python Hugging Face у наступному GitHub репо.

Дізнайтеся більше про те, як ви можете прискорити свою здатність до інновацій за допомогою AI/ML, відвідавши сторінку Початок роботи з Amazon SageMaker, отримувати практичний навчальний вміст, переглядаючи Ресурси для розробників Amazon SageMaker, або в гостях Обіймає обличчя на Amazon SageMaker.

---

Про автора

Деніел Берк є європейським лідером у сфері штучного інтелекту та ML у групі Private Equity в AWS. Деніел працює безпосередньо з фондами Private Equity та їхніми портфельними компаніями, допомагаючи їм прискорити впровадження AI та ML для покращення інновацій та підвищення вартості підприємства.

• Coinsmart. Найкраща в Європі біржа біткойн та криптовалют.
• Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. БЕЗКОШТОВНИЙ ДОСТУП.
• CryptoHawk. Альткойн Радар. Безкоштовне випробування.
• Джерело: https://aws.amazon.com/blogs/machine-learning/how-searchmetrics-uses-amazon-sagemaker-to-automatically-find-relevant-keywords-and-make-their-human-analysts-20- швидше/