Amazon Шукає показники — це служба AWS, яка використовує машинне навчання (ML) для автоматичного моніторингу найбільш важливих для бізнесу показників із більшою швидкістю та точністю. Служба також полегшує діагностику основних причин аномалій, таких як неочікуване падіння доходу, високі показники залишених кошиків для покупок, різкі збої в платіжних транзакціях, збільшення кількості реєстрацій нових користувачів і багато іншого. Lookout for Metrics виходить за рамки простого виявлення аномалій. Це дозволяє розробникам налаштувати автономний моніторинг важливих показників, щоб виявити аномалії та визначити їх першопричину за кілька кліків, щоб виявити аномалії в його показниках — і все це без досвіду ML.
Амазонка Афіна це інтерактивна служба запитів, яка дозволяє легко аналізувати дані Служба простого зберігання Amazon (Amazon S3) за допомогою стандартного SQL. Просто наведіть вказівник на свої дані в Amazon S3, визначте схему та почніть робити запити за допомогою стандартного SQL. Більшість результатів надається протягом секунд. З Athena немає необхідності виконувати складні завдання ETL для підготовки даних до аналізу. Завдяки цьому будь-кому, хто володіє навичками SQL, буде легко аналізувати великомасштабні набори даних.
Завдяки сьогоднішньому запуску Lookout for Metrics тепер може легко підключатися до ваших даних у Athena, щоб налаштувати високоточні детектори аномалій. Це дозволяє швидко розгорнути найсучасніші методи виявлення аномалій за допомогою ML із Lookout for Metrics для будь-яких наборів даних, доступних в Athena.
Підключення Athena розширює можливості Lookout for Metrics, надаючи такі переваги:
- Це розширює можливості Lookout for Metrics з точки зору підтримка типів файлів. До цього Lookout for Metrics підтримував файли у форматі CSV та JSONLines, але з Athena це було розширено до Parquet, Avro, Plaintext тощо. Якщо ви можете проаналізувати його за допомогою Athena, тепер його можна імпортувати та використовувати за допомогою Lookout for Metrics.
- Він також вводить підтримку даних з федеративні запити. Перед цим запуском, якщо ваші дані зберігалися в кількох базах даних або джерелах, вам потрібно було б визначити повний складний процес ETL, а також керувати його характеристиками продуктивності, перш ніж ви зможете експортувати всі дані у файл CSV або JSONLines і ввести їх. в Lookout for Metrics for Detection Anomaly. За допомогою об’єднаних запитів від Athena ви визначаєте різні джерела, а також як має виконуватися об’єднання, і коли дані були оброблені та можуть бути запитані Athena, вони негайно готові до Lookout for Metrics. Це дає вам змогу передати Athena тягар трансформації, агрегації та розташування даних, а також зосередитися на виявлених аномаліях із Lookout for Metrics.
Огляд рішення
У цій публікації ми демонструємо, як інтегрувати таблицю Athena та виявляти аномалії в показниках доходу. Ми також відстежуємо, як це впливає на показники кількості замовлень і запасів. Вихідні дані знаходяться в Amazon S3, і ми налаштували таблиці Athena, щоб мати можливість запитувати дані в них. An AWS Lambda відповідає за оновлення розділів у Athena, які використовуються Lookout for Metrics для виявлення аномалій. Це рішення дозволяє використовувати джерело даних Athena для Lookout for Metrics.
Ви можете скористатися наданим AWS CloudFormation стек, щоб налаштувати ресурси для покрокового керівництва. Він містить ресурси для безперервного створення живих даних і робить їх доступними для запитів в Athena.
- Запустіть стек за наведеним нижче посиланням і виберіть наступний на сторінці Створити стек.
- на Вкажіть деталі стека сторінку, додайте значення зверху, дайте їй ім’я стека (наприклад,
L4MAthenaDetector
), і виберіть МАЙБУТНІ. - на Налаштувати параметри стека сторінку, залиште все як є та виберіть МАЙБУТНІ.
Налаштуйте новий детектор з Athena як джерело даних
крок 1
Увійти в Консоль AWS щоб розпочати створення детектора аномалій із Lookout for Metrics. Першим кроком є вибір кнопки «Створити детектор».
крок 2
Заповніть обов'язкові поля детектора, наприклад ім'я. Виберіть інтервал виявлення для детектора, який визначається частотою, з якою ви хочете, щоб Lookout for Metrics запитував ваші дані та відстежував їх на наявність аномалій. Інформація шифрування не є обов'язковою. Інформація шифрування дозволяє Lookout for Metrics шифрувати ваші дані за допомогою вашої Служба управління ключами AWS (KMS) ключ. У цьому прикладі ми пропустимо додавання ключа шифрування, Lookout for Metrics використовуватиме шифрування за замовчуванням для шифрування ваших даних, якщо інформація про шифрування не надається, і продовжимо, натиснувши кнопку «Створити».
крок 3
Після створення детектора аномалій ви побачите підтвердження на банері вгорі. Ви можете продовжити, вибравши «Додати набір даних» через банер або кнопку під «Додати набір даних».
Заповніть основну інформацію для джерела даних. Часовий пояс є необов'язковим полем. Виберіть спадне меню, щоб вибрати джерело даних.
Lookout for Metrics підтримує кілька джерел даних для зручності для клієнтів. Для цього прикладу ми виберемо Афіну.
Після вибору Athena як джерела даних у вас буде можливість вибрати режим Backtest або Continuous для детектора. Для цього прикладу ми продовжимо, використовуючи безперервний режим. Додайте деталі для таблиці Athena, яку ви хочете відстежувати на наявність аномалій.
Ви можете дозволити службі створювати роль служби або використовувати наявну AWS Identity and Access Management (IAM) роль у вашому обліковому записі для об’єднаних запитів. Зауважте, що Lookout for Metrics не підтримує автоматичне створення ролей IAM для об’єднаних запитів. Тому вам доведеться створити нову роль IAM, щоб дозволити Athena виконувати такі дії з вашими даними:
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
Роль IAM, створена службою, виглядає так:
крок 4
Тепер ми визначимо відповідні показники для детектора. Lookout for Metrics заповнить спадні списки стовпцями наданої таблиці Athena. Ви можете вибрати до п’яти показників і п’яти параметрів. Lookout for Metrics вимагає, щоб дані у вашій таблиці були розділені як позначки часу для стовпця мітки часу. У вас також буде можливість оцінити вартість цього детектора, додавши кількість значень у ваших розмірах.
Після того, як ви вибрали всі показники, перейдіть, натиснувши кнопку «Далі». Перегляньте деталі та натисніть кнопку «Зберегти набір даних», щоб зберегти набір даних.
крок 5
Після створення набору даних ми активуємо детектор, вибравши кнопку «Активувати» вгорі або кнопку «Активувати детектор» у розділі «Як це працює».
Вам буде запропоновано підтвердити, чи хочете ви активувати детектор для постійного виявлення. Виберіть «Активувати», щоб підтвердити.
Ви побачите підтвердження про те, що детектор активується.
крок 6
Коли детектор аномалії активний, ви можете використовувати вкладку «Журнал детектора» на сторінці відомостей про детектор, щоб переглянути виконання виявлення, виконане службою.
крок 7
Ви можете вибрати кнопку «Переглянути аномалії» на сторінці деталей детектора, щоб вручну перевірити аномалії, які могли бути виявлені службою.
крок 8
На сторінці перегляду аномалій ви можете налаштувати поріг оцінки серйозності на диску порогового значення, щоб відфільтрувати аномалії вище вибраного показника.
Перегляньте та проаналізуйте результати
Виявляючи аномалію, Lookout for Metrics допомагає зосередитися на найважливішому, призначаючи оцінку серйозності для визначення пріоритетів. Щоб допомогти вам знайти першопричину, він інтелектуально групує аномалії, які можуть бути пов’язані з тим самим інцидентом, а потім підсумовує різні джерела впливу.
Lookout for Metrics також дає змогу в режимі реального часу надавати зворотній зв’язок щодо актуальності виявлених аномалій, тим самим увімкнувши потужний механізм «людина в петлі». Ця інформація повертається в модель виявлення аномалій, щоб підвищити її точність майже в реальному часі.
Прибирати
Щоб уникнути додаткових витрат за ресурс, налаштований для демонстрації, ви можете видалити створений детектор у Lookout for Metrics і стек, створений через CloudFormation.
Висновок
Ви можете легко підключити свої дані в Athena до Lookout for Metrics, щоб налаштувати високоточний детектор аномалій для показників і параметрів у ваших таблицях Athena. Щоб почати користуватися цією можливістю, див Використання Amazon Athena з Lookout for Metrics. Ви можете використовувати цю можливість у всіх регіонах, де Lookout for Metrics є загальнодоступним. Додаткову інформацію про доступність регіону див Регіональні служби AWS.
Про авторів
Девеш Рато є інженером з розробки програмного забезпечення в команді Lookout for Metrics. Його інтереси полягають у створенні масштабованих розподілених систем. У вільний час він захоплюється гонками.
Кріс Кінг є старшим архітектором рішень у сфері прикладного AI з AWS. Він особливо зацікавлений у запуску служб штучного інтелекту та допоміг розвивати та створювати Amazon Personalize та Amazon Forecast, перш ніж зосередитися на Amazon Lookout for Metrics. У вільний час любить готувати, читати, займатися боксом і будувати моделі, щоб передбачити результати бойових видів спорту.
- Coinsmart. Найкраща в Європі біржа біткойн та криптовалют.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. БЕЗКОШТОВНИЙ ДОСТУП.
- CryptoHawk. Альткойн Радар. Безкоштовне випробування.
- Джерело: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- МЕНЮ
- доступ
- рахунки
- точний
- через
- дію
- дії
- активний
- Додатковий
- AI
- Послуги ШІ
- ВСІ
- Amazon
- аналіз
- будь
- Автоматизований
- автономний
- наявність
- доступний
- AWS
- банер
- перед тим
- Переваги
- За
- border
- Бокс
- будувати
- Створюємо
- підприємства
- можливості
- Викликати
- вантажі
- Колонка
- боротьби з
- комплекс
- стан
- З'єднуватися
- зв'язок
- містить
- зручність
- може
- створювати
- створений
- створення
- створення
- Клієнти
- дані
- базами даних
- поставляється
- доставка
- демонструвати
- розгортання
- деталі
- виявлено
- Виявлення
- розробників
- розробка
- різний
- розподілений
- Ні
- ефект
- дозволяє
- шифрування
- інженер
- оцінити
- все
- приклад
- існуючий
- розширений
- досвід
- Fed
- зворотний зв'язок
- Поля
- Перший
- Сфокусувати
- фокусування
- після
- породжувати
- великий
- Групи
- Рости
- допомога
- допомагає
- Високий
- дуже
- Як
- How To
- HTTPS
- ідентифікувати
- Особистість
- Impact
- важливо
- удосконалювати
- інформація
- вхід
- інтегрувати
- інтерактивний
- інтерес
- інтереси
- інвентаризація
- IT
- Джобс
- приєднатися
- ключ
- King
- запуск
- запуск
- вивчення
- Залишати
- Важіль
- LINK
- розташування
- машина
- навчання за допомогою машини
- РОБОТИ
- управляти
- управління
- обов'язковий
- вручну
- Матерія
- Питання
- Метрика
- ML
- модель
- Моделі
- монітор
- моніторинг
- більше
- найбільш
- множинний
- номер
- варіант
- порядок
- оплата
- продуктивність
- Уособлювати
- точка
- це можливо
- потужний
- передбачати
- Готувати
- представити
- процес
- забезпечувати
- швидко
- racing
- ставки
- читання
- реального часу
- регіональний
- доречний
- вимагається
- Вимагається
- ресурс
- ресурси
- відповідальний
- результати
- revenue
- огляд
- масштабовані
- плавно
- seconds
- обраний
- обслуговування
- Послуги
- комплект
- покупка
- ТАК
- простий
- навички
- Софтвер
- розробка програмного забезпечення
- solid
- рішення
- Рішення
- спеціальний
- швидкість
- SPORTS
- стек
- standard
- старт
- почалася
- впроваджений
- Заява
- зберігання
- підтримка
- Підтриманий
- Опори
- Systems
- команда
- Джерело
- отже
- поріг
- через
- час
- сьогоднішній
- топ
- трек
- угода
- Перетворення
- при
- оновлення
- використання
- версія
- Що
- в
- б