Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight

Одна из проблем, с которой сталкиваются команды, использующие Amazon Lookout для показателей быстро и эффективно подключает его к визуализации данных. Аномалии представлены в консоли Lookout for Metrics по отдельности, каждая со своим графиком, что затрудняет просмотр набора в целом. Для более глубокого анализа необходимо автоматизированное интегрированное решение.

В этом посте мы используем живой детектор Lookout for Metrics, созданный в соответствии с Первые шаги раздел из Образцы AWS, Amazon Lookout для показателей Репозиторий GitHub. После активации детектора и генерации аномалий из набора данных мы подключаем Lookout for Metrics к Amazon QuickSight. Мы создаем два набора данных: один путем соединения таблицы измерений с таблицей аномалий, а другой — путем соединения таблицы аномалий с оперативными данными. Затем мы можем добавить эти два набора данных в анализ QuickSight, где мы можем добавлять диаграммы на одной информационной панели.

Мы можем предоставить детектору Lookout for Metrics два типа данных: непрерывные и исторические. Репозиторий AWS Samples на GitHub предлагает и то, и другое, хотя мы ориентируемся на непрерывные данные в реальном времени. Детектор отслеживает эти оперативные данные для выявления аномалий и записывает аномалии в Простой сервис хранения Amazon (Amazon S3) по мере их создания. По истечении заданного интервала детектор анализирует данные. Со временем детектор учится более точно определять аномалии на основе найденных закономерностей.

Lookout for Metrics использует машинное обучение (ML) для автоматического обнаружения и диагностики аномалий в бизнес-данных и операционных данных, таких как внезапное падение доходов от продаж или темпов привлечения клиентов. Служба стала общедоступной с 25 марта 2021 года. Она автоматически проверяет и подготавливает данные из различных источников для обнаружения аномалий с большей скоростью и точностью, чем традиционные методы, используемые для обнаружения аномалий. Вы также можете оставить отзыв об обнаруженных аномалиях, чтобы настроить результаты и повысить точность с течением времени. Lookout for Metrics позволяет легко диагностировать обнаруженные аномалии, группируя аномалии, связанные с одним и тем же событием, и отправляя оповещение, содержащее сводку потенциальной первопричины. Он также ранжирует аномалии в порядке серьезности, чтобы вы могли сосредоточить свое внимание на том, что наиболее важно для вашего бизнеса.

QuickSight — это полностью управляемая облачная служба бизнес-аналитики (BI), которая позволяет легко подключаться к вашим данным для создания и публикации интерактивных информационных панелей. Кроме того, вы можете использовать Amazon QuickSight чтобы получить мгновенные ответы с помощью запросов на естественном языке.

Вы можете получить доступ к бессерверным, масштабируемым информационным панелям QuickSight с любого устройства и легко встроить их в свои приложения, порталы и веб-сайты. Следующий снимок экрана является примером того, чего вы можете достичь к концу этого поста.

Обзор решения

Решение представляет собой комбинацию сервисов AWS, прежде всего Lookout for Metrics, QuickSight, AWS Lambda, Амазонка Афина, Клей AWSи Амазон S3.

Следующая диаграмма иллюстрирует архитектуру решения. Lookout for Metrics обнаруживает и отправляет аномалии в Lambda с помощью предупреждения. Функция Lambda создает результаты аномалий в виде файлов CSV и сохраняет их в Amazon S3. Сканер AWS Glue анализирует метаданные и создает таблицы в Athena. QuickSight использует Athena для запроса данных Amazon S3, позволяя создавать информационные панели для визуализации как результатов аномалий, так и оперативных данных.

Архитектура решения

Это решение расширяет ресурсы, созданные в Первые шаги раздел репозитория GitHub. Для каждого шага мы включаем опции для создания ресурсов либо с помощью Консоль управления AWS или запуск предоставленного AWS CloudFormation куча. Если у вас есть настроенный детектор Lookout for Metrics, вы можете использовать его и адаптировать следующим образом. ноутбук для достижения тех же результатов.

Этапы реализации следующие:

  1. Создайте Создатель мудреца Амазонки экземпляр блокнота (ALFMTestNotebook) и ноутбуки, использующие стек, предоставленный в Начальная настройка раздел из Репо GitHub.
  2. Откройте экземпляр блокнота на консоли SageMaker и перейдите к amazon-lookout-for-metrics-samples/getting_started папку.
  3. Создайте корзину S3 и завершите подготовку данных, используя первую ноутбук (1.PrereqSetupData.ipynb). Откройте блокнот с conda_python3 ядро, если будет предложено.

Мы пропускаем второй ноутбук потому что он ориентирован на бэктестинг данных.

  1. Если вы выполняете пример с помощью консоли, создайте живой детектор Lookout for Metrics и его оповещение с помощью третьего ноутбук (3.GettingStartedWithLiveData.ipynb).

Если вы используете предоставленные стеки CloudFormation, третий ноутбук не требуется. Детектор и его оповещение создаются как часть стека.

  1. После создания живого детектора Lookout for Metrics вам необходимо активировать его из консоли.

На инициализацию модели и обнаружение аномалий может уйти до 2 часов.

  1. Разверните функцию Lambda, используя Python со слоем библиотеки Pandas, и создайте оповещение, прикрепленное к живому детектору, чтобы запустить его.
  2. Используйте комбинацию Athena и AWS Glue для обнаружения и подготовки данных для QuickSight.
  3. Создайте источник данных QuickSight и наборы данных.
  4. Наконец, создайте анализ QuickSight для визуализации, используя наборы данных.

Сценарии CloudFormation обычно запускаются как набор вложенных стеков в производственной среде. Они представлены в этом посте по отдельности, чтобы упростить пошаговое руководство.

Предпосылки

Чтобы выполнить это пошаговое руководство, вам потребуется учетная запись AWS, в которой будет развернуто решение. Убедитесь, что все ресурсы, которые вы развертываете, находятся в одном и том же регионе. Вам нужен работающий детектор Lookout for Metrics, созданный из блокнотов 1 и 3 из Репо GitHub. Если у вас нет работающего детектора Lookout for Metrics, у вас есть два варианта:

  • Запустите блокноты 1 и 3 и продолжите с шага 1 этого поста (создание лямбда-функции и оповещения).
  • Запустите блокнот 1, а затем используйте шаблон CloudFormation для создания детектора Lookout for Metrics.

Создайте живой детектор с помощью AWS CloudFormation

Ассоциация L4MLiveDetector.yaml Сценарий CloudFormation создает детектор аномалий Lookout for Metrics, источник которого указывает на оперативные данные в указанной корзине S3. Для создания детектора выполните следующие шаги:

  1. Запустите стек по следующей ссылке:

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. На Создать стек выберите страницу Следующая.
  2. На Укажите детали стека странице укажите следующую информацию:
    1. Имя стека. Например, L4MLiveDetector.
    2. Ковш S3, <Account Number>-lookoutmetrics-lab.
    3. Роль АРН, arn:aws:iam::<Account Number>:role/L4MTestRole.
    4. Частота обнаружения аномалий. Выбирать PT1H (почасовая).
  3. Выберите Следующая.
  4. На Настроить параметры стека страницу, оставьте все как есть и выберите Следующая.
  5. На Обзор страницу, оставьте все как есть и выберите Создать стек.

Создайте SMS-уведомление о реальном детекторе с помощью AWS CloudFormation (необязательно)

Этот шаг является необязательным. Предупреждение представлено в качестве примера и не влияет на создание набора данных. L4MLiveDetectorAlert.yaml Сценарий CloudFormation создает оповещение детектора аномалий Lookout for Metrics с целью SMS.

  1. Запустите стек по следующей ссылке:

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. На Создать стек выберите страницу Следующая.
  2. На Укажите детали стека страницу, обновите телефонный номер SMS и введите имя стопки (например, L4MLiveDetectorAlert).
  3. Выберите Следующая.
  4. На Настроить параметры стека страницу, оставьте все как есть и выберите Следующая.
  5. На Обзор страницу, установите флажок подтверждения, оставьте все остальное как есть и выберите Создать стек.

Очистка ресурсов

Прежде чем перейти к следующему шагу, остановите свой экземпляр ноутбука SageMaker, чтобы избежать ненужных затрат. Он больше не нужен.

Создайте лямбда-функцию и оповещение

В этом разделе мы приводим инструкции по созданию функции Lambda и оповещению через консоль или AWS CloudFormation.

Создайте функцию и предупредите с помощью консоли

Вам нужна лямбда Управление идентификацией и доступом AWS (Я) роль после лучшая практика минимальных привилегий чтобы получить доступ к сегменту, в котором вы хотите сохранить результаты.

    1. На консоли Lambda создайте новую функцию.
    2. Выберите Автор с нуля.
    3. Что касается Имя функции¸ введите имя.
    4. Что касается Время выполнения, выберите Python 3.8.
    5. Что касается Роль исполнения, наведите на Использовать существующую роль и укажите созданную вами роль.
    6. Выберите Создать функцию.
  1. Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.
    1. Скачать ZIP-файл, содержащий необходимый код для функции Lambda.
    2. На консоли Lambda откройте функцию.
    3. На Code , выберите Загрузить из, выберите ZIP-файл, и загрузите загруженный файл.
    4. Выберите Сохранить.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Ваше файловое дерево должно остаться прежним после загрузки ZIP-файла.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. В Слои раздел, выбрать Добавить слой.
  2. Выберите Укажите ARN.
  3. В следующем Репо GitHub, выберите CSV, соответствующий региону, в котором вы работаете, и скопируйте ARN из последней версии Pandas.
  4. Что касается Укажите ARN, введите скопированный вами ARN.
  5. Выберите Добавить.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. Чтобы адаптировать функцию к вашей среде, в нижней части кода из файла lambda_function.py обязательно обновите имя корзины, указав в ней вашу корзину, в которой вы хотите сохранить результаты аномалий, и DataSet_ARN от вашего детектора аномалий.
  2. Выберите Развертывание сделать изменения активными.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Теперь вам нужно подключить детектор Lookout for Metrics к вашей функции.

  1. В консоли Lookout for Metrics перейдите к своему детектору и выберите Добавить оповещение.
  2. Введите имя предупреждения и предпочитаемый порог серьезности.
  3. В списке каналов выберите Лямбда.
  4. Выберите созданную вами функцию и убедитесь, что у вас есть правильная роль для ее запуска.
  5. Выберите Добавить оповещение.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Теперь вы ждете срабатывания вашего предупреждения. Время варьируется в зависимости от того, когда детектор обнаруживает аномалию.

При обнаружении аномалии Lookout for Metrics запускает функцию Lambda. Он получает необходимую информацию от Lookout for Metrics и проверяет, есть ли уже сохраненный CSV-файл в Amazon S3 с соответствующей временной меткой аномалии. Если файла нет, Lambda создает файл и добавляет данные об аномалиях. Если файл уже существует, Lambda обновляет файл полученными дополнительными данными. Функция создает отдельный CSV-файл для каждой временной метки.

Создайте функцию и оповещение с помощью AWS CloudFormation

Как и в инструкциях консоли, вы скачать ZIP-файл содержащий необходимый код для функции Lambda. Однако в этом случае его необходимо загрузить в корзину S3, чтобы код AWS CloudFormation мог загрузить его во время создания функции.

В корзине S3, указанной при создании детектора Lookout for Metrics, создайте папку с именем lambda-code и загрузите ZIP-файл.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Функция Lambda загружает это как свой код во время создания.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Ассоциация L4MLAmbdaFunction.yaml Сценарий CloudFormation создает функцию Lambda и ресурсы предупреждений и использует архив кода функции, хранящийся в том же сегменте S3.

  1. Запустите стек по следующей ссылке:

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. На Создать стек выберите страницу Следующая.
  2. На Укажите детали стека странице укажите имя стека (например, L4MLambdaFunction).
  3. В следующем Репо GitHub, откройте файл CSV, соответствующий региону, в котором вы работаете, и скопируйте ARN из последней версии Pandas.
  4. Введите ARN в качестве параметра ARN слоя Pandas Lambda.
  5. Выберите Следующая.
  6. На Настроить параметры стека страницу, оставьте все как есть и выберите Следующая.
  7. На Обзор страницу, установите флажок подтверждения, оставьте все остальное как есть и выберите Создать стек.

Активируйте детектор

Прежде чем перейти к следующему шагу, вам необходимо активировать детектор с консоли.

  1. На консоли Lookout for Metrics выберите Детекторы в навигационной панели.
  2. Выберите только что созданный детектор.
  3. Выберите активировать, а затем выберите активировать для подтверждения.

Активация инициализирует детектор; он завершается, когда модель завершает цикл обучения. Это может занять до 2 часов.

Подготовьте данные для QuickSight

Прежде чем завершить этот шаг, дайте детектору время найти аномалии. Созданная вами лямбда-функция сохраняет результаты аномалий в корзине Lookout for Metrics в anomalyResults каталог. Теперь мы можем обработать эти данные, чтобы подготовить их для QuickSight.

Создайте сканер AWS Glue на консоли.

После создания некоторых файлов CSV с аномалиями мы используем сканер AWS Glue для создания таблиц метаданных.

  1. На консоли AWS Glue выберите ползунки в навигационной панели.
  2. Выберите Добавить сканера.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. Введите имя сканера (например, L4MCrawler).
  2. Выберите Следующая.
  3. Что касается Тип источника краулера, наведите на Хранилища данных.
  4. Что касается Повторите сканирование хранилищ данных S3., наведите на Просканировать все папки.
  5. Выберите Следующая.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. На странице конфигурации хранилища данных для Сканирование данных в, наведите на Указанный путь в моем аккаунте.
  2. Что касается Включить путь, введите путь вашего dimensionContributions файл (s3://YourBucketName/anomalyResults/dimensionContributions).
  3. Выберите Следующая.
  4. Выберите Да чтобы добавить другое хранилище данных и повторить инструкции для metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
  5. Повторите инструкции еще раз, чтобы оперативные данные анализировались детектором аномалий Lookout for Metrics (это местоположение набора данных S3 из вашего детектора Lookout for Metrics).

Теперь у вас должно быть три хранилища данных для обработки сканером.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Теперь вам нужно выбрать роль, чтобы разрешить сканеру просматривать местоположения S3 ваших данных.

  1. Для этого сообщения выберите Создать роль IAM и введите имя для роли.
  2. Выберите Следующая.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. Что касается частота, оставить как Запуск по требованию , а затем выбрать Следующая.
  2. В Сконфигурируйте вывод сканера раздел, выбрать Добавить базу данных.

Это создает базу данных Athena, в которой находятся ваши таблицы метаданных после завершения работы сканера.

  1. Введите имя для вашей базы данных и выберите Создавай.
  2. Выберите Следующая, а затем выберите Завершить.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. На ползунки странице консоли AWS Glue выберите созданный вами сканер и выберите Запустить краулер.

Возможно, вам придется подождать несколько минут, в зависимости от размера данных. По завершении статус сканера отображается как Готовый. Чтобы просмотреть таблицы метаданных, перейдите к базе данных на Databases страницу и выберите таблицы в навигационной панели.

В этом примере таблица метаданных под названием live представляет собой набор данных S3 из детектора Live Lookout for Metrics. В качестве наилучшей практики рекомендуется зашифровать метаданные каталога данных AWS Glue.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Athena автоматически распознает таблицы метаданных, а QuickSight использует Athena для запроса данных и визуализации результатов.

Создайте сканер AWS Glue с помощью AWS CloudFormation.

Ассоциация L4MGlueCrawler.yaml Сценарий CloudFormation создает сканер AWS Glue, связанную с ним роль IAM и выходную базу данных Athena.

  1. Запустите стек по следующей ссылке:

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. На Создать стек выберите страницу Следующая.
  2. На Укажите детали стека на странице введите имя для своего стека (например, L4MGlueCrawler), и выберите Следующая.
  3. На Настроить параметры стека страницу, оставьте все как есть и выберите Следующая.
  4. На Обзор страницу, установите флажок подтверждения, оставьте все остальное как есть и выберите Создать стек.

Запустите сканер AWS Glue

После создания сканера его необходимо запустить, прежде чем переходить к следующему шагу. Вы можете запустить его из консоли или Интерфейс командной строки AWS (интерфейс командной строки AWS). Чтобы использовать консоль, выполните следующие действия:

  1. На консоли AWS Glue выберите ползунки в навигационной панели.
  2. Выберите свой поисковый робот (L4MCrawler).
  3. Выберите Запустить краулер.

Когда сканер завершен, он показывает статус Готовый.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Создайте учетную запись QuickSight

Прежде чем приступить к следующему шагу, перейдите к консоли QuickSight и создайте учетную запись, если у вас ее еще нет. Чтобы убедиться, что у вас есть доступ к соответствующим службам (Athena и корзина S3), выберите имя своей учетной записи в правом верхнем углу, выберите Управление QuickSight, и выберите Безопасность и разрешения, куда можно добавить необходимые сервисы. При настройке доступа к Amazon S3 обязательно выберите Разрешение на запись для рабочей группы Athena.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Теперь вы готовы визуализировать свои данные в QuickSight.

Создайте наборы данных QuickSight на консоли.

Если вы впервые используете Athena, вам необходимо настроить расположение вывода запросов. Инструкции см. в шагах 1–6 в Создать базу данных. Затем выполните следующие шаги:

  1. На консоли QuickSight выберите Datasets.
  2. Выберите Новый набор данных.
  3. Выберите Афину в качестве источника.
  4. Введите имя для вашего источника данных.
  5. Выберите Создать источник данных.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. В качестве базы данных укажите ту, которую вы создали ранее с помощью сканера AWS Glue.
  2. Укажите таблицу, содержащую ваши текущие данные (не аномалии).
  3. Выберите Редактировать/просматривать данные.

Вы будете перенаправлены в интерфейс, аналогичный следующему снимку экрана.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Следующим шагом является добавление и объединение metricValue_AnomalyScore данные с живыми данными.

  1. Выберите Добавить данные.
  2. Выберите Добавить источник данных.
  3. Укажите базу данных, которую вы создали, и metricValue_AnomalyScore таблице.
  4. Выберите Выберите.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Теперь вам нужно настроить объединение двух таблиц.

  1. Выберите связь между двумя таблицами.
  2. Оставьте тип соединения как левый, добавьте метку времени и каждое измерение, которое у вас есть, в качестве предложения соединения и выберите Применить.

В следующем примере мы используем временную метку, платформу и торговую площадку в качестве предложений соединения.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

На правой панели вы можете удалить поля, которые вам не нужны.

  1. Удалите временную метку из metricValue_AnomalyScore таблица, чтобы не было дублированного столбца.
  2. Измените тип данных метки времени (таблицы оперативных данных) со строки на дату и укажите правильный формат. В нашем случае должно быть yyyy-MM-dd HH:mm:ss.

На следующем снимке экрана показано ваше представление после удаления некоторых полей и настройки типа данных.

изображение

  1. Выберите Сохраняйте и визуализируйте.
  2. Выберите значок карандаша рядом с набором данных.
  3. Выберите Добавить набор данных , а затем выбрать dimensioncontributions.

Создайте наборы данных QuickSight с помощью AWS CloudFormation.

Этот шаг содержит три стека CloudFormation.

Первый скрипт CloudFormation, L4MQuickSightDataSource.yaml, создает источник данных QuickSight Athena.

  1. Запустите стек по следующей ссылке:

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. На Создать стек выберите страницу Следующая.
  2. На Укажите детали стека введите свое имя пользователя QuickSight, регион учетной записи QuickSight (указанный при создании учетной записи QuickSight) и имя стека (например, L4MQuickSightDataSource).
  3. Выберите Следующая.
  4. На Настроить параметры стека страницу, оставьте все как есть и выберите Следующая.
  5. На Обзор страницу, оставьте все как есть и выберите Создать стек.

Второй скрипт CloudFormation, L4MQuickSightDataSet1.yaml, создает набор данных QuickSight, который объединяет таблицу измерений с таблицей аномалий.

  1. Запустите стек по следующей ссылке:

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. На Создать стек выберите страницу Следующая.
  2. На Укажите детали стека, введите имя стека (например, L4MQuickSightDataSet1).
  3. Выберите Следующая.
  4. На Настроить параметры стека страницу, оставьте все как есть и выберите Следующая.
  5. На Обзор страницу, оставьте все как есть и выберите Создать стек.

Третий скрипт CloudFormation, L4MQuickSightDataSet2.yaml, создает набор данных QuickSight, который объединяет таблицу аномалий с таблицей оперативных данных.

  1. Запустите стек по следующей ссылке:

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. На Создать страницу стекавыберите Следующая.
  2. На Укажите детали стека странице введите имя стека (например, L4MQuickSightDataSet2).
  3. Выберите Следующая.
  4. На Настроить параметры стека страницу, оставьте все как есть и выберите Следующая.
  5. На Обзор страницу, оставьте все как есть и выберите Создать стек.

Создайте анализ QuickSight для создания панели мониторинга

Этот шаг можно выполнить только на консоли. После создания наборов данных QuickSight выполните следующие шаги:

  1. На консоли QuickSight выберите Анализ в навигационной панели.
  2. Выберите Новый анализ.
  3. Выберите первый набор данных, L4MQuickSightDataSetWithLiveData.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

  1. Выберите Создать анализ.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Анализ QuickSight изначально создается только с первым набором данных.

  1. Чтобы добавить второй набор данных, выберите значок карандаша рядом с Dataset , а затем выбрать Добавить набор данных.
  2. Выберите второй набор данных и выберите Выберите.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Затем вы можете использовать любой набор данных для создания диаграмм, выбрав его на Dataset выпадающее меню.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Показатели набора данных

Вы успешно создали анализ QuickSight на основе результатов вывода Lookout for Metrics и оперативных данных. В QuickSight доступны два набора данных: L4M_Visualization_dataset_with_liveData и L4M_Visualization_dataset_with_dimensionContribution.

Ассоциация L4M_Visualization_dataset_with_liveData набор данных включает следующие показатели:

  • отметка времени – Дата и время оперативных данных, переданных в Lookout for Metrics.
  • Просмотры – Значение метрики просмотров
  • доходы – Значение метрики дохода
  • платформа, рынок, доход AnomalyMetricValue, представления AnomalyMetricValue, доходGroupScore и viewsGroupScore – Эти показатели являются частью обоих наборов данных.

Ассоциация L4M_Visualization_dataset_with_dimensionContribution набор данных включает следующие показатели:

  • отметка времени – Дата и время обнаружения аномалии
  • имя метрики – Показатели, которые вы отслеживаете
  • имя_измерения – Измерение в метрике
  • измерениезначение – Значение измерения
  • значениеВклад – Процент того, насколько DimensionValue влияет на аномалию при обнаружении.

На следующем снимке экрана показаны эти пять показателей на панели управления аномалиями детектора Lookout for Metrics.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Следующие показатели являются частью обоих наборов данных:

  • Платформа - Платформа, на которой произошла аномалия
  • рынка – Рынок, где произошла аномалия
  • доход AnomalyMetricValue и представления AnomalyMetricValue – Соответствующие значения метрики при обнаружении аномалии (в данной ситуации метриками являются выручка или просмотры)
  • выручкаGroupScore и просмотрыGroupScore – Оценки серьезности для каждой метрики обнаруженной аномалии.

Чтобы лучше понять эти последние показатели, вы можете просмотреть файлы CSV, созданные функцией Lambda, в своей корзине S3, где вы сохранили anomalyResults/metricValue_AnomalyScore.

Следующие шаги

Следующим шагом является создание информационных панелей для данных, которые вы хотите видеть. Этот пост не содержит пояснений по созданию диаграмм QuickSight. Если вы новичок в QuickSight, см. Начало работы с анализом данных в Amazon QuickSight для ознакомления. На следующих снимках экрана показаны примеры основных панелей мониторинга. Для получения дополнительной информации ознакомьтесь с Семинары QuickSight.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.

Заключение

Аномалии представлены в консоли Lookout for Metrics по отдельности, каждая со своим графиком, что затрудняет просмотр набора в целом. Для более глубокого анализа необходимо автоматизированное интегрированное решение. В этом посте мы использовали детектор Lookout for Metrics для генерации аномалий и подключили данные к QuickSight для создания визуализаций. Это решение позволяет нам проводить более глубокий анализ аномалий и собирать их все в одном месте/на информационной панели.

В качестве следующего шага это решение можно расширить, добавив дополнительный набор данных и объединив аномалии от нескольких детекторов. Вы также можете адаптировать функцию Lambda. Функция Lambda содержит код, генерирующий наборы данных и имена переменных, которые мы используем для информационных панелей QuickSight. Вы можете адаптировать этот код к вашему конкретному варианту использования, изменив сами наборы данных или имена переменных, которые вам больше понятны.

Если у вас есть какие-либо отзывы или вопросы, пожалуйста, оставьте их в комментариях.


Об авторах

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.Бенуа де Патуль является специалистом по архитектуре решений AI/ML в AWS. Он помогает клиентам, предоставляя рекомендации и техническую помощь по созданию решений, связанных с искусственным интеллектом и машинным обучением, при использовании AWS.

Визуализируйте результаты аномалий Amazon Lookout for Metrics с помощью Amazon QuickSight PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.Пол Трояно является старшим архитектором решений в AWS, базирующейся в Атланте, Джорджия. Он помогает клиентам, предоставляя рекомендации по технологическим стратегиям и решениям на AWS. Он увлечен всем, что связано с AI/ML и автоматизацией решений.

Отметка времени:

Больше от Машинное обучение AWS