Wizualizuj swoje wyniki anomalii w Amazon Lookout for Metrics za pomocą Amazon QuickSight

Jedno z wyzwań napotykanych przez zespoły korzystające Amazon Lookout dla metryk . szybko i sprawnie łączy go z wizualizacją danych. Anomalie są prezentowane pojedynczo w konsoli Lookout for Metrics, każda z własnym wykresem, co utrudnia przeglądanie zestawu jako całości. Do głębszej analizy potrzebne jest zautomatyzowane, zintegrowane rozwiązanie.

W tym poście używamy detektora na żywo Lookout for Metrics zbudowanego zgodnie z Pierwsze kroki sekcja z Próbki AWS, Amazon Lookout dla metryk Repozytorium GitHub. Po uaktywnieniu detektora i wygenerowaniu anomalii ze zbioru danych łączymy Lookout for Metrics z Amazon QuickSight. Tworzymy dwa zestawy danych: jeden, łącząc tabelę wymiarów z tabelą anomalii, a drugi, łącząc tabelę anomalii z aktualnymi danymi. Następnie możemy dodać te dwa zestawy danych do analizy QuickSight, gdzie możemy dodać wykresy w jednym pulpicie nawigacyjnym.

Do detektora Lookout for Metrics możemy dostarczyć dwa rodzaje danych: ciągłe i historyczne. The Repozytorium GitHub próbek AWS oferuje oba, chociaż skupiamy się na ciągłych danych na żywo. Detektor monitoruje te bieżące dane w celu identyfikacji anomalii i zapisuje je do Usługa Amazon Simple Storage (Amazon S3) podczas ich generowania. Pod koniec określonego interwału detektor analizuje dane. Z czasem detektor uczy się dokładniej identyfikować anomalie na podstawie znalezionych wzorców.

Lookout for Metrics wykorzystuje uczenie maszynowe (ML) do automatycznego wykrywania i diagnozowania anomalii w danych biznesowych i operacyjnych, takich jak nagły spadek przychodów ze sprzedaży lub wskaźników pozyskiwania klientów. Usługa jest teraz ogólnie dostępna od 25 marca 2021 r. Automatycznie sprawdza i przygotowuje dane z różnych źródeł w celu wykrywania anomalii z większą szybkością i dokładnością niż tradycyjne metody stosowane do wykrywania anomalii. Możesz również przekazywać informacje zwrotne na temat wykrytych anomalii, aby dostroić wyniki i poprawić dokładność w miarę upływu czasu. Lookout for Metrics ułatwia diagnozowanie wykrytych anomalii, grupując anomalie związane z tym samym zdarzeniem i wysyłając alert zawierający podsumowanie potencjalnej przyczyny źródłowej. Uporządkowuje również anomalie według ważności, dzięki czemu możesz priorytetowo traktować to, co ma największe znaczenie dla Twojej firmy.

QuickSight to w pełni zarządzana, natywna dla chmury usługa Business Intelligence (BI), która ułatwia łączenie się z danymi w celu tworzenia i publikowania interaktywnych pulpitów nawigacyjnych. Dodatkowo możesz użyć Amazon QuickSight aby uzyskać natychmiastowe odpowiedzi za pomocą zapytań w języku naturalnym.

Możesz uzyskać dostęp do bezserwerowych, wysoce skalowalnych pulpitów nawigacyjnych QuickSight z dowolnego urządzenia i bezproblemowo osadzić je w swoich aplikacjach, portalach i witrynach internetowych. Poniższy zrzut ekranu jest przykładem tego, co możesz osiągnąć pod koniec tego postu.

Przegląd rozwiązania

Rozwiązanie jest połączeniem usług AWS, przede wszystkim Lookout for Metrics, QuickSight, AWS Lambda, Amazonka Atena, Klej AWSi Amazon S3.

Poniższy diagram ilustruje architekturę rozwiązania. Lookout for Metrics wykrywa i wysyła anomalie do Lambda za pomocą alertu. Funkcja Lambda generuje wyniki anomalii w postaci plików CSV i zapisuje je w Amazon S3. Robot indeksujący AWS Glue analizuje metadane i tworzy tabele w Athena. QuickSight używa Atheny do wysyłania zapytań do danych Amazon S3, umożliwiając tworzenie pulpitów nawigacyjnych w celu wizualizacji zarówno wyników anomalii, jak i danych na żywo.

To rozwiązanie rozszerza zasoby stworzone w Pierwsze kroki sekcja repozytorium GitHub. Dla każdego kroku uwzględniamy opcje tworzenia zasobów za pomocą Konsola zarządzania AWS lub uruchomienie udostępnionej Tworzenie chmury AWS stos. Jeśli masz dostosowany detektor Lookout for Metrics, możesz go użyć i dostosować w następujący sposób notatnik aby osiągnąć te same wyniki.

Etapy wdrożenia są następujące:

1. utworzyć Amazon Sage Maker instancja notatnika (ALFMTestNotebook) i notebooków za pomocą stosu dostarczonego w Początkowe ustawienia sekcja z GitHub repo.
2. Otwórz instancję notatnika w konsoli SageMaker i przejdź do amazon-lookout-for-metrics-samples/getting_started teczka.
3. Utwórz wiadro S3 i zakończ przygotowywanie danych za pomocą pierwszego notatnik (1.PrereqSetupData.ipynb). Otwórz notatnik za pomocą conda_python3 jądra, jeśli zostaniesz o to poproszony.

Pomijamy drugi notatnik ponieważ skupia się na testowaniu historycznym danych.

4. Jeśli przechodzisz przez przykład za pomocą konsoli, utwórz detektor na żywo Lookout for Metrics i jego alert za pomocą trzeciego notatnik (3.GettingStartedWithLiveData.ipynb).

Jeśli używasz dostarczonych stosów CloudFormation, trzeci notes nie jest wymagany. Detektor i jego alarm są tworzone jako część stosu.

5. Po utworzeniu detektora na żywo Lookout for Metrics należy go aktywować z poziomu konsoli.

Zainicjowanie modelu i wykrycie anomalii może potrwać do 2 godzin.

6. Wdróż funkcję Lambda, używając Pythona z warstwą biblioteki Pandas, i utwórz alert dołączony do aktywnego detektora, aby go uruchomić.
7. Użyj kombinacji Athena i AWS Glue, aby odkryć i przygotować dane do QuickSight.
8. Utwórz źródło danych i zestawy danych QuickSight.
9. Na koniec utwórz analizę QuickSight do wizualizacji, korzystając z zestawów danych.

Skrypty CloudFormation są zwykle uruchamiane jako zestaw zagnieżdżonych stosów w środowisku produkcyjnym. Są one dostarczane osobno w tym poście, aby ułatwić przewodnik krok po kroku.

Wymagania wstępne

Aby przejść przez ten przewodnik, potrzebujesz konta AWS, na którym zostanie wdrożone rozwiązanie. Upewnij się, że wszystkie wdrażane zasoby znajdują się w tym samym regionie. Potrzebujesz działającego detektora Lookout for Metrics zbudowanego z notebooków 1 i 3 od GitHub repo. Jeśli nie masz działającego detektora Lookout for Metrics, masz dwie możliwości:

• Uruchom notebooki 1 i 3 i kontynuuj od kroku 1 tego postu (tworzenie funkcji Lambda i alertu)
• Uruchom notatnik 1, a następnie użyj szablonu CloudFormation, aby wygenerować detektor Lookout for Metrics

Utwórz detektor na żywo za pomocą AWS CloudFormation

Połączenia L4MLiveDetector.yaml Skrypt CloudFormation tworzy detektor anomalii Lookout for Metrics, którego źródło wskazuje na aktywne dane w określonym zasobniku S3. Aby utworzyć detektor, wykonaj następujące czynności:

1. Uruchom stos z następującego linku:

2. Na Utwórz stos wybierz stronę Następna.
3. Na Określ szczegóły stosu strony, podaj następujące informacje:
   1. Nazwa stosu. Na przykład, L4MLiveDetector.
   2. wiadro S3, <Account Number>-lookoutmetrics-lab.
   3. Rola ARN, arn:aws:iam::<Account Number>:role/L4MTestRole.
   4. Częstotliwość wykrywania anomalii. Wybierać PT1H (cogodzinny).
4. Dodaj Następna.
5. Na Skonfiguruj opcje stosu strona, zostaw wszystko tak jak jest i wybierz Następna.
6. Na Review strona, zostaw wszystko tak jak jest i wybierz Utwórz stos.

Utwórz alert SMS na żywo z detektora za pomocą AWS CloudFormation (opcjonalnie)

Ten krok jest opcjonalny. Alert jest przedstawiony jako przykład, bez wpływu na tworzenie zestawu danych. The L4MLiveDetectorAlert.yaml Skrypt CloudFormation tworzy alert detektora anomalii Lookout for Metrics z celem SMS.

1. Uruchom stos z następującego linku:

2. Na Utwórz stos wybierz stronę Następna.
3. Na Określ szczegóły stosu stronie, zaktualizuj numer telefonu SMS i wprowadź nazwę stosu (na przykład L4MLiveDetectorAlert).
4. Dodaj Następna.
5. Na Skonfiguruj opcje stosu strona, zostaw wszystko tak jak jest i wybierz Następna.
6. Na Review strony, zaznacz pole wyboru potwierdzenia, pozostaw wszystko inne bez zmian i wybierz Utwórz stos.

Oczyszczanie zasobów

Przed przejściem do następnego kroku zatrzymaj instancję notatnika SageMaker, aby nie ponosić niepotrzebnych kosztów. Nie jest już potrzebny.

Utwórz funkcję Lambda i alert

W tej sekcji podajemy instrukcje dotyczące tworzenia funkcji Lambda i alertu za pośrednictwem konsoli lub AWS CloudFormation.

Utwórz funkcję i alert za pomocą konsoli

Potrzebujesz Lambdy AWS Zarządzanie tożsamością i dostępem (JESTEM) rola po najlepsze praktyki z najmniejszymi przywilejami aby uzyskać dostęp do zasobnika, w którym chcesz zapisać wyniki.

1. 1. Na konsoli Lambda utwórz nową funkcję.
   2. Wybierz Autor od zera.
   3. W razie zamówieenia projektu Nazwa funkcjiWpisz imię.
   4. W razie zamówieenia projektu Czas pracywybierz Python 3.8.
   5. W razie zamówieenia projektu Rola wykonawcza, Wybierz Użyj istniejącej roli i określ utworzoną rolę.
   6. Dodaj Utwórz funkcję.
2. 
   7. Do pobrania plik ZIP zawierający niezbędny kod dla funkcji Lambda.
   8. W konsoli Lambda otwórz funkcję.
   9. Na Code kartę, wybierz Prześlij zwybierz .plik zipi prześlij pobrany plik.
   10. Dodaj Zapisz.

Twoje drzewo plików powinno pozostać takie samo po przesłaniu pliku ZIP.

11. W Warstwy Sekcja, wybierz Dodaj warstwę.
12. Wybierz Określ ARN.
13. W następujących GitHub repo, wybierz plik CSV odpowiadający regionowi, w którym pracujesz, i skopiuj ARN z najnowszej wersji Pandas.
14. W razie zamówieenia projektu Określ ARN, wprowadź skopiowany ARN.
15. Dodaj Dodaj.

16. Aby dostosować funkcję do swojego środowiska, na dole kodu z pliku lambda_function.py zaktualizuj nazwę zasobnika o zasobnik, w którym chcesz zapisać wyniki anomalii, a DataSet_ARN z detektora anomalii.
17. Dodaj Rozmieścić aby zmiany były aktywne.

Teraz musisz podłączyć detektor Lookout for Metrics do swojej funkcji.

18. W konsoli Lookout for Metrics przejdź do swojego detektora i wybierz Dodaj alert.
19. Wprowadź nazwę alertu i preferowany próg ważności.
20. Z listy kanałów wybierz Lambda.
21. Wybierz utworzoną funkcję i upewnij się, że masz odpowiednią rolę do jej uruchomienia.
22. Dodaj Dodaj alert.

Teraz czekasz na uruchomienie alertu. Czas zmienia się w zależności od tego, kiedy detektor wykryje anomalię.

Po wykryciu anomalii Lookout for Metrics uruchamia funkcję Lambda. Otrzymuje niezbędne informacje z Lookout for Metrics i sprawdza, czy pod odpowiednim znacznikiem czasu anomalii istnieje już zapisany plik CSV w Amazon S3. Jeśli nie ma pliku, Lambda generuje plik i dodaje dane anomalii. Jeśli plik już istnieje, Lambda aktualizuje plik o otrzymane dodatkowe dane. Funkcja generuje oddzielny plik CSV dla każdego innego znacznika czasu.

Utwórz funkcję i alert za pomocą AWS CloudFormation

Podobnie jak w instrukcji konsoli, ty pobierz plik ZIP zawierający niezbędny kod dla funkcji Lambda. Jednak w tym przypadku należy go przesłać do zasobnika S3, aby kod AWS CloudFormation mógł go załadować podczas tworzenia funkcji.

W zasobniku S3 określonym w tworzeniu detektora Lookout for Metrics utwórz folder o nazwie kod lambda i prześlij plik ZIP.

Funkcja Lambda ładuje to jako swój kod podczas tworzenia.

Połączenia L4MLambdaFunkcja.yaml Skrypt CloudFormation tworzy funkcję Lambda i zasoby alertów oraz korzysta z archiwum kodu funkcji przechowywanego w tym samym wiadrze S3.

1. Uruchom stos z następującego linku:

2. Na Utwórz stos wybierz stronę Następna.
3. Na Określ szczegóły stosu strony, określ nazwę stosu (na przykład L4MLambdaFunction).
4. W następujących GitHub repo, otwórz plik CSV odpowiadający regionowi, w którym pracujesz, i skopiuj ARN z najnowszej wersji Pandas.
5. Wprowadź ARN jako parametr ARN warstwy Pandas Lambda.
6. Dodaj Następna.
7. Na Skonfiguruj opcje stosu strona, zostaw wszystko tak jak jest i wybierz Następna.
8. Na Review strony, zaznacz pole wyboru potwierdzenia, pozostaw wszystko inne bez zmian i wybierz Utwórz stos.

Aktywuj detektor

Przed przejściem do kolejnego kroku musisz aktywować detektor z konsoli.

1. W konsoli Lookout for Metrics wybierz Detektory w okienku nawigacji.
2. Wybierz nowo utworzony detektor.
3. Dodaj Aktywuj, A następnie wybierz Aktywuj ponownie, aby potwierdzić.

Aktywacja inicjuje detektor; kończy się, gdy model zakończy cykl uczenia się. Może to potrwać do 2 godzin.

Przygotuj dane do QuickSight

Przed wykonaniem tego kroku daj detektorowi czas na znalezienie anomalii. Utworzona funkcja Lambda zapisuje wyniki anomalii w zasobniku Lookout for Metrics w oknie anomalyResults informator. Możemy teraz przetworzyć te dane, aby przygotować je do QuickSight.

Utwórz robota indeksującego AWS Glue na konsoli

Po wygenerowaniu niektórych anomalii plików CSV używamy robota indeksującego AWS Glue do generowania tabel metadanych.

1. Na konsoli AWS Glue wybierz Roboty w okienku nawigacji.
2. Dodaj Dodaj robota.

3. Wpisz nazwę robota (na przykład L4MCrawler).
4. Dodaj Następna.
5. W razie zamówieenia projektu Typ źródła robota, Wybierz Magazyny danych.
6. W razie zamówieenia projektu Powtórz indeksowanie magazynów danych S3, Wybierz Indeksuj wszystkie foldery.
7. Dodaj Następna.

8. Na stronie konfiguracji magazynu danych dla Indeksuj dane w, Wybierz Określona ścieżka na moim koncie.
9. W razie zamówieenia projektu Uwzględnij ścieżkę, wprowadź ścieżkę swojego dimensionContributions plik (s3://YourBucketName/anomalyResults/dimensionContributions).
10. Dodaj Następna.
11. Dodaj Tak aby dodać kolejny magazyn danych i powtórzyć instrukcje dla metricValue_AnomalyScore(s3://YourBucketName/anomalyResults/metricValue_AnomalyScore).
12. Powtórz instrukcje ponownie, aby dane na żywo zostały przeanalizowane przez detektor anomalii Lookout for Metrics (jest to lokalizacja zestawu danych S3 z detektora Lookout for Metrics).

Teraz robot powinien mieć trzy magazyny danych do przetworzenia.

Teraz musisz wybrać rolę, aby umożliwić robotowi przeglądanie lokalizacji S3 Twoich danych.

13. W przypadku tego posta wybierz Utwórz rolę IAM i wprowadź nazwę roli.
14. Dodaj Następna.

15. W razie zamówieenia projektu Częstotliwość, zostaw jako Uruchom na żądanie i wybierz Następna.
16. W Skonfiguruj wyjście robota Sekcja, wybierz Dodaj bazę danych.

Spowoduje to utworzenie bazy danych Athena, w której znajdują się tabele metadanych po zakończeniu pracy robota.

17. Wpisz nazwę swojej bazy danych i wybierz Stwórz.
18. Dodaj Następna, A następnie wybierz koniec.

19. Na Roboty strony konsoli AWS Glue, wybierz robota, który utworzyłeś i wybierz Uruchom robota.

Może być konieczne odczekanie kilku minut, w zależności od rozmiaru danych. Po zakończeniu stan robota wyświetla się jako Gotowy. Aby zobaczyć tabele metadanych, przejdź do swojej bazy danych na Bazy danych stronę i wybierz Stoły w okienku nawigacji.

W tym przykładzie tabela metadanych o nazwie Live reprezentuje zestaw danych S3 z detektora Live Lookout for Metrics. W ramach najlepszej praktyki zaleca się: zaszyfruj swoje metadane AWS Glue Data Catalog.

Athena automatycznie rozpoznaje tabele metadanych, a QuickSight używa Atheny do tworzenia zapytań o dane i wizualizacji wyników.

Utwórz robota indeksującego AWS Glue za pomocą AWS CloudFormation

Połączenia L4MGlueCrawler.yaml Skrypt CloudFormation tworzy robota indeksującego AWS Glue, powiązaną z nim rolę uprawnień i wyjściową bazę danych Athena.

1. Uruchom stos z następującego linku:

2. Na Utwórz stos wybierz stronę Następna.
3. Na Określ szczegóły stosu stronę, wprowadź nazwę swojego stosu (na przykład L4MGlueCrawler) i wybierz Następna.
4. Na Skonfiguruj opcje stosu strona, zostaw wszystko tak jak jest i wybierz Następna.
5. Na Review strony, zaznacz pole wyboru potwierdzenia, pozostaw wszystko inne bez zmian i wybierz Utwórz stos.

Uruchom robota indeksującego AWS Glue

Po utworzeniu robota musisz go uruchomić przed przejściem do następnego kroku. Możesz go uruchomić z konsoli lub Interfejs wiersza poleceń AWS (AWS CLI). Aby korzystać z konsoli, wykonaj następujące czynności:

1. Na konsoli AWS Glue wybierz Roboty w okienku nawigacji.
2. Wybierz swojego robota (L4MCrawler).
3. Dodaj Uruchom robota.

Gdy robot jest kompletny, pokazuje stan Gotowy.

Utwórz konto QuickSight

Przed rozpoczęciem następnego kroku przejdź do konsoli QuickSight i utwórz konto, jeśli jeszcze go nie masz. Aby upewnić się, że masz dostęp do odpowiednich usług (zasobnik Athena i S3), wybierz nazwę swojego konta w prawym górnym rogu, wybierz Zarządzaj QuickSighti wybierz Bezpieczeństwo i uprawnienia, gdzie możesz dodać niezbędne usługi. Podczas konfigurowania dostępu do Amazon S3 pamiętaj, aby wybrać Pozwolenie na zapis dla grupy roboczej Athena.

Teraz możesz zwizualizować swoje dane w QuickSight.

Utwórz zestawy danych QuickSight na konsoli

Jeśli używasz Ateny po raz pierwszy, musisz skonfigurować lokalizację wyjściową zapytań. Instrukcje znajdują się w krokach 1–6 w Utwórz bazę danych. Następnie wykonaj następujące czynności:

1. W konsoli QuickSight wybierz Zbiory danych.
2. Dodaj Nowy zestaw danych.
3. Wybierz Atenę jako swoje źródło.
4. Wprowadź nazwę źródła danych.
5. Dodaj Utwórz źródło danych.

6. Dla swojej bazy danych określ tę, którą utworzyłeś wcześniej za pomocą robota AWS Glue.
7. Określ tabelę zawierającą Twoje aktualne dane (nie anomalie).
8. Dodaj Edytuj/podgląd danych.

Zostaniesz przekierowany do interfejsu podobnego do poniższego zrzutu ekranu.

Następnym krokiem jest dodanie i połączenie metricValue_AnomalyScore dane z danymi na żywo.

9. Dodaj Dodaj dane.
10. Dodaj Dodaj źródło danych.
11. Określ utworzoną bazę danych i metricValue_AnomalyScore tabela.
12. Dodaj Wybierz.

Musisz teraz skonfigurować połączenie dwóch tabel.

13. Wybierz łącze między dwoma tabelami.
14. Pozostaw typ przyłączenia jako Lewa, dodaj sygnaturę czasową i każdy wymiar jako klauzulę łączenia i wybierz Aplikuj.

W poniższym przykładzie używamy znacznika czasu, platformy i rynku jako klauzul łączenia.

W prawym okienku możesz usunąć pola, których nie chcesz zachować.

15. Usuń sygnaturę czasową z metricValue_AnomalyScore tabela, aby nie zawierała zduplikowanej kolumny.
16. Zmień typ danych znacznika czasu (tabeli danych na żywo) z ciągu na datę i określ poprawny format. W naszym przypadku powinno być yyyy-MM-dd HH:mm:ss.

Poniższy zrzut ekranu przedstawia widok po usunięciu niektórych pól i dostosowaniu typu danych.

17. Dodaj Zapisz i wizualizuj.
18. Wybierz ikonę ołówka obok zbioru danych.
19. Dodaj Dodaj zbiór danych i wybierz dimensioncontributions.

Utwórz zestawy danych QuickSight za pomocą AWS CloudFormation

Ten krok zawiera trzy stosy CloudFormation.

Pierwszy skrypt CloudFormation, L4MQuickSightDataSource.yaml, tworzy źródło danych QuickSight Athena.

1. Uruchom stos z następującego linku:

2. Na Utwórz stos wybierz stronę Następna.
3. Na Określ szczegóły stosu wprowadź swoją nazwę użytkownika QuickSight, region konta QuickSight (określony podczas tworzenia konta QuickSight) oraz nazwę stosu (na przykład L4MQuickSightDataSource).
4. Dodaj Następna.
5. Na Skonfiguruj opcje stosu strona, zostaw wszystko tak jak jest i wybierz Następna.
6. Na Review strona, zostaw wszystko tak jak jest i wybierz Utwórz stos.

Drugi skrypt CloudFormation, L4MQuickSightDataSet1.yaml, tworzy zestaw danych QuickSight, który łączy tabelę wymiarów z tabelą anomalii.

1. Uruchom stos z następującego linku:

2. Na Utwórz stos wybierz stronę Następna.
3. Na Określ szczegóły stosu, wprowadź nazwę stosu (na przykład L4MQuickSightDataSet1).
4. Dodaj Następna.
5. Na Skonfiguruj opcje stosu strona, zostaw wszystko tak jak jest i wybierz Następna.
6. Na Review strona, zostaw wszystko tak jak jest i wybierz Utwórz stos.

Trzeci skrypt CloudFormation, L4MQuickSightDataSet2.yaml, tworzy zestaw danych QuickSight, który łączy tabelę anomalii z tabelą danych aktywnych.

1. Uruchom stos z następującego linku:

2. Na Utwórz stronę stosu¸ wybierz Następna.
3. Na Określ szczegóły stosu stronę, wprowadź nazwę stosu (na przykład L4MQuickSightDataSet2).
4. Dodaj Następna.
5. Na Skonfiguruj opcje stosu strona, zostaw wszystko tak jak jest i wybierz Następna.
6. Na Review strona, zostaw wszystko tak jak jest i wybierz Utwórz stos.

Utwórz analizę QuickSight do tworzenia pulpitu nawigacyjnego

Ten krok można wykonać tylko na konsoli. Po utworzeniu zestawów danych QuickSight wykonaj następujące czynności:

1. W konsoli QuickSight wybierz Analiza w okienku nawigacji.
2. Dodaj Nowa analiza.
3. Wybierz pierwszy zbiór danych, L4MQuickSightDataSetWithLiveData.

4. Dodaj Utwórz analizę.

Analiza QuickSight jest początkowo tworzona tylko z pierwszym zestawem danych.

5. Aby dodać drugi zbiór danych, wybierz ikonę ołówka obok Dataset i wybierz Dodaj zbiór danych.
6. Wybierz drugi zbiór danych i wybierz Wybierz.

Następnie możesz użyć dowolnego zestawu danych do tworzenia wykresów, wybierając go na Dataset rozwijane menu.

Metryki zbioru danych

Pomyślnie utworzyłeś analizę QuickSight na podstawie wyników wnioskowania Lookout for Metrics i danych na żywo. W QuickSight dostępne są dwa zestawy danych: L4M_Visualization_dataset_with_liveData i L4M_Visualization_dataset_with_dimensionContribution.

Połączenia L4M_Visualization_dataset_with_liveData zbiór danych zawiera następujące metryki:

• znak czasu – Data i godzina aktualnych danych przekazanych do Lookout for Metrics
• widoki – Wartość wskaźnika wyświetleń
• dochód – Wartość miernika przychodów
• platforma, rynek, przychodyAnomaliaMetricValue, viewsAnomaliaMetricValue, przychodyGrupaWynik i widokiGrupaWynik – Te metryki są częścią obu zbiorów danych

Połączenia L4M_Visualization_dataset_with_dimensionContribution zbiór danych zawiera następujące metryki:

• znak czasu – Data i godzina wykrycia anomalii
• nazwa_metryki – Wskaźniki, które monitorujesz
• nazwawymiaru – Wymiar w metryce
• wymiarWartość – Wartość wymiaru
• wartośćWkład – Odsetek tego, jak bardzo wymiar DimensionValue wpływa na anomalię po wykryciu

Poniższy zrzut ekranu przedstawia te pięć metryk na pulpicie anomalii detektora Lookout for Metrics.

Następujące dane są częścią obu zbiorów danych:

• Platforma – Platforma, na której doszło do anomalii
• rynek – Rynek, na którym doszło do anomalii
• PrzychodyAnomaliaMetricWartość i wyświetleniaAnomaliaMetricValue – Odpowiednie wartości metryki w momencie wykrycia anomalii (w tej sytuacji metrykami są przychody lub wyświetlenia)
• PrzychodyWynikGrupy i wyświetleniaWynikGrupy – Oceny dotkliwości dla każdej metryki wykrytej anomalii

Aby lepiej zrozumieć te ostatnie metryki, możesz przejrzeć pliki CSV utworzone przez funkcję Lambda w zasobniku S3, w którym zapisałeś anomalyResults/metricValue_AnomalyScore.

Następne kroki

Następnym krokiem jest zbudowanie pulpitów nawigacyjnych dla danych, które chcesz zobaczyć. Ten post nie zawiera wyjaśnienia na temat tworzenia wykresów QuickSight. Jeśli jesteś nowym użytkownikiem QuickSight, zapoznaj się z Rozpoczęcie pracy z analizą danych w Amazon QuickSight na wprowadzenie. Poniższe zrzuty ekranu przedstawiają przykłady podstawowych pulpitów nawigacyjnych. Aby uzyskać więcej informacji, sprawdź Warsztaty QuickSight.

Wnioski

Anomalie są prezentowane pojedynczo w konsoli Lookout for Metrics, każda z własnym wykresem, co utrudnia przeglądanie zestawu jako całości. Do głębszej analizy potrzebne jest zautomatyzowane, zintegrowane rozwiązanie. W tym poście użyliśmy detektora Lookout for Metrics do generowania anomalii i połączyliśmy dane z QuickSight w celu stworzenia wizualizacji. To rozwiązanie pozwala nam przeprowadzić głębszą analizę anomalii i mieć je wszystkie w jednym miejscu/dashboardzie.

W kolejnym kroku rozwiązanie to można by równie dobrze rozszerzyć, dodając dodatkowy zbiór danych i łącząc anomalie z wielu detektorów. Możesz także dostosować funkcję Lambda. Funkcja Lambda zawiera kod generujący zestawy danych i nazwy zmiennych, których używamy w dashboardach QuickSight. Możesz dostosować ten kod do konkretnego przypadku użycia, zmieniając same zestawy danych lub nazwy zmiennych, które mają dla Ciebie większy sens.

Jeśli masz jakieś uwagi lub pytania, zostaw je w komentarzach.

---

O autorach

Benoit de Patoul jest specjalistą ds. rozwiązań AI/ML w AWS. Pomaga klientom, udzielając wskazówek i pomocy technicznej w budowaniu rozwiązań związanych z AI/ML podczas korzystania z AWS.

Paweł Trojan jest starszym architektem rozwiązań w AWS z siedzibą w Atlancie w stanie Georgia. Pomaga klientom, udzielając wskazówek dotyczących strategii i rozwiązań technologicznych w AWS. Pasjonuje się wszystkimi rzeczami AI/ML i automatyzacją rozwiązań.