Amazon Lookout dla metryk . to usługa AWS, która wykorzystuje uczenie maszynowe (ML) do automatycznego monitorowania metryk najważniejszych dla firm z większą szybkością i dokładnością. Usługa ułatwia również diagnozowanie pierwotnych przyczyn anomalii, takich jak nieoczekiwane spadki przychodów, wysoki odsetek porzuconych koszyków, skoki liczby niepowodzeń transakcji płatniczych, wzrost liczby rejestracji nowych użytkowników i wiele innych. Funkcja Lookout for Metrics wykracza poza proste wykrywanie anomalii. Umożliwia programistom konfigurowanie autonomicznego monitorowania ważnych metryk w celu wykrywania anomalii i identyfikowania ich pierwotnej przyczyny w ciągu kilku kliknięć w celu wykrycia anomalii w metrykach — a wszystko to bez konieczności posiadania doświadczenia w zakresie uczenia maszynowego.
Amazonka Atena to interaktywna usługa zapytań, która ułatwia analizę danych w Usługa Amazon Simple Storage (Amazon S3) przy użyciu standardowego języka SQL. Po prostu wskaż swoje dane w Amazon S3, zdefiniuj schemat i rozpocznij wysyłanie zapytań przy użyciu standardowego SQL. Większość wyników jest dostarczana w ciągu kilku sekund. Dzięki Athenie nie ma potrzeby wykonywania skomplikowanych zadań ETL w celu przygotowania danych do analizy. Ułatwia to każdemu, kto ma umiejętności SQL, szybką analizę dużych zestawów danych.
Dzięki dzisiejszej premierze Lookout for Metrics może teraz bezproblemowo łączyć się z Twoimi danymi w Athena, aby konfigurować bardzo dokładne detektory anomalii. Pozwala to szybko wdrożyć najnowocześniejsze wykrywanie anomalii za pomocą uczenia maszynowego z Lookout for Metrics w odniesieniu do dowolnych zestawów danych dostępnych w Athenie.
Łączność Athena rozszerza możliwości Lookout for Metrics, zapewniając następujące korzyści:
- Rozszerza możliwości Lookout for Metrics w zakresie obsługa typów plików. Wcześniej Lookout for Metrics obsługiwał pliki w formacie CSV i JSONLines, ale w Athena zostało to rozszerzone na Parquet, Avro, Plaintext i inne. Jeśli możesz przeanalizować go za pomocą Atheny, możesz teraz importować i wykorzystywać za pomocą Lookout for Metrics.
- Wprowadza również obsługę danych z zapytania sfederowane. Przed tym uruchomieniem, jeśli Twoje dane były przechowywane w wielu bazach danych lub źródłach, przed wyeksportowaniem wszystkich danych do pliku CSV lub JSONLines i wprowadzeniem do nich musiałbyś zdefiniować kompletny, złożony proces ETL, a także zarządzać jego charakterystyką wydajności w Lookout dla Metrics for Anomaly Detection. Dzięki federacyjnym zapytaniom z Atheny możesz zdefiniować różne źródła, a także sposób wykonania łączenia, a kiedy dane zostaną przetworzone i mogą być wysyłane przez Athena, jest ona natychmiast gotowa do Lookout for Metrics. Dzięki temu można przekazać Athenie ciężar związany z transformacją, agregacją i lokalizacją dostarczania danych i skupić się wyłącznie na zidentyfikowanych anomaliach z Lookout for Metrics.
Omówienie rozwiązania
W tym poście pokazujemy, jak zintegrować tabelę Athena i wykryć anomalie w metrykach przychodów. Śledzimy również, w jaki sposób wpływa to na wskaźnik zamówień i wskaźniki zapasów. Dane źródłowe znajdują się w Amazon S3 i skonfigurowaliśmy tabele Athena, aby móc wyszukiwać w nich dane. Jakiś AWS Lambda jest odpowiedzialna za aktualizację partycji w Athenie, które są używane przez Lookout for Metrics do wykrywania anomalii. To rozwiązanie umożliwia korzystanie ze źródła danych Athena dla usługi Lookout for Metrics.
Możesz skorzystać z dostarczonego Tworzenie chmury AWS stos, aby skonfigurować zasoby dla przewodnika. Zawiera zasoby do ciągłego generowania danych na żywo i sprawia, że można je wyszukiwać w Athenie.
- Uruchom stos z poniższego łącza i wybierz Następny na stronie Utwórz stos.
- Na Określ szczegóły stosu stronę, dodaj wartości z góry, nadaj jej nazwę stosu (na przykład
L4MAthenaDetector
) i wybierz Następna. - Na Skonfiguruj opcje stosu stronę, pozostaw wszystko tak, jak jest i wybierz Następna.
Skonfiguruj nowy detektor z Atheną jako źródłem danych
Krok 1
Zaloguj się, aby Konsola AWS aby rozpocząć tworzenie narzędzia do wykrywania anomalii za pomocą funkcji Lookout for Metrics. Pierwszym krokiem jest wybranie przycisku „Utwórz detektor”.
Krok 2
Wypełnij obowiązkowe pola detektora, takie jak imię i nazwisko. Wybierz interwał wykrywania dla detektora, który jest określony przez częstotliwość, z jaką Lookout for Metrics ma wyszukiwać Twoje dane i monitorować je pod kątem anomalii. Informacje o szyfrowaniu nie są obowiązkowe. Informacje o szyfrowaniu umożliwiają usłudze Lookout for Metrics szyfrowanie danych za pomocą Twojego Usługa zarządzania kluczami AWS (KMS) klucz. W tym przykładzie pominiemy dodawanie klucza szyfrowania. Lookout for Metrics użyje domyślnego szyfrowania do zaszyfrowania danych, jeśli nie zostaną podane żadne informacje o szyfrowaniu, i przejdzie dalej, wybierając przycisk „Utwórz”.
Krok 3
Po utworzeniu detektora anomalii zobaczysz potwierdzenie na banerze u góry. Możesz kontynuować, wybierając „Dodaj zestaw danych” za pomocą banera lub przycisku pod „Dodaj zestaw danych”.
Wypełnij podstawowe informacje o źródle danych. Strefa czasowa jest polem opcjonalnym. Wybierz listę rozwijaną, aby wybrać źródło danych.
Lookout for Metrics obsługuje wiele źródeł danych dla wygody klientów. W tym przykładzie wybierzemy Atenę.
Po wybraniu Atheny jako źródła danych będziesz mieć możliwość wyboru trybu Backtest lub Continuous dla detektora. W tym przykładzie użyjemy trybu ciągłego. Kontynuuj, dodając szczegóły tabeli Athena, którą chcesz monitorować pod kątem anomalii.
Możesz zezwolić usłudze na utworzenie roli usługi lub użyć istniejącej Zarządzanie tożsamością i dostępem AWS (IAM) rolę na koncie dla zapytań federacyjnych. Pamiętaj, że Lookout for Metrics nie obsługuje automatycznego tworzenia ról IAM dla zapytań federacyjnych. Dlatego musiałbyś utworzyć nową rolę IAM, aby umożliwić Atenie wykonywanie następujących działań na twoich danych:
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
Rola IAM utworzona przez usługę wygląda następująco:
Krok 4
Teraz zdefiniujemy odpowiednie metryki dla detektora. Aplikacja Lookout for Metrics wypełni listy rozwijane kolumnami znajdującymi się w dostarczonej tabeli Athena. Możesz wybrać maksymalnie pięć danych i pięć wymiarów. Lookout for Metrics wymaga, aby dane w tabeli były partycjonowane jako sygnatury czasowe dla kolumny sygnatury czasowej. Będziesz także mieć możliwość oszacowania kosztu tego detektora, dodając liczbę wartości w swoich wymiarach.
Po wybraniu wszystkich metryk kontynuuj, wybierając przycisk „Dalej”. Przejrzyj szczegóły i wybierz przycisk „Zapisz zestaw danych”, aby zapisać zestaw danych.
Krok 5
Po utworzeniu zestawu danych aktywujemy wykrywacz, wybierając przycisk „Aktywuj” u góry lub przycisk „Aktywuj wykrywacz” w sekcji „Jak to działa”.
Zostaniesz poproszony o potwierdzenie, czy chcesz aktywować detektor do ciągłego wykrywania. Wybierz „Aktywuj”, aby potwierdzić.
Zobaczysz potwierdzenie aktywowania detektora.
Krok 6
Gdy Detektor anomalii jest aktywny, możesz użyć zakładki „Dziennik detektora” na stronie Szczegóły detektora, aby przejrzeć wykonania wykrywania, które zostały wykonane przez usługę.
Krok 7
Możesz wybrać przycisk „Wyświetl anomalie” na stronie szczegółów detektora, aby ręcznie sprawdzić anomalie, które mogły zostać wykryte przez usługę.
Krok 8
Na stronie przeglądu anomalii możesz dostosować próg oceny istotności na tarczy progów, aby odfiltrować anomalie powyżej wybranego wyniku.
Przejrzyj i przeanalizuj wyniki
Podczas wykrywania anomalii Lookout for Metrics pomaga skupić się na tym, co najważniejsze, przypisując ocenę istotności w celu ułatwienia ustalania priorytetów. Aby pomóc Ci znaleźć pierwotną przyczynę, inteligentnie grupuje anomalie, które mogą być związane z tym samym incydentem, a następnie podsumowuje różne źródła wpływu.
Lookout for Metrics umożliwia również dostarczanie informacji zwrotnych w czasie rzeczywistym na temat istotności wykrytych anomalii, umożliwiając w ten sposób potężny mechanizm „human-in-the-loop”. Informacje te są przekazywane z powrotem do modelu wykrywania anomalii w celu poprawy jego dokładności w czasie zbliżonym do rzeczywistego.
Sprzątać
Aby uniknąć dodatkowych opłat za zasób skonfigurowany na potrzeby wersji demonstracyjnej, możesz usunąć utworzony detektor w Lookout for Metrics i stos utworzony za pośrednictwem CloudFormation.
Wnioski
Możesz bezproblemowo połączyć swoje dane w Athena z Lookout for Metrics, aby skonfigurować bardzo dokładny detektor anomalii dla metryk i wymiarów w swoich tabelach Athena. Aby rozpocząć korzystanie z tej funkcji, zobacz Używanie Amazon Athena z Lookout for Metrics. Możesz korzystać z tej funkcji we wszystkich regionach, w których usługa Lookout for Metrics jest publicznie dostępna. Aby uzyskać więcej informacji na temat dostępności regionów, zobacz Usługi regionalne AWS.
O autorach
Deveś Ratho jest inżynierem ds. rozwoju oprogramowania w zespole Lookout for Metrics. Jego zainteresowania leżą w budowaniu skalowalnych systemów rozproszonych. W wolnym czasie lubi wyścigi symulacyjne.
Chrisa Króla jest starszym architektem rozwiązań w Applied AI z AWS. Jest szczególnie zainteresowany wprowadzaniem usług AI i pomagał rozwijać i budować Amazon Personalize i Amazon Forecast, zanim skupił się na Amazon Lookout for Metrics. W wolnym czasie lubi gotować, czytać, boksować i budować modele do przewidywania wyników sportów walki.
- Coinsmart. Najlepsza w Europie giełda bitcoinów i kryptowalut.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. DARMOWY DOSTĘP.
- CryptoJastrząb. Radar Altcoin. Bezpłatna wersja próbna.
- Źródło: https://aws.amazon.com/blogs/machine-learning/seamless-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- O nas
- dostęp
- Konto
- dokładny
- w poprzek
- Działania
- działania
- aktywny
- Dodatkowy
- AI
- Usługi AI
- Wszystkie kategorie
- Amazonka
- analiza
- ktoś
- zautomatyzowane
- autonomiczny
- dostępność
- dostępny
- AWS
- transparent
- zanim
- Korzyści
- Poza
- granica
- Boks
- budować
- Budowanie
- biznes
- możliwości
- Spowodować
- Opłaty
- Kolumna
- zwalczania
- kompleks
- warunek
- Skontaktuj się
- Łączność
- zawiera
- wygoda
- mógłby
- Stwórz
- stworzony
- Tworzenie
- tworzenie
- Klientów
- dane
- Bazy danych
- dostarczona
- dostawa
- wykazać
- rozwijać
- detale
- wykryte
- Wykrywanie
- deweloperzy
- oprogramowania
- różne
- dystrybuowane
- Nie
- efekt
- umożliwiając
- szyfrowanie
- inżynier
- oszacowanie
- wszystko
- przykład
- Przede wszystkim system został opracowany
- rozszerzony
- doświadczenie
- nakarmiony
- informacja zwrotna
- Łąka
- i terminów, a
- Skupiać
- skupienie
- następujący
- Generować
- większy
- Grupy
- Rosnąć
- pomoc
- pomaga
- Wysoki
- wysoko
- W jaki sposób
- How To
- HTTPS
- zidentyfikować
- tożsamość
- Rezultat
- ważny
- podnieść
- Informacja
- wkład
- integrować
- interaktywne
- odsetki
- zainteresowania
- inwentarz
- IT
- Oferty pracy
- przystąpić
- Klawisz
- król
- uruchomić
- wodowanie
- nauka
- Pozostawiać
- Dźwignia
- LINK
- lokalizacja
- maszyna
- uczenie maszynowe
- WYKONUJE
- zarządzanie
- i konserwacjami
- obowiązkowe
- ręcznie
- Materia
- Matters
- Metryka
- ML
- model
- modele
- monitor
- monitorowanie
- jeszcze
- większość
- wielokrotność
- numer
- Option
- zamówienie
- płatność
- jest gwarancją najlepszej jakości, które mogą dostarczyć Ci Twoje monitory,
- personalizować
- punkt
- możliwy
- mocny
- przewidzieć
- Przygotować
- teraźniejszość
- wygląda tak
- zapewniać
- szybko
- Bridgestone
- ceny
- Czytający
- w czasie rzeczywistym
- regionalny
- wymagany
- Wymaga
- Zasób
- Zasoby
- odpowiedzialny
- Efekt
- dochód
- przeglądu
- skalowalny
- płynnie
- sekund
- wybrany
- usługa
- Usługi
- zestaw
- Zakupy
- TAK
- Prosty
- umiejętności
- Tworzenie
- rozwoju oprogramowania
- solidny
- rozwiązanie
- Rozwiązania
- specjalny
- prędkość
- SPORTOWE
- stos
- standard
- początek
- rozpoczęty
- state-of-the-art
- Zestawienie sprzedaży
- przechowywanie
- wsparcie
- Utrzymany
- podpory
- systemy
- zespół
- Źródło
- w związku z tym
- próg
- Przez
- czas
- dzisiaj
- Top
- śledzić
- transakcja
- Transformacja
- dla
- aktualizowanie
- posługiwać się
- wersja
- Co
- w ciągu
- by