Amazon Lookout for Metrics egy AWS-szolgáltatás, amely gépi tanulást (ML) használ a vállalkozások számára legfontosabb mutatók automatikus, gyorsabb és pontosabb figyelésére. A szolgáltatás emellett megkönnyíti az anomáliák kiváltó okainak diagnosztizálását is, mint például a bevételek váratlan zuhanása, az elhagyott bevásárlókosarak magas aránya, a fizetési tranzakciók meghibásodásának megugrása, az új felhasználók regisztrációjának növekedése és még sok más. A Lookout for Metrics túlmutat az egyszerű anomáliák észlelésén. Lehetővé teszi a fejlesztők számára, hogy autonóm felügyeletet állítsanak be a fontos mérőszámokhoz az anomáliák észlelése érdekében, és néhány kattintással azonosítsák azok kiváltó okát, hogy észleljék a mérőszámaiban előforduló anomáliákat – mindezt ML tapasztalat nélkül.
Amazon Athéné egy interaktív lekérdező szolgáltatás, amely megkönnyíti az adatok elemzését Amazon Simple Storage Service (Amazon S3) szabványos SQL használatával. Egyszerűen mutasson az adatokra az Amazon S3-ban, határozza meg a sémát, és kezdje el a lekérdezést szabványos SQL használatával. A legtöbb eredmény másodperceken belül megtörténik. Az Athena segítségével nincs szükség összetett ETL-feladatokra az adatok elemzésre való előkészítéséhez. Ez megkönnyíti az SQL-ismeretekkel rendelkezők számára a nagyméretű adatkészletek gyors elemzését.
A mai indulással a Lookout for Metrics zökkenőmentesen csatlakozhat az Ön adataihoz az Athénában, hogy rendkívül pontos anomáliaérzékelőket állítson be. Ez lehetővé teszi, hogy gyorsan telepítse a legmodernebb anomália-észlelést az ML segítségével a Lookout for Metrics szolgáltatással az Athena-ban elérhető bármely adatkészlethez.
Az Athena csatlakoztathatósága a következő előnyökkel bővíti a Lookout for Metrics képességeit:
- Kibővíti a Lookout for Metrics képességeit a következő szempontok szerint fájltípus támogatás. Ezt megelőzően a Lookout for Metrics támogatta a CSV és JSONLines formátumú fájlokat, de az Athénával ez kibővült a Parquet, Avro, Plaintext és egyebekre. Ha tudja elemezni az Athénán keresztül, akkor mostantól lehetséges importálni és kihasználni a Lookout for Metrics szolgáltatással.
- Ezenkívül bevezeti az adatok támogatását egyesített lekérdezések. Az indítás előtt, ha adatait több adatbázisban vagy forrásban tárolták, meg kellett határoznia egy teljes komplex ETL-folyamatot, valamint kezelnie kellett annak teljesítményjellemzőit, mielőtt az összes adatot CSV- vagy JSONLines-fájlba exportálhatta volna, és bevinné. a Lookout for Metrics for Anomália-észleléshez. Az Athena egyesített lekérdezéseivel meghatározhatja a különböző forrásokat, valamint az összekapcsolás végrehajtásának módját, és amikor az adatok feldolgozása megtörtént, és az Athena lekérdezheti őket, azonnal készen áll a Lookout for Metrics szolgáltatásra. Ez lehetővé teszi, hogy átadja az adatátalakítási, összesítési és szállítási hely terhét az Athénának, és csak a Lookout for Metrics által azonosított anomáliákra összpontosítson.
Megoldás áttekintése
Ebben a bejegyzésben bemutatjuk, hogyan lehet integrálni egy Athena-táblát, és hogyan lehet észlelni a bevételi mutatók anomáliáit. Azt is nyomon követjük, hogy a rendelési arány és a készletmutatók milyen hatással vannak. A forrásadatok az Amazon S3-ban találhatók, és az Athena táblákat úgy konfiguráltuk, hogy képesek legyenek lekérdezni az abban található adatokat. An AWS Lambda felelős az Athena partícióinak frissítéséért, amelyeket a Lookout for Metrics használ az anomáliák észlelésére. Ez a megoldás lehetővé teszi egy Athena adatforrás használatát a Lookout for Metrics szolgáltatáshoz.
Használhatja a biztosítottat AWS felhőképződés verem az áttekintéshez szükséges erőforrások beállításához. Erőforrásokat tartalmaz az élő adatok folyamatos generálásához, és lekérdezhetővé teszi azokat az Athénában.
- Indítsa el a köteget a következő linkről, és válassza ki következő a Verem létrehozása oldalon.
- A Adja meg a verem részleteit oldalt, adja hozzá a fenti értékeket, adjon neki egy veremnevet (pl.
L4MAthenaDetector
), majd válassza a lehetőséget Következő. - A Állítsa be a verembeállításokat oldalt, hagyjon mindent úgy, ahogy van, és válassza ki Következő.
Állítson be egy új detektort az Athena adatforrással
1 lépés
Jelentkezzen be a AWS konzol a Lookout for Metrics funkcióval rendelkező anomáliadetektor létrehozásának megkezdéséhez. Az első lépés az „Érzékelő létrehozása” gomb kiválasztása.
2 lépés
Töltse ki a kötelező detektormezőket, például a nevet. Válassza ki az érzékelő észlelési intervallumát, amelyet az határozza meg, hogy a Lookout for Metrics milyen gyakorisággal kérje le az adatokat, és figyelje meg azokat anomáliák szempontjából. A titkosítási információk nem kötelezőek. A titkosítási információk lehetővé teszik a Lookout for Metrics számára, hogy titkosítsa adatait a AWS kulcskezelő szolgáltatás (KMS) kulcs. Ebben a példában kihagyjuk a titkosítási kulcs hozzáadását, a Lookout for Metrics az alapértelmezett titkosítást használja az adatok titkosításához, ha nem ad meg titkosítási információkat, majd a „Létrehozás” gomb kiválasztásával folytatja.
3 lépés
Az anomália-érzékelő létrehozása után egy megerősítést fog látni a tetején egy szalaghirdetésben. Továbbléphet az „Addset hozzáadása” kiválasztásával a szalaghirdetésen vagy az „Addset hozzáadása” alatti gombon keresztül.
Töltse ki az adatforrás alapvető adatait. Az időzóna egy opcionális mező. Válassza ki a legördülő menüt az adatforrás kiválasztásához.
A Lookout for Metrics több adatforrást is támogat az ügyfelek kényelme érdekében. Ebben a példában az Athénét választjuk.
Ha az Athena adatforrásként van kiválasztva, lehetősége van a Backtest vagy a Continuous mód kiválasztására az érzékelő számára. Ebben a példában a Folyamatos módot használjuk. Folytassa az anomáliák szempontjából figyelni kívánt Athena tábla részleteinek hozzáadásával.
Engedélyezheti a szolgáltatásnak szolgáltatási szerepkör létrehozását, vagy használhat egy meglévőt AWS Identity and Access Management (IAM) szerepet a fiókjában az egyesített lekérdezésekhez. Vegye figyelembe, hogy a Lookout for Metrics nem támogatja az IAM-szerepkörök automatikus létrehozását az egyesített lekérdezésekhez. Ezért új IAM-szerepet kell létrehoznia, hogy az Athena a következő műveleteket hajthassa végre az Ön adataival:
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
A szolgáltatás által létrehozott IAM-szerep a következőképpen néz ki:
4 lépés
Most meghatározzuk a detektor releváns mérőszámait. A Lookout for Metrics a legördülő listákat a mellékelt Athena-táblázatban található oszlopokkal tölti fel. Legfeljebb öt mutatót és öt dimenziót választhat ki. A Lookout for Metrics szolgáltatás megköveteli, hogy a táblázatban lévő adatokat időbélyegként particionálják az időbélyegző oszlophoz. Lehetősége van arra is, hogy megbecsülje ennek az érzékelőnek a költségeit úgy, hogy összeadja az értékek számát a dimenziókban.
Miután kiválasztotta az összes mérőszámot, kattintson a „Tovább” gombra. Tekintse át a részleteket, és válassza az „Adatkészlet mentése” gombot az adatkészlet mentéséhez.
5 lépés
Az adatkészlet létrehozása után aktiváljuk az érzékelőt a felül található „Aktiválás” gomb vagy a „Hogyan működik” részben az „Érzékelő aktiválása” gomb kiválasztásával.
A rendszer kéri, hogy erősítse meg, hogy aktiválja-e az érzékelőt a folyamatos észleléshez. A megerősítéshez válassza az „Aktiválás” lehetőséget.
Megerősítő üzenet jelenik meg, amely tájékoztatja az érzékelő aktiválását.
6 lépés
Ha az Anomália-érzékelő aktív, az Érzékelő részletei oldalon található „Érzékelőnapló” lapon áttekintheti a szolgáltatás által végrehajtott észlelési végrehajtásokat.
7 lépés
Kiválaszthatja az „Anomáliák megtekintése” gombot az érzékelő részletes oldalán a szolgáltatás által esetleg észlelt rendellenességek manuális ellenőrzéséhez.
8 lépés
Az Anomáliák áttekintése oldalon beállíthatja a súlyossági pontszám küszöbértékét a küszöbtárcsán, hogy kiszűrje a kiválasztott pontszám feletti rendellenességeket.
Tekintse át és elemezze az eredményeket
Ha rendellenességet észlel, a Lookout for Metrics segít a legfontosabbra összpontosítani, mivel súlyossági pontszámot rendel a prioritások meghatározásához. A kiváltó ok megtalálásának elősegítése érdekében intelligensen csoportosítja azokat az anomáliákat, amelyek ugyanahhoz az incidenshez kapcsolódhatnak, majd összefoglalja a különböző hatásforrásokat.
A Lookout for Metrics emellett lehetővé teszi, hogy valós idejű visszajelzést adjon az észlelt anomáliák relevanciájáról, ezáltal lehetővé téve egy hatékony humán-in-the-loop mechanizmust. Ezt az információt visszacsatolják az anomália-észlelési modellbe, hogy a közel valós időben javítsák a pontosságát.
Tisztítsuk meg
A demóhoz beállított erőforrás további költségeinek elkerülése érdekében törölheti a Lookout for Metrics alatt létrehozott detektort és a CloudFormation segítségével létrehozott veremet.
Következtetés
Zökkenőmentesen csatlakozhat adataihoz az Athena szolgáltatásban a Lookout for Metrics szolgáltatáshoz, hogy rendkívül pontos anomáliaérzékelőt állítson be a metrikák és dimenziók között az Athena-táblázatokon belül. A funkció használatának megkezdéséhez lásd: Az Amazon Athena használata a Lookout for Metrics szolgáltatással. Ezt a funkciót minden olyan régióban használhatja, ahol a Lookout for Metrics nyilvánosan elérhető. A régió elérhetőségével kapcsolatos további információkért lásd: AWS regionális szolgáltatások.
A szerzőkről
Devesh Ratho a Lookout for Metrics csapat szoftverfejlesztő mérnöke. Érdeklődése a méretezhető elosztott rendszerek építése. Szabadidejében szereti a sim versenyzést.
Chris King vezető megoldások építésze az alkalmazott mesterséges intelligencia területén és az AWS-ben. Különösen érdekelt az AI-szolgáltatások elindítása, és segített az Amazon Personalize és az Amazon Forecast növekedésében és felépítésében, mielőtt az Amazon Lookout for Metrics-re összpontosított volna. Szabadidejében szívesen főz, olvas, bokszol, és modelleket épít, hogy megjósolja a küzdősportok kimenetelét.
- Coinsmart. Európa legjobb Bitcoin- és kriptográfiai tőzsdéje.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. SZABAD HOZZÁFÉRÉS.
- CryptoHawk. Altcoin radar. Ingyenes próbaverzió.
- Source: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- Rólunk
- hozzáférés
- Fiók
- pontos
- át
- Akció
- cselekvések
- aktív
- További
- AI
- AI szolgáltatások
- Minden termék
- amazon
- elemzés
- bárki
- Automatizált
- autonóm
- elérhetőség
- elérhető
- AWS
- zászló
- előtt
- Előnyök
- Túl
- határ
- dobozolás
- épít
- Épület
- vállalkozások
- képességek
- Okoz
- díjak
- Oszlop
- elleni küzdelem
- bonyolult
- feltétel
- Csatlakozás
- Connectivity
- tartalmaz
- kényelem
- tudott
- teremt
- készítette
- létrehozása
- teremtés
- Ügyfelek
- dátum
- adatbázisok
- szállított
- kézbesítés
- bizonyítani
- telepíteni
- részletek
- észlelt
- Érzékelés
- fejlesztők
- Fejlesztés
- különböző
- megosztott
- Nem
- hatás
- lehetővé téve
- titkosítás
- mérnök
- becslés
- minden
- példa
- létező
- kiterjesztett
- tapasztalat
- Fed
- Visszacsatolás
- Fields
- vezetéknév
- Összpontosít
- összpontosítás
- következő
- generál
- nagyobb
- Csoportok
- Nő
- segít
- segít
- Magas
- nagyon
- Hogyan
- How To
- HTTPS
- azonosítani
- Identitás
- Hatás
- fontos
- javul
- információ
- bemenet
- integrálni
- interaktív
- kamat
- érdekek
- leltár
- IT
- Állások
- csatlakozik
- Kulcs
- király
- indít
- indítás
- tanulás
- Szabadság
- Tőkeáttétel
- LINK
- elhelyezkedés
- gép
- gépi tanulás
- KÉSZÍT
- kezelése
- vezetés
- kötelező
- kézzel
- Anyag
- számít
- Metrics
- ML
- modell
- modellek
- monitor
- ellenőrzés
- több
- a legtöbb
- többszörös
- szám
- opció
- érdekében
- fizetés
- teljesítmény
- megszemélyesít
- pont
- lehetséges
- erős
- előre
- Készít
- be
- folyamat
- ad
- gyorsan
- verseny
- Az árak
- Olvasás
- real-time
- regionális
- kötelező
- megköveteli,
- forrás
- Tudástár
- felelős
- Eredmények
- jövedelem
- Kritika
- skálázható
- zökkenőmentesen
- másodperc
- kiválasztott
- szolgáltatás
- Szolgáltatások
- készlet
- Bevásárlás
- IGEN
- Egyszerű
- készségek
- szoftver
- szoftverfejlesztés
- szilárd
- megoldások
- Megoldások
- speciális
- sebesség
- Sport
- verem
- standard
- kezdet
- kezdődött
- csúcs-
- nyilatkozat
- tárolás
- támogatás
- Támogatott
- Támogatja
- Systems
- csapat
- The Source
- ebből adódóan
- küszöb
- Keresztül
- idő
- mai
- felső
- vágány
- tranzakció
- Átalakítás
- alatt
- frissítése
- használ
- változat
- Mit
- belül
- lenne