Amazon Lookout voor statistieken is een AWS-service die gebruikmaakt van machine learning (ML) om automatisch sneller en nauwkeuriger de statistieken te bewaken die het belangrijkst zijn voor bedrijven. De service maakt het ook gemakkelijker om de oorzaak van anomalieรซn te diagnosticeren, zoals onverwachte dalingen in inkomsten, hoge percentages verlaten winkelwagentjes, pieken in mislukte betalingstransacties, toename van nieuwe gebruikersregistraties en nog veel meer. Lookout for Metrics gaat verder dan eenvoudige anomaliedetectie. Het stelt ontwikkelaars in staat om autonoom toezicht op belangrijke meetwaarden in te stellen om afwijkingen te detecteren en de hoofdoorzaak ervan in een paar klikken te identificeren om afwijkingen in de meetwaarden te detecteren, allemaal zonder dat ervaring met ML vereist is.
Amazone Athene is een interactieve query-service waarmee u eenvoudig gegevens kunt analyseren in Eenvoudige opslagservice van Amazon (Amazon S3) met behulp van standaard SQL. Wijs eenvoudig naar uw gegevens in Amazon S3, definieer het schema en begin met zoeken met behulp van standaard SQL. De meeste resultaten worden binnen enkele seconden geleverd. Met Athena zijn er geen complexe ETL-taken nodig om uw gegevens voor te bereiden op analyse. Dit maakt het gemakkelijk voor iedereen met SQL-vaardigheden om snel grootschalige datasets te analyseren.
Met de lancering van vandaag kan Lookout for Metrics nu naadloos verbinding maken met uw gegevens in Athena om zeer nauwkeurige anomaliedetectoren in te stellen. Hierdoor kunt u snel de modernste anomaliedetectie via ML met Lookout for Metrics inzetten tegen alle datasets die beschikbaar zijn in Athena.
Athena-connectiviteit breidt de mogelijkheden van Lookout for Metrics uit door de volgende voordelen te bieden:
- Het breidt de mogelijkheden van Lookout for Metrics uit in termen van: bestandstype ondersteuning. Daarvoor ondersteunde Lookout for Metrics CSV- en JSONLines-geformatteerde bestanden, maar met Athena is dit uitgebreid naar Parquet, Avro, Plaintext en meer. Als je het via Athena kunt ontleden, is het nu mogelijk om te importeren en te gebruiken met Lookout for Metrics.
- Het introduceert ook ondersteuning voor gegevens met: federatieve zoekopdrachten. Als uw gegevens vรณรณr deze lancering in meerdere databases of bronnen waren opgeslagen, zou u een compleet complex ETL-proces moeten definiรซren en de prestatiekenmerken ervan moeten beheren voordat u alle gegevens naar een CSV- of JSONLines-bestand kunt exporteren en invoeren. in Lookout for Metrics for anomaly Detection. Met federatieve zoekopdrachten van Athena definieert u de verschillende bronnen, evenals hoe de samenvoeging moet worden uitgevoerd en wanneer de gegevens zijn verwerkt en door Athena kunnen worden opgevraagd, is deze onmiddellijk klaar voor Lookout for Metrics. Dit stelt u in staat om de last voor gegevenstransformatie, aggregatie en leveringslocatie over te dragen aan Athena en u alleen te concentreren op de geรฏdentificeerde anomalieรซn van Lookout for Metrics.
Overzicht oplossingen
In dit bericht laten we zien hoe u een Athena-tabel kunt integreren en afwijkingen in de omzetstatistieken kunt detecteren. We houden ook bij hoe de bestelsnelheid en voorraadstatistieken worden beรฏnvloed. De brongegevens bevinden zich in Amazon S3 en we hebben Athena-tabellen geconfigureerd om de gegevens erin te kunnen opvragen. Een AWS Lambda is verantwoordelijk voor het bijwerken van de partities binnen Athena, die door Lookout for Metrics worden gebruikt om afwijkingen te detecteren. Met deze oplossing kunt u een Athena-gegevensbron gebruiken voor Lookout for Metrics.
Je zou de meegeleverde kunnen gebruiken AWS CloudFormatie stack om bronnen voor de walkthrough in te stellen. Het bevat bronnen om continu live gegevens te genereren en maakt ze opvraagbaar in Athena.
- Start de stapel via de volgende link en selecteer volgende op de pagina Stapel maken.
- Op de Geef stapeldetails op pagina, voeg de waarden van hierboven toe, geef het een stapelnaam (bijvoorbeeld
L4MAthenaDetector
), en selecteer Volgende. - Op de Configureer stapelopties pagina, laat alles zoals het is en selecteer Volgende.
Stel een nieuwe detector in met Athena als gegevensbron
Stap 1
Meld u aan bij de AWS-console om te beginnen met het maken van een anomaliedetector met Lookout for Metrics. De eerste stap is om de knop "Detector maken" te selecteren.
Stap 2
Vul de verplichte detectorvelden in, zoals naam. Selecteer het detectie-interval voor de detector, dat wordt bepaald door de frequentie waarmee Lookout for Metrics uw gegevens opvraagt โโen controleert op afwijkingen. Versleutelingsinformatie is niet verplicht. Met versleutelingsinformatie kan Lookout for Metrics uw gegevens versleutelen met uw AWS Sleutelbeheerservice (KMS) sleutel. In dit voorbeeld slaan we het toevoegen van een coderingssleutel over, Lookout for Metrics zou standaardcodering gebruiken om uw gegevens te coderen als er geen coderingsinformatie wordt verstrekt, en gaan verder door de knop "Maken" te selecteren.
Stap 3
Na het maken van de anomaliedetector, ziet u een bevestiging bovenaan in een banner. U kunt verder gaan door "Een dataset toevoegen" te selecteren via de banner of de knop onder "Een dataset toevoegen".
Vul de basisinformatie voor de gegevensbron in. Tijdzone is een optioneel veld. Selecteer de vervolgkeuzelijst om een โโgegevensbron te selecteren.
Lookout for Metrics ondersteunt meerdere gegevensbronnen voor het gemak van klanten. Voor dit voorbeeld selecteren we Athena.
Zodra Athena als gegevensbron is geselecteerd, hebt u de mogelijkheid om Backtest of Continue modus voor de detector te selecteren. Voor dit voorbeeld gaan we verder met de continue modus. Ga verder door details toe te voegen voor de Athena-tabel die u wilt controleren op afwijkingen.
U kunt de service toestaan โโeen Servicerol te maken of u kunt een bestaande AWS identiteits- en toegangsbeheer (IAM) rol in uw account voor federatieve zoekopdrachten. Houd er rekening mee dat Lookout for Metrics geen ondersteuning biedt voor het automatisch maken van IAM-rollen voor federatieve query's. Daarom zou u een nieuwe IAM-rol moeten maken zodat Athena de volgende acties op uw gegevens kan uitvoeren:
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
De IAM-rol die door de service is gemaakt, ziet er als volgt uit:
Stap 4
Nu gaan we relevante meetwaarden voor de detector definiรซren. Lookout for Metrics vult de vervolgkeuzelijsten met de kolommen die aanwezig zijn in de meegeleverde Athena-tabel. U kunt maximaal vijf statistieken en vijf dimensies selecteren. Voor Lookout for Metrics moeten de gegevens in uw tabel worden gepartitioneerd als tijdstempels voor de tijdstempelkolom. U heeft ook de mogelijkheid om de kosten voor deze detector te schatten door het aantal waarden aan uw dimensies toe te voegen.
Nadat u alle statistieken heeft geselecteerd, gaat u verder door op de knop "Volgende" te klikken. Bekijk de details en selecteer de โSave datasetโ knop om de dataset op te slaan.
Stap 5
Zodra de dataset is aangemaakt, activeren we de detector door ofwel de knop 'Activeren' bovenaan te selecteren of de knop 'Detector activeren' onder het gedeelte 'Hoe het werkt'.
U wordt gevraagd om te bevestigen of u de detector wilt activeren voor continue detectie. Selecteer "Activeren" om te bevestigen.
U ziet een bevestiging dat de detector wordt geactiveerd.
Stap 6
Zodra de anomaliedetector actief is, kunt u het tabblad "Detectorlogboek" op de pagina met detectordetails gebruiken om de detectie-uitvoeringen te bekijken die door de service zijn uitgevoerd.
Stap 7
U kunt de knop "Anomalieรซn bekijken" selecteren op de pagina met detectordetails om handmatig afwijkingen te inspecteren die mogelijk door de service zijn gedetecteerd.
Stap 8
Op de beoordelingspagina voor afwijkingen kunt u de drempelwaarde voor de ernstscore aanpassen op de drempelknop om afwijkingen boven een geselecteerde score te filteren.
Bekijk en analyseer de resultaten
Bij het detecteren van een anomalie helpt Lookout for Metrics u zich te concentreren op wat het belangrijkst is door een ernstscore toe te wijzen om prioriteiten te stellen. Om u te helpen de hoofdoorzaak te vinden, groepeert het op intelligente wijze afwijkingen die verband kunnen houden met hetzelfde incident, en vat het vervolgens de verschillende bronnen van impact samen.
Met Lookout for Metrics kunt u ook realtime feedback geven over de relevantie van gedetecteerde anomalieรซn, waardoor een krachtig mens-in-the-loop-mechanisme mogelijk wordt. Deze informatie wordt teruggevoerd naar het anomaliedetectiemodel om de nauwkeurigheid in bijna realtime te verbeteren.
Opruimen
Om te voorkomen dat u extra kosten maakt voor de bron die is ingesteld voor de demo, kunt u de gemaakte detector verwijderen onder Lookout for Metrics en de stapel die is gemaakt via CloudFormation.
Conclusie
U kunt naadloos verbinding maken met uw gegevens in Athena met Lookout for Metrics om een โโzeer nauwkeurige anomaliedetector in te stellen voor alle statistieken en dimensies in uw Athena-tabellen. Om met deze mogelijkheid aan de slag te gaan, zie: Amazon Athena gebruiken met Lookout for Metrics. U kunt deze mogelijkheid gebruiken in alle regio's waar Lookout for Metrics openbaar beschikbaar is. Voor meer informatie over beschikbaarheid in de regio, zie AWS Regionale diensten.
Over de auteurs
Devesh Ratho is een Software Development Engineer in het Lookout for Metrics-team. Zijn interesses liggen bij het bouwen van schaalbare gedistribueerde systemen. In zijn vrije tijd houdt hij van simracen.
Chris koning is een Senior Solutions Architect in Applied AI met AWS. Hij heeft een speciale interesse in het lanceren van AI-services en hielp Amazon Personalize en Amazon Forecast te laten groeien en bouwen, voordat hij zich concentreerde op Amazon Lookout for Metrics. In zijn vrije tijd houdt hij van koken, lezen, boksen en modellen bouwen om de uitkomst van vechtsporten te voorspellen.
- Coinsmart. Europa's beste Bitcoin- en crypto-uitwisseling.
- Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. GRATIS TOEGANG.
- CryptoHawk. Altcoin-radar. Gratis proefversie.
- Bron: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- Over
- toegang
- Account
- accuraat
- over
- Actie
- acties
- actieve
- Extra
- AI
- AI-diensten
- Alles
- Amazone
- analyse
- iedereen
- geautomatiseerde
- autonoom
- beschikbaarheid
- Beschikbaar
- AWS
- banner
- vaardigheden
- betekent
- Verder
- grens
- Boksen
- bouw
- Gebouw
- ondernemingen
- mogelijkheden
- Veroorzaken
- lasten
- Kolom
- tegen te gaan
- complex
- voorwaarde
- Verbinden
- Connectiviteit
- bevat
- gemak
- kon
- en je merk te creรซren
- aangemaakt
- Wij creรซren
- het aanmaken
- Klanten
- gegevens
- databanken
- geleverd
- levering
- tonen
- implementeren
- gegevens
- gedetecteerd
- Opsporing
- ontwikkelaars
- Ontwikkeling
- anders
- verdeeld
- Nee
- effect
- waardoor
- encryptie
- ingenieur
- schatting
- alles
- voorbeeld
- bestaand
- uitgebreid
- ervaring
- Fed
- feedback
- Velden
- Voornaam*
- Focus
- gericht
- volgend
- voortbrengen
- meer
- Groep
- Groeien
- hulp
- helpt
- Hoge
- zeer
- Hoe
- How To
- HTTPS
- identificeren
- Identiteit
- Impact
- belangrijk
- verbeteren
- informatie
- invoer
- integreren
- interactieve
- belang
- belangen
- inventaris
- IT
- Vacatures
- mee
- sleutel
- koning
- lancering
- lancering
- leren
- Verlof
- Hefboomwerking
- LINK
- plaats
- machine
- machine learning
- MERKEN
- beheer
- management
- verplicht
- handmatig
- Materie
- Zaken
- Metriek
- ML
- model
- modellen
- monitor
- Grensverkeer
- meer
- meest
- meervoudig
- aantal
- Keuze
- bestellen
- betaling
- prestatie
- Verpersoonlijken
- punt
- mogelijk
- krachtige
- voorspellen
- Voorbereiden
- presenteren
- zorgen voor
- snel
- Racing
- Tarieven
- lezing
- real-time
- regionaal
- relevante
- nodig
- vereist
- hulpbron
- Resources
- verantwoordelijk
- Resultaten
- inkomsten
- beoordelen
- schaalbare
- naadloos
- seconden
- gekozen
- service
- Diensten
- reeks
- Winkelen
- SIM
- Eenvoudig
- vaardigheden
- Software
- software development
- solide
- oplossing
- Oplossingen
- special
- snelheid
- Sport
- stack
- standaard
- begin
- gestart
- state-of-the-art
- Statement
- mediaopslag
- ondersteuning
- ondersteunde
- steunen
- Systems
- team
- De Bron
- daarom
- drempel
- Door
- niet de tijd of
- vandaag
- top
- spoor
- transactie
- Transformatie
- voor
- bijwerken
- .
- versie
- Wat
- binnen
- zou