آمازون مواظب معیارها یک سرویس AWS است که با استفاده از یادگیری ماشینی (ML) به طور خودکار معیارهایی را که برای مشاغل مهم هستند با سرعت و دقت بیشتر نظارت می کند. این سرویس همچنین تشخیص علت اصلی ناهنجاریها را آسانتر میکند، مانند کاهش غیرمنتظره درآمد، نرخ بالای سبد خرید رها شده، افزایش در شکست تراکنشهای پرداخت، افزایش ثبت نام کاربران جدید و بسیاری موارد دیگر. Lookout for Metrics فراتر از تشخیص ساده ناهنجاری است. این به توسعهدهندگان اجازه میدهد تا نظارت مستقلی را برای معیارهای مهم برای شناسایی ناهنجاریها و شناسایی علت اصلی آنها در چند کلیک برای شناسایی ناهنجاریها در معیارهای آن تنظیم کنند - همه بدون نیاز به تجربه ML.
آمازون آتنا یک سرویس پرس و جو تعاملی است که تجزیه و تحلیل داده ها را در آن آسان می کند سرویس ذخیره سازی ساده آمازون (Amazon S3) با استفاده از SQL استاندارد به سادگی به داده های خود در آمازون S3 اشاره کنید، طرح را تعریف کنید و با استفاده از SQL استاندارد شروع به پرس و جو کنید. اکثر نتایج در عرض چند ثانیه ارائه می شوند. با آتنا، برای آماده سازی داده های شما برای تجزیه و تحلیل، نیازی به کارهای پیچیده ETL نیست. این باعث می شود هر کسی که مهارت SQL را دارد تجزیه و تحلیل سریع مجموعه داده های مقیاس بزرگ را آسان کند.
با راه اندازی امروز، Lookout for Metrics اکنون می تواند به طور یکپارچه به داده های شما در Athena متصل شود تا آشکارسازهای ناهنجاری بسیار دقیق را راه اندازی کند. این به شما امکان میدهد به سرعت تشخیص ناهنجاریهای پیشرفته را از طریق ML با Lookout for Metrics در برابر هر مجموعه داده موجود در Athena به کار بگیرید.
اتصال Athena با ارائه مزایای زیر قابلیت های Lookout for Metrics را گسترش می دهد:
- این قابلیتهای Lookout for Metrics را از نظر گسترش میدهد پشتیبانی از نوع فایل. پیش از این، Lookout for Metrics از فایلهای فرمتشده CSV و JSONLines پشتیبانی میکرد، اما با Athena این به Parquet، Avro، Plaintext و موارد دیگر گسترش یافته است. اگر میتوانید آن را از طریق Athena تجزیه کنید، اکنون میتوانید با Lookout for Metrics وارد کنید و از آن استفاده کنید.
- همچنین پشتیبانی از داده ها را با پرس و جوهای فدرال. قبل از این راهاندازی، اگر دادههای شما در چندین پایگاه داده یا منابع ذخیره میشد، باید یک فرآیند پیچیده ETL و همچنین ویژگیهای عملکرد آن را مدیریت کنید تا بتوانید همه دادهها را در یک فایل CSV یا JSONLines صادر کنید و آن را وارد کنید. به دنبال معیارهایی برای تشخیص ناهنجاری. با پرس و جوهای فدرال از Athena، شما منابع متفاوت و همچنین نحوه اتصال را تعریف می کنید و هنگامی که داده ها پردازش شدند و توسط Athena قابل جستجو هستند، بلافاصله برای Lookout for Metrics آماده می شود. این به شما امکان میدهد بار تغییر دادهها، تجمیع و مکان تحویل را به آتنا بسپارید و فقط بر روی ناهنجاریهای شناساییشده از Lookout for Metrics تمرکز کنید.
بررسی اجمالی راه حل
در این پست، نحوه ادغام جدول آتنا و تشخیص ناهنجاری ها در معیارهای درآمد را نشان می دهیم. ما همچنین نحوه تأثیرگذاری بر معیارهای نرخ سفارش و موجودی را پیگیری میکنیم. داده های منبع در آمازون S3 قرار دارد و ما جداول آتنا را به گونه ای پیکربندی کرده ایم که بتوانیم داده های موجود در آن را پرس و جو کنیم. یک AWS لامبدا مسئول به روز رسانی پارتیشن های داخل آتنا است که توسط Lookout for Metrics برای تشخیص ناهنجاری ها استفاده می شود. این راه حل به شما امکان می دهد از منبع داده Athena برای Lookout for Metrics استفاده کنید.
می توانید از موارد ارائه شده استفاده کنید AWS CloudFormation پشته برای راه اندازی منابع برای راهنما. این شامل منابعی برای تولید مداوم دادههای زنده است و آنها را در Athena قابل جستجو میکند.
- پشته را از لینک زیر راه اندازی کنید و انتخاب کنید بعد در صفحه ایجاد پشته.
- بر جزئیات پشته را مشخص کنید صفحه، مقادیر را از بالا اضافه کنید، به آن یک نام پشته بدهید (به عنوان مثال،
L4MAthenaDetector
) ، و انتخاب کنید بعدی. - بر پیکربندی گزینه های پشته صفحه، همه چیز را همانطور که هست رها کنید و انتخاب کنید بعدی.
یک آشکارساز جدید با آتنا به عنوان منبع داده راه اندازی کنید
1 گام
وارد شوید کنسول AWS برای شروع با ایجاد یک آشکارساز ناهنجاری با Lookout for Metrics. اولین قدم این است که دکمه "ایجاد آشکارساز" را انتخاب کنید.
2 گام
فیلدهای آشکارساز اجباری مانند نام را پر کنید. بازه تشخیص آشکارساز را انتخاب کنید، که با فرکانسی که میخواهید Lookout for Metrics دادههای شما را پرس و جو کند و آنها را از نظر ناهنجاری نظارت کند، تعیین میشود. اطلاعات رمزگذاری اجباری نیست. اطلاعات رمزگذاری به Lookout for Metrics اجازه می دهد تا داده های شما را با استفاده از شما رمزگذاری کند سرویس مدیریت کلید AWS (KMS) کلید در این مثال، از افزودن کلید رمزگذاری صرفنظر می کنیم، Lookout for Metrics از رمزگذاری پیش فرض برای رمزگذاری داده های شما استفاده می کند اگر اطلاعات رمزگذاری ارائه نشده باشد، و با انتخاب دکمه "ایجاد" ادامه دهید.
3 گام
پس از ایجاد آشکارساز ناهنجاری، تأیید را در یک بنر در بالا مشاهده خواهید کرد. می توانید با انتخاب «افزودن مجموعه داده» از طریق بنر یا دکمه زیر «افزودن مجموعه داده» اقدام کنید.
اطلاعات اولیه منبع داده را پر کنید. منطقه زمانی یک فیلد اختیاری است. برای انتخاب منبع داده، منوی کشویی را انتخاب کنید.
Lookout for Metrics از چندین منبع داده برای راحتی مشتریان پشتیبانی می کند. برای این مثال، ما Athena را انتخاب می کنیم.
هنگامی که Athena به عنوان منبع داده انتخاب شد، می توانید گزینه Backtest یا Continuous mode را برای آشکارساز انتخاب کنید. برای این مثال، با استفاده از حالت Continuous کار را ادامه می دهیم. با افزودن جزئیات برای جدول آتنا که میخواهید از نظر ناهنجاریها نظارت کنید، ادامه دهید.
میتوانید به سرویس اجازه دهید یک نقش سرویس ایجاد کند یا میتوانید از یک نقش موجود استفاده کنید مدیریت هویت و دسترسی AWS (IAM) نقش در حساب شما برای پرس و جوهای فدرال. توجه داشته باشید که Lookout for Metrics از ایجاد خودکار نقشهای IAM برای جستارهای فدرال پشتیبانی نمیکند. بنابراین، شما باید یک نقش IAM جدید ایجاد کنید تا به آتنا اجازه دهید تا اقدامات زیر را روی داده های شما انجام دهد:
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
نقش IAM ایجاد شده توسط سرویس به صورت زیر است:
4 گام
اکنون معیارهای مربوطه را برای آشکارساز تعریف می کنیم. Lookout for Metrics فهرستهای کشویی را با ستونهای موجود در جدول آتنا پر میکند. می توانید حداکثر پنج معیار و پنج بعد را انتخاب کنید. Lookout for Metrics مستلزم این است که دادههای جدول شما به عنوان مهر زمانی برای ستون مهر زمان تقسیم شود. شما همچنین گزینه ای برای تخمین هزینه این آشکارساز با اضافه کردن تعداد مقادیر در ابعاد خود خواهید داشت.
هنگامی که تمام معیارها را انتخاب کردید، با انتخاب دکمه "بعدی" ادامه دهید. جزئیات را مرور کنید و دکمه "ذخیره مجموعه داده" را برای ذخیره مجموعه داده انتخاب کنید.
5 گام
هنگامی که مجموعه داده ایجاد شد، آشکارساز را با انتخاب دکمه "فعال کردن" در بالا یا دکمه "فعال کردن آشکارساز" در زیر بخش "چگونه کار می کند" فعال می کنیم.
از شما خواسته می شود تأیید کنید که آیا می خواهید آشکارساز را برای تشخیص مداوم فعال کنید. برای تایید "فعال کردن" را انتخاب کنید.
یک تأییدیه خواهید دید که آشکارساز در حال فعال شدن است.
6 گام
هنگامی که آشکارساز ناهنجاری فعال شد، می توانید از برگه "Log Detector" در صفحه جزئیات آشکارساز برای بررسی اجرای تشخیصی که توسط سرویس انجام شده است استفاده کنید.
7 گام
میتوانید دکمه «مشاهده ناهنجاریها» را از صفحه جزئیات آشکارساز انتخاب کنید تا بهطور دستی ناهنجاریهایی را که ممکن است توسط سرویس شناسایی شدهاند بررسی کنید.
8 گام
در صفحه بررسی ناهنجاریها، میتوانید آستانه نمره شدت را روی صفحه آستانه تنظیم کنید تا ناهنجاریهای بالاتر از نمره انتخابشده را فیلتر کنید.
نتایج را بررسی و تجزیه و تحلیل کنید
هنگام تشخیص یک ناهنجاری، Lookout for Metrics به شما کمک میکند تا با اختصاص یک امتیاز شدت برای کمک به اولویتبندی، روی آنچه که بیشترین اهمیت را دارد تمرکز کنید. برای کمک به شما در یافتن علت اصلی، ناهنجاریهایی را که ممکن است مربوط به یک حادثه باشد بهطور هوشمند گروهبندی میکند و سپس منابع مختلف تأثیر را خلاصه میکند.
Lookout for Metrics همچنین به شما این امکان را میدهد تا بازخورد بیدرنگ درباره ارتباط ناهنجاریهای شناساییشده ارائه دهید، در نتیجه یک مکانیسم قدرتمند انسان در حلقه را فعال میکند. این اطلاعات به مدل تشخیص ناهنجاری بازخورد داده می شود تا دقت آن را در زمان نزدیک بهبود بخشد.
پاک کردن
برای جلوگیری از تحمیل هزینههای اضافی برای منبع تنظیمشده برای نسخه آزمایشی، میتوانید آشکارساز ایجاد شده را در Lookout for Metrics و پشته ایجاد شده از طریق CloudFormation را حذف کنید.
نتیجه
میتوانید بهطور یکپارچه به دادههای خود در Athena به Lookout for Metrics متصل شوید تا تشخیصدهنده ناهنجاری بسیار دقیق را در مقیاسها و ابعاد در جداول Athena خود تنظیم کنید. برای شروع با این قابلیت، نگاه کنید استفاده از Amazon Athena با Lookout for Metrics. میتوانید از این قابلیت در همه مناطقی که Lookout for Metrics در دسترس عموم است استفاده کنید. برای اطلاعات بیشتر در مورد در دسترس بودن منطقه، نگاه کنید خدمات منطقه ای AWS.
درباره نویسنده
Devesh Ratho یک مهندس توسعه نرم افزار در تیم Lookout for Metrics است. علایق او در ساختن سیستم های توزیع شده مقیاس پذیر نهفته است. در اوقات فراغت خود از مسابقه سیم کارت لذت می برد.
کریس کینگ یک معمار ارشد راه حل در هوش مصنوعی کاربردی با AWS است. او علاقه خاصی به راه اندازی خدمات هوش مصنوعی دارد و قبل از تمرکز بر Amazon Lookout for Metrics به رشد و ساخت Amazon Personalize و Amazon Forecast کمک کرد. در اوقات فراغت خود از آشپزی، مطالعه، بوکس و ساخت مدلهایی برای پیشبینی نتیجه ورزشهای رزمی لذت میبرد.
- Coinsmart. بهترین صرافی بیت کوین و کریپتو اروپا.
- پلاتوبلاک چین. Web3 Metaverse Intelligence. دانش تقویت شده دسترسی رایگان.
- CryptoHawk. رادار آلت کوین امتحان رایگان.
- منبع: https://aws.amazon.com/blogs/machine-learning/seamlessly-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- درباره ما
- دسترسی
- حساب
- دقیق
- در میان
- عمل
- اقدامات
- فعال
- اضافی
- AI
- خدمات هوش مصنوعی
- معرفی
- آمازون
- تحلیل
- هر کس
- خودکار
- خود مختار
- دسترس پذیری
- در دسترس
- AWS
- پرچم
- قبل از
- مزایای
- خارج از
- مرز
- بوکس
- ساختن
- بنا
- کسب و کار
- قابلیت های
- علت
- بار
- ستون
- مبارزه با
- پیچیده
- شرط
- اتصال
- اتصال
- شامل
- راحتی
- میتوانست
- ایجاد
- ایجاد شده
- ایجاد
- ایجاد
- مشتریان
- داده ها
- پایگاه های داده
- تحویل داده
- تحویل
- نشان دادن
- گسترش
- جزئیات
- شناسایی شده
- کشف
- توسعه دهندگان
- پروژه
- مختلف
- توزیع شده
- نمی کند
- اثر
- را قادر می سازد
- رمزگذاری
- مهندس
- تخمین زدن
- همه چیز
- مثال
- موجود
- منبسط
- تجربه
- تغذیه
- باز خورد
- زمینه
- نام خانوادگی
- تمرکز
- تمرکز
- پیروی
- تولید می کنند
- بیشتر
- گروه ها
- شدن
- کمک
- کمک می کند
- زیاد
- خیلی
- چگونه
- چگونه
- HTTPS
- شناسایی
- هویت
- تأثیر
- مهم
- بهبود
- اطلاعات
- ورودی
- ادغام
- تعاملی
- علاقه
- منافع
- فهرست
- IT
- شغل ها
- پیوستن
- کلید
- پادشاه
- راه اندازی
- راه اندازی
- یادگیری
- ترک کردن
- قدرت نفوذ
- ارتباط دادن
- محل
- دستگاه
- فراگیری ماشین
- باعث می شود
- مدیریت
- مدیریت
- اجباری
- دستی
- ماده
- مسائل
- متریک
- ML
- مدل
- مدل
- مانیتور
- نظارت بر
- بیش
- اکثر
- چندگانه
- عدد
- گزینه
- سفارش
- پرداخت
- کارایی
- شخصی کردن
- نقطه
- ممکن
- قوی
- پیش بینی
- آماده
- در حال حاضر
- روند
- ارائه
- به سرعت
- مسابقه
- نرخ
- مطالعه
- زمان واقعی
- منطقهای
- مربوط
- ضروری
- نیاز
- منابع
- منابع
- مسئوليت
- نتایج
- درامد
- این فایل نقد می نویسید:
- مقیاس پذیر
- یکپارچه
- ثانیه
- انتخاب شد
- سرویس
- خدمات
- تنظیم
- خريد كردن
- سیم کارت
- ساده
- مهارت ها
- نرم افزار
- توسعه نرم افزار
- جامد
- راه حل
- مزایا
- ویژه
- سرعت
- ورزش ها
- پشته
- استاندارد
- شروع
- آغاز شده
- وضعیت هنر
- بیانیه
- ذخیره سازی
- پشتیبانی
- پشتیبانی
- پشتیبانی از
- سیستم های
- تیم
- منبع
- از این رو
- آستانه
- از طریق
- زمان
- امروز
- بالا
- مسیر
- معامله
- دگرگونی
- زیر
- به روز رسانی
- استفاده کنید
- نسخه
- چی
- در داخل
- خواهد بود