شناسایی ناهنجاری ها در تولید داده ها با استفاده از آمازون SageMaker Canvas | خدمات وب آمازون

با استفاده از محاسبات ابری، داده های بزرگ و ابزارهای یادگیری ماشین (ML) مانند آمازون آتنا or آمازون SageMaker بدون تلاش زیاد در ایجاد و نگهداری برای هر کسی در دسترس و قابل استفاده شده اند. شرکت‌های صنعتی به طور فزاینده‌ای به تجزیه و تحلیل داده‌ها و تصمیم‌گیری مبتنی بر داده‌ها برای افزایش بهره‌وری منابع در کل مجموعه خود، از عملیات گرفته تا انجام تعمیر و نگهداری پیش‌بینی‌کننده یا برنامه‌ریزی نگاه می‌کنند.

با توجه به سرعت تغییر در فناوری اطلاعات، مشتریان در صنایع سنتی با معضل مجموعه مهارت مواجه هستند. از یک طرف، تحلیلگران و متخصصان حوزه، دانش بسیار عمیقی از داده های مورد نظر و تفسیر آن دارند، اما اغلب در معرض ابزارهای علم داده و زبان های برنامه نویسی سطح بالا مانند پایتون نیستند. از سوی دیگر، کارشناسان علم داده اغلب فاقد تجربه برای تفسیر محتوای داده‌های ماشین و فیلتر کردن آن برای آنچه مرتبط هستند، نیستند. این معضل مانع ایجاد مدل‌های کارآمدی می‌شود که از داده‌ها برای تولید بینش‌های مرتبط با کسب‌وکار استفاده می‌کنند.

آمازون SageMaker Canvas این معضل را با ارائه یک رابط بدون کد به متخصصان دامنه برای ایجاد تحلیل‌های قدرتمند و مدل‌های ML، مانند مدل‌های پیش‌بینی، طبقه‌بندی، یا رگرسیون برطرف می‌کند. همچنین به شما این امکان را می دهد که پس از ایجاد این مدل ها را با متخصصان ML و MLOps به اشتراک بگذارید.

در این پست، ما به شما نشان می‌دهیم که چگونه از SageMaker Canvas برای تنظیم و انتخاب ویژگی‌های مناسب در داده‌های خود استفاده کنید، و سپس با استفاده از عملکرد بدون کد SageMaker Canvas برای تنظیم مدل، یک مدل پیش‌بینی برای تشخیص ناهنجاری آموزش دهید.

تشخیص ناهنجاری برای صنعت تولید

در زمان نگارش، SageMaker Canvas بر موارد معمول استفاده تجاری مانند پیش‌بینی، رگرسیون و طبقه‌بندی تمرکز می‌کند. برای این پست، نشان می‌دهیم که چگونه این قابلیت‌ها می‌توانند به شناسایی نقاط داده غیرعادی پیچیده نیز کمک کنند. به عنوان مثال، این مورد استفاده برای مشخص کردن نقص یا عملکرد غیر معمول ماشین‌های صنعتی مرتبط است.

تشخیص ناهنجاری در حوزه صنعت مهم است، زیرا ماشین‌ها (از قطار گرفته تا توربین) معمولاً بسیار قابل اعتماد هستند و زمان‌های بین خرابی‌ها سال‌ها طول می‌کشد. بیشتر داده‌های این ماشین‌ها، مانند خوانش سنسور دما یا پیام‌های وضعیت، عملکرد عادی را توصیف می‌کنند و ارزش محدودی برای تصمیم‌گیری دارند. مهندسان هنگام بررسی علل اصلی یک خطا یا به عنوان شاخص های هشدار دهنده برای خطاهای آینده به دنبال داده های غیرعادی هستند و مدیران عملکرد داده های غیر عادی را برای شناسایی بهبودهای بالقوه بررسی می کنند. بنابراین، اولین گام معمولی در حرکت به سمت تصمیم‌گیری مبتنی بر داده، بر یافتن آن داده‌های مرتبط (غیر طبیعی) متکی است.

در این پست، ما از SageMaker Canvas برای مدیریت و انتخاب ویژگی‌های مناسب در داده‌ها استفاده می‌کنیم و سپس یک مدل پیش‌بینی برای تشخیص ناهنجاری را آموزش می‌دهیم، با استفاده از عملکرد بدون کد SageMaker Canvas برای تنظیم مدل. سپس مدل را به عنوان نقطه پایانی SageMaker مستقر می کنیم.

بررسی اجمالی راه حل

برای مورد استفاده از تشخیص ناهنجاری، ما یک مدل پیش‌بینی را آموزش می‌دهیم تا یک ویژگی مشخصه برای عملکرد عادی یک ماشین، مانند دمای موتور نشان‌داده‌شده در خودرو، از روی ویژگی‌های تأثیرگذار، مانند سرعت و گشتاور اخیر اعمال شده در ماشین، پیش‌بینی کند. . برای تشخیص ناهنجاری در نمونه جدیدی از اندازه‌گیری‌ها، پیش‌بینی‌های مدل برای ویژگی مشخصه را با مشاهدات ارائه شده مقایسه می‌کنیم.

برای مثال موتور خودرو، یک متخصص حوزه اندازه گیری دمای معمولی موتور، گشتاور موتور اخیر، دمای محیط و سایر عوامل بالقوه تاثیرگذار را به دست می آورد. اینها به شما امکان می دهد مدلی را برای پیش بینی دما از سایر ویژگی ها آموزش دهید. سپس می توانیم از مدل برای پیش بینی دمای موتور به طور منظم استفاده کنیم. هنگامی که دمای پیش‌بینی‌شده برای آن داده مشابه دمای مشاهده‌شده در آن داده باشد، موتور به طور عادی کار می‌کند. یک اختلاف به یک ناهنجاری مانند از کار افتادن سیستم خنک کننده یا نقص در موتور اشاره می کند.

نمودار زیر معماری راه حل را نشان می دهد.

راه حل شامل چهار مرحله کلیدی است:

1. متخصص دامنه مدل اولیه را ایجاد می کند، از جمله تجزیه و تحلیل داده ها و مدیریت ویژگی ها با استفاده از SageMaker Canvas.
2. متخصص دامنه مدل را از طریق به اشتراک می گذارد رجیستری مدل آمازون SageMaker یا آن را مستقیماً به عنوان نقطه پایانی بلادرنگ مستقر می کند.
3. یک متخصص MLOps زیرساخت استنتاج و کد را ایجاد می کند که خروجی مدل را از یک پیش بینی به یک نشانگر ناهنجاری تبدیل می کند. این کد معمولا در داخل یک اجرا می شود AWS لامبدا تابع.
4. هنگامی که یک برنامه به تشخیص ناهنجاری نیاز دارد، تابع Lambda را فراخوانی می کند که از مدل برای استنتاج استفاده می کند و پاسخ را ارائه می دهد (خواه این یک ناهنجاری باشد یا نه).

پیش نیازها

برای دنبال کردن این پست، باید شرایط زیر را داشته باشید:

مدل را با استفاده از SageMaker ایجاد کنید

فرآیند ایجاد مدل از مراحل استاندارد برای ایجاد یک مدل رگرسیون در SageMaker Canvas پیروی می کند. برای اطلاعات بیشتر مراجعه کنید شروع با استفاده از آمازون SageMaker Canvas.

ابتدا، متخصص دامنه داده های مربوطه را در SageMaker Canvas بارگذاری می کند، مانند یک سری زمانی از اندازه گیری ها. برای این پست، ما از یک فایل CSV حاوی اندازه‌گیری‌های (تولید شده مصنوعی) یک موتور الکتریکی استفاده می‌کنیم. برای جزئیات مراجعه کنید داده ها را به Canvas وارد کنید. داده های نمونه استفاده شده برای دانلود به صورت یک موجود است CSV.

داده ها را با SageMaker Canvas تنظیم کنید

پس از بارگیری داده ها، متخصص دامنه می تواند از SageMaker Canvas برای مدیریت داده های مورد استفاده در مدل نهایی استفاده کند. برای این کار، متخصص ستون هایی را انتخاب می کند که حاوی اندازه گیری های مشخصه برای مسئله مورد نظر هستند. به‌طور دقیق‌تر، متخصص ستون‌هایی را انتخاب می‌کند که به یکدیگر مرتبط هستند، برای مثال، با یک رابطه فیزیکی مانند منحنی فشار- دما، و جایی که تغییر در آن رابطه یک ناهنجاری مرتبط برای مورد استفاده آنها است. مدل تشخیص ناهنجاری رابطه عادی بین ستون‌های انتخاب شده را یاد می‌گیرد و نشان می‌دهد که چه زمانی داده‌ها با آن مطابقت ندارند، مانند دمای غیرعادی موتور با توجه به بار فعلی روی موتور.

در عمل، متخصص دامنه باید مجموعه ای از ستون های ورودی مناسب و یک ستون هدف را انتخاب کند. ورودی‌ها معمولاً مجموعه‌ای از مقادیر (عددی یا مقوله‌ای) هستند که رفتار ماشین را از تنظیمات تقاضا گرفته تا بار، سرعت یا دمای محیط تعیین می‌کنند. خروجی معمولاً یک کمیت عددی است که عملکرد عملکرد ماشین را نشان می‌دهد، مانند اندازه‌گیری دما اتلاف انرژی یا معیار عملکرد دیگری که وقتی ماشین در شرایط غیربهینه کار می‌کند، تغییر می‌کند.

برای نشان دادن مفهوم این که چه کمیت هایی را برای ورودی و خروجی انتخاب کنیم، اجازه دهید چند مثال را در نظر بگیریم:

• برای تجهیزات دوار، مانند مدلی که در این پست می‌سازیم، ورودی‌های معمولی سرعت چرخش، گشتاور (جریان و سابقه) و دمای محیط هستند، و هدف‌ها دمای یاتاقان یا موتور حاصله هستند که شرایط عملیاتی خوب چرخش‌ها را نشان می‌دهند.
• برای یک توربین بادی، ورودی های معمولی تاریخچه فعلی و اخیر سرعت باد و تنظیمات تیغه روتور است و مقدار هدف، توان تولیدی یا سرعت چرخشی است.
• برای یک فرآیند شیمیایی، ورودی های معمولی درصد مواد مختلف و دمای محیط است و هدف گرمای تولید شده یا ویسکوزیته محصول نهایی است.
• برای تجهیزات متحرک مانند درهای کشویی، ورودی های معمولی برق ورودی به موتورها هستند و مقدار هدف سرعت یا زمان تکمیل حرکت است.
• برای یک سیستم تهویه مطبوع، ورودی های معمولی اختلاف دمای به دست آمده و تنظیمات بار است و مقدار هدف، مصرف انرژی اندازه گیری شده است.

در نهایت، ورودی‌ها و هدف‌های مناسب برای یک تجهیزات معین به موارد استفاده و رفتار غیرعادی برای شناسایی بستگی دارد و برای یک متخصص دامنه که با پیچیدگی‌های مجموعه داده خاص آشنا است، بهتر شناخته می‌شود.

در بیشتر موارد، انتخاب مقادیر مناسب ورودی و هدف به معنای انتخاب ستون‌های مناسب و علامت‌گذاری ستون هدف است (برای مثال، bearing_temperature). با این حال، یک متخصص دامنه همچنین می‌تواند از ویژگی‌های بدون کد SageMaker Canvas برای تبدیل ستون‌ها و پالایش یا جمع‌آوری داده‌ها استفاده کند. به عنوان مثال، می توانید تاریخ ها یا مهرهای زمانی خاصی را از داده هایی که مرتبط نیستند استخراج یا فیلتر کنید. SageMaker Canvas از این فرآیند پشتیبانی می کند و آماری را در مورد مقادیر انتخاب شده نشان می دهد و به شما این امکان را می دهد که بفهمید آیا یک کمیت دارای مقادیر پرت و گسترش است که ممکن است بر نتایج مدل تأثیر بگذارد.

آموزش، تنظیم و ارزیابی مدل

پس از اینکه متخصص دامنه ستون های مناسب را در مجموعه داده انتخاب کرد، می تواند مدل را برای یادگیری رابطه بین ورودی ها و خروجی ها آموزش دهد. به طور دقیق تر، مدل یاد می گیرد که مقدار هدف انتخاب شده از ورودی ها را پیش بینی کند.

به طور معمول، می توانید از SageMaker Canvas استفاده کنید پیش نمایش مدل گزینه. این یک نشانه سریع از کیفیت مدل مورد انتظار را ارائه می دهد و به شما امکان می دهد تأثیری را که ورودی های مختلف بر متریک خروجی دارند بررسی کنید. به عنوان مثال، در اسکرین شات زیر، مدل بیشترین تأثیر را دارد motor_speed و ambient_temperature معیارها هنگام پیش بینی bearing_temperature. این معقول است، زیرا این دماها ارتباط نزدیکی با هم دارند. در عین حال، اصطکاک اضافی یا سایر وسایل از دست دادن انرژی احتمالاً بر این امر تأثیر می گذارد.

برای کیفیت مدل، RMSE مدل نشانگر این است که مدل چقدر توانسته رفتار عادی را در داده‌های آموزشی بیاموزد و روابط بین معیارهای ورودی و خروجی را بازتولید کند. به عنوان مثال، در مدل زیر، مدل باید بتواند درست را پیش بینی کند motor_bearing درجه حرارت در 3.67 درجه سانتیگراد، بنابراین می توانیم انحراف دمای واقعی را از پیش بینی مدل بزرگتر از مثلاً 7.4 درجه به عنوان یک ناهنجاری در نظر بگیریم. با این حال، آستانه واقعی مورد استفاده شما به حساسیت مورد نیاز در سناریوی استقرار بستگی دارد.

در نهایت، پس از اتمام ارزیابی و تنظیم مدل، می توانید آموزش کامل مدل را شروع کنید که مدل را برای استنباط ایجاد می کند.

مدل را مستقر کنید

اگرچه SageMaker Canvas می‌تواند از یک مدل برای استنتاج استفاده کند، استقرار سازنده برای تشخیص ناهنجاری مستلزم استقرار مدل در خارج از SageMaker Canvas است. به طور دقیق تر، ما باید مدل را به عنوان نقطه پایانی مستقر کنیم.

در این پست و برای سادگی، مدل را به عنوان نقطه پایانی از SageMaker Canvas به طور مستقیم مستقر می کنیم. برای دستورالعمل، مراجعه کنید مدل های خود را در یک نقطه پایانی مستقر کنید. حتماً به نام استقرار توجه داشته باشید و قیمت نوع نمونه ای را که در آن مستقر می کنید در نظر بگیرید (برای این پست، از ml.m5.large استفاده می کنیم). سپس SageMaker Canvas یک نقطه پایانی مدل ایجاد می کند که می تواند برای به دست آوردن پیش بینی ها فراخوانی شود.

در محیط های صنعتی، یک مدل قبل از استقرار نیاز به آزمایش کامل دارد. برای این کار، متخصص دامنه آن را مستقر نمی کند، بلکه مدل را در SageMaker Model Registry به اشتراک می گذارد. در اینجا، یک کارشناس عملیات MLOps می تواند مسئولیت را بر عهده بگیرد. به طور معمول، آن متخصص نقطه پایانی مدل را آزمایش می کند، اندازه تجهیزات محاسباتی مورد نیاز برای برنامه هدف را ارزیابی می کند، و مقرون به صرفه ترین استقرار را تعیین می کند، مانند استقرار برای استنتاج بدون سرور یا استنتاج دسته ای. این مراحل معمولاً خودکار هستند (به عنوان مثال، با استفاده از خط لوله آمازون Sagemaker یا Amazon SDK).

از مدل برای تشخیص ناهنجاری استفاده کنید

در مرحله قبل، یک استقرار مدل در SageMaker Canvas ایجاد کردیم که به آن می‌گویند canvas-sample-anomaly-model. می توانیم از آن برای به دست آوردن پیش بینی های a استفاده کنیم bearing_temperature ارزش بر اساس سایر ستون های مجموعه داده. اکنون می خواهیم از این نقطه پایانی برای تشخیص ناهنجاری ها استفاده کنیم.

برای شناسایی داده های غیرعادی، مدل ما از نقطه پایانی مدل پیش بینی استفاده می کند تا مقدار مورد انتظار متریک هدف را بدست آورد و سپس مقدار پیش بینی شده را با مقدار واقعی داده ها مقایسه می کند. مقدار پیش‌بینی‌شده نشان‌دهنده مقدار مورد انتظار برای متریک هدف ما بر اساس داده‌های آموزشی است. بنابراین تفاوت این مقدار معیاری برای غیرعادی بودن داده های واقعی مشاهده شده است. می توانیم از کد زیر استفاده کنیم:

# We are using pandas dataframes for data handling
import pandas as pd import boto3,json
sm_runtime_client = boto3.client('sagemaker-runtime') # Configuration of the actual model invocation
endpoint_name="canvas-sample-anomaly-model"
# Name of the column in the input data to compare with predictions
TARGET_COL='bearing_temperature' def do_inference(data, endpoint_name): # Example Code provided by Sagemaker Canvas body = data.to_csv(header=False, index=True).encode("utf-8") response = sm_runtime_client.invoke_endpoint(Body = body, EndpointName = endpoint_name, ContentType = "text/csv", Accept = "application/json", ) return json.loads(response["Body"].read()) def input_transformer(input_data, drop_cols = [ TARGET_COL ] ): # Transform the input: Drop the Target column return input_data.drop(drop_cols,axis =1 ) def output_transformer(input_data,response): # Take the initial input data and compare it to the response of the prediction model scored = input_data.copy() scored.loc[ input_data.index,'prediction_'+TARGET_COL ] = pd.DataFrame(
response[ 'predictions' ],
index = input_data.index )['score'] scored.loc[ input_data.index,'error' ] = (
scored[ TARGET_COL ]-scored[ 'prediction_'+TARGET_COL ]
).abs() return scored # Run the inference
raw_input = pd.read_csv(MYFILE) # Read my data for inference
to_score = input_transformer(raw_input) # Prepare the data
predictions = do_inference(to_score, endpoint_name) # create predictions
results = output_transformer(to_score,predictions) # compare predictions & actuals

کد قبلی اقدامات زیر را انجام می دهد:

1. داده های ورودی به ویژگی های مناسب فیلتر می شوند (عملکرد "input_transformer").
2. نقطه پایانی مدل SageMaker با داده های فیلتر شده فراخوانی می شود (عملکرد "do_inference")، که در آن قالب‌بندی ورودی و خروجی را مطابق کد نمونه ارائه شده هنگام باز کردن صفحه جزئیات استقرار خود در SageMaker Canvas انجام می‌دهیم.
3. نتیجه فراخوانی به داده های ورودی اصلی متصل می شود و تفاوت در ستون خطا ذخیره می شود (عملکرد "output_transform").

ناهنجاری ها را بیابید و رویدادهای غیرعادی را ارزیابی کنید

در یک راه اندازی معمولی، کد به دست آوردن ناهنجاری ها در یک تابع Lambda اجرا می شود. تابع Lambda را می توان از یک برنامه یا دروازه API آمازون. تابع اصلی یک امتیاز ناهنجاری برای هر ردیف از داده‌های ورودی برمی‌گرداند - در این مورد، یک سری زمانی از یک امتیاز ناهنجاری.

برای آزمایش، می‌توانیم کد را در نوت‌بوک SageMaker نیز اجرا کنیم. نمودارهای زیر ورودی و خروجی مدل ما را هنگام استفاده از داده های نمونه نشان می دهند. پیک های انحراف بین مقادیر پیش بینی شده و واقعی (امتیاز ناهنجاری، نشان داده شده در نمودار پایین) ناهنجاری ها را نشان می دهد. به عنوان مثال، در نمودار، ما می توانیم سه قله مجزا را ببینیم که در آن نمره ناهنجاری (تفاوت بین دمای مورد انتظار و واقعی) از 7 درجه سانتیگراد فراتر می رود: اولی پس از مدت زمان طولانی بیکاری، دومی با افت شدید دما. bearing_temperature، و آخرین جایی که bearing_temperature در مقایسه با motor_speed.

در بسیاری از موارد، دانستن سری زمانی امتیاز ناهنجاری از قبل کافی است. بر اساس نیاز به حساسیت مدل، می توانید آستانه ای را برای زمان هشدار نسبت به یک ناهنجاری قابل توجه تنظیم کنید. سپس امتیاز فعلی نشان می دهد که یک ماشین دارای وضعیت غیر طبیعی است که نیاز به بررسی دارد. به عنوان مثال، برای مدل ما، قدر مطلق نمره ناهنجاری همانطور که در نمودار زیر نشان داده شده است توزیع می شود. این تأیید می کند که اکثر نمرات ناهنجاری کمتر از (2xRMS=)8 درجه است که در طول آموزش برای مدل به عنوان خطای معمولی یافت می شود. نمودار می تواند به شما در انتخاب یک آستانه به صورت دستی کمک کند، به طوری که درصد مناسب نمونه های ارزیابی شده به عنوان ناهنجاری علامت گذاری شوند.

اگر خروجی مورد نظر رویدادهای ناهنجاری باشد، آنگاه نمرات ناهنجاری ارائه شده توسط مدل نیاز به اصلاح دارند تا برای استفاده تجاری مرتبط باشند. برای این کار، متخصص ML معمولاً پس پردازش را برای حذف نویز یا پیک های بزرگ در امتیاز ناهنجاری، مانند اضافه کردن یک میانگین نورد، اضافه می کند. علاوه بر این، متخصص معمولاً نمره ناهنجاری را با منطقی شبیه به افزایش یک ارزیابی می کند CloudWatch آمازون هشدار، مانند نظارت بر نقض یک آستانه در مدت زمان مشخص. برای اطلاعات بیشتر در مورد تنظیم آلارم ها، به استفاده از آلارم های آمازون CloudWatch. اجرای این ارزیابی ها در تابع Lambda به شما امکان می دهد اخطارهایی را ارسال کنید، به عنوان مثال، با انتشار یک هشدار به یک سرویس اطلاع رسانی ساده آمازون موضوع (Amazon SNS).

پاک کردن

پس از پایان استفاده از این محلول، برای جلوگیری از هزینه های غیر ضروری، باید آن را تمیز کنید:

1. در SageMaker Canvas، استقرار نقطه پایانی مدل خود را پیدا کنید و آن را حذف کنید.
2. از SageMaker Canvas خارج شوید تا از هزینه‌های بی‌حرکتی آن جلوگیری کنید.

خلاصه

در این پست نشان دادیم که چگونه یک متخصص دامنه می تواند داده های ورودی را ارزیابی کند و یک مدل ML با استفاده از SageMaker Canvas بدون نیاز به نوشتن کد ایجاد کند. سپس نحوه استفاده از این مدل را برای انجام تشخیص ناهنجاری بلادرنگ با استفاده از SageMaker و Lambda از طریق یک گردش کار ساده نشان دادیم. این ترکیب، کارشناسان حوزه را قادر می‌سازد تا از دانش خود برای ایجاد مدل‌های قدرتمند ML بدون آموزش اضافی در علم داده استفاده کنند و کارشناسان MLOps را قادر می‌سازد تا از این مدل‌ها استفاده کنند و آن‌ها را برای استنتاج به صورت انعطاف‌پذیر و کارآمد در دسترس قرار دهند.

یک ردیف رایگان 2 ماهه برای SageMaker Canvas در دسترس است و پس از آن فقط برای آنچه استفاده می کنید پرداخت می کنید. آزمایش را از امروز شروع کنید و ML را اضافه کنید تا از داده های خود بیشترین استفاده را ببرید.

درباره نویسنده

هلگه آفدرهاید مشتاق ساختن داده ها در دنیای واقعی با تمرکز قوی بر اتوماسیون، تجزیه و تحلیل و یادگیری ماشین در برنامه های صنعتی، مانند تولید و تحرک است.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://aws.amazon.com/blogs/machine-learning/detect-anomalies-in-manufacturing-data-using-amazon-sagemaker-canvas/