ساخت، اشتراک گذاری، استقرار: چگونه تحلیلگران کسب و کار و دانشمندان داده با استفاده از ML بدون کد و آمازون SageMaker Canvas به زمان سریع تری به بازار می رسند

یادگیری ماشینی (ML) به سازمان‌ها کمک می‌کند تا با بهینه‌سازی عملکردهای اصلی کسب‌وکار در چندین بخش، مانند پیش‌بینی تقاضا، امتیازدهی اعتبار، قیمت‌گذاری، پیش‌بینی ریزش مشتری، شناسایی بهترین پیشنهادات بعدی، پیش‌بینی ارسال‌های دیرهنگام، درآمد را افزایش دهند، رشد کسب‌وکار را هدایت کنند و هزینه‌ها را کاهش دهند. بهبود کیفیت ساخت چرخه های توسعه سنتی ML ماه ها طول می کشد و به دانش کمیاب داده و مهارت های مهندسی ML نیاز دارد. ایده‌های تحلیل‌گران برای مدل‌های ML اغلب در بک لاگ‌های طولانی در انتظار پهنای باند تیم علم داده قرار می‌گیرند، در حالی که دانشمندان داده بر پروژه‌های پیچیده‌تر ML تمرکز می‌کنند که به مجموعه مهارت کامل آنها نیاز دارد.

برای کمک به شکستن این بن بست، ما این کار را کرده ایم آمازون SageMaker Canvas را معرفی کرد، یک راه حل ML بدون کد که می تواند به شرکت ها کمک کند تا تحویل راه حل های ML را تا چند ساعت یا چند روز تسریع کنند. SageMaker Canvas به تحلیلگران این امکان را می‌دهد تا به راحتی از داده‌های موجود در دریاچه‌های داده، انبارهای داده، و انبارهای داده عملیاتی استفاده کنند. ساخت مدل های ML؛ و از آن‌ها برای پیش‌بینی‌های تعاملی و امتیازدهی دسته‌ای در مجموعه داده‌های انبوه استفاده کنید—همه بدون نوشتن یک خط کد.

در این پست، ما نشان می‌دهیم که چگونه SageMaker Canvas همکاری بین دانشمندان داده و تحلیلگران کسب‌وکار را امکان‌پذیر می‌کند، به زمان سریع‌تری برای بازاریابی دست می‌یابد و توسعه راه‌حل‌های ML را سرعت می‌بخشد. تحلیلگران بدون نیاز به تبدیل شدن به یک متخصص ML، فضای کاری بدون کد ML خود را در SageMaker Canvas دریافت می کنند. سپس تحلیلگران می توانند مدل های خود را از Canvas با چند کلیک به اشتراک بگذارند، که دانشمندان داده می توانند با آن کار کنند. Amazon SageMaker Studioیک محیط توسعه یکپارچه ML (IDE). با همکاری یکدیگر، تحلیلگران کسب و کار می توانند دانش حوزه خود و نتایج آزمایش را به ارمغان بیاورند، در حالی که دانشمندان داده می توانند به طور موثر خطوط لوله ایجاد کرده و فرآیند را ساده کنند.

بیایید در مورد اینکه جریان کار چگونه به نظر می‌رسد، غواصی کنیم.

تحلیلگران کسب و کار یک مدل می سازند، سپس آن را به اشتراک می گذارند

برای درک اینکه چگونه SageMaker Canvas همکاری بین تحلیلگران کسب و کار و دانشمندان داده (یا مهندسان ML) را ساده می کند، ابتدا به عنوان یک تحلیلگر تجاری به این فرآیند می پردازیم. قبل از شروع، مراجعه کنید اعلام آمازون SageMaker Canvas – قابلیت یادگیری ماشینی بصری و بدون کد برای تحلیلگران کسب و کار برای دستورالعمل‌های ساخت و آزمایش مدل با SageMaker Canvas.

برای این پست، ما از نسخه اصلاح شده استفاده می کنیم مجموعه داده شناسایی تقلب در کارت اعتباری از Kaggle، یک مجموعه داده شناخته شده برای یک مشکل طبقه بندی باینری. مجموعه داده در اصل بسیار نامتعادل است - ورودی های بسیار کمی دارد که به عنوان یک کلاس منفی (تراکنش های غیرعادی) طبقه بندی شده اند. صرف نظر از توزیع ویژگی هدف، ما همچنان می‌توانیم از این مجموعه داده استفاده کنیم، زیرا SageMaker Canvas با آموزش و تنظیم خودکار یک مدل، این عدم تعادل را کنترل می‌کند. این مجموعه داده از حدود 9 میلیون سلول تشکیل شده است. همچنین می توانید a نسخه کاهش یافته این مجموعه داده. اندازه مجموعه داده بسیار کوچکتر است و در حدود 500,000 سلول است، زیرا به طور تصادفی کمتر نمونه برداری شده و سپس با روش SMOTE بیش از حد نمونه برداری شده است تا اطمینان حاصل شود که تا حد امکان اطلاعات کمتری در طول این فرآیند از دست می رود. اجرای یک آزمایش کامل با این مجموعه داده کاهش یافته برای شما 0 دلار تحت لایه رایگان SageMaker Canvas هزینه دارد.

پس از ساخت مدل، تحلیلگران می‌توانند از آن برای پیش‌بینی مستقیم در Canvas برای درخواست‌های فردی یا کل مجموعه داده ورودی به صورت انبوه استفاده کنند.

مدل‌های ساخته شده با Canvas Standard Build را نیز می‌توان به راحتی با یک کلیک با دانشمندان داده و مهندسان ML که از SageMaker Studio استفاده می‌کنند به اشتراک گذاشت. این به یک دانشمند داده اجازه می دهد تا عملکرد مدلی را که ساخته اید تأیید کند و بازخورد ارائه دهد. مهندسان ML می توانند مدل شما را انتخاب کرده و آن را با جریان کار و محصولات موجود در دسترس شرکت و مشتریان شما ادغام کنند. توجه داشته باشید که در زمان نگارش مقاله، امکان اشتراک گذاری مدل ساخته شده با Canvas Quick Build یا مدل پیش بینی سری زمانی وجود ندارد.

به اشتراک گذاری یک مدل از طریق Canvas UI ساده است:

1. در صفحه ای که مدل هایی را که ایجاد کرده اید نشان می دهد، یک مدل را انتخاب کنید.
2. را انتخاب کنید اشتراک گذاری.
3. یک یا چند نسخه از مدلی را که می‌خواهید به اشتراک بگذارید انتخاب کنید.
4. به صورت اختیاری، یادداشتی اضافه کنید که زمینه بیشتری در مورد مدل یا کمکی که به دنبال آن هستید ارائه می دهد.
5. را انتخاب کنید لینک SageMaker Studio را ایجاد کنید.
6. لینک تولید شده را کپی کنید.

و بس! اکنون می توانید پیوند را از طریق Slack، ایمیل یا هر روش دیگری که ترجیح می دهید با همکاران خود به اشتراک بگذارید. دانشمند داده برای دسترسی به مدل شما باید در همان دامنه SageMaker Studio باشد، بنابراین مطمئن شوید که این مورد در مورد سرپرست سازمان شما نیز صادق است.

دانشمندان داده به اطلاعات مدل از SageMaker Studio دسترسی دارند

حالا بیایید نقش یک دانشمند داده یا مهندس ML را بازی کنیم و با استفاده از SageMaker Studio همه چیز را از دیدگاه آنها ببینیم.

پیوندی که توسط تحلیلگر به اشتراک گذاشته شده است، ما را به SageMaker Studio، اولین IDE مبتنی بر ابر برای گردش کار ML سرتاسر می برد.

برگه به ​​طور خودکار باز می شود و نمای کلی از مدل ایجاد شده توسط تحلیلگر در SageMaker Canvas را نشان می دهد. شما می توانید به سرعت نام مدل، نوع مشکل ML، نسخه مدل و اینکه کدام کاربر مدل را ایجاد کرده است (در قسمت Canvas user ID) را مشاهده کنید. شما همچنین به جزئیات مربوط به مجموعه داده ورودی و بهترین مدلی که SageMaker توانسته تولید کند دسترسی دارید. بعداً در پست به آن خواهیم پرداخت.

بر مجموعه داده ورودی تب، همچنین می توانید جریان داده از منبع به مجموعه داده ورودی را مشاهده کنید. در این مورد، تنها از یک منبع داده استفاده می شود و هیچ عملیات اتصالی اعمال نشده است، بنابراین یک منبع واحد نشان داده می شود. با انتخاب می توانید آمار و جزئیات مربوط به مجموعه داده را تجزیه و تحلیل کنید دفترچه یادداشت کاوش داده را باز کنید. این نوت بوک به شما امکان می دهد داده هایی را که قبل از آموزش مدل در دسترس بوده اند کاوش کنید و شامل تجزیه و تحلیل متغیر هدف، نمونه ای از داده های ورودی، آمار و توضیحات ستون ها و ردیف ها و همچنین اطلاعات مفید دیگری برای دانشمند داده است. درباره مجموعه داده بیشتر بدانید برای آشنایی بیشتر با این گزارش به ادامه مطلب مراجعه کنید گزارش کاوش داده ها.

پس از تجزیه و تحلیل مجموعه داده ورودی، اجازه دهید به برگه دوم نمای کلی مدل برویم. کار AutoML. هنگامی که گزینه Standard Build را در SageMaker Canvas انتخاب کردید، این تب حاوی توضیحاتی در مورد کار AutoML است.

فناوری AutoML در زیر بوم SageMaker کار سنگین را در ساخت مدل‌های ML حذف می‌کند. این به طور خودکار بهترین مدل ML را بر اساس داده های شما با استفاده از یک رویکرد خودکار می سازد، آموزش می دهد و تنظیم می کند، در حالی که به شما امکان می دهد کنترل و دید کامل را حفظ کنید. این قابلیت رویت در مدل‌های کاندید تولید شده و همچنین پارامترهای فرامرزی مورد استفاده در طی فرآیند AutoML در دفترچه یادداشت نسل نامزد، که در این برگه موجود است.

La کار AutoML برگه همچنین حاوی لیستی از هر مدل ساخته شده به عنوان بخشی از فرآیند AutoML است که بر اساس متریک هدف F1 مرتب شده است. برای برجسته کردن بهترین مدل از مشاغل آموزشی راه اندازی شده، از یک برچسب با دایره سبز رنگ در آن استفاده شده است بهترین مدل ستون همچنین می توانید به راحتی سایر معیارهای مورد استفاده در مرحله آموزش و ارزیابی مانند امتیاز دقت و ناحیه زیر منحنی (AUC) را تجسم کنید. برای کسب اطلاعات بیشتر در مورد مدل هایی که می توانید در حین کار AutoML آموزش دهید و معیارهای مورد استفاده برای ارزیابی عملکرد مدل آموزش دیده، به ادامه مطلب مراجعه کنید. پشتیبانی مدل، معیارها و اعتبارسنجی.

برای کسب اطلاعات بیشتر در مورد مدل، اکنون می توانید بر روی بهترین مدل کلیک راست کرده و انتخاب کنید در جزئیات مدل باز کنید. به طور متناوب، شما می توانید انتخاب کنید بهترین مدل لینک در بالای صفحه بررسی اجمالی مدل بخشی که برای اولین بار بازدید کردید

صفحه جزئیات مدل حاوی اطلاعات مفید فراوانی در مورد مدلی است که با این داده های ورودی بهترین عملکرد را داشته است. بیایید ابتدا روی خلاصه بالای صفحه تمرکز کنیم. اسکرین شات مثال قبلی نشان می دهد که از صدها دوره آموزشی مدل، یک مدل XGBoost بهترین عملکرد را در مجموعه داده ورودی داشته است. در زمان نگارش این مقاله، SageMaker Canvas می‌تواند سه نوع الگوریتم ML را آموزش دهد: یادگیرنده خطی، XGBoost، و پرسپترون چند لایه (MLP)، که هر کدام دارای طیف گسترده‌ای از خطوط لوله پیش‌پردازش و فراپارامترها هستند. برای آشنایی بیشتر با هر الگوریتم به ادامه مطلب مراجعه کنید صفحه الگوریتم های پشتیبانی شده.

SageMaker همچنین دارای یک عملکرد توضیحی به لطف اجرای مقیاس پذیر و کارآمد است KernelSHAP، بر اساس مفهوم یک مقدار Shapley از حوزه تئوری بازی های تعاونی که به هر یک از ویژگی ها یک مقدار اهمیت برای یک پیش بینی خاص اختصاص می دهد. این امکان شفافیت در مورد نحوه رسیدن مدل به پیش بینی های خود را فراهم می کند و برای تعریف اهمیت ویژگی بسیار مفید است. یک گزارش قابل توضیح کامل از جمله اهمیت ویژگی در قالب PDF، نوت بوک یا داده های خام قابل دانلود است. در آن گزارش، مجموعه گسترده‌تری از معیارها و همچنین فهرست کاملی از پارامترهای فوق‌العاده مورد استفاده در طول کار AutoML نشان داده شده است. برای کسب اطلاعات بیشتر در مورد اینکه SageMaker چگونه ابزارهای توضیح‌پذیری یکپارچه را برای راه‌حل‌های AutoML و الگوریتم‌های استاندارد ML فراهم می‌کند، رجوع کنید به از ابزارهای توضیح یکپارچه استفاده کنید و کیفیت مدل را با استفاده از Amazon SageMaker Autopilot بهبود بخشید.

در نهایت، برگه های دیگر در این نما اطلاعاتی در مورد جزئیات عملکرد (ماتریس سردرگمی، منحنی فراخوانی دقیق، منحنی ROC)، مصنوعات مورد استفاده برای ورودی ها و تولید شده در طول کار AutoML و جزئیات شبکه را نشان می دهند.

در این مرحله، دانشمند داده دو انتخاب دارد: به طور مستقیم مدل را مستقر کند، یا یک خط لوله آموزشی ایجاد کند که می تواند به صورت دستی یا خودکار برنامه ریزی یا راه اندازی شود. بخش‌های زیر اطلاعاتی در مورد هر دو گزینه ارائه می‌کنند.

مدل را مستقیماً مستقر کنید

اگر دانشمند داده از نتایج به دست آمده توسط کار AutoML راضی باشد، می تواند به طور مستقیم مدل را از جزئیات مدل صفحه به همین سادگی انتخاب است استقرار مدل کنار نام مدل

SageMaker دو گزینه برای استقرار به شما نشان می دهد: یک نقطه پایانی بلادرنگ، با قدرت نقاط پایانی Amazon SageMakerو استنتاج دسته ای، ارائه شده توسط تبدیل دسته ای آمازون SageMaker.

SageMaker همچنین حالت های دیگر استنباط را ارائه می دهد. برای کسب اطلاعات بیشتر، ببینید استقرار مدل ها برای استنتاج.

برای فعال کردن حالت پیش‌بینی بلادرنگ، به سادگی به نقطه پایانی یک نام، یک نوع نمونه و تعداد نمونه می‌دهید. از آنجایی که این مدل به منابع محاسباتی سنگین نیاز ندارد، می‌توانید از یک نمونه مبتنی بر CPU با تعداد اولیه 1 استفاده کنید. می‌توانید در مورد انواع مختلف نمونه‌های موجود و مشخصات آن‌ها اطلاعات بیشتری کسب کنید. صفحه قیمت گذاری آمازون SageMaker (در قیمت گذاری بر حسب تقاضا بخش را انتخاب کنید استنتاج بلادرنگ برگه). اگر نمی‌دانید کدام نمونه را باید برای استقرار خود انتخاب کنید، می‌توانید از SageMaker نیز بخواهید تا با استفاده از SageMaker Inference Recommender. همچنین می‌توانید پارامترهای اختیاری اضافی را در مورد اینکه آیا می‌خواهید داده‌های درخواست و پاسخ را به یا از نقطه پایانی ضبط کنید یا خیر، ارائه دهید. اگر در حال برنامه ریزی هستید، این می تواند مفید باشد نظارت بر مدل شما. همچنین می‌توانید محتوایی را که می‌خواهید به‌عنوان بخشی از پاسخ خود ارائه دهید، انتخاب کنید - خواه فقط پیش‌بینی باشد یا احتمال پیش‌بینی، احتمال همه کلاس‌ها و برچسب‌های هدف.

برای اجرای یک کار امتیازدهی دسته‌ای برای دریافت پیش‌بینی برای کل مجموعه ورودی‌ها در یک زمان، می‌توانید کار تبدیل دسته‌ای را از کنسول مدیریت AWS یا از طریق SageMaker Python SDK. برای کسب اطلاعات بیشتر در مورد تبدیل دسته ای، مراجعه کنید از Batch Transform استفاده کنید و نمونه دفترچه یادداشت

یک خط لوله آموزشی را تعریف کنید

مدل‌های ML را به ندرت می‌توان ثابت و بدون تغییر در نظر گرفت، زیرا از خط پایه‌ای که در آن آموزش دیده‌اند دور می‌شوند. داده‌های دنیای واقعی در طول زمان تکامل می‌یابند، و الگوها و بینش‌های بیشتری از آن‌ها بیرون می‌آیند، که ممکن است توسط مدل اصلی آموزش‌دیده بر روی داده‌های تاریخی گرفته شوند یا نشوند. برای حل این مشکل، می‌توانید یک خط لوله آموزشی راه‌اندازی کنید که به‌طور خودکار مدل‌های شما را با آخرین داده‌های موجود بازآموزی می‌کند.

در تعریف این خط لوله، یکی از گزینه های دانشمند داده، استفاده مجدد از AutoML برای خط لوله آموزشی است. می‌توانید با فراخوانی ()create_auto_ml_job() API یک کار AutoML را به صورت برنامه‌نویسی اجرا کنید. AWS Boto3 SDK. شما می توانید این عملیات را از یک فراخوانی کنید AWS لامبدا عملکرد در یک توابع مرحله AWS گردش کار یا از LambdaStep in خطوط لوله آمازون SageMaker.

روش دیگر، دانشمند داده می تواند از دانش، مصنوعات و پارامترهای فوق به دست آمده از کار AutoML برای تعریف یک خط لوله آموزشی کامل استفاده کند. شما به منابع زیر نیاز دارید:

• الگوریتمی که برای موارد استفاده بهترین کار را داشت - شما قبلاً این اطلاعات را از خلاصه مدل Canvas-generated بدست آورده اید. برای این مورد، الگوریتم داخلی XGBoost است. برای آموزش نحوه استفاده از SageMaker Python SDK برای آموزش الگوریتم XGBoost با SageMaker، به از XGBoost با SageMaker Python SDK استفاده کنید.
  

• هایپرپارامترهای مشتق شده توسط کار AutoML - اینها در دسترس هستند قابل توضیح بخش. هنگام تعریف کار آموزشی با SageMaker Python SDK می توانید از آنها به عنوان ورودی استفاده کنید.
  

• کد مهندسی ویژگی ارائه شده در بخش Artifacts – می توانید از این کد هم برای پیش پردازش داده ها قبل از آموزش (مثلاً از طریق Amazon SageMaker Processing) و هم قبل از استنتاج (به عنوان بخشی از خط لوله استنتاج SageMaker) استفاده کنید.
  

می توانید این منابع را به عنوان بخشی از خط لوله SageMaker ترکیب کنید. ما جزئیات پیاده سازی را در این پست حذف می کنیم - منتظر مطالب بیشتر در مورد این موضوع باشید.

نتیجه

SageMaker Canvas به شما امکان می دهد از ML برای ایجاد پیش بینی بدون نیاز به نوشتن کد استفاده کنید. یک تحلیلگر تجاری می تواند به طور مستقل از آن با مجموعه داده های محلی و همچنین داده هایی که قبلاً در آنها ذخیره شده است استفاده کند سرویس ذخیره سازی ساده آمازون (Amazon S3) آمازون Redshift، یا دانه برف. تنها با چند کلیک، آن‌ها می‌توانند مجموعه داده‌های خود را آماده کرده و به آن‌ها بپیوندند، دقت تخمینی را تجزیه و تحلیل کنند، تأیید کنند کدام ستون‌ها تاثیرگذار هستند، بهترین مدل را آموزش دهند، و پیش‌بینی‌های فردی یا دسته‌ای جدید تولید کنند، همه اینها بدون نیاز به یک متخصص داده متخصص. سپس، در صورت نیاز، می‌توانند مدل را با تیمی از دانشمندان داده یا مهندسان MLOps که مدل‌ها را به استودیوی SageMaker وارد می‌کنند، به اشتراک بگذارند و در کنار تحلیلگر برای ارائه راه‌حل تولید کار کنند.

تحلیلگران کسب و کار می توانند به طور مستقل از داده های خود بدون داشتن مدرک ML، و بدون نیاز به نوشتن یک خط کد، بینشی به دست آورند. دانشمندان داده اکنون می توانند زمان بیشتری برای کار روی پروژه های چالش برانگیزتری داشته باشند که می توانند بهتر از دانش گسترده خود در زمینه هوش مصنوعی و ML استفاده کنند.

ما بر این باوریم که این همکاری جدید دری را برای ایجاد راه‌حل‌های قدرتمند ML برای کسب و کار شما باز می‌کند. اکنون شما تحلیلگرانی دارید که بینش های تجاری ارزشمندی را تولید می کنند، در حالی که به دانشمندان داده و مهندسان ML اجازه می دهید در صورت نیاز به اصلاح، تنظیم و گسترش کمک کنند.

منابع اضافی

• برای کسب اطلاعات بیشتر در مورد اینکه چگونه SageMaker می تواند به تحلیلگران کسب و کار کمک بیشتری کند، مراجعه کنید آمازون SageMaker برای تحلیلگران کسب و کار.
• برای کسب اطلاعات بیشتر در مورد اینکه چگونه SageMaker به دانشمندان داده اجازه می دهد تا مدل های ML خود را توسعه دهند، آموزش دهند و به کار گیرند، بررسی کنید Amazon SageMaker برای دانشمندان داده.
• برای اطلاعات بیشتر در مورد اینکه SageMaker چگونه می تواند به مهندسین MLOps در ساده سازی چرخه حیات ML با استفاده از MLOps کمک کند، به این بخش مراجعه کنید. Amazon SageMaker برای مهندسان MLOps.

---

درباره نویسنده

دیوید گالیتلی یک معمار راه حل های تخصصی برای AI/ML در منطقه EMEA است. او در بروکسل مستقر است و از نزدیک با مشتریان در سرتاسر بنلوکس کار می کند. او از زمانی که خیلی جوان بود یک توسعه دهنده بوده و از سن ۷ سالگی شروع به کدنویسی کرد. او یادگیری AI/ML را در دانشگاه شروع کرد و از آن زمان عاشق آن شد.

مارک روی یک معمار اصلی یادگیری ماشین برای AWS است که به مشتریان در طراحی و ساخت راه‌حل‌های AI/ML کمک می‌کند. کار مارک طیف گسترده‌ای از موارد استفاده از ML را پوشش می‌دهد، با علاقه اولیه به بینایی رایانه، یادگیری عمیق، و مقیاس‌بندی ML در سراسر سازمان. او به شرکت ها در بسیاری از صنایع از جمله بیمه، خدمات مالی، رسانه و سرگرمی، مراقبت های بهداشتی، آب و برق و تولید کمک کرده است. مارک دارای شش گواهینامه AWS از جمله گواهینامه تخصصی ML است. قبل از پیوستن به AWS، مارک به مدت بیش از 25 سال، از جمله 19 سال در خدمات مالی، معمار، توسعه دهنده و رهبر فناوری بود.

• Coinsmart. بهترین صرافی بیت کوین و کریپتو اروپا.
• پلاتوبلاک چین. Web3 Metaverse Intelligence. دانش تقویت شده دسترسی رایگان.
• CryptoHawk. رادار آلت کوین امتحان رایگان.
• منبع: https://aws.amazon.com/blogs/machine-learning/build-share-deploy-how-business-analysts-and-data-scientists-chieve-faster-time-to-market-using-no- code-ml-and-amazon-sagemaker-canvas/