ارائه و مدیریت محیط های ML با آمازون SageMaker Canvas با استفاده از AWS CDK و کاتالوگ خدمات AWS

گسترش یادگیری ماشینی (ML) در طیف وسیعی از موارد استفاده در هر صنعتی رایج شده است. با این حال، این از افزایش تعداد شاغلین ML که به طور سنتی مسئول اجرای این راه حل های فنی برای تحقق نتایج تجاری بوده اند، پیشی می گیرد.

در سازمان‌های امروزی، نیاز به یادگیری ماشینی وجود دارد که توسط متخصصان غیر ML که به داده‌ها مسلط هستند، استفاده شود، که پایه و اساس ML است. برای تحقق این امر، ارزش ML در سراسر سازمان از طریق پلتفرم‌های ML بدون کد درک می‌شود. این پلتفرم ها به شخصیت های مختلف، به عنوان مثال، تحلیلگران کسب و کار، این امکان را می دهند که از ML بدون نوشتن یک خط کد استفاده کنند و راه حل هایی را برای مشکلات کسب و کار به شیوه ای سریع، ساده و شهودی ارائه دهند. آمازون SageMaker Canvas یک سرویس نقطه و کلیک بصری است که به تحلیلگران تجاری امکان می دهد از ML برای حل مشکلات تجاری با ایجاد پیش بینی های دقیق به تنهایی استفاده کنند - بدون نیاز به تجربه ML یا نیاز به نوشتن یک خط کد. Canvas با استفاده از یک رابط بصری ساده که به کسب و کارها کمک می کند راه حل ها را به سرعت پیاده سازی کنند، استفاده از ML را در سازمان گسترش داده است.

اگرچه Canvas دموکراتیک کردن ML را فعال کرده است، چالش تهیه و استقرار محیط های ML به شیوه ای ایمن همچنان باقی است. به طور معمول، این مسئولیت تیم های مرکزی فناوری اطلاعات در اکثر شرکت های بزرگ است. در این پست، در مورد اینکه چگونه تیم‌های فناوری اطلاعات می‌توانند محیط‌های امن ML را با استفاده از مدیریت، تهیه و مدیریت کنند، بحث می‌کنیم آمازون SageMaker Canvas, کیت توسعه ابری AWS (AWS CDK) و کاتالوگ خدمات AWS. این پست یک راهنمای گام به گام برای مدیران فناوری اطلاعات ارائه می دهد تا به سرعت و در مقیاس به این هدف دست یابند.

مروری بر کاتالوگ خدمات AWS CDK و AWS

AWS CDK یک چارچوب توسعه نرم افزار منبع باز برای تعریف منابع برنامه ابری شما است. از آشنایی و قدرت بیان زبان های برنامه نویسی برای مدل سازی برنامه های شما استفاده می کند، در حالی که منابع را به شیوه ای ایمن و قابل تکرار تهیه می کند.

کاتالوگ خدمات AWS به شما امکان می دهد خدمات، برنامه های کاربردی، منابع و ابرداده های IT مستقر شده را مدیریت کنید. با کاتالوگ خدمات AWS، می‌توانید منابع ابری را با زیرساخت به‌عنوان الگوهای کد (IaC) ایجاد، به اشتراک بگذارید، سازمان‌دهی کنید و مدیریت کنید و تهیه سریع و ساده را فعال کنید.

بررسی اجمالی راه حل

ما فراهم کردن محیط های ML را با استفاده از Canvas در سه مرحله فعال می کنیم:

1. ابتدا، نحوه مدیریت مجموعه ای از منابع لازم برای استفاده تایید شده از Canvas را با استفاده از کاتالوگ خدمات AWS به اشتراک می گذاریم.
2. سپس، نمونه‌ای از نمونه کارها کاتالوگ خدمات AWS را برای Canvas با استفاده از AWS CDK اجرا می‌کنیم.
3. در نهایت، نشان می‌دهیم که چگونه می‌توانید در عرض چند دقیقه محیط‌های Canvas را بر اساس تقاضا ارائه کنید.

پیش نیازها

برای ارائه محیط های ML با Canvas، CDK AWS و کاتالوگ خدمات AWS، باید موارد زیر را انجام دهید:

1. به حساب AWS دسترسی داشته باشید که در آن سبد خدمات کاتالوگ مستقر خواهد شد. اطمینان حاصل کنید که اعتبار و مجوزهای لازم برای استقرار پشته AWS CDK را در حساب خود دارید. این کارگاه AWS CDK منبع مفیدی است که در صورت نیاز به پشتیبانی می توانید به آن مراجعه کنید.
2. توصیه می‌کنیم از بهترین شیوه‌های خاصی پیروی کنید که از طریق مفاهیمی که در منابع زیر به تفصیل مشخص شده‌اند، برجسته شده‌اند:
3. کلون این مخزن GitHub به محیط شما

با استفاده از کاتالوگ خدمات AWS، محیط های ML تایید شده را با آمازون SageMaker Canvas ارائه دهید

در صنایع تحت نظارت و اکثر شرکت‌های بزرگ، باید به الزامات الزام‌شده توسط تیم‌های فناوری اطلاعات برای تهیه و مدیریت محیط‌های ML پایبند باشید. اینها ممکن است شامل یک شبکه امن، خصوصی، رمزگذاری داده ها، کنترل هایی باشد که فقط به کاربران مجاز و احراز هویت شده اجازه می دهد. هویت AWS و مدیریت دسترسی (IAM) برای دسترسی به راه حل هایی مانند Canvas و ثبت و نظارت دقیق برای اهداف ممیزی.

به‌عنوان مدیر فناوری اطلاعات، می‌توانید از کاتالوگ خدمات AWS برای ایجاد و سازماندهی محیط‌های ML امن و قابل تکرار با SageMaker Canvas در یک مجموعه محصول استفاده کنید. این با استفاده از کنترل‌های IaC که برای برآورده کردن الزامات ذکر شده در بالا تعبیه شده‌اند مدیریت می‌شود و می‌توان آن را در عرض چند دقیقه در صورت تقاضا تهیه کرد. همچنین می‌توانید کنترل کنید که چه کسی می‌تواند به این مجموعه برای راه‌اندازی محصولات دسترسی داشته باشد.

نمودار زیر این معماری را نشان می دهد.

جریان نمونه

در این بخش، نمونه‌ای از نمونه کارها کاتالوگ خدمات AWS با SageMaker Canvas را نشان می‌دهیم. نمونه کارها شامل جنبه های مختلف محیط Canvas است که بخشی از مجموعه خدمات کاتالوگ است:

• دامنه استودیو – Canvas یک برنامه کاربردی است که در داخل اجرا می شود دامنه های استودیویی. دامنه شامل یک سیستم فایل الاستیک آمازون جلد (Amazon EFS)، فهرستی از کاربران مجاز، و طیف وسیعی از امنیت، برنامه، خط‌مشی، و ابر خصوصی مجازی آمازون تنظیمات (VPC). یک حساب AWS به یک دامنه در هر منطقه مرتبط است.
• سطل آمازون S3 – پس از ایجاد دامنه Studio، یک سرویس ذخیره سازی ساده آمازون سطل (Amazon S3) برای Canvas فراهم شده است تا امکان وارد کردن مجموعه داده‌ها از فایل‌های محلی را فراهم کند که به آن آپلود فایل محلی نیز می‌گویند. این سطل در حساب مشتری است و یک بار تهیه می شود.
• کاربر بوم – SageMaker Canvas برنامه‌ای است که در آن می‌توانید پروفایل‌های کاربری را در دامنه Studio برای هر کاربر Canvas اضافه کنید، که می‌تواند به وارد کردن مجموعه داده‌ها، ساخت و آموزش مدل‌های ML بدون نوشتن کد، و اجرای پیش‌بینی‌ها بر روی مدل ادامه دهد.
• تعطیلی برنامه ریزی شده جلسات Canvas – کاربران Canvas می توانند پس از اتمام وظایف خود از رابط Canvas خارج شوند. متناوبا، از سوی دیگر، مدیران می توانند جلسات Canvas را ببندند از کنسول مدیریت AWS به عنوان بخشی از مدیریت جلسات بوم. در این بخش از نمونه کارها کاتالوگ خدمات AWS، یک AWS لامبدا تابع ایجاد و تدارک دیده شده است تا به طور خودکار جلسات Canvas را در فواصل زمان‌بندی شده مشخص بسته شود. این به مدیریت جلسات باز و خاموش کردن آنها در صورت عدم استفاده کمک می کند.

این جریان مثال را می توان در مخزن GitHub برای ارجاع سریع

جریان را با CDK AWS اجرا کنید

در این بخش، جریانی را که قبلاً توضیح داده شد با استفاده از AWS CDK اجرا می کنیم. پس از استقرار آن، می توانید ردیابی نسخه را نیز انجام دهید و نمونه کارها را مدیریت کنید.

پشته نمونه کارها را می توان در یافت app.py و محصول در زیر products/ پوشه می توانید روی نقش های IAM تکرار کنید، سرویس مدیریت کلید AWS کلیدهای (AWS KMS) و راه اندازی VPC در studio_constructs/ پوشه قبل از استقرار پشته در حساب خود، می توانید خطوط زیر را در آن ویرایش کنید app.py و اجازه دسترسی پورتفولیو به یک نقش IAM به انتخاب شما را بدهید.

می توانید دسترسی به پورتفولیو را برای کاربران، گروه ها و نقش های مرتبط IAM مدیریت کنید. دیدن اعطای دسترسی به کاربران برای جزئیات بیشتر.

نمونه کارها را در حساب خود مستقر کنید

اکنون می‌توانید دستورات زیر را برای نصب AWS CDK اجرا کنید و مطمئن شوید که وابستگی‌های مناسبی برای استقرار نمونه کارها دارید:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

دستورات زیر را برای استقرار نمونه کارها در حساب خود اجرا کنید:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

دو دستور اول شناسه حساب و منطقه فعلی شما را با استفاده از رابط خط فرمان AWS (AWS CLI) در رایانه شما. در دنباله این، cdk bootstrap و cdk deploy دارایی ها را به صورت محلی بسازید و پشته را در چند دقیقه مستقر کنید.

همانطور که در تصویر زیر نشان داده شده است، اکنون می توانید نمونه کارها را در کاتالوگ خدمات AWS پیدا کنید.

تامین بر اساس تقاضا

محصولات موجود در مجموعه را می توان به سرعت و به آسانی در صورت تقاضا از طرف شرکت راه اندازی کرد تأمین منوی کنسول AWS Service Catalog. یک جریان معمولی این است که ابتدا دامنه Studio و خاموش شدن خودکار Canvas را راه اندازی کنید زیرا این معمولاً یک اقدام یکباره است. سپس می توانید کاربران Canvas را به دامنه اضافه کنید. شناسه دامنه و نقش IAM کاربر ARN در آن ذخیره می شود مدیر سیستم های AWS و همانطور که در تصویر زیر نشان داده شده است به طور خودکار با پارامترهای کاربر پر می شوند.

همچنین می توانید از تگ های تخصیص هزینه که به هر کاربر متصل می شود استفاده کنید. مثلا، UserCostCenter یک تگ نمونه است که می توانید نام هر کاربر را در آن اضافه کنید.

ملاحظات کلیدی برای اداره محیط های ML با استفاده از Canvas

اکنون که یک مجموعه کاتالوگ خدمات AWS متمرکز بر Canvas را تهیه و اجرا کرده‌ایم، می‌خواهیم ملاحظاتی را برای حاکمیت بر محیط‌های ML مبتنی بر Canvas که بر دامنه و نمایه کاربر متمرکز است، برجسته کنیم.

ملاحظات زیر در رابطه با دامنه Studio است:

• Networking for Canvas در سطح دامنه Studio مدیریت می شود، جایی که دامنه برای اتصال ایمن در یک زیرشبکه VPC خصوصی مستقر می شود. دیدن ایمن کردن اتصال Amazon SageMaker Studio با استفاده از VPC خصوصی برای کسب اطلاعات بیشتر.
• یک نقش اجرای پیش فرض IAM در سطح دامنه تعریف شده است. این نقش پیش فرض به همه کاربران Canvas در دامنه اختصاص داده شده است.
• رمزگذاری با استفاده از AWS KMS با رمزگذاری حجم EFS در دامنه انجام می شود. برای کنترل های اضافی، می توانید کلید مدیریت شده خود را که به عنوان کلید مدیریت شده توسط مشتری (CMK) نیز شناخته می شود، مشخص کنید. دیدن از داده ها در حالت استراحت با استفاده از رمزگذاری محافظت کنید برای کسب اطلاعات بیشتر.
• توانایی آپلود فایل‌ها از دیسک محلی شما با پیوست کردن خط مشی اشتراک‌گذاری منابع متقاطع (CORS) به سطل S3 مورد استفاده توسط Canvas انجام می‌شود. دیدن به کاربران خود اجازه آپلود فایل های محلی را بدهید برای کسب اطلاعات بیشتر.

ملاحظات زیر در رابطه با مشخصات کاربر است:

• احراز هویت در استودیو هم از طریق ورود به سیستم (SSO) و هم از طریق IAM قابل انجام است. اگر یک ارائه‌دهنده هویت موجود برای فدرال کردن کاربران برای دسترسی به کنسول دارید، می‌توانید با استفاده از IAM یک نمایه کاربر استودیو به هر هویت فدرال اختصاص دهید. بخش را ببینید تخصیص خط مشی به کاربران استودیو in پیکربندی Amazon SageMaker Studio برای تیم ها و گروه ها با جداسازی کامل منابع برای کسب اطلاعات بیشتر.
• شما می توانید نقش های اجرای IAM را به هر پروفایل کاربری اختصاص دهید. در حین استفاده از Studio، کاربر نقشی را که به نمایه کاربری خود نگاشت شده است، فرض می کند که نقش اجرای پیش فرض را لغو می کند. می توانید از این برای کنترل های دسترسی دقیق در یک تیم استفاده کنید.
• شما می توانید با استفاده از کنترل های دسترسی مبتنی بر ویژگی (ABAC) به ایزوله دست پیدا کنید تا اطمینان حاصل شود که کاربران فقط می توانند به منابع تیم خود دسترسی داشته باشند. دیدن پیکربندی Amazon SageMaker Studio برای تیم ها و گروه ها با جداسازی کامل منابع برای کسب اطلاعات بیشتر.
• می‌توانید با اعمال برچسب‌های تخصیص هزینه به پروفایل‌های کاربر، ردیابی هزینه‌های دقیق را انجام دهید.

پاک کردن

به منظور پاکسازی منابع ایجاد شده توسط پشته AWS CDK در بالا، به صفحه پشته های AWS CloudFormation بروید و پشته های Canvas را حذف کنید. شما همچنین می توانید اجرا کنید cdk destroy از داخل پوشه مخزن، همین کار را انجام دهید.

نتیجه

در این پست، نحوه ارائه سریع و آسان محیط های ML با Canvas را با استفاده از کاتالوگ خدمات AWS و AWS CDK به اشتراک گذاشتیم. ما درباره نحوه ایجاد نمونه کارها در کاتالوگ خدمات AWS، تهیه نمونه کارها و استقرار آن در حساب خود بحث کردیم. مدیران فناوری اطلاعات می توانند از این روش برای استقرار و مدیریت کاربران، جلسات و هزینه های مرتبط در حین تهیه Canvas استفاده کنند.

درباره Canvas on the صفحه محصول و راهنمای توسعه دهنده. برای مطالعه بیشتر، می توانید یاد بگیرید که چگونه به تحلیلگران تجاری اجازه دهید با استفاده از AWS SSO بدون کنسول به SageMaker Canvas دسترسی پیدا کنند. شما همچنین می توانید یاد بگیرید که چگونه تحلیلگران کسب و کار و دانشمندان داده می توانند با استفاده از Canvas و Studio سریعتر همکاری کنند.

درباره نویسنده

دیوید گالیتلی یک معمار راه حل های تخصصی برای AI/ML در منطقه EMEA است. او در بروکسل مستقر است و از نزدیک با مشتریان در سرتاسر بنلوکس کار می کند. او از زمانی که خیلی جوان بود یک توسعه دهنده بوده و از سن ۷ سالگی شروع به کدنویسی کرد. او یادگیری AI/ML را در دانشگاه شروع کرد و از آن زمان عاشق آن شد.

سوفیان حمیتی یک معمار راه حل متخصص AI/ML در AWS است. او به مشتریان در سراسر صنایع کمک می‌کند تا با کمک به آنها در ساخت و عملیاتی کردن راه‌حل‌های یادگیری ماشینی سرتاسر، سفر هوش مصنوعی/ML خود را تسریع کنند.

شیام سرینیواسان مدیر محصول اصلی در تیم AWS AI/ML است که مدیریت محصول را برای Amazon SageMaker Canvas پیشرو می‌کند. شیام به ساختن دنیا از طریق فناوری به مکانی بهتر اهمیت می دهد و مشتاق است که چگونه هوش مصنوعی و ML می توانند کاتالیزوری در این سفر باشند.

آوی پاتل به عنوان مهندس نرم افزار در تیم آمازون SageMaker Canvas کار می کند. پس‌زمینه‌ی او شامل کار کردن تمام پشته با فوکوس جلویی است. در اوقات فراغت خود، او دوست دارد در پروژه های منبع باز در فضای رمزنگاری مشارکت کند و در مورد پروتکل های DeFi جدید بیاموزد.

جرد هیوود مدیر ارشد توسعه کسب و کار در AWS است. او یک متخصص جهانی هوش مصنوعی / ML است که به مشتریان در یادگیری ماشین بدون کد کمک می کند. او در 5 سال گذشته در فضای AutoML کار کرده و محصولاتی مانند Amazon SageMaker JumpStart و Amazon SageMaker Canvas را در آمازون راه اندازی کرده است.