توسعه یادگیری ماشین را با استفاده از فضاهای مشترک در SageMaker Studio برای همکاری در زمان واقعی سازماندهی کنید

Amazon SageMaker Studio اولین محیط توسعه کاملاً یکپارچه (IDE) برای یادگیری ماشین (ML) است. این یک رابط بصری مبتنی بر وب را ارائه می دهد که در آن می توانید تمام مراحل توسعه ML را انجام دهید، از جمله تهیه داده ها و ساخت، آموزش و استقرار مدل ها.

در یک دامنه آمازون SageMaker، کاربران می توانند یک برنامه شخصی Amazon SageMaker Studio IDE تهیه کنند که یک JupyterServer رایگان با ادغام های داخلی را برای بررسی آمازون اجرا می کند. آزمایش های SageMaker، ارکستراسیون خطوط لوله آمازون SageMaker، و خیلی بیشتر. کاربران فقط برای محاسبه انعطاف پذیر در هسته نوت بوک خود پرداخت می کنند. این برنامه های شخصی به طور خودکار اطلاعات خصوصی کاربر مربوطه را نصب می کنند سیستم فایل الاستیک آمازون فهرست اصلی (Amazon EFS) تا بتوانند کد، داده ها و سایر فایل ها را جدا از سایر کاربران نگه دارند. Amazon SageMaker Studio در حال حاضر از اشتراک گذاری نوت بوک بین برنامه های خصوصی پشتیبانی می کند، اما مکانیسم ناهمزمان می تواند روند تکرار را کند کند.

حالا با فضاهای مشترک در Amazon SageMaker Studio، کاربران می توانند با ایجاد یک برنامه مشترک IDE که کاربران با پروفایل کاربری Amazon SageMaker خود از آن استفاده می کنند، تلاش ها و ابتکارات مشترک ML را سازماندهی کنند. کارکنان داده که در یک فضای مشترک با یکدیگر همکاری می کنند، به یک محیط Amazon SageMaker Studio دسترسی پیدا می کنند، جایی که می توانند به نوت بوک های خود دسترسی داشته باشند، بخوانند، ویرایش کنند و به اشتراک بگذارند، که سریع ترین مسیر را برای شروع تکرار با همتایان خود در مورد ایده های جدید به آنها می دهد. کارکنان داده حتی می‌توانند با استفاده از قابلیت‌های همکاری بلادرنگ، روی یک نوت‌بوک به طور همزمان همکاری کنند. نوت بوک هر کاربر در حال ویرایش مشترک را با مکان نما متفاوتی نشان می دهد که نام نمایه کاربر مربوطه را نشان می دهد.

فضاهای به اشتراک گذاشته شده در SageMaker Studio به طور خودکار منابعی مانند Training jobs، Processing jobs، Experiments، Pipelines و Model Registry ایجاد شده در محدوده یک فضای کاری با مربوطه خود برچسب گذاری می کنند. sagemaker:space-arn. فضا آن منابع را در رابط کاربری Amazon SageMaker Studio (UI) فیلتر می‌کند، بنابراین کاربران فقط با آزمایش‌های SageMaker، Pipelines و سایر منابع مرتبط با تلاش ML آنها ارائه می‌شوند.

بررسی اجمالی راه حل

از آنجایی که فضاهای مشترک به طور خودکار منابع را برچسب گذاری می کنند، مدیران به راحتی می توانند هزینه های مرتبط با یک تلاش ML را کنترل کنند و با استفاده از ابزارهایی مانند بودجه برنامه ریزی کنند. بودجه های AWS و AWS Cost Explorer. به عنوان یک مدیر، فقط باید یک را پیوست کنید برچسب تخصیص هزینه برای sagemaker:space-arn.

پس از تکمیل، می‌توانید از AWS Cost Explorer برای شناسایی هزینه‌های پروژه‌های ML فردی برای سازمانتان استفاده کنید.

با فضاهای مشترک در Amazon SageMaker Studio شروع کنید

در این بخش، گردش کار معمولی برای ایجاد و استفاده از فضاهای مشترک در Amazon SageMaker Studio را تحلیل خواهیم کرد.

یک فضای مشترک در Amazon SageMaker Studio ایجاد کنید

می توانید از کنسول آمازون SageMaker یا از رابط خط فرمان AWS (AWS CLI) برای افزودن پشتیبانی از فضاها به یک دامنه موجود. برای به روزترین اطلاعات، لطفا بررسی کنید یک فضای مشترک ایجاد کنید. فضاهای مشترک فقط با یک تصویر JupyterLab 3 SageMaker Studio و برای دامنه های SageMaker با استفاده از احراز هویت AWS Identity and Access Management (AWS IAM) کار می کنند.

ساخت کنسول

برای ایجاد فضایی در یک دامنه تعیین‌شده Amazon SageMaker، ابتدا باید یک نقش اجرای پیش‌فرض فضای تعیین‌شده را تنظیم کنید. از جزئیات دامنه صفحه را انتخاب کنید تنظیمات دامنه زبانه و انتخاب کنید ویرایش. سپس می‌توانید نقش اجرای پیش‌فرض فضایی را تنظیم کنید، که فقط باید یک بار در هر دامنه تکمیل شود، همانطور که در نمودار زیر نشان داده شده است:

بعد ، شما می توانید به مدیریت فضا در دامنه خود برگه بزنید و آن را انتخاب کنید ساختن دکمه، همانطور که در نمودار زیر نشان داده شده است:

ایجاد AWS CLI

همچنین می‌توانید یک نقش پیش‌فرض اجرای فضای دامنه را از AWS CLI تنظیم کنید. به منظور تعیین ARN تصویر JupyterLab3 منطقه خود، بررسی کنید تنظیم یک نسخه پیش فرض JupyterLab.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

پس از تکمیل آن برای دامنه خود، می توانید یک فضای مشترک از CLI ایجاد کنید.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

یک فضای مشترک در Amazon SageMaker Studio راه اندازی کنید

کاربران می توانند با انتخاب یک فضای مشترک راه اندازی کنند راه اندازی دکمه کنار نمایه کاربری آنها در کنسول AWS برای دامنه Amazon SageMaker آنها.

بعد از انتخاب فضاهای در بخش Collaborative، سپس انتخاب کنید که کدام Space راه اندازی شود:

از طرف دیگر، کاربران می توانند یک URL از پیش امضا شده برای راه اندازی یک فضا از طریق AWS CLI ایجاد کنند:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

همکاری در زمان واقعی

پس از بارگیری IDE فضای مشترک Amazon SageMaker Studio، کاربران می توانند آن را انتخاب کنند همکاران در پانل سمت چپ برگه را بزنید تا ببینید چه کاربرانی به طور فعال در فضای شما و روی چه نوت بوکی کار می کنند. اگر بیش از یک نفر روی یک نوت بوک کار می کنند، مکان نما را با نام نمایه کاربر دیگر در جایی که در حال ویرایش هستند می بینید:

در اسکرین شات زیر، می‌توانید تجربه‌های مختلف کاربری را برای شخصی که یک نوت بوک را ویرایش و مشاهده می‌کند، ببینید:

نتیجه

در این پست، ما به شما نشان دادیم که چگونه فضاهای به اشتراک گذاشته شده در SageMaker Studio یک تجربه IDE مشترک بلادرنگ را به Amazon SageMaker Studio اضافه می کند. برچسب‌گذاری خودکار به کاربران کمک می‌کند تا منابع آمازون SageMaker خود را که شامل: آزمایش‌ها، خطوط لوله و ورودی‌های رجیستری مدل برای به حداکثر رساندن بهره‌وری کاربر است، محدوده و فیلتر کنند. علاوه بر این، مدیران می‌توانند از این برچسب‌های اعمال‌شده برای نظارت بر هزینه‌های مربوط به یک فضای معین و تنظیم بودجه‌های مناسب با استفاده از AWS Cost Explorer و AWS Budgets استفاده کنند.

امروز با راه‌اندازی فضاهای مشترک در استودیوی آمازون SageMaker برای تلاش‌های خاص خود در یادگیری ماشین، همکاری تیم خود را تسریع کنید!

درباره نویسندگان

شان مورگان یک معمار راه حل های AI/ML در AWS است. او تجربه ای در زمینه های تحقیقاتی دانشگاهی و نیمه هادی دارد و از تجربه خود برای کمک به مشتریان برای رسیدن به اهداف خود در AWS استفاده می کند. در اوقات فراغت، شان یک مشارکت‌کننده/نگهدار منبع باز فعال است و رهبر گروه مورد علاقه ویژه افزونه‌های TensorFlow است.

هان ژانگ یک مهندس نرم افزار ارشد در خدمات وب آمازون است. او بخشی از تیم راه‌اندازی آمازون SageMaker Notebook و Amazon SageMaker Studio است و بر ایجاد محیط‌های یادگیری ماشینی امن برای مشتریان تمرکز کرده است. او در اوقات فراغت خود از پیاده روی و اسکی در شمال غربی اقیانوس آرام لذت می برد.

آرکاپراوا د مهندس نرم افزار ارشد در AWS است. او بیش از 7 سال در آمازون بوده و در حال حاضر روی بهبود تجربه Amazon SageMaker Studio IDE کار می کند. می توانید او را در آن پیدا کنید لینک.

کونال جها مدیر محصول ارشد در AWS است. او بر ساخت Amazon SageMaker Studio به عنوان IDE منتخب برای تمام مراحل توسعه ML متمرکز است. کونال در اوقات فراغت خود از اسکی و کاوش در شمال غربی اقیانوس آرام لذت می برد. می توانید او را در آن پیدا کنید لینک.