Amazon SageMaker Studio مجموعه گستردهای از محیطهای توسعه یکپارچه کاملاً مدیریت شده (IDE) را برای توسعه یادگیری ماشین (ML) ارائه میدهد، از جمله JupyterLab، ویرایشگر کد مبتنی بر Code-OSS (کد منبع باز ویژوال استودیو)، و RStudio. این امکان دسترسی به جامع ترین مجموعه ابزارها را برای هر مرحله از توسعه ML، از تهیه داده ها تا ساخت، آموزش، استقرار و مدیریت مدل های ML فراهم می کند. می توانید JuptyerLab کاملاً مدیریت شده را با SageMaker Distribution از پیش پیکربندی شده در عرض چند ثانیه راه اندازی کنید تا با نوت بوک ها، کدها و داده های خود کار کند. رابط انعطافپذیر و توسعهپذیر SageMaker Studio به شما امکان میدهد بدون زحمت گردشهای کاری ML را پیکربندی و ترتیب دهید، و میتوانید از همراه کدگذاری درون خطی مبتنی بر هوش مصنوعی برای نوشتن سریع، اشکالزدایی، توضیح و آزمایش کد استفاده کنید.
در این پست، نگاهی دقیقتر به استودیوی SageMaker بهروز شده و JupyterLab IDE آن میاندازیم که برای افزایش بهرهوری توسعهدهندگان ML طراحی شده است. ما مفهوم Spaces را معرفی میکنیم و توضیح میدهیم که چگونه JupyterLab Spaces سفارشیسازی انعطافپذیر منابع محاسباتی، ذخیرهسازی و زمان اجرا را برای بهبود کارایی گردش کار ML شما امکانپذیر میسازد. ما همچنین تغییر خود را به یک مدل اجرای محلی در JupyterLab مورد بحث قرار میدهیم که منجر به تجربه کدنویسی سریعتر، پایدارتر و پاسخگو میشود. علاوه بر این، ما ادغام یکپارچه ابزارهای مولد هوش مصنوعی مانند آمازون کد Whisperer و Jupyter AI در SageMaker Studio JupyterLab Spaces، نشان می دهد که چگونه به توسعه دهندگان قدرت می دهند تا از هوش مصنوعی برای کمک به کدنویسی و حل مشکلات خلاقانه استفاده کنند.
معرفی Spaces در SageMaker Studio
جدید رابط مبتنی بر وب SageMaker Studio به عنوان یک مرکز فرمان برای راه اندازی IDE مورد نظر شما و دسترسی به شما عمل می کند آمازون SageMaker ابزارهایی برای ساخت، آموزش، تنظیم و استقرار مدل ها. علاوه بر JupyterLab و RStudio، SageMaker Studio اکنون شامل یک ویرایشگر کد کاملاً مدیریت شده بر اساس Code-OSS (کد منبع باز ویژوال استودیو) است. هر دو JupyterLab و Code Editor را می توان با استفاده از یک فضای کاری انعطاف پذیر به نام Spaces راه اندازی کرد.
Space نمایش پیکربندی یک IDE SageMaker، مانند JupyterLab یا Code Editor است که طراحی شده است تا بدون در نظر گرفتن اینکه برنامه (IDE) مرتبط با Space به طور فعال در حال اجرا است یا خیر، باقی بماند. Space ترکیبی از یک نمونه محاسباتی، ذخیره سازی و سایر تنظیمات زمان اجرا را نشان می دهد. با Spaces، میتوانید محاسبات و فضای ذخیرهسازی IDE خود را در حین حرکت بالا و پایین ایجاد کرده و مقیاسبندی کنید، محیطهای زمان اجرا را سفارشی کنید، و کدنویسی را در هر زمان و از هر کجا متوقف کنید و از سر بگیرید. میتوانید چندین فضا را بچرخانید، که هر کدام با ترکیب متفاوتی از محاسبات، ذخیرهسازی و زمان اجرا پیکربندی شدهاند.
هنگامی که یک Space ایجاد می شود، مجهز به یک فروشگاه بلوک الاستیک آمازون (Amazon EBS) حجمکه برای ذخیره فایلها، دادهها، حافظه پنهان و سایر مصنوعات کاربران استفاده میشود. هر زمان که Space اجرا می شود به یک نمونه محاسبه ML متصل می شود. ولوم EBS تضمین میکند که فایلهای کاربر، دادهها، حافظه پنهان و وضعیتهای جلسه هر زمان که Space مجدداً راهاندازی میشود به طور مداوم بازیابی میشوند. نکته مهم این است که این ولوم EBS ثابت می ماند، چه فضا در حالت در حال اجرا باشد و چه در حالت توقف. تا زمانی که Space حذف نشود به کار خود ادامه خواهد داد.
علاوه بر این، ما ویژگی سیستم فایل خود را بیاورید برای کاربرانی که میخواهند محیطها و مصنوعات را در فضاها، کاربران یا حتی دامنههای مختلف به اشتراک بگذارند، معرفی کردهایم. این به شما امکان می دهد که به صورت اختیاری Spaces خود را به فضاهای خود مجهز کنید سیستم فایل الاستیک آمازون نصب (Amazon EFS)، به اشتراک گذاری منابع در فضاهای کاری مختلف را تسهیل می کند.
ایجاد یک فضا
ایجاد و راه اندازی یک فضای جدید اکنون سریع و ساده است. راه اندازی یک Space جدید با نمونه های پرتاب سریع فقط چند ثانیه و برای اجرای یک Space کمتر از 60 ثانیه زمان می برد. فضاها به تنظیمات از پیش تعریف شده برای محاسبات و ذخیره سازی مجهز هستند که توسط مدیران مدیریت می شوند. مدیران SageMaker Studio میتوانند از پیش تنظیمات سطح دامنه را برای پیکربندیهای محاسبه، ذخیرهسازی و زمان اجرا ایجاد کنند. این تنظیمات شما را قادر می سازد تا به سرعت فضای جدیدی را با کمترین تلاش راه اندازی کنید و تنها به چند کلیک نیاز دارد. شما همچنین می توانید تنظیمات محاسبات، ذخیره سازی یا زمان اجرا را برای سفارشی سازی بیشتر تغییر دهید.
توجه به این نکته مهم است که ایجاد یک Space نیازمند به روز رسانی نقش اجرای دامنه SageMaker با سیاستی مانند مثال زیر است. شما باید به کاربران خود مجوزهایی برای فضاهای خصوصی و پروفایل های کاربری لازم برای دسترسی به این فضاهای خصوصی بدهید. برای دستورالعمل های دقیق، مراجعه کنید به کاربران خود اجازه دسترسی به فضاهای خصوصی را بدهید.
برای ایجاد یک فضا، مراحل زیر را انجام دهید:
- در SageMaker Studio، را انتخاب کنید آزمایشگاه ژوپیتر در اپلیکیشنها منو.
- را انتخاب کنید فضای JupyterLab را ایجاد کنید.
- برای نام، یک نام برای Space خود وارد کنید.
- را انتخاب کنید فضا سازی.
- را انتخاب کنید فضا را اجرا کنید برای راهاندازی فضای جدید خود با تنظیمات پیشفرض یا بهروزرسانی پیکربندی بر اساس نیازهای شما.
پیکربندی مجدد یک فضا
فضاها برای کاربران طراحی شده اند تا در صورت نیاز به صورت یکپارچه بین انواع محاسبات مختلف جابجا شوند. شما می توانید با ایجاد یک فضای جدید با یک پیکربندی خاص، که در درجه اول شامل محاسبات و ذخیره سازی است، شروع کنید. اگر در هر نقطه از گردش کار خود نیاز به تغییر نوع محاسباتی متفاوت با تعداد vCPU بیشتر یا کمتر، حافظه بیشتر یا کمتر، یا نمونه مبتنی بر GPU دارید، می توانید این کار را به راحتی انجام دهید. پس از توقف Space، میتوانید تنظیمات آن را با استفاده از UI یا تغییر دهید API از طریق رابط به روز شده SageMaker Studio و سپس Space را مجددا راه اندازی کنید. SageMaker Studio به طور خودکار تدارک فضای موجود شما را با پیکربندی جدید انجام می دهد و نیازی به تلاش اضافی از جانب شما ندارد.
مراحل زیر را برای ویرایش فضای موجود انجام دهید:
- در صفحه جزئیات فضا، را انتخاب کنید فضای توقف.
- محاسبات، ذخیره سازی یا زمان اجرا را دوباره پیکربندی کنید.
- را انتخاب کنید فضا را اجرا کنید برای راه اندازی مجدد فضا
فضای کاری شما با نوع ذخیره سازی و محاسبات جدیدی که درخواست کرده اید به روز می شود.
معماری جدید SageMaker Studio JupyterLab
تیم SageMaker Studio به ابداع و ساده سازی تجربه توسعه دهنده خود با انتشار یک تجربه کاملاً مدیریت شده جدید SageMaker Studio JupyterLab ادامه می دهد. تجربه جدید SageMaker Studio JupyterLab بهترین های هر دو جهان را ترکیب می کند: مقیاس پذیری و انعطاف پذیری SageMaker Studio Classic (به پیوست انتهای این پست مراجعه کنید) با ثبات و آشنایی با منبع باز JupyterLab. برای درک طراحی این تجربه جدید JupyterLab، بیایید به نمودار معماری زیر بپردازیم. این به ما کمک می کند تا ادغام و ویژگی های این پلت فرم جدید JupyterLab Spaces را بهتر درک کنیم.
به طور خلاصه، ما به سمت معماری بومیسازی شدهایم. در این راهاندازی جدید، پردازشهای سرور و هسته Jupyter در کنار یک ظرف Docker که روی همان نمونه محاسباتی ML میزبانی میشود، کار میکنند. این نمونههای ML هنگام اجرای Space ارائه میشوند و با یک حجم EBS که هنگام ایجاد Space در ابتدا ایجاد میشود، مرتبط میشوند.
این معماری جدید چندین مزیت را به همراه دارد. برخی از این موارد را در بخش های بعدی مورد بحث قرار می دهیم.
کاهش تاخیر و افزایش پایداری
SageMaker Studio به یک مدل اجرای محلی منتقل شده است، و از مدل تقسیم قبلی که در آن کد روی یک مانت EFS ذخیره میشد و از راه دور روی یک نمونه ML از راه دور Kernel Gateway اجرا میشد، فاصله گرفت. در تنظیمات قبلی، Kernel Gateway، یک وب سرور بدون هد، عملیات هسته را از طریق ارتباط از راه دور با هسته های Jupyter از طریق HTTPS/WSS فعال می کرد. اقدامات کاربر مانند اجرای کد، مدیریت نوتبوکها یا اجرای دستورات ترمینال توسط یک برنامه Kernel Gateway در یک نمونه ML از راه دور پردازش میشوند، با Kernel Gateway این عملیات را از طریق ZeroMQ (ZMQ) در ظرف Docker تسهیل میکند. نمودار زیر این معماری را نشان می دهد.
معماری به روز شده JupyterLab تمام عملیات هسته را مستقیماً بر روی نمونه محلی اجرا می کند. این رویکرد سرور محلی Jupyter معمولاً عملکرد بهبود یافته و معماری ساده را ارائه می دهد. تأخیر و پیچیدگی شبکه را به حداقل میرساند، معماری را برای اشکالزدایی و نگهداری آسانتر ساده میکند، استفاده از منابع را افزایش میدهد و الگوهای پیامرسانی انعطافپذیرتری را برای انواع حجمهای کاری پیچیده در نظر میگیرد.
در اصل، این ارتقا، نوتبوکها و کدهای در حال اجرا را بسیار به هستهها نزدیکتر میکند و تأخیر را به طور قابل توجهی کاهش میدهد و ثبات را افزایش میدهد.
بهبود کنترل بر ذخیره سازی تدارک دیده شده
SageMaker Studio Classic در ابتدا از Amazon EFS برای ارائه ذخیرهسازی فایل مشترک و پایدار برای فهرستهای خانگی کاربر در محیط SageMaker Studio استفاده میکرد. این تنظیمات به شما امکان میدهد تا نوتبوکها، اسکریپتها و سایر فایلهای پروژه را که در تمام جلسات و نمونههای استودیوی SageMaker قابل دسترسی هستند، به صورت مرکزی ذخیره کنید.
با آخرین به روز رسانی SageMaker Studio، تغییری از فضای ذخیره سازی مبتنی بر Amazon EFS به یک راه حل مبتنی بر Amazon EBS وجود دارد. جلدهای EBS، ارائه شده با SageMaker Studio Spaces، هستند حجم های GP3 طراحی شده برای ارائه عملکرد پایه ثابت 3,000 IOPS، مستقل از اندازه حجم. این ذخیرهسازی EBS جدید آمازون عملکرد بالاتری را برای کارهای I/O فشرده مانند آموزش مدل، پردازش دادهها، محاسبات با کارایی بالا و تجسم داده ارائه میدهد. این انتقال همچنین به مدیران SageMaker Studio بینش و کنترل بیشتری در مورد استفاده از فضای ذخیرهسازی توسط نمایههای کاربر در یک دامنه یا در سراسر SageMaker میدهد. اکنون می توانید پیش فرض (DefaultEbsVolumeSizeInGb
) و حداکثر (MaximumEbsVolumeSizeInGb
) اندازه های ذخیره سازی برای فضاهای JupyterLab در هر نمایه کاربر.
علاوه بر بهبود عملکرد، میتوانید با ویرایش تنظیمات Space یا با استفاده از عملکرد UI یا API از رابط SageMaker Studio، حجم ذخیرهسازی متصل به نمونه محاسباتی ML Space خود را بهطور انعطافپذیر تغییر اندازه دهید، بدون اینکه نیازی به اقدام مدیریتی داشته باشید. با این حال، توجه داشته باشید که شما فقط میتوانید اندازههای حجم EBS را در یک جهت ویرایش کنید—بعد از اینکه اندازه حجم EBS Space را افزایش دادید، دیگر نمیتوانید آن را پایین بیاورید.
SageMaker Studio اکنون کنترل بالایی از فضای ذخیرهسازی تدارک دیده شده را برای مدیران ارائه میدهد:
- مدیران SageMaker Studio می توانند اندازه های حجم EBS را برای پروفایل های کاربر مدیریت کنند. این حجم های JupyterLab EBS می تواند از حداقل 5 گیگابایت تا حداکثر 16 ترابایت متفاوت باشد. قطعه کد زیر نحوه ایجاد یا به روز رسانی پروفایل کاربری با تنظیمات پیش فرض و حداکثر فاصله را نشان می دهد:
- SageMaker Studio اکنون یک ویژگی برچسبگذاری خودکار پیشرفته برای منابع Amazon EBS ارائه میکند که بهطور خودکار حجمهای ایجاد شده توسط کاربران را با اطلاعات دامنه، کاربر و فضا برچسبگذاری میکند. این پیشرفت تجزیه و تحلیل تخصیص هزینه برای منابع ذخیره سازی را ساده می کند و به مدیران در مدیریت و نسبت دادن هزینه ها به طور موثرتر کمک می کند. همچنین مهم است که توجه داشته باشید که این حجمهای EBS در حساب سرویس میزبانی میشوند، بنابراین مشاهده مستقیم نخواهید داشت. با این وجود، استفاده از ذخیرهسازی و هزینههای مرتبط مستقیماً به دامنه ARN، نمایه کاربر ARN و Space ARN مرتبط است و تخصیص هزینه را تسهیل میکند.
- مدیران همچنین می توانند با استفاده از کلیدهای مدیریت شده توسط مشتری (CMK) رمزگذاری ولوم EBS فضایی را در حالت استراحت کنترل کنند.
اجاره مشترک با سیستم فایل EFS خود را بیاورید
گردشهای کاری ML معمولاً مشارکتی هستند و به اشتراک گذاری کارآمد دادهها و کد بین اعضای تیم نیاز دارند. استودیوی جدید SageMaker این جنبه مشترک را با امکان به اشتراک گذاری داده ها، کدها و سایر مصنوعات از طریق اشتراک گذاری افزایش می دهد. سیستم فایل EFS خود را بیاورید. این درایو EFS می تواند مستقل از SageMaker راه اندازی شود یا می تواند منبع EFS موجود آمازون باشد. پس از تهیه، می توان آن را به طور یکپارچه بر روی پروفایل های کاربر SageMaker Studio نصب کرد. این ویژگی به نمایههای کاربر در یک دامنه محدود نمیشود - تا زمانی که در همان منطقه باشند، میتواند در سراسر دامنهها گسترش یابد.
کد مثال زیر به شما نشان می دهد که چگونه یک دامنه ایجاد کنید و یک حجم EFS موجود را با استفاده از مرتبط با آن به آن متصل کنید fs-id
. حجم های EFS را می توان به یک دامنه در سطح ریشه یا پیشوند متصل کرد، همانطور که دستورات زیر نشان می دهد:
هنگامی که یک پایه EFS در یک دامنه و نمایههای کاربری مرتبط با آن در دسترس قرار میگیرد، میتوانید انتخاب کنید که آن را به فضای جدیدی متصل کنید. این را می توان با استفاده از SageMaker Studio UI یا یک اقدام API، همانطور که در مثال زیر نشان داده شده است، انجام داد. توجه به این نکته مهم است که وقتی فضایی با یک سیستم فایل EFS که در سطح دامنه ارائه می شود ایجاد می شود، فضا ویژگی های خود را به ارث می برد. این بدان معنی است که اگر سیستم فایل در سطح ریشه یا پیشوند در دامنه ارائه شود، این تنظیمات به طور خودکار در فضای ایجاد شده توسط کاربران دامنه اعمال می شود.
پس از نصب آن در یک Space، میتوانید همه فایلهای خود را که در بالای نقطه نصب توسط سرپرست قرار دارند، پیدا کنید. این فایل ها را می توان در مسیر دایرکتوری پیدا کرد /mnt/custom-file-system/efs/fs-12345678
.
ساخت پایههای EFS برای به اشتراک گذاشتن مصنوعات بین فضای کاربر یا بین چند کاربر یا در دامنهها ساده است، و آن را برای بارهای کاری مشترک ایدهآل میکند. با این ویژگی می توانید کارهای زیر را انجام دهید:
- داده ها را به اشتراک بگذارید - پایههای EFS برای ذخیره مجموعه دادههای بزرگ که برای آزمایشهای علم داده حیاتی هستند، ایدهآل هستند. دارندگان مجموعه دادهها میتوانند این مانتها را با آموزش، اعتبارسنجی و مجموعه دادههای آزمایشی بارگذاری کنند و آنها را برای نمایههای کاربر در یک دامنه یا در چندین دامنه در دسترس قرار دهند. مدیران SageMaker Studio همچنین میتوانند پایههای EFS برنامههای موجود را با رعایت سیاستهای امنیتی سازمانی ادغام کنند. این کار از طریق نصب انعطاف پذیر در سطح پیشوند انجام می شود. به عنوان مثال، اگر داده های تولید و آزمایش بر روی یک پایه EFS ذخیره شوند (مانند
fs-12345678:/data/prod and fs-12345678:/data/test
)، نصب/data/test
در نمایه های کاربری دامنه SageMaker به کاربران اجازه می دهد فقط به مجموعه داده آزمایشی دسترسی داشته باشند. این راهاندازی امکان تحلیل یا آموزش مدل را فراهم میکند و در عین حال دادههای تولید را امن و غیرقابل دسترس نگه میدارد. - کد اشتراک گذاری - مانت های EFS به اشتراک گذاری سریع مصنوعات کد بین پروفایل های کاربر را تسهیل می کنند. در سناریوهایی که کاربران نیاز دارند به سرعت نمونههای کد را به اشتراک بگذارند یا در یک پایه کد مشترک بدون پیچیدگیهای مکرر دستورات فشار/کشیدن git همکاری کنند، نصب EFS مشترک بسیار سودمند است. آنها یک راه راحت برای به اشتراک گذاشتن مصنوعات کد در حال انجام کار در یک تیم یا بین تیم های مختلف در SageMaker Studio ارائه می دهند.
- محیط های توسعه را به اشتراک بگذارید - مانت های EFS مشترک همچنین می توانند به عنوان وسیله ای برای انتشار سریع محیط های sandbox در بین کاربران و تیم ها عمل کنند. پایههای EFS یک جایگزین قوی برای به اشتراک گذاشتن محیطهای پایتون مانند conda یا virtualenv در چندین فضای کاری ارائه میکنند. این رویکرد نیاز به توزیع را دور می زند
requirements.txt
orenvironment.yml
فایلهایی که اغلب میتوانند منجر به ایجاد یا بازآفرینی محیطها در پروفایلهای مختلف کاربر شوند.
این ویژگیها قابلیتهای مشارکتی را در استودیوی SageMaker افزایش میدهد و کار تیمها را برای همکاری موثر در پروژههای پیچیده ML آسان میکند. علاوه بر این، ویرایشگر کد مبتنی بر Code-OSS (کد منبع باز ویژوال استودیو) اصول معماری مشابه با تجربه JupyterLab ذکر شده را به اشتراک میگذارد. فضاهای کاری مشترک، مشابه موارد ارائه شده در JupyterLab Spaces.
ابزارهای مولد مبتنی بر هوش مصنوعی در JupyterLab Spaces
هوش مصنوعی مولد، زمینه ای به سرعت در حال تکامل در هوش مصنوعی، از الگوریتم هایی برای ایجاد محتوای جدید مانند متن، تصاویر و کد از داده های موجود گسترده استفاده می کند. این فناوری با خودکارسازی وظایف روتین، ایجاد ساختارهای کد پیچیده و ارائه پیشنهادات هوشمند، کدنویسی را متحول کرده است و در نتیجه توسعه را ساده کرده و خلاقیت و حل مسئله در برنامه نویسی را تقویت می کند. به عنوان یک ابزار ضروری برای توسعه دهندگان، هوش مصنوعی مولد بهره وری را افزایش می دهد و نوآوری را در صنعت فناوری هدایت می کند. SageMaker Studio این تجربه توسعه دهنده را با ابزارهای از پیش نصب شده مانند Amazon CodeWhisperer و Jupyter AI بهبود می بخشد و از هوش مصنوعی مولد برای تسریع چرخه عمر توسعه استفاده می کند.
آمازون کد Whisperer
Amazon CodeWhisperer یک دستیار برنامه نویسی است که بهره وری توسعه دهندگان را از طریق توصیه ها و راه حل های کد بلادرنگ افزایش می دهد. به عنوان یک سرویس هوش مصنوعی مدیریت شده AWS، به طور یکپارچه در SageMaker Studio JupyterLab IDE ادغام شده است. این ادغام Amazon CodeWhisperer را تبدیل به یک افزودنی روان و ارزشمند برای گردش کار توسعه دهندگان می کند.
Amazon CodeWhisperer در افزایش کارایی توسعهدهندگان با خودکارسازی وظایف رایج کدنویسی، پیشنهاد الگوهای کدنویسی مؤثرتر و کاهش زمان اشکالزدایی برتری دارد. این به عنوان یک ابزار ضروری برای کدنویسان مبتدی و باتجربه عمل می کند و بینشی در مورد بهترین شیوه ها ارائه می دهد، روند توسعه را تسریع می بخشد و کیفیت کلی کد را بهبود می بخشد. برای شروع استفاده از Amazon CodeWhisperer، مطمئن شوید که از سرگیری پیشنهادات خودکار ویژگی فعال شده است شما می توانید به صورت دستی پیشنهادهای کد را با استفاده از فراخوانی کنید میانبرهای صفحه کلید.
متناوبا، یک نظر بنویسید که عملکرد کد مورد نظر خود را توضیح دهد و شروع به کدنویسی کنید. Amazon CodeWhisperer شروع به ارائه پیشنهادات خواهد کرد.
توجه داشته باشید که اگرچه Amazon CodeWhisperer از قبل نصب شده است، اما باید آن را داشته باشید codewhisperer:GenerateRecommendations
اجازه به عنوان بخشی از نقش اجرایی برای دریافت توصیه های کد. برای جزئیات بیشتر مراجعه کنید استفاده از CodeWhisperer با Amazon SageMaker Studio. وقتی از Amazon CodeWhisperer استفاده می کنید، AWS ممکن است برای اهداف بهبود خدمات، داده های مربوط به استفاده و محتوای شما را ذخیره کند. برای انصراف از Amazon CodeWhisperer سیاست اشتراک داده، می توانید به مسیر بروید محیط از منوی بالا گزینه را انتخاب کنید و سپس به آن بروید ویرایشگر تنظیمات و غیرفعال کنید داده های استفاده را با Amazon CodeWhisperer به اشتراک بگذارید از منوی تنظیمات Amazon CodeWhisperer.
هوش مصنوعی Jupyter
هوش مصنوعی Jupyter یک ابزار منبع باز است که هوش مصنوعی مولد را به نوتبوکهای Jupyter میآورد و یک پلتفرم قوی و کاربرپسند برای کاوش مدلهای هوش مصنوعی مولد ارائه میدهد. بهرهوری را در JupyterLab و Jupyter Notebook با ارائه ویژگیهایی مانند %%ai magic برای ایجاد زمین بازی هوش مصنوعی در نوتبوکها، رابط کاربری چت بومی در JupyterLab برای تعامل با هوش مصنوعی بهعنوان دستیار مکالمه، و پشتیبانی از طیف گستردهای از زبانهای بزرگ افزایش میدهد. ارائه دهندگان مدل (LLM) مانند AI21، Anthropic، Cohere، و Hugging Face یا خدمات مدیریت شده مانند بستر آمازون و نقاط پایانی SageMaker. این ادغام روش های کارآمدتر و خلاقانه تری را برای تجزیه و تحلیل داده ها، ML و وظایف کدگذاری ارائه می دهد. به عنوان مثال، می توانید با استفاده از رابط چت Jupyternaut برای کمک به فرآیندها و گردش کار با یک LLM آگاه از دامنه تعامل داشته باشید یا کد نمونه را از طریق CodeLlama که در نقاط پایانی SageMaker میزبانی می شود، ایجاد کنید. این آن را به ابزاری ارزشمند برای توسعه دهندگان و دانشمندان داده تبدیل می کند.
Jupyter AI ارائه می دهد انتخاب گسترده از مدلهای زبان آماده استفاده درست خارج از جعبه. علاوه بر این، مدلهای سفارشی نیز از طریق نقاط پایانی SageMaker پشتیبانی میشوند و انعطافپذیری و طیف وسیعی از گزینهها را برای کاربران ارائه میدهند. همچنین از مدلهای جاسازی شده پشتیبانی میکند و به شما امکان میدهد مقایسهها و آزمایشهای درون خطی انجام دهید و حتی برنامههای Retrieval Augmented Generation (RAG) را بسازید یا آزمایش کنید.
Jupyter AI می تواند به عنوان دستیار چت شما عمل کند، در نمونه کد به شما کمک کند، پاسخ سوالات را به شما بدهد، و خیلی چیزهای دیگر.
می توانید از هوش مصنوعی Jupyter استفاده کنید %%ai
جادویی برای تولید کد نمونه در دفترچه یادداشت خود، همانطور که در تصویر زیر نشان داده شده است.
JupyterLab 4.0
تیم JupyterLab نسخه 4.0 را منتشر کرده است که دارای پیشرفت های قابل توجهی در عملکرد، عملکرد و تجربه کاربری است. اطلاعات دقیق در مورد این نسخه در رسمی موجود است مستندات JupyterLab.
این نسخه که اکنون در SageMaker Studio JupyterLab استاندارد است، به لطف بهبودهایی مانند بهینهسازی قوانین CSS و پذیرش CodeMirror 6 و MathJax 3، عملکرد بهینهشده را برای مدیریت نوتبوکهای بزرگ و عملیات سریعتر معرفی میکند. پیشرفتهای کلیدی شامل ویرایشگر متن ارتقا یافته با دسترسی و سفارشیسازی بهتر است. ، یک مدیر برنامه افزودنی جدید برای نصب آسان برنامه های افزودنی پایتون و بهبود قابلیت های جستجوی اسناد با ویژگی های پیشرفته. علاوه بر این، نسخه 4.0 بهبودهای رابط کاربری، بهبود دسترسی و به روز رسانی ابزارهای توسعه را به ارمغان می آورد و ویژگی های خاصی به JupyterLab 3.6 بکپورت شده است.
نتیجه
پیشرفتهای SageMaker Studio، بهویژه با تجربه جدید JupyterLab، جهشی قابل توجه در توسعه ML را نشان میدهد. رابط کاربری SageMaker Studio به روز شده با ادغام JupyterLab، Code Editor و RStudio، محیطی بی نظیر و کارآمد را برای توسعه دهندگان ML ارائه می دهد. معرفی JupyterLab Spaces انعطافپذیری و سهولت را در سفارشیسازی منابع محاسباتی و ذخیرهسازی فراهم میکند و کارایی کلی گردشهای کاری ML را افزایش میدهد. تغییر از معماری هسته از راه دور به یک مدل بومی سازی شده در JupyterLab باعث افزایش پایداری و کاهش تأخیر راه اندازی می شود. این منجر به تجربه کدنویسی سریعتر، پایدارتر و پاسخگو می شود. علاوه بر این، ادغام ابزارهای هوش مصنوعی مولد مانند Amazon CodeWhisperer و Jupyter AI در JupyterLab توسعه دهندگان را بیشتر توانمند می کند و شما را قادر می سازد از هوش مصنوعی برای کمک به کدنویسی و حل مشکلات خلاقانه استفاده کنید. کنترل پیشرفته بر روی ذخیره سازی تدارک دیده شده و توانایی به اشتراک گذاری کد و داده بدون زحمت از طریق نصب EFS خود مدیریت شده، پروژه های مشترک را تا حد زیادی تسهیل می کند. در نهایت، انتشار JupyterLab 4.0 در استودیوی SageMaker بر این پیشرفتها تأکید میکند، عملکرد بهینه، دسترسی بهتر، و رابط کاربرپسندتر را ارائه میدهد، در نتیجه نقش JupyterLab را به عنوان سنگ بنای توسعه کارآمد و مؤثر ML در چشمانداز فناوری مدرن تثبیت میکند.
SageMaker Studio JupyterLab Spaces را با استفاده از ما امتحان کنید قابلیت سوار شدن سریع، که به شما امکان می دهد در عرض چند دقیقه یک دامنه جدید را برای کاربران تک بچرخانید. نظرات خود را در بخش نظرات به اشتراک بگذارید!
پیوست: معماری دروازه هسته SageMaker Studio Classic
A SageMaker Classic دامنه یک تجمیع منطقی از یک حجم EFS، لیستی از کاربران مجاز برای دسترسی به دامنه، و تنظیمات مربوط به امنیت، برنامه، شبکه و موارد دیگر است. در معماری کلاسیک SageMaker Studio SageMaker، هر کاربر در دامنه SageMaker یک پروفایل کاربری مجزا دارد. این نمایه شامل جزئیات خاصی مانند نقش کاربر و شناسه کاربری Posix آنها در حجم EFS و سایر داده های منحصر به فرد است. کاربران از طریق یک برنامه سرور اختصاصی Jupyter که از طریق HTTPS/WSS در مرورگر وب خود متصل است، به نمایه کاربر فردی خود دسترسی پیدا می کنند. SageMaker Studio Classic از معماری هسته از راه دور با استفاده از ترکیبی از انواع برنامه Jupyter Server و Kernel Gateway استفاده می کند و سرورهای نوت بوک را قادر می سازد با هسته ها در هاست های راه دور تعامل داشته باشند. این بدان معناست که هسته های Jupyter نه بر روی میزبان سرور نوت بوک، بلکه در کانتینرهای Docker در میزبان های جداگانه عمل می کنند. در اصل، نوت بوک شما در فهرست اصلی EFS ذخیره می شود و کد را از راه دور بر روی دایرکتوری دیگری اجرا می کند. ابر محاسبه الاستیک آمازون نمونه (Amazon EC2)، که حاوی یک کانتینر Docker از پیش ساخته شده مجهز به کتابخانه های ML مانند PyTorch، TensorFlow، Scikit-Learn و غیره است.
معماری هسته از راه دور در SageMaker Studio مزایای قابل توجهی از نظر مقیاس پذیری و انعطاف پذیری ارائه می دهد. با این حال، محدودیت های خود را دارد، از جمله حداکثر چهار برنامه در هر نوع نمونه و تنگناهای بالقوه به دلیل اتصالات HTTPS/WSS متعدد به یک نمونه معمول EC2. این محدودیت ها می تواند بر تجربه کاربر تأثیر منفی بگذارد.
نمودار معماری زیر معماری SageMaker Studio Classic را نشان می دهد. این روند کاربر را برای اتصال به برنامه Kernel Gateway از طریق برنامه Jupyter Server، با استفاده از مرورگر وب ترجیحی خود نشان می دهد.
درباره نویسندگان
پراناو مورتی یک معمار راه حل های تخصصی AI/ML در AWS است. او بر کمک به مشتریان در ساخت، آموزش، استقرار و انتقال بارهای کاری یادگیری ماشینی (ML) به SageMaker تمرکز دارد. او قبلاً در صنعت نیمهرسانا کار میکرد و مدلهای بینایی کامپیوتری بزرگ (CV) و پردازش زبان طبیعی (NLP) را برای بهبود فرآیندهای نیمهرسانا با استفاده از تکنیکهای پیشرفته ML توسعه داد. در اوقات فراغت از بازی شطرنج و مسافرت لذت می برد. می توانید پراناو را در آن پیدا کنید لینک.
کونال جها مدیر محصول ارشد در AWS است. او بر ساخت Amazon SageMaker Studio به عنوان بهترین انتخاب در کلاس برای توسعه ML سرتاسر تمرکز کرده است. کونال در اوقات فراغت خود از اسکی و کاوش در شمال غربی اقیانوس آرام لذت می برد. می توانید او را در آن پیدا کنید لینک.
Majisha Namath Parambath یک مهندس ارشد نرم افزار در Amazon SageMaker است. او بیش از 8 سال در آمازون بوده است و در حال حاضر روی بهبود تجربه انتها به انتها استودیوی آمازون SageMaker کار می کند.
بهارات نانداموری یک مهندس نرم افزار ارشد است که در Amazon SageMaker Studio کار می کند. او مشتاق ساخت خدمات باطن در مقیاس بالا با تمرکز بر مهندسی برای سیستمهای ML است. در خارج از محل کار، او از بازی شطرنج، پیاده روی و تماشای فیلم لذت می برد.
درک لاوز مهندس نرم افزار در AWS است. او متعهد است از طریق آمازون SageMaker Studio و نمونه های نوت بوک ارزشی را به مشتریان ارائه دهد. درک در اوقات فراغت خود از گذراندن وقت با خانواده و دوستان و پیاده روی لذت می برد. می توانید درک را پیدا کنید لینک.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/boost-productivity-on-amazon-sagemaker-studio-introducing-jupyterlab-spaces-and-generative-ai-tools/
- : دارد
- :است
- :نه
- :جایی که
- $UP
- 000
- 100
- 11
- 12
- 16
- 25
- 60
- 7
- 8
- a
- توانایی
- قادر
- درباره ما
- بالاتر
- شتاب دادن
- تسریع
- دسترسی
- دسترسی
- در دسترس
- دسترسی
- حساب
- در میان
- عمل
- عمل
- اقدامات
- فعالانه
- اعمال
- Ad
- اضافه
- اضافی
- علاوه بر این
- حکومت
- اداری
- مدیران
- اتخاذ
- پیشرفته
- پیشرفت
- پیشرفت
- مزایای
- اثر
- پس از
- تجمع
- AI
- مدل های هوش مصنوعی
- مجهز به هوش مصنوعی
- AI / ML
- الگوریتم
- هم ترازی
- معرفی
- تخصیص
- اجازه دادن
- اجازه می دهد تا
- در کنار
- همچنین
- جایگزین
- هر چند
- آمازون
- آمازون کد Whisperer
- آمازون EC2
- آمازون SageMaker
- Amazon SageMaker Studio
- آمازون خدمات وب
- در میان
- an
- تحلیل
- و
- پاسخ
- آنتروپیک
- هر
- هر جا
- API
- نرم افزار
- کاربرد
- درخواست
- روش
- برنامه های
- معماری
- معماری
- هستند
- صف
- هنر
- مصنوعی
- هوش مصنوعی
- AS
- ظاهر
- کمک
- دستیار
- مرتبط است
- At
- ضمیمه کردن
- افزوده شده
- نویسنده
- مجاز
- بطور خودکار
- اتوماسیون
- در دسترس
- دور
- AWS
- به عقب
- بخش مدیریت
- پایه
- مستقر
- خط مقدم
- BE
- بوده
- شروع
- مبتدی
- مفید
- مزایای
- بهترین
- بهترین شیوه
- بهتر
- میان
- مسدود کردن
- بالا بردن
- تقویت
- هر دو
- تنگناها
- جعبه
- به ارمغان می آورد
- پهن
- مرورگر
- ساختن
- بنا
- اما
- by
- مخزن
- نام
- CAN
- قابلیت های
- مرکز
- معین
- شطرنج
- انتخاب
- را انتخاب کنید
- کلاسیک
- نزدیک
- رمز
- پایه کد
- برنامه نویسی
- همکاری
- مشترک
- ترکیب
- ترکیب
- توضیح
- نظرات
- مرتکب شده
- مشترک
- ارتباط
- همراه و همدم
- مقایسه
- کامل
- پیچیده
- پیچیدگی ها
- پیچیدگی
- انطباق
- جامع
- محاسبه
- کامپیوتر
- چشم انداز کامپیوتر
- محاسبه
- مفهوم
- شرط
- پیکر بندی
- پیکربندی
- متصل
- اتصال
- اتصالات
- استوار
- همواره
- شامل
- ظرف
- ظروف
- محتوا
- ادامه دادن
- ادامه
- کنترل
- مناسب
- محاورهای
- بنیاد
- هزینه
- هزینه
- میتوانست
- پوشش
- ایجاد
- ایجاد شده
- ایجاد
- خلاقیت
- بسیار سخت
- CSS
- در حال حاضر
- سفارشی
- مشتری
- مشتریان
- سفارشی سازی
- سفارشی
- داده ها
- تحلیل داده ها
- پردازش داده ها
- علم اطلاعات
- تجسم داده ها
- مجموعه داده ها
- اختصاصی
- به طور پیش فرض
- ارائه
- غرق کردن
- نشان دادن
- گسترش
- استقرار
- درک
- توصیف
- طرح
- طراحی
- دقیق
- جزئیات
- توسعه دهنده
- توسعه دهندگان
- در حال توسعه
- پروژه
- ابزارهای توسعه
- مختلف
- مستقیم
- مستقیما
- دایرکتوری
- بحث و تبادل نظر
- متمایز
- توزیع
- توزیع
- do
- کارگر بارانداز
- سند
- دامنه
- حوزه
- انجام شده
- پایین
- راندن
- درایو
- دو
- هر
- پیش از آن
- سهولت
- آسان تر
- ساده
- سردبیر
- اثر
- موثر
- به طور موثر
- بهره وری
- موثر
- موثر
- تلاش
- بدون دردسر
- زحمت
- هر دو
- مرتفع
- تعبیه کردن
- قدرت دادن
- توانمندسازی
- قادر ساختن
- فعال
- را قادر می سازد
- را قادر می سازد
- را در بر می گیرد
- رمزگذاری
- پایان
- پشت سر هم
- مهندس
- مهندسی
- بالا بردن
- افزایش
- پیشرفت ها
- افزایش می یابد
- افزایش
- تضمین می کند
- وارد
- محیط
- محیط
- مجهز بودن
- ماهیت
- ضروری است
- ایجاد
- حتی
- در حال تحول
- مثال
- اعدام
- موجود
- تجربه
- آزمایش
- توضیح دهید
- بررسی
- گسترش
- گسترش
- ضمیمهها
- وسیع
- اضافی
- چهره
- تسهیل کردن
- تسهیل کننده
- غلط
- آشنایی
- خانواده
- FAST
- سریعتر
- ویژگی
- امکانات
- ویژگی های
- کمی از
- رشته
- پرونده
- فایل ها
- پیدا کردن
- انعطاف پذیری
- قابل انعطاف
- انعطاف پذیر
- مایع
- تمرکز
- متمرکز شده است
- تمرکز
- پیروی
- برای
- به جلو
- پرورش دادن
- یافت
- چهار
- رایگان
- مکرر
- دوستان
- از جانب
- کاملا
- تابع
- قابلیت
- بیشتر
- دروازه
- تولید می کنند
- مولد
- نسل
- مولد
- هوش مصنوعی مولد
- رفتن
- می دهد
- Go
- اعطا کردن
- کمک های مالی
- فهم
- بیشتر
- تا حد زیادی
- دستگیره
- اداره
- آیا
- he
- کمک
- کمک
- زیاد
- عملکرد بالا
- بالاتر
- خیلی
- او را
- خود را
- صفحه اصلی
- میزبان
- میزبانی
- میزبان
- خانه
- چگونه
- چگونه
- اما
- HTML
- HTTP
- HTTPS
- ID
- دلخواه
- if
- نشان می دهد
- نشان دادن
- تصاویر
- مهم
- مهمتر
- بهبود
- بهبود یافته
- بهبود
- ارتقاء
- بهبود
- in
- غیر قابل دسترس
- شامل
- شامل
- از جمله
- افزایش
- افزایش
- افزایش
- افزایش
- مستقل
- به طور مستقل
- فرد
- صنعت
- اطلاعات
- در ابتدا
- ابداع
- ابتکاری
- داخل
- بینش
- بینش
- نصب و راه اندازی
- نمونه
- دستورالعمل
- ادغام
- یکپارچه
- ادغام
- اطلاعات
- هوشمند
- مورد نظر
- تعامل
- تعامل
- رابط
- به
- معرفی
- معرفی
- معرفی می کند
- معرفی
- معرفی
- IT
- ITS
- JPG
- تنها
- نگهداری
- کلید
- کلید
- برچسب
- چشم انداز
- زبان
- بزرگ
- در آخر
- تاخیر
- آخرین
- راه اندازی
- راه اندازی
- راه اندازی
- رهبری
- پرش
- یادگیری
- کمتر
- سطح
- کتابخانه ها
- wifecycwe
- پسندیدن
- محدودیت
- مرتبط
- لینک
- فهرست
- LLM
- بار
- محلی
- واقع شده
- منطقی
- طولانی
- نگاه کنيد
- کاهش
- دستگاه
- فراگیری ماشین
- ساخته
- شعبده بازي
- حفظ
- نگهداری
- ساخت
- باعث می شود
- ساخت
- مدیریت
- اداره می شود
- مدیر
- مدیریت
- دستی
- علامت
- بیشترین
- ممکن است..
- به معنی
- اعضا
- حافظه
- فهرست
- پیام
- روش
- مهاجرت
- حداقل
- به حداقل می رساند
- حد اقل
- دقیقه
- ML
- مدل
- مدل
- مدرن
- تغییر
- بیش
- کارآمدتر
- علاوه بر این
- اکثر
- استقرار (mount)
- فیلم ها
- متحرک
- بسیار
- چندگانه
- باید
- نام
- بومی
- طبیعی
- پردازش زبان طبیعی
- هدایت
- لازم
- نیاز
- ضروری
- منفی است
- شبکه
- شبکه
- جدید
- nlp
- نه
- قابل توجه
- توجه داشته باشید
- دفتر یادداشت
- اکنون
- متعدد
- of
- ارائه
- ارائه شده
- ارائه
- پیشنهادات
- رسمی
- غالبا
- on
- پردازنده
- ONE
- فقط
- به سوی
- باز کن
- منبع باز
- کار
- عملیات
- بهینه سازی
- بهینه
- گزینه
- گزینه
- or
- سازمانی
- در اصل
- دیگر
- ما
- خارج
- خارج از
- روی
- به طور کلی
- خود
- صاحبان
- ارام
- با ما
- بخش
- ویژه
- احساساتی
- مسیر
- الگوهای
- توقف
- برای
- انجام
- کارایی
- اجازه
- مجوز
- سکو
- افلاطون
- هوش داده افلاطون
- PlatoData
- زمین بازی
- بازی
- نقطه
- سیاست
- سیاست
- پست
- پتانسیل
- شیوه های
- مرجح
- آماده
- قبلی
- قبلا
- در درجه اول
- از اصول
- خصوصی
- حل مسئله
- روند
- فرآوری شده
- فرآیندهای
- در حال پردازش
- محصول
- مدیر تولید
- تولید
- بهره وری
- مشخصات
- پروفایل
- برنامه نويسي
- پروژه
- پروژه ها
- املاک
- ارائه
- ارائه دهندگان
- فراهم می کند
- ارائه
- اهداف
- پــایتــون
- مارماهی
- کیفیت
- سوالات
- سریع
- سریعتر
- به سرعت
- محدوده
- سریعا
- اماده
- زمان واقعی
- گرفتن
- توصیه
- کاهش
- کاهش
- مراجعه
- بدون در نظر گرفتن
- منطقه
- مربوط
- راه اندازی مجدد
- آزاد
- منتشر شد
- بقایای
- دور
- از راه دور
- تکراری
- نمایندگی
- نشان دهنده
- مورد نیاز
- نیاز
- منابع
- منابع
- پاسخگو
- REST
- شروع مجدد
- منحصر
- نتیجه
- نتایج
- ادامه
- انقلابی
- راست
- تنومند
- نقش
- ریشه
- روال
- قانون
- دویدن
- در حال اجرا
- اجرا می شود
- زمان اجرا
- حکیم ساز
- همان
- گودال ماسهبازی
- مقیاس پذیری
- مقیاس
- سناریوها
- علم
- دانشمندان
- یادگیری
- اسکریپت
- بدون درز
- یکپارچه
- جستجو
- چاشنی
- ثانیه
- بخش
- امن
- تیم امنیت لاتاری
- سیاست های امنیتی
- دیدن
- نیمه هادی
- ارشد
- جداگانه
- خدمت
- سرور
- سرور
- خدمت
- سرویس
- خدمات
- جلسه
- جلسات
- تنظیم
- محیط
- تنظیمات
- برپایی
- چند
- اشتراک گذاری
- به اشتراک گذاشته شده
- سهام
- اشتراک
- او
- تغییر
- نشان داده شده
- نشان می دهد
- قابل توجه
- به طور قابل توجهی
- مشابه
- ساده می کند
- ساده کردن
- تنها
- اندازه
- اندازه
- قطعه
- So
- نرم افزار
- مهندس نرمافزار
- جامد
- محکم شدن
- راه حل
- مزایا
- برخی از
- منبع
- فضا
- فضاها
- متخصص
- خاص
- هزینه
- چرخش
- انشعاب
- ثبات
- پایدار
- استاندارد
- شروع
- شروع
- دولت
- بیانیه
- ایالات
- گام
- مراحل
- توقف
- متوقف شد
- ذخیره سازی
- opbevare
- ذخیره شده
- ذخیره سازی
- ساده
- ساده
- ساده
- ساختار
- استودیو
- چنین
- خلاصه
- پشتیبانی
- پشتیبانی
- مطمئن
- گزینه
- سیستم
- سیستم های
- گرفتن
- طول می کشد
- کار
- وظایف
- تیم
- اعضای تیم
- تیم ها
- فن آوری
- صنعت فناوری
- تکنیک
- پیشرفته
- جریان تنسور
- پایانه
- قوانین و مقررات
- آزمون
- تست
- متن
- نسبت به
- با تشکر
- که
- La
- شان
- آنها
- سپس
- آنجا.
- در نتیجه
- اینها
- آنها
- این
- کسانی که
- از طریق
- زمان
- به
- با هم
- ابزار
- ابزار
- بالا
- طرف
- قطار
- آموزش
- انتقال
- منتقل شده
- سفر
- درست
- امتحان
- اهنگ
- نوع
- انواع
- به طور معمول
- ui
- تأکید
- فهمیدن
- منحصر به فرد
- بی نظیر
- تا
- بروزرسانی
- به روز شده
- به روز رسانی
- به روز رسانی
- ارتقاء
- به روز رسانی
- us
- استفاده
- استفاده کنید
- استفاده
- کاربر
- سابقه کاربر
- کاربر پسند
- کاربران
- استفاده
- با استفاده از
- اعتبار سنجی
- ارزشمند
- ارزش
- تنوع
- مختلف
- نسخه
- از طريق
- دید
- دید
- بصری
- تجسم
- حجم
- جلد
- بود
- تماشای
- مسیر..
- we
- وب
- مرورگر وب
- وب سرور
- خدمات وب
- مبتنی بر وب
- بود
- چه زمانی
- هر زمان که
- چه
- که
- در حین
- WHO
- وسیع
- اراده
- آرزو
- با
- در داخل
- بدون
- مهاجرت کاری
- همکاری
- مشغول به کار
- گردش کار
- گردش کار
- کارگر
- جهان
- نوشتن
- سال
- شما
- شما
- زفیرنت