این پست توسط Zdenko Estok، Cloud Architect در Accenture و Sakar Selimcan، DeepRacer SME در Accenture نوشته شده است.
با استفاده روزافزون از هوش مصنوعی (AI) و یادگیری ماشین (ML) برای اکثریت قریب به اتفاق صنایع (از مراقبت های بهداشتی گرفته تا بیمه، از تولید تا بازاریابی)، تمرکز اولیه در ساخت و آموزش مدل ها در مقیاس به کارایی تغییر می کند. ایجاد یک محیط علم داده مقیاس پذیر و بدون دردسر کلیدی است. راهاندازی و پیکربندی محیطی متناسب با یک مورد خاص و حتی همکاری با همکارانش سختتر میتواند زمان قابلتوجهی داشته باشد.
مطابق با Accenture، شرکت هایی که به طور موثر مقیاس هوش مصنوعی و ML را انجام می دهند می توانند تقریباً سه برابر بازده سرمایه گذاری خود را به دست آورند. با این حال، همه شرکت ها بازده مورد انتظار خود را در سفر AI/ML خود برآورده نمی کنند. ابزار برای خودکارسازی زیرساخت برای مقیاس افقی تلاش های AI/ML در یک شرکت ضروری است.
AWS Deep Racer یک روش ساده و سرگرم کننده برای شروع یادگیری تقویتی (RL)، یک تکنیک ML است که در آن یک عامل اقدامات بهینه را برای انجام در یک محیط مشخص کشف می کند. در مورد ما، این یک وسیله نقلیه AWS DeepRacer است که سعی می کند با سرعت در یک مسیر مسابقه دهد. میتوانید با آموزشهای عملی که شما را از طریق اصول اولیه آموزش مدلهای RL راهنمایی میکند و آنها را به صورت هیجانانگیز آزمایش میکند، به سرعت با RL شروع کنید. تجربه مسابقه اتومبیلرانی خودمختار.
این پست نشان می دهد که چگونه شرکت ها می توانند از زیرساخت به عنوان کد (IaC) با استفاده از کیت توسعه ابری AWS (AWS CDK) برای سرعت بخشیدن به ایجاد و تکرار زیرساخت های بسیار قابل انتقال و رقابت آسان برای رویدادهای AWS DeepRacer در مقیاس.
IaC همراه با یک محیط مدیریتشده Jupyter بهترینهای هر دو جهان را در اختیار ما قرار داد: محیطهای علمی داده قابل تکرار و بسیار قابل انتقال برای ما که بتوانیم بر روی رقبای AWS DeepRacer خود روی آن تمرکز کنیم که بهترین کار را انجام میدهند: آموزش سریع مدلهای سریع.
– سلیمجان ساکار، AWS DeepRacer SME در Accenture.
بررسی اجمالی راه حل
هماهنگ کردن تمام خدمات لازم هنگام ایجاد یک الگوی مقیاس پذیر که می تواند برای موارد استفاده چندگانه اعمال شود، زمان قابل توجهی را می طلبد. در گذشته، AWS CloudFormation قالب هایی برای ایجاد خودکار این خدمات ایجاد شده است. با پیشرفت در اتوماسیون و پیکربندی با افزایش سطوح انتزاع برای راهاندازی محیطهای مختلف با ابزارهای IaC، CDK AWS به طور گسترده در شرکتهای مختلف مورد استفاده قرار میگیرد. AWS CDK یک چارچوب توسعه نرم افزار منبع باز برای تعریف منابع برنامه ابری شما است. از آشنایی و قدرت بیان زبان های برنامه نویسی برای مدل سازی برنامه های شما استفاده می کند، در حالی که منابع را به شیوه ای ایمن و قابل تکرار تهیه می کند.
در این پست، تهیه مولفههای مختلف مورد نیاز برای انجام تحلیل لاگ با استفاده از آن را فعال میکنیم آمازون SageMaker در AWS DeepRacer از طریق AWS CDK می سازد.
اگرچه نمودار تجزیه و تحلیل ارائه شده در کنسول DeepRacer در صورتی که در رابطه با جوایز اعطا شده و پیشرفت به دست آمده موثر و ساده باشد، بینشی در مورد سرعت حرکت خودرو در نقاط بین مسیر یا نوع خطی که خودرو در اطراف مسیر ترجیح می دهد را ارائه نمی دهد. . اینجاست که تجزیه و تحلیل پیشرفته گزارش وارد عمل می شود. هدف تجزیه و تحلیل گزارش پیشرفته ما این است که در تمرینات به صورت گذشتهنگر کارایی را به ارمغان بیاورد تا بفهمیم کدام عملکردهای پاداش و فضاهای عمل در هنگام آموزش چندین مدل بهتر از بقیه کار میکنند و اینکه آیا یک مدل بیش از حد مناسب است یا خیر، به طوری که مسابقهدهندهها میتوانند هوشمندتر تمرین کنند و با تمرین کمتر به نتایج بهتری دست یابند.
راه حل ما یک پیکربندی محیط AWS DeepRacer را با استفاده از AWS CDK برای تسریع سفر کاربرانی که با تجزیه و تحلیل گزارش SageMaker و یادگیری تقویتی در AWS برای یک رویداد AWS DeepRacer آزمایش میکنند، توصیف میکند.
یک مدیر می تواند اسکریپت AWS CDK ارائه شده در را اجرا کند GitHub repo از طریق کنسول مدیریت AWS یا در ترمینال پس از بارگذاری کد در محیط آنها. مراحل به شرح زیر است:
- باز کن AWS Cloud9 روی کنسول
- ماژول AWS CDK را از GitHub در محیط AWS Cloud9 بارگیری کنید.
- ماژول AWS CDK را همانطور که در این پست توضیح داده شد پیکربندی کنید.
- فایل cdk.context.json را باز کنید و تمام پارامترها را بررسی کنید.
- پارامترها را در صورت نیاز تغییر دهید و دستور AWS CDK را با شخصیت مورد نظر اجرا کنید تا محیط پیکربندی شده مناسب برای آن پرسونا را راه اندازی کنید.
نمودار زیر معماری راه حل را نشان می دهد.
با کمک AWS CDK، میتوانیم منابع تدارک دیده شده خود را نسخه کنترل کنیم و محیطی بسیار قابل حمل داشته باشیم که با بهترین شیوههای سازمانی مطابقت دارد.
پیش نیازها
به منظور فراهم کردن محیط های ML با AWS CDK، پیش نیازهای زیر را تکمیل کنید:
- دسترسی به حساب AWS و مجوزهای داخل منطقه برای استقرار منابع لازم برای پرسوناهای مختلف داشته باشید. اطمینان حاصل کنید که اعتبار و مجوزهای لازم برای استقرار پشته AWS CDK را در حساب خود دارید.
- توصیه میکنیم از بهترین شیوههای خاصی پیروی کنید که از طریق مفاهیمی که در منابع زیر به تفصیل مشخص شدهاند، برجسته شدهاند:
- کلون کنید GitHub repo به محیط شما
نمونه کارها را در حساب خود مستقر کنید
در این استقرار، ما از AWS Cloud9 برای ایجاد یک محیط علم داده با استفاده از AWS CDK استفاده می کنیم.
- به کنسول AWS Cloud9 بروید.
- نوع محیط، نوع نمونه و پلتفرم خود را مشخص کنید.
- خود را مشخص کنید هویت AWS و مدیریت دسترسی نقش (IAM)، VPC و زیرشبکه.
- در محیط AWS Cloud9 خود، یک پوشه جدید به نام DeepRacer ایجاد کنید.
- دستور زیر را برای نصب AWS CDK اجرا کنید و مطمئن شوید که وابستگی های مناسبی برای استقرار پورتفولیو دارید:
- برای تأیید اینکه AWS CDK نصب شده است و برای دسترسی به اسناد، دستور زیر را در ترمینال خود اجرا کنید (باید شما را به مستندات AWS CDK هدایت کند):
- اکنون می توانیم مخزن AWS DeepRacer را از آن کلون کنیم GitHub.
- مخزن کلون شده را در AWS Cloud9 باز کنید:
پس از بررسی محتوای موجود در DeepRacer_cdk
دایرکتوری، فایلی به نام وجود خواهد داشت package.json
با تمام ماژول ها و وابستگی های مورد نیاز تعریف شده است. اینجاست که می توانید منابع خود را در یک ماژول تعریف کنید.
- در مرحله بعد، تمام ماژول ها و وابستگی های مورد نیاز را برای برنامه AWS CDK نصب کنید:
این الگوی CloudFormation مربوطه را ترکیب می کند.
- برای اجرای Deployment، یا فایل context.json را با نام پارامترها تغییر دهید یا به طور صریح آنها را در طول زمان اجرا تعریف کنید:
اجزای زیر برای تجزیه و تحلیل گزارش AWS DeepRacer بر اساس اجرای اسکریپت ایجاد شده است:
- An نقش IAM برای نوت بوک SageMaker با خط مشی مدیریت شده
- A نمونه نوت بوک SageMaker با نوع نمونه یا به طور صریح به عنوان پارامتر زمینه cdk یا مقدار پیش فرض ذخیره شده در فایل context.json اضافه شده است.
- یک VPC با CIDR همانطور که در فایل context.json مشخص شده است به همراه چهار زیرشبکه عمومی پیکربندی شده
- یک گروه امنیتی جدید برای نمونه نوت بوک Sagemaker که امکان برقراری ارتباط در VPC را فراهم می کند
- یک خطمشی چرخه حیات SageMaker با یک اسکریپت bash که محتوای دیگری را از قبل بارگذاری میکند مخزن GitHub، که حاوی فایل هایی است که ما برای اجرای تجزیه و تحلیل گزارش روی مدل های AWS DeepRacer استفاده می کنیم
- می توانید پشته AWS CDK را به صورت زیر اجرا کنید:
- برای تأیید منابع، به کنسول AWS CloudFormation در منطقه ای که پشته در آن مستقر شده است بروید.
اکنون کاربران می توانند از این سرویس ها برای کار با تجزیه و تحلیل گزارش و آموزش مدل عمیق RL در SageMaker برای AWS DeepRacer استفاده کنند.
تست ماژول
همچنین میتوانید برخی از آزمایشهای واحد را قبل از استقرار پشته اجرا کنید تا بررسی کنید که بهطور تصادفی منابع مورد نیاز را حذف نکردهاید. تست های واحد در DeepRacer/test/deep_racer.test.ts
و با کد زیر قابل اجراست:
نمودارها را با استفاده از cdk-dia ایجاد کنید
برای تولید نمودار مراحل زیر را انجام دهید:
- نصب
graphviz
با استفاده از ابزارهای سیستم عامل خود:
این برنامه cdk-dia را نصب می کند.
- حالا کد زیر را اجرا کنید:
یک نمایش گرافیکی از پشته AWS CDK شما در قالب png. ذخیره می شود.
پس از اجرای مراحل قبل، باید ببینید که می توانید فرآیند ایجاد نمونه نوت بوک را با وضعیت مشاهده کنید. در انتظار. وقتی وضعیت نمونه نوت بوک است در خدمت (همانطور که در تصویر زیر نشان داده شده است)، می توانید مراحل بعدی را ادامه دهید.
- را انتخاب کنید ژوپیتر را باز کنید برای شروع اجرای اسکریپت پایتون برای انجام تحلیل log.
برای جزئیات بیشتر در مورد تجزیه و تحلیل گزارش با استفاده از AWS DeepRacer و تجسمهای مرتبط، به آن مراجعه کنید استفاده از تجزیه و تحلیل گزارش برای انجام آزمایشها و برنده شدن در مسابقه AWS DeepRacer F1 ProAm.
پاک کردن
برای جلوگیری از هزینه های مداوم، مراحل زیر را انجام دهید:
- برای حذف منابع ایجاد شده از طریق AWS CDK از نابودی cdk استفاده کنید.
- در کنسول AWS CloudFormation، پشته CloudFormation را حذف کنید.
نتیجه
رویدادهای AWS DeepRacer یک راه عالی برای افزایش علاقه و افزایش دانش ML در تمام ارکان و سطوح یک سازمان است. در این پست، نحوه پیکربندی محیط پویا AWS DeepRacer و راهاندازی خدمات انتخابی برای تسریع سفر کاربران در پلتفرم AWS را به اشتراک گذاشتیم. ما در مورد نحوه ایجاد خدمات Amazon SageMaker Notebook Instance، نقش های IAM، پیکربندی چرخه عمر نوت بوک SageMaker با بهترین شیوه ها، VPC و ابر محاسبه الاستیک آمازون نمونه هایی (Amazon EC2) بر اساس شناسایی زمینه با استفاده از AWS CDK و مقیاس بندی برای کاربران مختلف با استفاده از AWS DeepRacer.
محیط CDK را پیکربندی کنید و نوت بوک پیشرفته تجزیه و تحلیل log را اجرا کنید تا کارایی در اجرای ماژول را به ارمغان بیاورید. به مسابقهکنندگان کمک کنید تا در زمان کمتری به نتایج بهتری دست یابند و بینشهای دقیقی در مورد عملکردها و عملکردهای پاداش کسب کنند.
منابع
اطلاعات بیشتر در منابع زیر موجود است:
- راه اندازی Amazon SageMaker Studio را با استفاده از AWS CDK به صورت خودکار انجام دهید
- مرجع AWS SageMaker CDK API
درباره نویسنده
زدنکو استوک به عنوان یک معمار ابر و مهندس DevOps در Accenture کار می کند. او با AABG برای توسعه و پیادهسازی راهحلهای ابری نوآورانه کار میکند و در زیرساختها به عنوان کد و امنیت ابری تخصص دارد. زدنکو دوست دارد تا دفتر دوچرخه سواری کند و از پیاده روی دلپذیر در طبیعت لذت می برد.
سلیمجان "کن" ساکار اولین توسعه دهنده ابر و معمار راه حل در Accenture با تمرکز بر هوش مصنوعی و اشتیاق به تماشای مدل های همگرا است.
شیخار کواترا یک معمار راه حل های تخصصی AI/ML در خدمات وب آمازون است که با یکپارچه ساز سیستم جهانی پیشرو کار می کند. Shikhar به معماری، ساخت و نگهداری محیط های ابری مقرون به صرفه و مقیاس پذیر برای سازمان کمک می کند و از شریک GSI در ساخت راه حل های استراتژیک صنعت در AWS پشتیبانی می کند. شيخار از نواختن گيتار، آهنگسازي و تمرين ذهن آگاهي در اوقات فراغت خود لذت مي برد.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- پلاتوبلاک چین. Web3 Metaverse Intelligence. دانش تقویت شده دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/
- 10
- 100
- 11
- 7
- 9
- a
- قادر
- شتاب دادن
- Accenture
- دسترسی
- به طور تصادفی
- حساب
- رسیدن
- دست
- در میان
- عمل
- اقدامات
- اضافه
- اضافی
- به تصویب رسید
- پیشرفته
- پیشرفت
- پس از
- عامل
- AI
- AI / ML
- ایدز
- اهداف
- معرفی
- اجازه دادن
- آمازون
- آمازون EC2
- آمازون SageMaker
- Amazon SageMaker Studio
- آمازون خدمات وب
- مقدار
- تحلیل
- و
- دیگر
- API
- نرم افزار
- کاربرد
- برنامه های کاربردی
- اعمال می شود
- معماری
- دور و بر
- مصنوعی
- هوش مصنوعی
- هوش مصنوعی (AI)
- همکاری
- مرتبط است
- خودکار بودن
- اتوماسیون
- در دسترس
- AWS
- AWS Cloud9
- AWS CloudFormation
- AWS Deep Racer
- مستقر
- بر هم زدن
- مبانی
- شدن
- قبل از
- بودن
- بهترین
- بهترین شیوه
- بهتر
- به ارمغان بیاورد
- بنا
- نام
- می توانید دریافت کنید
- ماشین
- مورد
- موارد
- معین
- تغییر دادن
- بار
- ابر
- امنیت ابر
- Cloud9
- رمز
- همکاری
- همکاران
- ترکیب شده
- ارتباط
- شرکت
- رقابت
- رقبای
- کامل
- اجزاء
- محاسبه
- مفاهیم
- پیکر بندی
- قابل توجه
- کنسول
- شامل
- محتوا
- زمینه
- کنترل
- همگرا
- شرکت
- متناظر
- ایجاد
- ایجاد شده
- ایجاد
- ایجاد
- مجوزها و اعتبارات
- داده ها
- علم اطلاعات
- عمیق
- به طور پیش فرض
- مشخص
- گسترش
- مستقر
- استقرار
- گسترش
- شرح داده شده
- از بین بردن
- دقیق
- جزئیات
- توسعه
- توسعه دهنده
- پروژه
- نمودارها
- مختلف
- کشف می کند
- بحث کردیم
- مستندات
- نمی کند
- راندن
- در طی
- پویا
- به آسانی
- موثر
- بهره وری
- موثر
- تلاش
- هر دو
- قادر ساختن
- مهندس
- در سطح سازمانی
- شرکت
- محیط
- محیط
- ضروری است
- حتی
- واقعه
- حوادث
- مهیج
- انتظار می رود
- رسا
- f1
- آشنایی
- FAST
- پرونده
- فایل ها
- نام خانوادگی
- تمرکز
- پیروی
- به دنبال آن است
- قالب
- چارچوب
- از جانب
- سرگرمی
- توابع
- افزایش
- تولید می کنند
- دریافت کنید
- GitHub
- دادن
- داده
- جهانی
- اعطا شده
- گراف
- بزرگ
- گروه
- راهنمایی
- دست
- بهداشت و درمان
- کمک
- برجسته
- خیلی
- افقی
- چگونه
- چگونه
- HTML
- HTTPS
- شناسایی
- هویت
- انجام
- in
- افزایش
- افزایش
- لوازم
- صنعت
- اطلاعات
- شالوده
- ابتکاری
- بینش
- بینش
- نصب
- نصب شده
- نمونه
- بیمه
- اطلاعات
- علاقه
- سرمایه گذاری
- IT
- سفر
- json
- کلید
- نوع
- دانش
- زبان ها
- راه اندازی
- برجسته
- یادگیری
- سطح
- لاین
- لینک
- بارگیری
- واقع شده
- دستگاه
- فراگیری ماشین
- اکثریت
- ساخت
- مدیریت
- اداره می شود
- مدیریت
- روش
- تولید
- بازار یابی (Marketing)
- دیدار
- تمرکز حواس
- ML
- مدل
- مدل
- ماژول ها
- ماژول ها
- حرکت می کند
- چندگانه
- موسیقی
- نام
- طبیعت
- تقریبا
- لازم
- جدید
- بعد
- دفتر یادداشت
- دفتر
- پردازنده
- مداوم
- منبع باز
- نرم افزار منبع باز
- عملیاتی
- سیستم عامل
- بهینه
- سفارش
- کدام سازمان ها
- دیگران
- پارامتر
- پارامترهای
- شریک
- شور
- گذشته
- انجام
- مجوز
- سکو
- افلاطون
- هوش داده افلاطون
- PlatoData
- بازی
- بازی
- سیاست
- مقام
- پست
- قدرت
- شیوه های
- پیش نیازها
- اصلی
- روند
- برنامه نويسي
- زبانهای برنامه نویسی
- پیشرفت
- ارائه
- تدارک
- عمومی
- پــایتــون
- به سرعت
- نژاد
- مسابقه دهندگان
- مسابقه
- بالا بردن
- اعم
- توصیه
- تغییر مسیر
- با توجه
- منطقه
- برداشتن
- قابل تکرار
- تکرار
- مخزن
- نمایندگی
- ضروری
- منابع
- نتایج
- برگشت
- بازده
- این فایل نقد می نویسید:
- پاداش
- پاداش
- نقش
- نقش
- دویدن
- در حال اجرا
- امن
- حکیم ساز
- مقیاس پذیر
- مقیاس
- مقیاس Ai
- مقیاس گذاری
- علم
- تیم امنیت لاتاری
- انتخابی
- خدمات
- تنظیم
- برپایی
- به اشتراک گذاشته شده
- شیفت
- باید
- نشان داده شده
- نشان می دهد
- ساده
- دقیق
- EMS
- So
- نرم افزار
- توسعه نرم افزار
- راه حل
- مزایا
- برخی از
- فضاها
- متخصص
- تخصص دارد
- خاص
- مشخص شده
- پشته
- شروع
- آغاز شده
- وضعیت
- مراحل
- هنوز
- ذخیره شده
- ساده
- استراتژیک
- استودیو
- زیر شبکه
- زیرشبکه ها
- پشتیبانی از
- سیستم
- طراحی شده
- گرفتن
- طول می کشد
- قالب
- قالب
- پایانه
- آزمون
- تست
- La
- مبانی
- شان
- از طریق
- زمان
- به
- ابزار
- مسیر
- قطار
- آموزش
- سه برابر
- آموزش
- فهمیدن
- واحد
- us
- استفاده کنید
- مورد استفاده
- کاربران
- ارزش
- مختلف
- وسیع
- وسیله نقلیه
- بررسی
- نسخه
- از طريق
- تماشای
- وب
- خدمات وب
- چی
- چه
- که
- در حین
- به طور گسترده ای
- اراده
- پیروزی
- در داخل
- مهاجرت کاری
- کارگر
- با این نسخهها کار
- جهان
- خواهد بود
- شما
- شما
- زفیرنت