این پست توسط Jyoti Sharma و Sharmo Sarkar از Vericast نوشته شده است.
برای هر مشکل یادگیری ماشینی (ML)، دانشمند داده کار را با داده ها آغاز می کند. این شامل جمع آوری، کاوش، و درک جنبه های تجاری و فنی داده ها، همراه با ارزیابی هرگونه دستکاری که ممکن است برای فرآیند ساخت مدل مورد نیاز باشد، می شود. یکی از جنبه های این آماده سازی داده ها مهندسی ویژگی است.
مهندسی ویژگی به فرآیندی اشاره دارد که در آن متغیرهای مربوطه شناسایی، انتخاب و دستکاری میشوند تا دادههای خام را به اشکال مفیدتر و قابل استفادهتر برای استفاده با الگوریتم ML مورد استفاده برای آموزش یک مدل و انجام استنتاج در برابر آن تبدیل کنند. هدف از این فرآیند افزایش عملکرد الگوریتم و مدل پیشبینی حاصله است. فرآیند مهندسی ویژگی شامل چندین مرحله از جمله ایجاد ویژگی، تبدیل داده، استخراج ویژگی و انتخاب ویژگی است.
ایجاد یک پلتفرم برای مهندسی ویژگی های تعمیم یافته یک کار مشترک برای مشتریانی است که نیاز به تولید بسیاری از مدل های ML با مجموعه داده های متفاوت دارند. این نوع پلتفرم شامل ایجاد یک فرآیند برنامهریزی شده برای تولید دادههای مهندسی شده نهایی و آماده برای آموزش مدل با مداخله کمی انسان است. با این حال، تعمیم مهندسی ویژگی چالش برانگیز است. هر مشکل تجاری متفاوت است، هر مجموعه داده متفاوت است، حجم داده ها از مشتری به مشتری دیگر متفاوت است، و کیفیت داده و اغلب اصلی بودن یک ستون خاص (در مورد داده های ساختاریافته) ممکن است نقش مهمی در پیچیدگی مهندسی ویژگی ایفا کند. روند. علاوه بر این، ماهیت پویای دادههای مشتری میتواند منجر به تغییرات زیادی در زمان پردازش و منابع مورد نیاز برای تکمیل بهینه مهندسی ویژگی شود.
مشتری AWS وریکاست یک شرکت راه حل های بازاریابی است که تصمیمات مبتنی بر داده را برای افزایش بازگشت سرمایه (ROI) بازاریابی برای مشتریان خود می گیرد. پلتفرم یادگیری ماشینی مبتنی بر ابر داخلی Vericast که بر اساس فرآیند CRISP-ML(Q) ساخته شده است، از خدمات مختلف AWS از جمله آمازون SageMaker, پردازش آمازون SageMaker, AWS لامبداو توابع مرحله AWS، برای تولید بهترین مدل های ممکن که مطابق با داده های مشتری خاص است. هدف این پلتفرم ثبت تکرارپذیری مراحلی است که در ساخت جریانهای کاری مختلف ML و ترکیب آنها در ماژولهای استاندارد گردش کار قابل تعمیم در پلتفرم انجام میشود.
در این پست، نحوه بهینه سازی مهندسی ویژگی های Vericast را با استفاده از SageMaker Processing به اشتراک می گذاریم.
بررسی اجمالی راه حل
پلتفرم یادگیری ماشین Vericast به استقرار سریعتر مدلهای تجاری جدید بر اساس گردشهای کاری موجود یا فعالسازی سریعتر مدلهای موجود برای مشتریان جدید کمک میکند. برای مثال، مدلی که تمایل به ایمیل مستقیم را پیشبینی میکند، با مدلی که حساسیت کوپن تخفیف مشتریان یک مشتری Vericast را پیشبینی میکند، کاملاً متفاوت است. آنها مشکلات مختلف تجاری را حل می کنند و بنابراین سناریوهای استفاده متفاوتی در طراحی کمپین بازاریابی دارند. اما از نقطه نظر ML، هر دو را می توان به عنوان مدل های طبقه بندی باینری تعبیر کرد، و بنابراین می تواند بسیاری از مراحل مشترک را از دیدگاه گردش کار ML، از جمله تنظیم و آموزش مدل، ارزیابی، تفسیرپذیری، استقرار و استنتاج به اشتراک بگذارد.
از آنجایی که این مدلها مشکلات طبقهبندی باینری هستند (در اصطلاح ML)، ما مشتریان یک شرکت را به دو دسته (دودویی) جدا میکنیم: دستههایی که به کمپین پاسخ مثبت میدهند و آنهایی که پاسخ مثبت نمیدهند. علاوه بر این، این نمونهها به عنوان یک طبقهبندی نامتعادل در نظر گرفته میشوند، زیرا دادههای مورد استفاده برای آموزش مدل شامل تعداد مساوی مشتری نمیشود که پاسخ مثبت میدهند و نمیخواهند.
ایجاد واقعی مدلی مانند این از الگوی تعمیم یافته نشان داده شده در نمودار زیر پیروی می کند.
بیشتر این فرآیند برای هر طبقه بندی باینری به جز مرحله مهندسی ویژگی یکسان است. این شاید پیچیده ترین مرحله باشد که گاهی اوقات نادیده گرفته می شود. مدلهای ML تا حد زیادی به ویژگیهای مورد استفاده برای ایجاد آن وابسته هستند.
پلتفرم یادگیری ماشین بومی ابری Vericast با هدف تعمیم و خودکارسازی مراحل مهندسی ویژگی برای گردشهای کاری مختلف ML و بهینهسازی عملکرد آنها بر اساس معیار هزینه در مقابل زمان با استفاده از ویژگیهای زیر است:
- کتابخانه مهندسی ویژگی پلت فرم - این شامل مجموعهای از تغییرات دائمی در حال تکامل است که برای ارائه ویژگیهای قابل تعمیم با کیفیت بالا بر اساس مفاهیم مشتری خاص (به عنوان مثال، جمعیتشناسی مشتری، جزئیات محصول، جزئیات تراکنش و غیره) آزمایش شدهاند.
- بهینه سازهای هوشمند منابع – این پلتفرم از قابلیت زیرساخت درخواستی AWS استفاده میکند تا بهینهترین نوع منابع پردازشی را برای کار مهندسی ویژگیهای خاص بر اساس پیچیدگی مورد انتظار مرحله و مقدار دادهای که باید از طریق آن جابجا شود، بچرخاند.
- مقیاس بندی پویا مشاغل مهندسی ویژگی – ترکیبی از سرویس های مختلف AWS برای این مورد استفاده می شود، اما مهم ترین آن SageMaker Processing است. این تضمین می کند که پلتفرم ویژگی های باکیفیت را به صورت مقرون به صرفه و به موقع تولید می کند.
این پست حول نقطه سوم در این لیست متمرکز شده است و نشان می دهد که چگونه می توان به مقیاس بندی پویا در مشاغل پردازش SageMaker دست یافت تا به یک چارچوب پردازش داده مدیریت شده تر، کارآمدتر و مقرون به صرفه تر برای حجم داده های بزرگ دست یافت.
SageMaker Processing بارهای کاری را فعال می کند که مراحل پیش پردازش یا پس پردازش داده ها، مهندسی ویژگی ها، اعتبارسنجی داده ها و ارزیابی مدل را در SageMaker انجام می دهند. همچنین یک محیط مدیریت شده را فراهم می کند و پیچیدگی بلند کردن سنگین غیرمتمایز مورد نیاز برای راه اندازی و حفظ زیرساخت مورد نیاز برای اجرای بارهای کاری را حذف می کند. علاوه بر این، SageMaker Processing یک رابط API برای اجرا، نظارت و ارزیابی حجم کار فراهم می کند.
اجرای کارهای پردازش SageMaker به طور کامل در یک خوشه SageMaker مدیریت شده انجام می شود، با کارهای جداگانه در کانتینرهای نمونه در زمان اجرا قرار می گیرد. خوشه مدیریت شده، نمونه ها و کانتینرها معیارها را گزارش می دهند CloudWatch آمازوناز جمله استفاده از GPU، CPU، حافظه، حافظه GPU، معیارهای دیسک، و ثبت رویدادها.
این ویژگیها با کمک به توسعه گردشهای کاری پیشپردازش تعمیمیافته و انتزاع کردن دشواری حفظ محیطهای تولید شده برای اجرای آنها، مزایایی را برای مهندسان و دانشمندان داده Vericast فراهم میکنند. با این حال، با توجه به ماهیت پویای داده ها و ویژگی های متنوع آن که می تواند در چنین راه حل کلی قرار گیرد، مشکلات فنی ممکن است ایجاد شود. سیستم باید در مورد اندازه خوشه و نمونههایی که آن را تشکیل میدهند حدس اولیه دقیقی بزند. این حدس نیاز به ارزیابی معیارهای داده ها و استنتاج CPU، حافظه و نیازهای دیسک دارد. این حدس ممکن است کاملاً مناسب باشد و برای کار به اندازه کافی عمل کند، اما در موارد دیگر ممکن است اینطور نباشد. برای یک مجموعه داده معین و کار پیش پردازش، ممکن است CPU کمتر از اندازه باشد، که منجر به حداکثر عملکرد پردازش و زمان طولانی برای تکمیل می شود. بدتر از آن، حافظه می تواند به یک مشکل تبدیل شود، که منجر به عملکرد ضعیف یا رخدادهای کمبود حافظه می شود که باعث می شود کل کار با شکست مواجه شود.
با در نظر گرفتن این موانع فنی، Vericast شروع به ایجاد یک راه حل کرد. آنها باید ماهیت کلی خود را حفظ می کردند و در تصویر بزرگتر از انعطاف پذیر بودن گردش کار پیش پردازش در مراحل مربوطه قرار می گرفتند. همچنین حل نیاز بالقوه برای افزایش مقیاس محیط در مواردی که عملکرد به خطر افتاده است و بهبودی دلپذیر از چنین رویدادی یا زمانی که یک کار به هر دلیلی پیش از موعد به پایان رسیده است، مهم بود.
راه حل ساخته شده توسط Vericast برای حل این مشکل از چندین سرویس AWS استفاده می کند که با هم کار می کنند تا به اهداف تجاری خود برسند. برای راهاندازی مجدد و بزرگکردن خوشه پردازش SageMaker بر اساس معیارهای عملکرد مشاهدهشده با استفاده از توابع Lambda برای نظارت بر کارها طراحی شده است. برای از دست ندادن کار هنگام رخ دادن یک رویداد مقیاسبندی یا بهبودی پس از توقف غیرمنتظره کار، یک سرویس مبتنی بر ایست بازرسی ایجاد شد که از آن استفاده میکند. آمازون DynamoDB و داده های نیمه پردازش شده را در آن ذخیره می کند سرویس ذخیره سازی ساده آمازون سطل (Amazon S3) به عنوان مراحل تکمیل شده است. نتیجه نهایی یک راه حل خودکار مقیاس پذیر، قوی و نظارت پویا است.
نمودار زیر نمای کلی سطح بالایی از نحوه عملکرد سیستم را نشان می دهد.
در بخش های بعدی، اجزای راه حل را با جزئیات بیشتری مورد بحث قرار می دهیم.
شروع راه حل
سیستم فرض می کند که یک فرآیند جداگانه راه حل را آغاز می کند. برعکس، این طرح برای کار به تنهایی طراحی نشده است، زیرا هیچ گونه مصنوع یا خروجی ایجاد نمیکند، بلکه به عنوان یک پیادهسازی کناری برای یکی از سیستمهایی عمل میکند که از کارهای پردازش SageMaker استفاده میکند. در مورد Vericast، راه حل از طریق فراخوانی از مرحله توابع مرحله آغاز شده در ماژول دیگری از سیستم بزرگتر آغاز می شود.
هنگامی که راه حل شروع شد و اولین اجرا راه اندازی شد، یک پیکربندی استاندارد پایه از جدول DynamoDB خوانده می شود. این پیکربندی برای تنظیم پارامترها برای کار SageMaker Processing استفاده می شود و دارای مفروضات اولیه نیازهای زیرساخت است. کار پردازش SageMaker اکنون شروع شده است.
نظارت بر فراداده و خروجی
هنگامی که کار شروع می شود، یک تابع Lambda فراداده پردازش کار (پیکربندی کار فعلی و سایر اطلاعات گزارش) را در جدول گزارش DynamoDB می نویسد. این اطلاعات فراداده و گزارش، تاریخچه ای از کار، پیکربندی اولیه و در حال انجام آن و سایر داده های مهم را حفظ می کند.
در نقاط خاصی، با تکمیل مراحل در کار، داده های چک پوینت به جدول گزارش DynamoDB اضافه می شود. داده های خروجی پردازش شده برای بازیابی سریع در صورت نیاز به Amazon S3 منتقل می شود.
این تابع Lambda همچنین یک را تنظیم می کند پل رویداد آمازون قانونی که کار در حال اجرا را برای وضعیت آن نظارت می کند. به طور خاص، این قانون تماشای کار است تا مشاهده کند که آیا وضعیت شغل تغییر می کند یا خیر stopping
یا در الف است stopped
حالت. این قانون EventBridge نقش مهمی در راهاندازی مجدد یک کار در صورت خرابی یا رخ دادن یک رویداد مقیاسبندی خودکار برنامهریزیشده ایفا میکند.
نظارت بر معیارهای CloudWatch
تابع Lambda همچنین یک زنگ CloudWatch را بر اساس یک عبارت ریاضی متریک در کار پردازش تنظیم می کند، که معیارهای تمام نمونه های استفاده از CPU، استفاده از حافظه و استفاده از دیسک را نظارت می کند. این نوع زنگ هشدار (متریک) از آستانه هشدار CloudWatch استفاده می کند. زنگ رویدادها را بر اساس مقدار متریک یا عبارت نسبت به آستانه ها در چند دوره زمانی ایجاد می کند.
در مورد استفاده Vericast، عبارت آستانه به گونه ای طراحی شده است که درایور و نمونه های اجراکننده را جداگانه در نظر بگیرد، با معیارها به صورت جداگانه برای هر کدام نظارت می شود. با جدا کردن آنها، Vericast می داند که چه چیزی باعث ایجاد زنگ هشدار می شود. این برای تصمیم گیری در مورد چگونگی مقیاس بندی بر این اساس مهم است:
- اگر معیارهای اجرایی از آستانه عبور می کنند، خوب است که به صورت افقی مقیاس شوند
- اگر معیارهای درایور از آستانه عبور کنند، مقیاس بندی افقی احتمالا کمکی نخواهد کرد، بنابراین باید به صورت عمودی مقیاس کنیم.
بیان معیارهای زنگ هشدار
Vericast می تواند در ارزیابی خود برای مقیاس بندی و شکست به معیارهای زیر دسترسی داشته باشد:
- استفاده از CPU - مجموع استفاده از هر هسته CPU جداگانه
- استفاده از حافظه - درصد حافظه ای که توسط کانتینرها در یک نمونه استفاده می شود
- DiskUtilization – درصد فضای دیسک مورد استفاده کانتینرها در یک نمونه
- GPUUtilization - درصد واحدهای GPU که توسط کانتینرها در یک نمونه استفاده می شود
- GPUMemoryUtilization - درصد حافظه GPU استفاده شده توسط کانتینرها در یک نمونه
از زمان نوشتن این مقاله، Vericast فقط در نظر دارد CPUUtilization
, MemoryUtilization
و DiskUtilization
. در آینده قصد دارند در نظر بگیرند GPUUtilization
و GPUMemoryUtilization
نیز هست.
کد زیر نمونه ای از زنگ هشدار CloudWatch بر اساس یک عبارت ریاضی متریک برای مقیاس خودکار Vericast است:
این عبارت نشان می دهد که زنگ CloudWatch در نظر گرفته شده است DriverMemoryUtilization (memoryDriver)
, CPUUtilization (cpuDriver)
, DiskUtilization (diskDriver)
, ExecutorMemoryUtilization (memoryExec)
, CPUUtilization (cpuExec)
و DiskUtilization (diskExec)
به عنوان معیارهای نظارت عدد 80 در عبارت قبلی مخفف مقدار آستانه است.
در اینجا، IF((cpuDriver) > 80, 1, 0
به این معنی است که اگر استفاده از CPU درایور از 80% فراتر رود، 1 به عنوان آستانه 0 در نظر گرفته می شود. IF(AVG(METRICS("memoryExec")) > 80, 1, 0
به این معنی است که تمام معیارها با رشته memoryExec
در آن در نظر گرفته شده و میانگینی بر آن محاسبه می شود. اگر میانگین درصد استفاده از حافظه از 80 فراتر رود، 1 به عنوان آستانه 0 در نظر گرفته می شود.
عملگر منطقی OR
در عبارت استفاده میشود تا همه کاربردهای عبارت را یکپارچه کند - اگر هر یک از استفادهها به آستانه خود رسید، زنگ هشدار را راهاندازی کنید.
برای اطلاعات بیشتر در مورد استفاده از آلارم های متریک CloudWatch بر اساس عبارات ریاضی متریک، مراجعه کنید ایجاد زنگ هشدار CloudWatch بر اساس یک عبارت ریاضی متریک.
محدودیت های زنگ ساعت CloudWatch
CloudWatch تعداد سنجهها در هر زنگ را به 10 محدود میکند. اگر بخواهید معیارهای بیشتری را در نظر بگیرید، میتواند محدودیتهایی ایجاد کند.
برای غلبه بر این محدودیت، Vericast آلارم هایی را بر اساس اندازه کلی خوشه تنظیم کرده است. به ازای هر سه مورد، یک زنگ هشدار ایجاد میشود (برای سه مورد، یک زنگ هشدار وجود خواهد داشت زیرا به 10 معیار میرسد). با فرض اینکه نمونه درایور به طور جداگانه در نظر گرفته شود، هشدار جداگانه دیگری برای نمونه راننده ایجاد می شود. بنابراین، تعداد کل آلارمهایی که ایجاد میشوند تقریباً معادل یک سوم تعداد گرههای اجرایی و یک عدد اضافی برای نمونه درایور است. در هر مورد، تعداد معیارهای هر زنگ کمتر از XNUMX محدودیت متریک است.
در حالت هشدار چه اتفاقی می افتد
اگر یک آستانه از پیش تعیین شده برآورده شود، زنگ هشدار به یک می رود alarm
حالت، که استفاده می کند سرویس اطلاع رسانی ساده آمازون (Amazon SNS) برای ارسال اعلانها. در این حالت، یک اعلان ایمیل با جزئیات مربوط به زنگ در پیام به همه مشترکین ارسال می کند.
Amazon SNS همچنین به عنوان محرکی برای عملکرد Lambda استفاده می شود که کار پردازش SageMaker در حال اجرا را متوقف می کند زیرا می دانیم که کار احتمالاً با شکست مواجه خواهد شد. این تابع همچنین گزارشهایی را در جدول گزارش مربوط به رویداد ثبت میکند.
قانون EventBridge که در شروع کار تنظیم شده است متوجه خواهد شد که کار به a رفته است stopping
چند ثانیه بعد بیان کنید سپس این قانون اولین تابع Lambda را برای راه اندازی مجدد کار دوباره اجرا می کند.
فرآیند مقیاس بندی پویا
اولین تابع لامبدا پس از دو یا چند بار اجرا میداند که کار قبلی قبلاً شروع شده و اکنون متوقف شده است. این تابع فرآیند مشابهی را برای دریافت پیکربندی پایه از کار اصلی در جدول log DynamoDB انجام می دهد و همچنین پیکربندی به روز شده را از جدول داخلی بازیابی می کند. این پیکربندی به روز شده یک پیکربندی دلتای منابع است که بر اساس نوع مقیاس بندی تنظیم شده است. نوع پوستهگذاری از فراداده هشدار همانطور که قبلا توضیح داده شد تعیین میشود.
پیکربندی اصلی به همراه دلتای منابع استفاده میشود زیرا یک پیکربندی جدید و یک کار پردازش SageMaker جدید با افزایش منابع آغاز شده است.
این روند تا زمانی ادامه می یابد که کار با موفقیت کامل شود و می تواند در صورت لزوم چندین بار راه اندازی مجدد شود و هر بار منابع بیشتری اضافه شود.
نتیجه Vericast
این راهحل مقیاسپذیری خودکار سفارشی در قویتر کردن پلتفرم یادگیری ماشین Vericast و مقاومتر کردن خطاها مؤثر بوده است. این پلتفرم اکنون میتواند حجمهای دادههای مختلف را با کمترین مداخله انسانی به خوبی مدیریت کند.
قبل از اجرای این راه حل، برآورد منابع مورد نیاز برای همه ماژول های مبتنی بر Spark در خط لوله یکی از بزرگ ترین گلوگاه های فرآیند نصب مشتری جدید بود. اگر حجم داده مشتری افزایش یابد، گردش کار با شکست مواجه خواهد شد، یا اگر حجم داده در تولید کاهش یابد، هزینه غیرقابل توجیه خواهد بود.
با راه اندازی این ماژول جدید، خرابی های گردش کار به دلیل محدودیت منابع تقریباً 80٪ کاهش یافته است. معدود خرابی های باقی مانده بیشتر به دلیل محدودیت های حساب AWS و فراتر از فرآیند مقیاس خودکار است. بزرگترین پیروزی Vericast با این راهحل، سهولتی است که با آن میتوانند مشتریان و گردشهای کاری جدید را وارد کنند. Vericast انتظار دارد که این روند را حداقل 60 تا 70٪ سرعت بخشد، در حالی که اطلاعات هنوز برای تعداد نهایی جمع آوری نشده است.
اگرچه Vericast این را یک موفقیت میداند، اما هزینههایی نیز به همراه دارد. بر اساس ماهیت این ماژول و مفهوم مقیاس بندی پویا به طور کلی، گردش کار معمولاً حدود 30٪ بیشتر از گردش کاری با یک خوشه تنظیم شده سفارشی برای هر ماژول در گردش کار طول می کشد (مورد متوسط). Vericast به بهینه سازی در این زمینه ادامه می دهد و به دنبال بهبود راه حل با ترکیب اولیه منابع مبتنی بر اکتشاف برای هر ماژول مشتری است.
Sharmo Sarkar، مدیر ارشد پلتفرم یادگیری ماشین در Vericast، میگوید: «در حالی که ما به گسترش استفاده از AWS و SageMaker ادامه میدهیم، میخواستم لحظاتی را برای برجسته کردن کار خارقالعاده تیم خدمات مشتری AWS، معماران اختصاصی AWS Solutions برجسته کنم. و خدمات حرفه ای AWS که ما با آنها کار می کنیم. درک عمیق آنها از AWS و SageMaker به ما این امکان را داد تا راه حلی طراحی کنیم که تمام نیازهای ما را برآورده کند و انعطاف پذیری و مقیاس پذیری مورد نیاز را برای ما فراهم کند. ما بسیار سپاسگزاریم که چنین تیم پشتیبانی با استعداد و دانشی در کنار خود داریم."
نتیجه
در این پست، ما به اشتراک گذاشتیم که چگونه SageMaker و SageMaker Processing Vericast را قادر می سازند تا یک چارچوب پردازش داده مدیریت شده، کارآمد و مقرون به صرفه برای حجم داده های بزرگ بسازد. با ترکیب قدرت و انعطاف پذیری SageMaker Processing با سایر خدمات AWS، آنها می توانند به راحتی فرآیند مهندسی ویژگی تعمیم یافته را نظارت کنند. آنها می توانند به طور خودکار مسائل بالقوه ناشی از کمبود محاسبات، حافظه و عوامل دیگر را شناسایی کنند و به طور خودکار مقیاس بندی عمودی و افقی را در صورت نیاز پیاده سازی کنند.
SageMaker و ابزارهای آن می توانند به تیم شما در رسیدن به اهداف ML خود نیز کمک کنند. برای کسب اطلاعات بیشتر در مورد SageMaker Processing و اینکه چگونه می تواند به حجم کاری پردازش داده های شما کمک کند، مراجعه کنید پردازش داده ها. اگر تازه کار ML را شروع کرده اید و به دنبال مثال و راهنمایی هستید، Amazon SageMaker JumpStart می تواند شما را شروع کند JumpStart یک هاب ML است که از طریق آن میتوانید به الگوریتمهای داخلی با مدلهای پایه از پیش آموزشدیده دسترسی پیدا کنید تا به شما در انجام کارهایی مانند خلاصهسازی مقاله و تولید تصویر و راهحلهای از پیش ساخته شده برای حل موارد استفاده رایج کمک کند.
در نهایت، اگر این پست به شما کمک می کند یا الهام بخش شما برای حل یک مشکل است، ما دوست داریم در مورد آن بشنویم! لطفا نظرات و انتقادات خود را به اشتراک بگذارید.
درباره نویسنده
آنتونی مک کلور یک معمار راه حل های شریک ارشد با تیم کارخانه AWS SaaS است. آنتونی همچنین علاقه زیادی به یادگیری ماشینی و هوش مصنوعی دارد که با انجمن زمینه فنی AWS ML/AI همکاری می کند تا به مشتریان کمک کند تا راه حل های یادگیری ماشین خود را به واقعیت تبدیل کنند.
جیوتی شارما یک مهندس علوم داده با تیم پلتفرم یادگیری ماشین در Vericast است. او علاقه زیادی به تمام جنبه های علم داده دارد و بر طراحی و پیاده سازی یک پلت فرم یادگیری ماشینی بسیار مقیاس پذیر و توزیع شده متمرکز است.
شارمو سرکار یک مدیر ارشد در Vericast است. او پلتفرم یادگیری ماشین ابری و تیم های تحقیق و توسعه ML پلتفرم بازاریابی در Vericast را رهبری می کند. او تجربه گسترده ای در تجزیه و تحلیل داده های بزرگ، محاسبات توزیع شده، و پردازش زبان طبیعی دارد. در خارج از محل کار، او از موتورسواری، پیاده روی و دوچرخه سواری در مسیرهای کوهستانی لذت می برد.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoAiStream. Web3 Data Intelligence دانش تقویت شده دسترسی به اینجا.
- ضرب کردن آینده با آدرین اشلی. دسترسی به اینجا.
- خرید و فروش سهام در شرکت های PRE-IPO با PREIPO®. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/how-vericast-optimized-feature-engineering-using-amazon-sagemaker-processing/
- : دارد
- :است
- :نه
- :جایی که
- $UP
- 1
- 10
- 100
- ٪۱۰۰
- 7
- a
- درباره ما
- دسترسی
- بر این اساس
- حساب
- رسیدن
- فعال سازی
- اعمال
- اضافه کردن
- اضافه
- اضافه کردن
- اضافی
- به اندازه کافی
- پس از
- در برابر
- ایدز
- اهداف
- هشدار
- الگوریتم
- الگوریتم
- معرفی
- تنها
- در امتداد
- قبلا
- همچنین
- آمازون
- آمازون SageMaker
- مقدار
- an
- علم تجزیه و تحلیل
- و
- دیگر
- آنتونی
- هر
- API
- مناسب
- معماری
- هستند
- محدوده
- دور و بر
- مقاله
- مصنوعی
- هوش مصنوعی
- AS
- ظاهر
- جنبه
- اختصاص داده
- همکاری
- At
- خودکار
- خودکار بودن
- بطور خودکار
- میانگین
- AWS
- خدمات حرفه ای AWS
- پایه
- مستقر
- BE
- زیرا
- شدن
- بوده
- بودن
- مزایای
- بهترین
- خارج از
- بزرگ
- بزرگ داده
- بزرگترین
- بالا بردن
- هر دو
- آوردن
- ساختن
- بنا
- ساخته
- ساخته شده در
- کسب و کار
- اما
- by
- محاسبه
- صدا
- کمپین بین المللی حقوق بشر
- CAN
- می توانید دریافت کنید
- ضبط
- مورد
- موارد
- علت
- باعث می شود
- معین
- به چالش کشیدن
- تبادل
- کلاس
- کلاس ها
- طبقه بندی
- مشتری
- ورود مشتری
- مشتریان
- ابر
- خوشه
- رمز
- ستون
- ترکیب
- ترکیب
- می آید
- نظرات
- مشترک
- انجمن
- شرکت
- کامل
- تکمیل شده
- پیچیدگی
- بغرنج
- اجزاء
- در معرض خطر
- محاسبه
- محاسبه
- مفهوم
- مفاهیم
- پیکر بندی
- در نظر بگیرید
- در نظر گرفته
- با توجه به
- در نظر می گیرد
- محدودیت ها
- شامل
- ظروف
- ادامه دادن
- ادامه
- هزینه
- مقرون به صرفه
- میتوانست
- کوپن
- ایجاد
- ایجاد شده
- ایجاد
- ضوابط
- صلیب
- جاری
- در حال حاضر
- سفارشی
- مشتری
- مشتریان
- داده ها
- تجزیه و تحلیل داده ها
- آماده سازی داده ها
- پردازش داده ها
- علم اطلاعات
- دانشمند داده
- داده محور
- مجموعه داده ها
- تصمیم گیری
- تصمیم گیری
- اختصاصی
- عمیق
- دلتا
- جمعیت
- وابسته
- گسترش
- شرح داده شده
- طرح
- طراحی
- طراحی
- جزئیات
- جزئیات
- مشخص
- پروژه
- مختلف
- متفاوت
- مشکل
- مستقیم
- تخفیف
- بحث و تبادل نظر
- توزیع شده
- محاسبات توزیع شده
- رانده
- راننده
- دو
- پویا
- بطور پویا
- هر
- پیش از آن
- سهولت
- به آسانی
- هر دو
- پست الکترونیک
- فعال
- را قادر می سازد
- مهندس
- مهندسی
- مورد تأیید
- تضمین می کند
- تمام
- محیط
- محیط
- برابر
- معادل
- ارزیابی
- ارزیابی
- ارزیابی
- واقعه
- حوادث
- مثال
- مثال ها
- جز
- موجود
- گسترش
- انتظار می رود
- انتظار می رود
- تجربه
- بررسی
- اصطلاحات
- وسیع
- تجربه گسترده
- عوامل
- کارخانه
- FAIL
- شکست
- ویژگی
- امکانات
- تغذیه
- باز خورد
- کمی از
- رشته
- نهایی
- نهایی شده است
- نام خانوادگی
- مناسب
- انعطاف پذیری
- قابل انعطاف
- متمرکز شده است
- پیروی
- به دنبال آن است
- برای
- اشکال
- پایه
- چارچوب
- از جانب
- کاملا
- تابع
- توابع
- بعلاوه
- آینده
- جمع آوری
- سوالات عمومی
- تولید
- تولید می کند
- نسل
- دریافت کنید
- گرفتن
- داده
- Go
- هدف
- اهداف
- می رود
- خوب
- GPU
- ممنون
- راهنمایی
- بود
- دسته
- اتفاق می افتد
- آیا
- داشتن
- he
- شنیدن
- سنگین
- بلند کردن سنگین
- کمک
- کمک می کند
- در سطح بالا
- با کیفیت بالا
- نماد
- خیلی
- تاریخ
- افقی
- به صورت افقی
- چگونه
- چگونه
- اما
- HTML
- HTTP
- HTTPS
- قطب
- انسان
- موانع
- i
- شناسایی
- if
- نشان می دهد
- تصویر
- انجام
- پیاده سازی
- اجرای
- مهم
- بهبود
- in
- در دیگر
- شامل
- از جمله
- گنجاندن
- افزایش
- افزایش
- باور نکردنی
- فرد
- به طور جداگانه
- اطلاعات
- شالوده
- اول
- شروع می کند
- نمونه
- ابزاری
- اطلاعات
- قصد
- علاقه
- رابط
- داخلی
- مداخله
- به
- گرفتار
- موضوع
- مسائل
- IT
- ITS
- کار
- شغل ها
- JPG
- تنها
- نوع
- دانستن
- عدم
- زبان
- بزرگ
- تا حد زیادی
- بزرگتر
- بعد
- منجر می شود
- یاد گرفتن
- یادگیری
- کمترین
- کتابخانه
- بلند کردن اجسام
- محدودیت
- محدودیت
- محدودیت
- لینک
- فهرست
- کوچک
- ورود به سیستم
- ورود به سیستم
- منطقی
- دیگر
- به دنبال
- از دست دادن
- عشق
- دستگاه
- فراگیری ماشین
- حفظ
- حفظ
- حفظ
- ساخت
- باعث می شود
- ساخت
- اداره می شود
- مدیر
- دستکاری شده
- روش
- بسیاری
- بازار یابی (Marketing)
- ریاضی
- ممکن است..
- دیدار
- حافظه
- پیام
- متاداده
- متری
- متریک
- قدرت
- ذهن
- حداقل
- ML
- مدل
- مدل
- ماژول ها
- ماژول ها
- لحظه
- مانیتور
- نظارت
- نظارت بر
- مانیتور
- بیش
- اکثر
- اغلب
- کوه
- چندگانه
- باید
- طبیعی
- پردازش زبان طبیعی
- طبیعت
- نیاز
- ضروری
- نیازمند
- نیازهای
- جدید
- گره
- به ویژه
- اطلاع..
- اخطار
- اطلاعیه ها
- اکنون
- عدد
- اهداف
- مشاهده کردن
- of
- غالبا
- on
- بر روی تقاضا
- پردازنده
- شبانه روزی
- ONE
- مداوم
- فقط
- اپراتور
- بهینه
- بهینه سازی
- بهینه
- or
- اصلی
- دیگر
- ما
- خارج
- نتیجه
- تولید
- خارج از
- روی
- به طور کلی
- غلبه بر
- مروری
- پارامترهای
- بخش
- ویژه
- شریک
- عبور
- احساساتی
- الگو
- درصد
- انجام
- کارایی
- شاید
- دوره ها
- چشم انداز
- تصویر
- خط لوله
- محل
- برنامه ریزی
- سکو
- سیستم عامل
- افلاطون
- هوش داده افلاطون
- PlatoData
- بازی
- نقش
- لطفا
- به علاوه
- نقطه
- نقطه
- فقیر
- ممکن
- پست
- پتانسیل
- قدرت
- پیش بینی
- قبلی
- شاید
- مشکل
- مشکلات
- روند
- فرآوری شده
- در حال پردازش
- تولید کردن
- محصول
- تولید
- حرفه ای
- ارائه
- ارائه
- فراهم می کند
- قرار دادن
- کیفیت
- سریع
- سریعتر
- تحقیق و توسعه
- نسبتا
- خام
- رسیدن به
- خواندن
- اماده
- واقعیت
- دلیل
- سوابق
- بهبود یافتن
- بهبود
- کاهش
- اشاره دارد
- مربوط
- مربوط
- ماندن
- باقی مانده
- گزارش
- ضروری
- مورد نیاز
- منابع
- منابع
- پاسخ
- نتیجه
- نتیجه
- تنومند
- نقش
- تقریبا
- قانون
- دویدن
- در حال اجرا
- SAAS
- حکیم ساز
- همان
- می گوید:
- مقیاس پذیری
- مقیاس پذیر
- مقیاس
- مقیاس گذاری
- محلول مقیاس بندی
- سناریوها
- علم
- دانشمند
- دانشمندان
- ثانیه
- بخش
- انتخاب شد
- انتخاب
- ارسال
- می فرستد
- ارشد
- حساسیت
- جداگانه
- جدا کردن
- سرویس
- خدمات
- تنظیم
- مجموعه
- چند
- اشتراک گذاری
- به اشتراک گذاشته شده
- شرما
- او
- نشان داده شده
- نشان می دهد
- طرف
- قابل توجه
- مشابه
- ساده
- اندازه
- So
- راه حل
- مزایا
- حل
- فضا
- خاص
- به طور خاص
- سرعت
- چرخش
- مراحل
- استاندارد
- می ایستد
- شروع
- آغاز شده
- شروع می شود
- دولت
- وضعیت
- گام
- مراحل
- هنوز
- متوقف شد
- متوقف کردن
- توقف
- ذخیره سازی
- پرده
- رشته
- قوی
- ساخت یافته
- مشترکین
- موفقیت
- موفقیت
- چنین
- پشتیبانی
- سیستم
- سیستم های
- جدول
- طراحی شده
- گرفتن
- طول می کشد
- مستعد
- کار
- وظایف
- تیم
- تیم ها
- فنی
- قوانین و مقررات
- نسبت به
- که
- La
- آینده
- شان
- آنها
- سپس
- آنجا.
- از این رو
- اینها
- آنها
- سوم
- این
- کسانی که
- سه
- آستانه
- از طریق
- زمان
- بار
- به
- با هم
- ابزار
- جمع
- قطار
- آموزش
- معامله
- جزئیات معاملات
- دگرگون کردن
- دگرگونی
- تحولات
- ماشه
- باعث شد
- دو
- نوع
- نوعی
- زیر
- درک
- واحد
- تا
- به روز شده
- us
- قابل استفاده
- استفاده
- استفاده کنید
- مورد استفاده
- استفاده
- با استفاده از
- اعتبار سنجی
- ارزش
- مختلف
- عمودی
- حجم
- جلد
- vs
- خواسته
- بود
- تماشای
- مسیر..
- we
- خوب
- چه زمانی
- که
- WHO
- تمام
- کاملا
- اراده
- پیروزی
- با
- در داخل
- مهاجرت کاری
- گردش کار
- کارگر
- با این نسخهها کار
- بدتر
- خواهد بود
- نوشته
- هنوز
- بازده
- شما
- شما
- زفیرنت