آمازون SageMaker انتخاب گسترده ای از زیرساخت های یادگیری ماشین (ML) و گزینه های استقرار مدل را برای کمک به رفع نیازهای استنتاج ML شما ارائه می دهد. این یک سرویس کاملاً مدیریتشده است و با ابزارهای MLOps یکپارچه میشود، بنابراین میتوانید برای مقیاسبندی استقرار مدل خود، کاهش هزینههای استنتاج، مدیریت مؤثرتر مدلها در تولید و کاهش بار عملیاتی کار کنید. SageMaker چندین مورد را ارائه می دهد گزینه های استنتاج بنابراین می توانید گزینه ای را انتخاب کنید که به بهترین وجه با حجم کاری شما سازگار است.
نسل های جدید CPU ها به دلیل دستورالعمل های داخلی تخصصی، بهبود عملکرد قابل توجهی را در استنتاج ML ارائه می دهند. در این پست به این موضوع می پردازیم که چگونه می توانید از مزایای آن استفاده کنید AWS Graviton3مبتنی بر Amazon Elastic Compute Cloud (EC2) نمونه های C7g برای کمک به کاهش هزینه های استنتاج تا 50٪ نسبت به نمونه های EC2 قابل مقایسه برای استنتاج بلادرنگ در Amazon SageMaker. ما نشان می دهیم که چگونه می توانید عملکرد استنتاج را ارزیابی کنید و بارهای کاری ML خود را تنها در چند مرحله به نمونه های AWS Graviton تغییر دهید.
برای پوشش طیف گسترده و محبوب برنامههای کاربردی مشتری، در این پست به بررسی عملکرد استنتاج PyTorch، TensorFlow، XGBoost و چارچوبهای scikit-learn میپردازیم. ما سناریوهای بینایی رایانه (CV)، پردازش زبان طبیعی (NLP)، طبقهبندی و رتبهبندی را برای مدلها و نمونههای ml.c6g، ml.c7g، ml.c5، و ml.c6i SageMaker را برای محکگذاری پوشش میدهیم.
نتایج محک زدن
AWS با نمونههای EC50 C3g مبتنی بر AWS Graviton2 نسبت به نمونههای EC7 قابل مقایسه در Amazon SageMaker، تا 2% صرفهجویی در هزینه را برای PyTorch، TensorFlow، XGBoost، و مدلهای scikit-learn اندازهگیری کرد. در عین حال، تأخیر استنتاج نیز کاهش می یابد.
برای مقایسه، از چهار نوع نمونه مختلف استفاده کردیم:
هر چهار نمونه دارای 16 vCPU و 32 گیگابایت حافظه هستند.
در نمودار زیر، استنتاج هزینه به ازای هر میلیون را برای چهار نوع نمونه اندازهگیری کردیم. ما هزینه به ازای هر میلیون نتایج استنتاج را بیشتر به یک نمونه c5.4xlarge عادی کردیم که به صورت 1 در محور Y نمودار اندازه گیری می شود. میتوانید ببینید که برای مدلهای XGBoost، استنتاج به ازای هر میلیون برای c7g.4xlarge (AWS Graviton3) حدود 50 درصد از c5.4xlarge و 40 درصد از c6i.4xlarge است. برای مدلهای PyTorch NLP، صرفهجویی در هزینه در مقایسه با نمونههای c30 و c50i.5xlarge حدود 6 تا 4 درصد است. برای سایر مدلها و چارچوبها، ما حداقل 30 درصد صرفهجویی در هزینه را در مقایسه با نمونههای c5 و c6i.4xlarge اندازهگیری کردیم.
مشابه نمودار مقایسه هزینه استنتاج قبلی، نمودار زیر تأخیر مدل p90 را برای همان چهار نوع نمونه نشان میدهد. ما بیشتر نتایج تأخیر را به نمونه c5.4xlarge عادی کردیم، که در محور Y نمودار به عنوان 1 اندازه گیری می شود. تأخیر استنتاج مدل c7g.4xlarge (AWS Graviton3) تا 50 درصد بهتر از تأخیرهای اندازه گیری شده در c5.4xlarge و c6i.4xlarge است.
به نمونه های AWS Graviton مهاجرت کنید
برای استقرار مدل های خود در نمونه های AWS Graviton، می توانید از هر دو استفاده کنید ظروف یادگیری عمیق AWS (DLC ها) یا ظروف خود را بیاورید که با معماری ARMv8.2 سازگار هستند.
انتقال (یا استقرار جدید) مدلهای شما به نمونههای AWS Graviton ساده است، زیرا نه تنها AWS کانتینرهایی را برای میزبانی مدلها با PyTorch، TensorFlow، scikit-learn و XGBoost ارائه میکند، بلکه مدلها از نظر معماری نیز آگنوستیک هستند. شما همچنین می توانید کتابخانه های خود را بیاورید، اما مطمئن شوید که کانتینر شما با محیطی ساخته شده است که از معماری ARMv8.2 پشتیبانی می کند. برای اطلاعات بیشتر ببین کانتینر الگوریتم خود را بسازید.
برای استقرار مدل خود باید سه مرحله را طی کنید:
- یک مدل SageMaker ایجاد کنید. این شامل سایر پارامترها، اطلاعات مربوط به مکان فایل مدل، محفظه ای است که برای استقرار استفاده می شود و مکان اسکریپت استنتاج. (اگر یک مدل موجود دارید که قبلاً در یک نمونه استنتاج بهینه محاسباتی مستقر شده است، می توانید از این مرحله رد شوید.)
- یک پیکربندی نقطه پایانی ایجاد کنید. این شامل اطلاعاتی در مورد نوع نمونه ای است که برای نقطه پایانی می خواهید (به عنوان مثال، ml.c7g.xlarge برای AWS Graviton3)، نام مدلی که در مرحله قبل ایجاد کردید، و تعداد نمونه ها در هر نقطه پایانی.
- نقطه پایانی را با پیکربندی نقطه پایانی ایجاد شده در مرحله قبل راه اندازی کنید.
برای دستورالعمل های دقیق، مراجعه کنید بارهای کاری استنتاج یادگیری ماشین را روی نمونه های مبتنی بر AWS Graviton با Amazon SageMaker اجرا کنید
روش شناسی معیار
ما با استفاده از توصیه کننده استنباط آمازون SageMaker برای خودکارسازی معیارهای عملکرد در موارد مختلف. این سرویس عملکرد مدل ML شما را از نظر تأخیر و هزینه در نمونه های مختلف مقایسه می کند و نمونه و پیکربندی را توصیه می کند که بهترین عملکرد را با کمترین هزینه ارائه دهد. ما داده های عملکرد فوق را با استفاده از Inference Recommender جمع آوری کرده ایم. برای جزئیات بیشتر، به GitHub repo.
شما می توانید با استفاده از نمونه دفترچه یادداشت برای اجرای معیارها و بازتولید نتایج. ما از مدل های زیر برای محک زدن استفاده کردیم:
نتیجه
AWS با نمونههای EC50 C3g مبتنی بر AWS Graviton2 نسبت به نمونههای EC7 قابل مقایسه در Amazon SageMaker، تا 2% صرفهجویی در هزینه را برای PyTorch، TensorFlow، XGBoost، و مدلهای scikit-learn اندازهگیری کرد. با دنبال کردن مراحل ارائه شده در این پست، میتوانید موارد استفاده از استنتاج موجود خود را منتقل کنید یا مدلهای جدید ML را در AWS Graviton پیادهسازی کنید. همچنین می توانید به راهنمای فنی AWS Graviton، که فهرستی از کتابخانههای بهینهسازی شده و بهترین روشها را ارائه میکند که به شما کمک میکند با استفاده از نمونههای AWS Graviton در بارهای کاری مختلف، به مزایای هزینه دست یابید.
اگر موارد استفاده ای پیدا کردید که در AWS Graviton دستاوردهای عملکرد مشابهی مشاهده نشد، لطفاً با ما تماس بگیرید. ما به افزودن بهبود عملکرد بیشتر ادامه خواهیم داد تا AWS Graviton به مقرون به صرفه ترین و کارآمدترین پردازنده همه منظوره برای استنتاج ML تبدیل شود.
درباره نویسندگان
سونیتا نادامپالی مدیر توسعه نرم افزار در AWS است. او بهینهسازی عملکرد نرمافزار Graviton را برای یادگیری ماشین، HPC و بارهای کاری چندرسانهای رهبری میکند. او مشتاق توسعه منبع باز و ارائه راه حل های نرم افزاری مقرون به صرفه با Arm SoC است.
جیمین دسای یک مهندس توسعه نرم افزار با تیم آمازون SageMaker Inference است. او مشتاق است که هوش مصنوعی را به تودهها برساند و قابلیت استفاده از داراییهای پیشرفته هوش مصنوعی را با تبدیل آنها به ویژگیها و خدمات بهبود بخشد. او در اوقات فراغت از کاوش در موسیقی و سفر لذت می برد.
مایک اشنایدر یک توسعه دهنده سیستم است که در Phoenix AZ مستقر است. او یکی از کانتینرهای Deep Learning است که از تصاویر کانتینر Framework مختلف پشتیبانی میکند تا Graviton Inference را نیز شامل شود. او به کارایی و ثبات زیرساخت اختصاص دارد.
موهان گاندی مهندس نرم افزار ارشد در AWS است. او در 10 سال گذشته با AWS کار کرده و روی سرویس های مختلف AWS مانند EMR، EFA و RDS کار کرده است. در حال حاضر، او بر روی بهبود تجربه استنتاج SageMaker متمرکز شده است. در اوقات فراغت خود از پیاده روی و ماراتن لذت می برد.
کینگوی لی یک متخصص یادگیری ماشین در خدمات وب آمازون است. او دکترای خود را دریافت کرد. در تحقیقات عملیات پس از اینکه حساب کمک هزینه تحقیقاتی مشاورش را شکست و نتوانست جایزه نوبل را که وعده داده بود تحویل دهد. در حال حاضر او به مشتریان در صنعت خدمات مالی و بیمه کمک می کند تا راه حل های یادگیری ماشینی را در AWS بسازند. در اوقات فراغت به مطالعه و تدریس علاقه دارد.
وین تو یک معمار راه حل های تخصصی برای Graviton در AWS است. او بر کمک به مشتریان برای پذیرش معماری ARM برای حجم کاری کانتینر در مقیاس بزرگ تمرکز دارد. وین قبل از پیوستن به AWS برای چندین فروشنده نرم افزار بزرگ از جمله IBM و Red Hat کار می کرد.
لورن مولنکس یک معمار راه حل مستقر در دنور، CO است. او با مشتریان کار می کند تا به آنها کمک کند تا راه حل های معمار در AWS را ارائه دهند. او در اوقات فراغت خود از پیاده روی و پختن غذاهای هاوایی لذت می برد.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoAiStream. Web3 Data Intelligence دانش تقویت شده دسترسی به اینجا.
- ضرب کردن آینده با آدرین اشلی. دسترسی به اینجا.
- خرید و فروش سهام در شرکت های PRE-IPO با PREIPO®. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/reduce-amazon-sagemaker-inference-cost-with-aws-graviton/
- : دارد
- :است
- :نه
- :جایی که
- $UP
- 1
- 10
- 100
- 7
- 98
- a
- درباره ما
- حساب
- رسیدن
- در میان
- اضافه کردن
- اتخاذ
- مزیت - فایده - سود - منفعت
- پس از
- AI
- الگوریتم
- قبلا
- همچنین
- آمازون
- آمازون SageMaker
- آمازون خدمات وب
- در میان
- an
- و
- برنامه های کاربردی
- معماری
- هستند
- ARM
- AS
- دارایی
- At
- خودکار بودن
- AWS
- مستقر
- BE
- زیرا
- بوده
- معیار
- معیار
- مزایای
- بهترین
- بهترین شیوه
- بهتر
- به ارمغان بیاورد
- پهن
- شکست
- ساختن
- ساخته
- ساخته شده در
- بار
- اما
- by
- CAN
- موارد
- چارت سازمانی
- طبقه بندی
- ابر
- CO
- قابل مقایسه
- مقایسه
- مقایسه
- سازگار
- کامل
- محاسبه
- کامپیوتر
- چشم انداز کامپیوتر
- پیکر بندی
- شامل
- ظرف
- ظروف
- ادامه دادن
- هزینه
- صرفه جویی در هزینه
- مقرون به صرفه
- هزینه
- پوشش
- ایجاد شده
- در حال حاضر
- مشتری
- مشتریان
- داده ها
- اختصاصی
- عمیق
- یادگیری عمیق
- ارائه
- تحویل
- دنور
- گسترش
- مستقر
- گسترش
- دقیق
- جزئیات
- توسعه دهنده
- پروژه
- مختلف
- بحث و تبادل نظر
- میکند
- دو
- به طور موثر
- بهره وری
- موثر
- هر دو
- نقطه پایانی
- مهندس
- محیط
- ارزیابی
- مثال
- موجود
- تجربه
- بررسی
- ناموفق
- امکانات
- کمی از
- پرونده
- مالی
- خدمات مالی
- پیدا کردن
- تمرکز
- متمرکز شده است
- تمرکز
- پیروی
- برای
- چهار
- چارچوب
- چارچوب
- رایگان
- بیشتر
- عایدات
- همه منظوره
- نسل ها
- می دهد
- اعطا کردن
- گراف
- است
- آیا
- he
- کمک
- کمک
- کمک می کند
- او
- خود را
- میزبان
- چگونه
- hpc
- HTML
- HTTPS
- آی بی ام
- if
- تصاویر
- بهبود
- ارتقاء
- بهبود
- in
- شامل
- از جمله
- صنعت
- اطلاعات
- شالوده
- نمونه
- دستورالعمل
- بیمه
- ادغام
- به
- پیوستن
- JPG
- تنها
- زبان
- بزرگ
- نام
- تاخیر
- منجر می شود
- یادگیری
- کمترین
- کتابخانه ها
- پسندیدن
- دوست دارد
- فهرست
- محل
- پایین ترین
- دستگاه
- فراگیری ماشین
- ساخت
- مدیریت
- مدیر
- توده
- دیدار
- عضو
- حافظه
- مهاجرت
- مهاجرت
- میلیون
- ML
- MLO ها
- مدل
- مدل
- بیش
- اکثر
- چند رسانه ای
- چندگانه
- موسیقی
- نام
- طبیعی
- پردازش زبان طبیعی
- نیاز
- نیازهای
- جدید
- nlp
- جایزه نوبل
- عدد
- of
- ارائه
- on
- فقط
- منبع باز
- قابل استفاده
- عملیات
- بهینه
- گزینه
- گزینه
- or
- سفارش
- دیگر
- خارج
- خود
- پارامترهای
- احساساتی
- کارایی
- عنقا
- انتخاب کنید
- افلاطون
- هوش داده افلاطون
- PlatoData
- لطفا
- محبوب
- پست
- شیوه های
- قبلی
- قبلا
- جایزه
- در حال پردازش
- پردازنده
- تولید
- وعده داده شده
- ارائه
- ارائه
- فراهم می کند
- مارماهی
- محدوده
- رتبه بندی
- رسیدن به
- مطالعه
- اخذ شده
- توصیه می کند
- قرمز
- ردهت
- كاهش دادن
- کاهش
- تحقیق
- نتایج
- دویدن
- حکیم ساز
- استنباط SageMaker
- همان
- پس انداز
- مقیاس
- سناریوها
- یادگیری
- دیدن
- انتخاب
- ارشد
- سرویس
- خدمات
- چند
- او
- نشان
- نشان می دهد
- قابل توجه
- مشابه
- So
- نرم افزار
- توسعه نرم افزار
- مهندس نرمافزار
- مزایا
- متخصص
- تخصصی
- ثبات
- وضعیت هنر
- گام
- مراحل
- ساده
- حمایت از
- پشتیبانی از
- گزینه
- سیستم های
- گرفتن
- مصرف
- تعلیم
- تیم
- فنی
- جریان تنسور
- قوانین و مقررات
- نسبت به
- که
- La
- اطلاعات
- آنها
- این
- سه
- زمان
- به
- ابزار
- سفر
- نوع
- انواع
- us
- قابلیت استفاده
- استفاده کنید
- استفاده
- با استفاده از
- مختلف
- فروشندگان
- دید
- می خواهم
- we
- وب
- خدمات وب
- خوب
- که
- اراده
- با
- مهاجرت کاری
- مشغول به کار
- با این نسخهها کار
- XGBoost
- سال
- شما
- شما
- زفیرنت