چگونه Getir مدت زمان آموزش مدل را با Amazon SageMaker و AWS Batch تا 90٪ کاهش داد خدمات وب آمازون

این یک پست مهمان است که توسط نافی احمد تورگوت، حسن بوراک یل و داملا شنتورک از Getir نوشته شده است.

تاسیس در 2015، بیا خود را به عنوان پیشگام در حوزه تحویل مواد غذایی فوق سریع قرار داده است. این شرکت فناوری نوآورانه با ارائه قانع‌کننده «مواد غذایی در چند دقیقه»، بخش تحویل آخرین مایل را متحول کرده است. گتیر با حضور در سراسر ترکیه، بریتانیا، هلند، آلمان و ایالات متحده به یک نیروی چندملیتی تبدیل شده است. امروزه، برند Getir یک مجموعه متنوع را نشان می‌دهد که نه بخش عمودی مختلف را در بر می‌گیرد که همگی به صورت هم افزایی زیر یک چتر منحصر به فرد کار می‌کنند.

در این پست، توضیح می‌دهیم که چگونه یک خط لوله پیش‌بینی دسته‌بندی محصول نهایی به پایان برای کمک به تیم‌های تجاری با استفاده از آن ایجاد کردیم. آمازون SageMaker و دسته AWS، کاهش 90 درصدی مدت زمان آموزش مدل.

درک مجموعه محصولات موجود به روشی دقیق، چالشی حیاتی است که ما، همراه با بسیاری از کسب و کارها، در بازار پرشتاب و رقابتی امروز با آن مواجه هستیم. یک راه حل موثر برای این مشکل، پیش بینی دسته بندی محصولات است. مدلی که یک درخت دسته بندی جامع ایجاد می کند به تیم های تجاری ما اجازه می دهد تا سبد محصولات موجود ما را در مقابل نمونه رقبای ما محک بزنند و یک مزیت استراتژیک ارائه دهند. بنابراین، چالش اصلی ما ایجاد و اجرای یک مدل دقیق پیش‌بینی دسته‌بندی محصول است.

ما از ابزارهای قدرتمند ارائه شده توسط AWS برای مقابله با این چالش استفاده کردیم و به طور موثر در زمینه پیچیده یادگیری ماشین (ML) و تجزیه و تحلیل پیش‌بینی‌کننده پیمایش کردیم. تلاش‌های ما منجر به ایجاد موفقیت‌آمیز خط لوله پیش‌بینی دسته‌بندی محصول نهایی به پایان شد که نقاط قوت SageMaker و AWS Batch را ترکیب می‌کند.

این قابلیت تجزیه و تحلیل پیش بینی کننده، به ویژه پیش بینی دقیق دسته بندی محصولات، بسیار ارزشمند است. این بینش‌های مبتنی بر داده‌های حیاتی را به تیم‌های ما ارائه داد که مدیریت موجودی را بهینه کرد، تعاملات مشتری را افزایش داد و حضور ما را در بازار تقویت کرد.

روشی که در این پست توضیح می دهیم از مرحله اولیه جمع آوری مجموعه ویژگی ها تا اجرای نهایی خط لوله پیش بینی را شامل می شود. یکی از جنبه های مهم استراتژی ما استفاده از SageMaker و AWS Batch برای اصلاح مدل های BERT از پیش آموزش دیده برای هفت زبان مختلف بوده است. علاوه بر این، ادغام یکپارچه ما با سرویس ذخیره سازی اشیا AWS سرویس ذخیره سازی ساده آمازون (Amazon S3) کلید ذخیره سازی و دسترسی موثر به این مدل های تصفیه شده بوده است.

SageMaker یک سرویس ML کاملاً مدیریت شده است. با SageMaker، دانشمندان و توسعه دهندگان داده می توانند به سرعت و بدون زحمت مدل های ML را بسازند و آموزش دهند و سپس مستقیماً آنها را در یک محیط میزبان آماده تولید مستقر کنند.

به عنوان یک سرویس کاملاً مدیریت شده، AWS Batch به شما کمک می کند بارهای کاری محاسبات دسته ای را در هر مقیاسی اجرا کنید. AWS Batch به طور خودکار منابع محاسباتی را فراهم می کند و توزیع بار کاری را بر اساس کمیت و مقیاس بارهای کاری بهینه می کند. با AWS Batch، نیازی به نصب یا مدیریت نرم افزار محاسبات دسته ای نیست، بنابراین می توانید زمان خود را روی تجزیه و تحلیل نتایج و حل مشکلات متمرکز کنید. ما از کارهای GPU استفاده کردیم که به ما در اجرای کارهایی که از پردازنده‌های گرافیکی یک نمونه استفاده می‌کنند کمک می‌کند.

بررسی اجمالی راه حل

پنج نفر از تیم علم داده Getir و تیم زیرساخت با هم روی این پروژه کار کردند. این پروژه در عرض یک ماه به پایان رسید و پس از یک هفته آزمایش به مرحله تولید رسید.

نمودار زیر معماری راه حل را نشان می دهد.

خط لوله مدل به طور جداگانه برای هر کشور اجرا می شود. این معماری شامل دو AWS Batch GPU cron job برای هر کشور است که بر اساس برنامه زمانی تعریف شده اجرا می شوند.

ما با استقرار استراتژیک منابع GPU SageMaker و AWS Batch بر برخی چالش ها غلبه کردیم. فرآیند مورد استفاده برای پرداختن به هر مشکل در بخش‌های زیر به تفصیل شرح داده شده است.

تنظیم دقیق مدل‌های BERT چند زبانه با کارهای GPU دسته‌ای AWS

ما به دنبال راه حلی برای پشتیبانی از چندین زبان برای پایگاه کاربری متنوع خود بودیم. مدل‌های BERT به دلیل توانایی تثبیت‌شده‌شان در رسیدگی مؤثر به وظایف پیچیده زبان طبیعی، انتخابی آشکار بودند. به منظور تطبیق این مدل‌ها با نیازهای خود، ما از قدرت AWS با استفاده از کارهای نمونه GPU تک نود استفاده کردیم. این به ما این امکان را می‌دهد که مدل‌های BERT از پیش آموزش‌دیده را برای هر یک از هفت زبانی که نیاز به پشتیبانی داریم، تنظیم کنیم. از طریق این روش، ما از دقت بالایی در پیش‌بینی دسته‌بندی محصولات اطمینان حاصل کردیم و بر هر گونه موانع زبانی بالقوه غلبه کردیم.

ذخیره سازی مدل کارآمد با استفاده از Amazon S3

گام بعدی ما رسیدگی به ذخیره سازی و مدیریت مدل بود. برای این منظور، Amazon S3 را انتخاب کردیم که به دلیل مقیاس پذیری و امنیت شناخته شده است. ذخیره سازی مدل های BERT دقیق تنظیم شده در آمازون S3 ما را قادر ساخت تا دسترسی آسانی به تیم های مختلف در سازمان خود داشته باشیم و در نتیجه فرآیند استقرار خود را به طور قابل توجهی ساده کنیم. این یک جنبه حیاتی در دستیابی به چابکی در عملیات ما و ادغام یکپارچه تلاش‌های ML ما بود.

ایجاد یک خط لوله پیش بینی انتها به انتها

یک خط لوله کارآمد برای استفاده بهینه از مدل های از پیش آموزش دیده ما لازم بود. ما ابتدا این مدل‌ها را در SageMaker مستقر کردیم، اقدامی که امکان پیش‌بینی‌های هم‌زمان با تأخیر کم را فراهم می‌کرد و در نتیجه تجربه کاربری ما را افزایش می‌داد. برای پیش‌بینی‌های دسته‌ای در مقیاس بزرگ‌تر، که به همان اندازه برای عملیات ما حیاتی بودند، از کارهای GPU دسته‌ای AWS استفاده کردیم. این امر استفاده بهینه از منابع ما را تضمین می کند و تعادل کاملی از عملکرد و کارایی را برای ما فراهم می کند.

بررسی احتمالات آینده با MME های SageMaker

همانطور که ما به تکامل و جستجوی کارایی در خط لوله ML خود ادامه می دهیم، یکی از راه هایی که مایل به کشف آن هستیم استفاده از نقاط پایانی چند مدل SageMaker (MMEs) برای استقرار مدل های دقیق تنظیم شده ما است. با MMEها، می‌توانیم به‌طور بالقوه استقرار مدل‌های مختلف تنظیم‌شده را ساده‌سازی کنیم و از مدیریت کارآمد مدل اطمینان حاصل کنیم و در عین حال از قابلیت‌های بومی SageMaker مانند انواع سایه‌ها، مقیاس‌بندی خودکار، و CloudWatch آمازون ادغام. این اکتشاف با پیگیری مستمر ما برای افزایش قابلیت‌های تحلیل پیش‌بینی و ارائه تجربیات برتر به مشتریانمان همسو است.

نتیجه

ادغام موفقیت آمیز ما از SageMaker و AWS Batch نه تنها به چالش های خاص ما رسیدگی کرده است، بلکه کارایی عملیاتی ما را نیز به طور قابل توجهی افزایش داده است. از طریق اجرای خط لوله پیش‌بینی دسته‌بندی محصولات پیچیده، ما می‌توانیم تیم‌های تجاری خود را با بینش‌های مبتنی بر داده توانمند کنیم و در نتیجه تصمیم‌گیری مؤثرتر را تسهیل کنیم.

نتایج ما در مورد اثربخشی رویکرد ما صحبت می کند. ما به دقت پیش‌بینی 80 درصدی در هر چهار سطح دانه‌بندی دسته‌بندی دست یافته‌ایم، که نقش مهمی در شکل‌دهی مجموعه‌های محصولات برای هر کشوری که به آن خدمت می‌کنیم بازی می‌کند. این سطح از دقت، دسترسی ما را فراتر از موانع زبانی گسترش می‌دهد و تضمین می‌کند که با حداکثر دقت به پایگاه کاربران متنوع خود پاسخ می‌دهیم.

علاوه بر این، با استفاده استراتژیک از کارهای برنامه ریزی شده AWS Batch GPU، ما توانسته ایم مدت زمان آموزش مدل خود را تا 90 درصد کاهش دهیم. این کارایی فرآیندهای ما را ساده تر کرده و چابکی عملیاتی ما را تقویت کرده است. ذخیره سازی مدل کارآمد با استفاده از آمازون S3 نقش مهمی در این دستاورد ایفا کرده است و پیش بینی های زمان واقعی و دسته ای را متعادل می کند.

برای اطلاعات بیشتر در مورد نحوه شروع ساخت خطوط لوله ML خود با SageMaker، ببینید منابع آمازون SageMaker. اگر به دنبال راه‌حلی کم‌هزینه و مقیاس‌پذیر برای اجرای کارهای دسته‌ای با سربار عملیاتی کم هستید، AWS Batch یک گزینه عالی است. برای شروع، ببینید شروع کار با AWS Batch.

---

درباره نویسنده

نافی احمد تورگوت مدرک کارشناسی ارشد خود را در رشته مهندسی برق و الکترونیک به پایان رساند و به عنوان دانشمند پژوهشی فارغ التحصیل مشغول به کار شد. تمرکز او بر ساخت الگوریتم‌های یادگیری ماشینی برای شبیه‌سازی ناهنجاری‌های شبکه عصبی بود. او در سال 2019 به Getir پیوست و در حال حاضر به عنوان مدیر ارشد علوم داده و تجزیه و تحلیل کار می کند. تیم او مسئول طراحی، پیاده‌سازی و نگهداری الگوریتم‌های یادگیری ماشینی سرتاسر و راه‌حل‌های مبتنی بر داده برای Getir است.

حسن بوراک یل مدرک لیسانس خود را در رشته مهندسی برق و الکترونیک در دانشگاه بوغازیچی دریافت کرد. او در ترکسل کار می کرد و عمدتاً روی پیش بینی سری های زمانی، تجسم داده ها و اتوماسیون شبکه متمرکز بود. او در سال 2021 به Getir پیوست و در حال حاضر به عنوان مدیر علم و تجزیه و تحلیل داده ها با مسئولیت دامنه های جستجو، توصیه و رشد کار می کند.

داملا شنتورک مدرک لیسانس خود را در رشته مهندسی کامپیوتر در دانشگاه گالاتاسرای دریافت کرد. او مدرک کارشناسی ارشد خود را در رشته مهندسی کامپیوتر در دانشگاه بوغازیچی ادامه می دهد. او در سال 2022 به Getir پیوست و به عنوان یک دانشمند داده کار کرده است. او روی پروژه های تجاری، زنجیره تامین و پروژه های مرتبط با اکتشاف کار کرده است.

اسرا کیابالی یک معمار ارشد راه حل در AWS است که در حوزه تجزیه و تحلیل، از جمله انبار داده، دریاچه های داده، تجزیه و تحلیل داده های بزرگ، جریان داده های دسته ای و بلادرنگ، و یکپارچه سازی داده ها تخصص دارد. او 12 سال تجربه توسعه نرم افزار و معماری دارد. او مشتاق یادگیری و آموزش فناوری های ابری است.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://aws.amazon.com/blogs/machine-learning/how-getir-reduced-model-training-durations-by-90-with-amazon-sagemaker-and-aws-batch/