कैसे Getir ने Amazon SageMaker और AWS बैच के साथ मॉडल प्रशिक्षण अवधि को 90% तक कम कर दिया | अमेज़न वेब सेवाएँ

यह एक अतिथि पोस्ट है, जिसके सह-लेखक नफ़ी अहमत तुर्गुट, हसन बुराक येल और गेटिर के दामला सेनतुर्क हैं।

2015 में स्थापित, लाया अल्ट्राफास्ट किराना डिलीवरी के क्षेत्र में खुद को अग्रणी के रूप में स्थापित किया है। इस इनोवेटिव टेक कंपनी ने "मिनटों में किराने का सामान" की अपनी आकर्षक पेशकश के साथ अंतिम-मील डिलीवरी सेगमेंट में क्रांति ला दी है। तुर्की, यूके, नीदरलैंड, जर्मनी और संयुक्त राज्य अमेरिका में उपस्थिति के साथ, गेटिर एक बहुराष्ट्रीय ताकत बन गया है। आज, गेटिर ब्रांड एक विविध समूह का प्रतिनिधित्व करता है जिसमें नौ अलग-अलग कार्यक्षेत्र शामिल हैं, जो सभी एक ही छतरी के नीचे सहक्रियात्मक रूप से काम करते हैं।

इस पोस्ट में, हम बताते हैं कि कैसे हमने व्यावसायिक टीमों की मदद के लिए एंड-टू-एंड उत्पाद श्रेणी भविष्यवाणी पाइपलाइन का निर्माण किया अमेज़न SageMaker और AWS बैच, मॉडल प्रशिक्षण अवधि को 90% तक कम करना।

हमारे मौजूदा उत्पाद वर्गीकरण को विस्तृत तरीके से समझना एक महत्वपूर्ण चुनौती है जिसका हम, कई व्यवसायों के साथ, आज के तेज गति वाले और प्रतिस्पर्धी बाजार में सामना कर रहे हैं। इस समस्या का एक प्रभावी समाधान उत्पाद श्रेणियों की भविष्यवाणी है। एक मॉडल जो एक व्यापक श्रेणी वृक्ष उत्पन्न करता है, हमारी वाणिज्यिक टीमों को हमारे प्रतिद्वंद्वियों के मुकाबले हमारे मौजूदा उत्पाद पोर्टफोलियो को बेंचमार्क करने की अनुमति देता है, जो एक रणनीतिक लाभ प्रदान करता है। इसलिए, हमारी केंद्रीय चुनौती एक सटीक उत्पाद श्रेणी भविष्यवाणी मॉडल का निर्माण और कार्यान्वयन है।

हमने इस चुनौती से निपटने और मशीन लर्निंग (एमएल) और प्रेडिक्टिव एनालिटिक्स के जटिल क्षेत्र को प्रभावी ढंग से नेविगेट करने के लिए एडब्ल्यूएस द्वारा प्रदान किए गए शक्तिशाली उपकरणों का लाभ उठाया। हमारे प्रयासों से एंड-टू-एंड उत्पाद श्रेणी भविष्यवाणी पाइपलाइन का सफल निर्माण हुआ, जो सेजमेकर और एडब्ल्यूएस बैच की शक्तियों को जोड़ती है।

पूर्वानुमानित विश्लेषण की यह क्षमता, विशेष रूप से उत्पाद श्रेणियों का सटीक पूर्वानुमान, अमूल्य साबित हुई है। इसने हमारी टीमों को महत्वपूर्ण डेटा-संचालित अंतर्दृष्टि प्रदान की, जिसने इन्वेंट्री प्रबंधन को अनुकूलित किया, ग्राहक इंटरैक्शन को बढ़ाया और हमारी बाजार उपस्थिति को मजबूत किया।

इस पोस्ट में हम जिस पद्धति की व्याख्या करते हैं वह फीचर सेट एकत्रण के प्रारंभिक चरण से लेकर भविष्यवाणी पाइपलाइन के अंतिम कार्यान्वयन तक होती है। हमारी रणनीति का एक महत्वपूर्ण पहलू सात अलग-अलग भाषाओं के लिए पूर्व-प्रशिक्षित BERT मॉडल को परिष्कृत करने के लिए सेजमेकर और AWS बैच का उपयोग रहा है। इसके अतिरिक्त, AWS की ऑब्जेक्ट स्टोरेज सेवा के साथ हमारा सहज एकीकरण अमेज़न सरल भंडारण सेवा (अमेज़ॅन एस3) इन परिष्कृत मॉडलों को कुशलतापूर्वक संग्रहीत करने और उन तक पहुंचने में महत्वपूर्ण रहा है।

सेजमेकर पूरी तरह से प्रबंधित एमएल सेवा है। सेजमेकर के साथ, डेटा वैज्ञानिक और डेवलपर्स जल्दी और आसानी से एमएल मॉडल का निर्माण और प्रशिक्षण कर सकते हैं, और फिर उन्हें सीधे उत्पादन के लिए तैयार होस्टेड वातावरण में तैनात कर सकते हैं।

पूरी तरह से प्रबंधित सेवा के रूप में, AWS बैच आपको किसी भी पैमाने के बैच कंप्यूटिंग वर्कलोड को चलाने में मदद करता है। AWS बैच स्वचालित रूप से संसाधनों की गणना करता है और कार्यभार की मात्रा और पैमाने के आधार पर कार्यभार वितरण का अनुकूलन करता है। AWS बैच के साथ, बैच कंप्यूटिंग सॉफ़्टवेयर को स्थापित या प्रबंधित करने की कोई आवश्यकता नहीं है, इसलिए आप अपना समय परिणामों का विश्लेषण करने और समस्याओं को हल करने पर केंद्रित कर सकते हैं। हमने GPU नौकरियों का उपयोग किया जो हमें उन नौकरियों को चलाने में मदद करती हैं जो किसी इंस्टेंस के GPU का उपयोग करती हैं।

समाधान का अवलोकन

गेटिर की डेटा साइंस टीम और इंफ्रास्ट्रक्चर टीम के पांच लोगों ने इस प्रोजेक्ट पर एक साथ काम किया। परियोजना एक महीने में पूरी हो गई और एक सप्ताह के परीक्षण के बाद उत्पादन में लगा दिया गया।

निम्नलिखित आरेख समाधान की वास्तुकला को दर्शाता है।

प्रत्येक देश के लिए मॉडल पाइपलाइन अलग से चलाई जाती है। आर्किटेक्चर में प्रत्येक देश के लिए दो एडब्ल्यूएस बैच जीपीयू क्रॉन जॉब्स शामिल हैं, जो परिभाषित शेड्यूल पर चल रहे हैं।

हमने सेजमेकर और एडब्ल्यूएस बैच जीपीयू संसाधनों को रणनीतिक रूप से तैनात करके कुछ चुनौतियों पर काबू पाया। प्रत्येक कठिनाई का समाधान करने के लिए उपयोग की जाने वाली प्रक्रिया निम्नलिखित अनुभागों में विस्तृत है।

एडब्ल्यूएस बैच जीपीयू जॉब्स के साथ बहुभाषी बीईआरटी मॉडल को फाइन-ट्यूनिंग

हमने अपने विविध उपयोगकर्ता आधार के लिए एकाधिक भाषाओं का समर्थन करने का समाधान खोजा। जटिल प्राकृतिक भाषा कार्यों को प्रभावी ढंग से संभालने की उनकी स्थापित क्षमता के कारण बीईआरटी मॉडल एक स्पष्ट विकल्प थे। इन मॉडलों को हमारी आवश्यकताओं के अनुरूप बनाने के लिए, हमने सिंगल-नोड GPU इंस्टेंस नौकरियों का उपयोग करके AWS की शक्ति का उपयोग किया। इससे हमें उन सात भाषाओं में से प्रत्येक के लिए पूर्व-प्रशिक्षित BERT मॉडल को बेहतर बनाने की अनुमति मिली, जिनके लिए हमें समर्थन की आवश्यकता थी। इस पद्धति के माध्यम से, हमने किसी भी संभावित भाषा बाधा पर काबू पाते हुए, उत्पाद श्रेणियों की भविष्यवाणी में उच्च सटीकता सुनिश्चित की।

Amazon S3 का उपयोग करके कुशल मॉडल भंडारण

हमारा अगला कदम मॉडल भंडारण और प्रबंधन को संबोधित करना था। इसके लिए हमने Amazon S3 को चुना, जो अपनी स्केलेबिलिटी और सुरक्षा के लिए जाना जाता है। अमेज़ॅन S3 पर हमारे परिष्कृत BERT मॉडल को संग्रहीत करने से हमें अपने संगठन के भीतर विभिन्न टीमों तक आसान पहुंच प्रदान करने में मदद मिली, जिससे हमारी तैनाती प्रक्रिया काफी सरल हो गई। यह हमारे संचालन में चपलता प्राप्त करने और हमारे एमएल प्रयासों के निर्बाध एकीकरण के लिए एक महत्वपूर्ण पहलू था।

एंड-टू-एंड भविष्यवाणी पाइपलाइन बनाना

हमारे पूर्व-प्रशिक्षित मॉडलों का सर्वोत्तम उपयोग करने के लिए एक कुशल पाइपलाइन की आवश्यकता थी। हमने सबसे पहले इन मॉडलों को सेजमेकर पर तैनात किया, एक ऐसी कार्रवाई जो कम विलंबता के साथ वास्तविक समय की भविष्यवाणियों की अनुमति देती है, जिससे हमारे उपयोगकर्ता अनुभव में वृद्धि होती है। बड़े पैमाने पर बैच भविष्यवाणियों के लिए, जो हमारे संचालन के लिए समान रूप से महत्वपूर्ण थे, हमने एडब्ल्यूएस बैच जीपीयू नौकरियों का उपयोग किया। इससे हमारे संसाधनों का इष्टतम उपयोग सुनिश्चित हुआ, जिससे हमें प्रदर्शन और दक्षता का सही संतुलन मिला।

सेजमेकर एमएमई के साथ भविष्य की संभावनाएं तलाशना

जैसे-जैसे हम अपनी एमएल पाइपलाइन में विकास और दक्षता की तलाश जारी रखते हैं, एक तरीका जिसे हम तलाशने के इच्छुक हैं वह है हमारे फाइन-ट्यून किए गए मॉडल को तैनात करने के लिए सेजमेकर मल्टी-मॉडल एंडपॉइंट्स (एमएमई) का उपयोग करना। एमएमई के साथ, हम संभावित रूप से विभिन्न फाइन-ट्यून किए गए मॉडलों की तैनाती को सुव्यवस्थित कर सकते हैं, कुशल मॉडल प्रबंधन सुनिश्चित कर सकते हैं, जबकि सेजमेकर की छाया वेरिएंट, ऑटो स्केलिंग और जैसी मूल क्षमताओं से भी लाभ उठा सकते हैं। अमेज़ॅन क्लाउडवॉच एकीकरण। यह अन्वेषण हमारी पूर्वानुमानित विश्लेषण क्षमताओं को बढ़ाने और हमारे ग्राहकों को बेहतर अनुभव प्रदान करने के हमारे निरंतर प्रयास के अनुरूप है।

निष्कर्ष

सेजमेकर और एडब्ल्यूएस बैच के हमारे सफल एकीकरण ने न केवल हमारी विशिष्ट चुनौतियों का समाधान किया है, बल्कि हमारी परिचालन दक्षता में भी उल्लेखनीय वृद्धि की है। एक परिष्कृत उत्पाद श्रेणी भविष्यवाणी पाइपलाइन के कार्यान्वयन के माध्यम से, हम अपनी वाणिज्यिक टीमों को डेटा-संचालित अंतर्दृष्टि के साथ सशक्त बनाने में सक्षम हैं, जिससे अधिक प्रभावी निर्णय लेने में सुविधा होती है।

हमारे परिणाम हमारे दृष्टिकोण की प्रभावशीलता के बारे में बहुत कुछ बताते हैं। हमने श्रेणी ग्रैन्युलैरिटी के सभी चार स्तरों पर 80% भविष्यवाणी सटीकता हासिल की है, जो हमारे द्वारा सेवा प्रदान किए जाने वाले प्रत्येक देश के लिए उत्पाद वर्गीकरण को आकार देने में महत्वपूर्ण भूमिका निभाती है। परिशुद्धता का यह स्तर भाषा की बाधाओं से परे हमारी पहुंच को बढ़ाता है और यह सुनिश्चित करता है कि हम अपने विविध उपयोगकर्ता आधार को अत्यंत सटीकता के साथ पूरा करें।

इसके अलावा, रणनीतिक रूप से निर्धारित AWS बैच GPU नौकरियों का उपयोग करके, हम अपने मॉडल प्रशिक्षण अवधि को 90% तक कम करने में सक्षम हैं। इस दक्षता ने हमारी प्रक्रियाओं को और अधिक सुव्यवस्थित किया है और हमारी परिचालन चपलता को बढ़ाया है। अमेज़ॅन एस3 का उपयोग करते हुए कुशल मॉडल स्टोरेज ने वास्तविक समय और बैच भविष्यवाणियों दोनों को संतुलित करते हुए इस उपलब्धि में महत्वपूर्ण भूमिका निभाई है।

सेजमेकर के साथ अपनी खुद की एमएल पाइपलाइन का निर्माण कैसे शुरू करें, इसके बारे में अधिक जानकारी के लिए देखें अमेज़ॅन सेजमेकर संसाधन. यदि आप कम परिचालन ओवरहेड के साथ बैच नौकरियों को चलाने के लिए कम लागत वाले, स्केलेबल समाधान की तलाश में हैं तो एडब्ल्यूएस बैच एक उत्कृष्ट विकल्प है। आरंभ करने के लिए, देखें AWS बैच के साथ शुरुआत करना.

---

लेखक के बारे में

नफी अहमत तुर्गुत इलेक्ट्रिकल और इलेक्ट्रॉनिक्स इंजीनियरिंग में अपनी मास्टर डिग्री पूरी की और स्नातक अनुसंधान वैज्ञानिक के रूप में काम किया। उनका ध्यान तंत्रिका नेटवर्क विसंगतियों का अनुकरण करने के लिए मशीन लर्निंग एल्गोरिदम का निर्माण करना था। वह 2019 में गेटिर में शामिल हुए और वर्तमान में वरिष्ठ डेटा साइंस और एनालिटिक्स मैनेजर के रूप में काम करते हैं। उनकी टीम गेटिर के लिए एंड-टू-एंड मशीन लर्निंग एल्गोरिदम और डेटा-संचालित समाधानों को डिजाइन करने, लागू करने और बनाए रखने के लिए जिम्मेदार है।

हसन बुराक येल बोगाज़िसी विश्वविद्यालय से इलेक्ट्रिकल और इलेक्ट्रॉनिक्स इंजीनियरिंग में स्नातक की डिग्री प्राप्त की। उन्होंने तुर्कसेल में काम किया, जो मुख्य रूप से समय श्रृंखला पूर्वानुमान, डेटा विज़ुअलाइज़ेशन और नेटवर्क स्वचालन पर केंद्रित था। वह 2021 में गेटिर में शामिल हुए और वर्तमान में खोज, अनुशंसा और विकास डोमेन की जिम्मेदारी के साथ डेटा साइंस और एनालिटिक्स मैनेजर के रूप में काम करते हैं।

दामला सेन्तुर्क गैलाटसराय विश्वविद्यालय से कंप्यूटर इंजीनियरिंग की स्नातक की डिग्री प्राप्त की। उन्होंने बोगाज़िसी विश्वविद्यालय में कंप्यूटर इंजीनियरिंग में अपनी मास्टर डिग्री जारी रखी है। वह 2022 में गेटिर में शामिल हुईं और डेटा साइंटिस्ट के रूप में काम कर रही हैं। उन्होंने वाणिज्यिक, आपूर्ति श्रृंखला और खोज-संबंधी परियोजनाओं पर काम किया है।

एसरा कयाबली AWS में एक वरिष्ठ समाधान वास्तुकार हैं, जो डेटा वेयरहाउसिंग, डेटा लेक, बिग डेटा एनालिटिक्स, बैच और रीयल-टाइम डेटा स्ट्रीमिंग और डेटा एकीकरण सहित एनालिटिक्स डोमेन में विशेषज्ञता रखते हैं। उनके पास सॉफ्टवेयर विकास और वास्तुकला का 12 साल का अनुभव है। उन्हें क्लाउड टेक्नोलॉजी सीखने और सिखाने का शौक है।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/machine-learning/how-getir-reduced-model-training-durations-by-90-with-amazon-sagemaker-and-aws-batch/