अमेज़ॅन सैजमेकर खर्च का विश्लेषण करें और उपयोग के आधार पर लागत अनुकूलन अवसरों का निर्धारण करें, भाग 4: प्रशिक्षण नौकरियां | अमेज़न वेब सेवाएँ

2021 में, हमने लॉन्च किया AWS सपोर्ट प्रोएक्टिव सर्विसेज के हिस्से के रूप में AWS एंटरप्राइज सपोर्ट योजना। इसकी शुरुआत के बाद से, हमने सैकड़ों ग्राहकों को उनके वर्कलोड को अनुकूलित करने, रेलिंग सेट करने और उनके मशीन लर्निंग (एमएल) वर्कलोड की लागत और उपयोग की दृश्यता में सुधार करने में मदद की है।

पोस्ट की इस श्रृंखला में, हम लागतों को अनुकूलित करने के बारे में सीखे गए पाठ साझा करते हैं अमेज़न SageMaker. इस पोस्ट में, हम सेजमेकर प्रशिक्षण नौकरियों पर ध्यान केंद्रित करते हैं।

सेजमेकर प्रशिक्षण नौकरियां

सेजमेकर प्रशिक्षण नौकरियां एमएल मॉडल प्रशिक्षण और अनुकूलन के लिए अंतर्निहित सुविधाओं के साथ अतुल्यकालिक बैच प्रक्रियाएं हैं।

सेजमेकर प्रशिक्षण नौकरियों के साथ, आप अपना स्वयं का एल्गोरिदम ला सकते हैं या 25 से अधिक अंतर्निहित एल्गोरिदम में से चुन सकते हैं। सेजमेकर विभिन्न डेटा स्रोतों और एक्सेस पैटर्न, विषम समूहों सहित वितरित प्रशिक्षण, साथ ही प्रयोग प्रबंधन सुविधाओं और स्वचालित मॉडल ट्यूनिंग का समर्थन करता है।

प्रशिक्षण कार्य की लागत आपके द्वारा उपयोग किए जाने वाले संसाधनों (इंस्टेंस और स्टोरेज) पर उस अवधि (सेकंड में) पर आधारित होती है, जब वे इंस्टेंस चल रहे होते हैं। इसमें प्रशिक्षण होने का समय और, यदि आप इसका उपयोग कर रहे हैं, शामिल है गर्म पूल सुविधा, आपके द्वारा कॉन्फ़िगर की गई जीवित रहने की अवधि। में भाग 1, हमने दिखाया कि उपयोग कैसे शुरू करें AWS लागत एक्सप्लोरर सेजमेकर में लागत अनुकूलन के अवसरों की पहचान करना। आप उपयोग प्रकार पर फ़िल्टर लागू करके प्रशिक्षण लागत को फ़िल्टर कर सकते हैं। इन उपयोग प्रकारों के नाम इस प्रकार हैं:

• REGION-Train:instanceType (उदाहरण के लिए, USE1-Train:ml.m5.large)
• REGION-Train:VolumeUsage.gp2 (उदाहरण के लिए, USE1-Train:VolumeUsage.gp2)

कॉस्ट एक्सप्लोरर में अपनी प्रशिक्षण लागतों का विवरण देखने के लिए, आप प्रवेश कर सकते हैं train: के लिए उपसर्ग के रूप में उपयोग के प्रकार. यदि आप केवल उपयोग किए गए घंटों के लिए फ़िल्टर करते हैं (निम्न स्क्रीनशॉट देखें), तो कॉस्ट एक्सप्लोरर दो ग्राफ़ उत्पन्न करेगा: लागत और उपयोग। यह दृश्य आपको अपने अनुकूलन अवसरों को प्राथमिकता देने और यह पहचानने में मदद करेगा कि कौन से उदाहरण लंबे समय तक चलने वाले और महंगे हैं।

मौजूदा प्रशिक्षण कार्य को अनुकूलित करने से पहले, हम इसमें शामिल सर्वोत्तम प्रथाओं का पालन करने की सलाह देते हैं Amazon SageMaker के साथ मशीन लर्निंग के लिए लागत का अनुकूलन: स्थानीय स्तर पर अपने कोड का परीक्षण करें और उपयोग करें स्थानीय प्रणाली परीक्षण के लिए, जहां संभव हो पूर्व-प्रशिक्षित मॉडल का उपयोग करें और विचार करें प्रबंधित स्थान प्रशिक्षण (जो ऑन-डिमांड उदाहरणों की तुलना में लागत को 90% तक अनुकूलित कर सकता है)।

जब कोई ऑन-डिमांड कार्य लॉन्च किया जाता है, तो यह पांच चरणों से गुजरता है: प्रारंभ करना, डाउनलोड करना, प्रशिक्षण, अपलोड करना और पूरा करना। आप उन चरणों और विवरणों को सेजमेकर कंसोल पर प्रशिक्षण कार्य के पृष्ठ पर देख सकते हैं।

मूल्य निर्धारण के नजरिए से, आपसे डाउनलोडिंग, प्रशिक्षण और अपलोडिंग चरणों के लिए शुल्क लिया जाता है।

इन चरणों की समीक्षा करना यह पता लगाने में पहला कदम है कि अपनी प्रशिक्षण लागतों को कहां अनुकूलित किया जाए। इस पोस्ट में, हम डाउनलोडिंग और प्रशिक्षण चरणों पर चर्चा करते हैं।

डाउनलोडिंग चरण

पिछले उदाहरण में, डाउनलोडिंग चरण में एक मिनट से भी कम समय लगा। हालाँकि, यदि डेटा डाउनलोडिंग आपकी प्रशिक्षण लागत का एक बड़ा कारक है, तो आपको आपके द्वारा उपयोग किए जा रहे डेटा स्रोत और एक्सेस विधियों पर विचार करना चाहिए। सेजमेकर प्रशिक्षण नौकरियां मूल रूप से तीन डेटा स्रोतों का समर्थन करती हैं: अमेज़ॅन इलास्टिक फ़ाइल सिस्टम (अमेजन EFS), अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3), और चमक के लिए अमेज़न FSx. अमेज़ॅन एस3 के लिए, सेजमेकर तीन प्रबंधित तरीके प्रदान करता है जिससे आपका एल्गोरिदम प्रशिक्षण तक पहुंच सकता है: फ़ाइल मोड (जहां डेटा को इंस्टेंस ब्लॉक स्टोरेज में डाउनलोड किया जाता है), पाइप मोड (डेटा को इंस्टेंस पर स्ट्रीम किया जाता है, जिससे डाउनलोडिंग चरण की अवधि समाप्त हो जाती है) और फास्ट फ़ाइल मोड (मौजूदा फ़ाइल मोड के उपयोग में आसानी को पाइप मोड के प्रदर्शन के साथ जोड़ता है)। सही डेटा स्रोत और पहुंच विधियों को चुनने पर विस्तृत मार्गदर्शन के लिए, देखें अपने Amazon SageMaker प्रशिक्षण कार्य के लिए सर्वश्रेष्ठ डेटा स्रोत चुनें.

प्रबंधित स्पॉट प्रशिक्षण का उपयोग करते समय, रुकावट के कारण होने वाले किसी भी बार-बार होने वाले डाउनलोडिंग चरण का शुल्क नहीं लिया जाता है (इसलिए आपसे केवल एक बार डेटा डाउनलोड की अवधि के लिए शुल्क लिया जाता है)।

यह ध्यान रखना महत्वपूर्ण है कि हालांकि सेजमेकर प्रशिक्षण नौकरियां हमारे द्वारा उल्लिखित डेटा स्रोतों का समर्थन करती हैं, लेकिन वे अनिवार्य नहीं हैं। अपने प्रशिक्षण कोड में, आप किसी भी स्रोत से प्रशिक्षण डेटा डाउनलोड करने के लिए कोई भी विधि लागू कर सकते हैं (बशर्ते कि प्रशिक्षण उदाहरण उस तक पहुंच सके)। डाउनलोड समय को तेज़ करने के अतिरिक्त तरीके हैं, जैसे फ़ाइलों को एक साथ डाउनलोड करने के लिए मल्टीप्रोसेसिंग के साथ Boto3 API का उपयोग करना, या Amazon S5 से तेज़ डाउनलोड के लिए WebDataset या s3cmd जैसी तृतीय-पक्ष लाइब्रेरी का उपयोग करना। अधिक जानकारी के लिए देखें S3cmd के साथ S5 वर्कलोड को समानांतर करना.

प्रशिक्षण चरण

प्रशिक्षण चरण की लागत को अनुकूलित करने में दो वैक्टरों को अनुकूलित करना शामिल है: सही बुनियादी ढांचे (उदाहरण परिवार और आकार) का चयन करना, और प्रशिक्षण को स्वयं अनुकूलित करना। हम मोटे तौर पर प्रशिक्षण उदाहरणों को दो श्रेणियों में विभाजित कर सकते हैं: त्वरित जीपीयू-आधारित, ज्यादातर गहन-शिक्षण मॉडल के लिए, और सामान्य एमएल ढांचे के लिए सीपीयू-आधारित। प्रशिक्षण के लिए सही उदाहरण परिवार का चयन करने पर मार्गदर्शन के लिए, देखें Amazon SageMaker पर संसाधनों की कुशल गणना सुनिश्चित करें. यदि आपके प्रशिक्षण के लिए GPU उदाहरणों की आवश्यकता है, तो हम वीडियो का संदर्भ लेने की सलाह देते हैं गहन शिक्षण के लिए Amazon EC2 GPU इंस्टेंसेस का चयन कैसे करें.

एक सामान्य मार्गदर्शन के रूप में, यदि आपके कार्यभार के लिए NVIDIA GPU की आवश्यकता होती है, तो हमने पाया है कि ग्राहकों को दो के साथ महत्वपूर्ण लागत बचत मिलती है अमेज़ॅन इलास्टिक कम्प्यूट क्लाउड (अमेज़ॅन EC2) इंस्टेंस प्रकार: ml.g4dn और एमएल.जी5. ml.g4dn NVIDIA T4 से सुसज्जित है और प्रति मेमोरी विशेष रूप से कम लागत प्रदान करता है। ml.g5 इंस्टेंस NVIDIA A10g Tensor Core से सुसज्जित है और इसकी लागत-प्रति-CUDA फ्लॉप (fp32) सबसे कम है।

AWS गहन शिक्षण प्रशिक्षण के लिए विशिष्ट लागत बचत सुविधाएँ प्रदान करता है:

अपने उदाहरण को सही आकार देने और अनुकूलित करने के लिए, आपको सबसे पहले इसे देखना चाहिए अमेज़ॅन क्लाउडवॉच प्रशिक्षण नौकरियाँ उत्पन्न करने वाले मेट्रिक्स। अधिक जानकारी के लिए देखें सेजमेकर जॉब्स और एंडपॉइंट मेट्रिक्स. आप आगे CloudWatch का उपयोग कर सकते हैं प्रशिक्षण प्रदर्शन की निगरानी के लिए कस्टम एल्गोरिदम मेट्रिक्स.

ये मेट्रिक्स बाधाओं या संसाधनों के अति-प्रावधान का संकेत दे सकते हैं। उदाहरण के लिए, यदि आप कम GPU उपयोग के साथ उच्च CPU देख रहे हैं, तो आप इसका उपयोग करके समस्या का समाधान कर सकते हैं विषम समूह. एक अन्य उदाहरण कार्य अवधि के दौरान लगातार कम सीपीयू उपयोग को देखना हो सकता है - इससे उदाहरण का आकार कम हो सकता है।

यदि आप उपयोग कर रहे हैं वितरित प्रशिक्षण, आपको अधिकतम उपयोग को सत्यापित करने और तदनुसार अपने फ्रेमवर्क मापदंडों को ठीक करने के लिए विभिन्न वितरण विधियों (टॉवर, रिंग-ऑलरिड्यूस, मिरर, इत्यादि) का परीक्षण करना चाहिए (उदाहरण के लिए, देखें) Amazon SageMaker पर TensorFlow 1.x त्वरण प्रशिक्षण के लिए सर्वोत्तम अभ्यास). यह उजागर करना महत्वपूर्ण है कि आप सेजमेकर वितरण एपीआई और लाइब्रेरीज़ का उपयोग कर सकते हैं सेजमेकर ने डेटा समानांतर वितरित किया, सेजमेकर मॉडल समानांतर, तथा सेजमेकर ने समानांतर डेटा साझा किया, जो AWS बुनियादी ढांचे के लिए अनुकूलित हैं और प्रशिक्षण लागत को कम करने में मदद करते हैं।

ध्यान दें कि वितरित प्रशिक्षण आवश्यक रूप से रैखिक रूप से स्केल नहीं करता है और कुछ ओवरहेड पेश कर सकता है, जो समग्र रनटाइम को प्रभावित करेगा।

गहन शिक्षण मॉडल के लिए, एक अन्य अनुकूलन तकनीक मिश्रित परिशुद्धता का उपयोग कर रही है। मिश्रित परिशुद्धता प्रशिक्षण को गति दे सकती है, जिससे प्रशिक्षण समय और मेमोरी उपयोग दोनों कम हो जाते हैं और मॉडल सटीकता पर न्यूनतम या कोई प्रभाव नहीं पड़ता है। अधिक जानकारी के लिए देखें डेटा पैरेलल और मॉडल पैरेलल के साथ प्रशिक्षण अनुभाग में अमेज़न सैजमेकर में वितरित प्रशिक्षण.

अंत में, फ्रेमवर्क-विशिष्ट मापदंडों को अनुकूलित करने से प्रशिक्षण प्रक्रिया को अनुकूलित करने में महत्वपूर्ण प्रभाव पड़ सकता है। SageMaker स्वचालित मॉडल ट्यूनिंग आपके द्वारा चुने गए ऑब्जेक्टिव मीट्रिक द्वारा मापा गया हाइपरपैरामीटर सबसे अच्छा प्रदर्शन करता है। प्रशिक्षण समय को एक वस्तुनिष्ठ मीट्रिक और फ्रेमवर्क कॉन्फ़िगरेशन के रूप में हाइपरपैरामीटर के रूप में सेट करने से बाधाओं को दूर करने और समग्र प्रशिक्षण समय को कम करने में मदद मिल सकती है। डिफ़ॉल्ट TensorFlow सेटिंग्स को अनुकूलित करने और CPU बाधा को हटाने के उदाहरण के लिए, देखें एयरोबोटिक्स अमेज़ॅन सैजमेकर और टेन्सरफ्लो के साथ प्रति नमूना 24 बार प्रशिक्षण की गति में सुधार करता है.

डाउनलोड और प्रसंस्करण समय दोनों को अनुकूलित करने का एक अन्य अवसर अपने डेटा के सबसेट पर प्रशिक्षण पर विचार करना है। यदि आपके डेटा में कई डुप्लिकेट प्रविष्टियाँ या कम जानकारी लाभ वाली सुविधाएँ शामिल हैं, तो आप डेटा के एक सबसेट पर प्रशिक्षण लेने और डाउनलोडिंग और प्रशिक्षण समय को कम करने के साथ-साथ एक छोटे उदाहरण का उपयोग करने में सक्षम हो सकते हैं और अमेज़न इलास्टिक ब्लॉक स्टोर (अमेज़ॅन ईबीएस) वॉल्यूम। उदाहरण के लिए, देखें Amazon SageMaker मॉडल को प्रशिक्षित करने के लिए आवश्यक डेटा की मात्रा को कम करने के लिए डेटा-केंद्रित दृष्टिकोण का उपयोग करें. इसके अलावा, अमेज़न SageMaker डेटा रैंगलर प्रशिक्षण नमूनों के विश्लेषण और निर्माण को सरल बना सकते हैं। अधिक जानकारी के लिए देखें अमेज़ॅन सेजमेकर डेटा रैंगलर के साथ डेटा के यादृच्छिक और स्तरीकृत नमूने बनाएं.

सेजमेकर डिबगर

कुशल प्रशिक्षण और संसाधन उपयोग सुनिश्चित करने के लिए, सेजमेकर आपके प्रशिक्षण कार्य का उपयोग करके प्रोफ़ाइल बना सकता है अमेज़न SageMaker डिबगर. डिबगर ऑफ़र अंतर्निहित नियम सामान्य मुद्दों पर सचेत करने के लिए जो आपके प्रशिक्षण को प्रभावित कर रहे हैं जैसे सीपीयू बाधा, जीपीयू मेमोरी वृद्धि, या आई/ओ बाधा, या आप अपने स्वयं के नियम बना सकते हैं। आप जेनरेट की गई रिपोर्ट तक पहुंच सकते हैं और उसका विश्लेषण कर सकते हैं अमेज़ॅन सैजमेकर स्टूडियो. अधिक जानकारी के लिए देखें अमेज़ॅन सेजमेकर स्टूडियो प्रयोगों में अमेज़ॅन सेजमेकर डिबगर यूआई. निम्नलिखित स्क्रीनशॉट स्टूडियो में डिबगर दृश्य दिखाता है।

आप पायथन ऑपरेटरों और फ़ंक्शंस (द) के बारे में गहराई से जान सकते हैं GPU पर शीर्ष संचालन अनुभाग) जो प्रशिक्षण कार्य करने के लिए चलाए जाते हैं। डिबगर ने प्रोफाइलिंग वॉच फ्रेमवर्क ऑपरेशन से संबंधित मुद्दों के लिए अंतर्निहित नियमों को शामिल किया है, जिसमें प्रशिक्षण शुरू होने से पहले डेटा डाउनलोड करने के कारण अत्यधिक प्रशिक्षण आरंभीकरण समय और प्रशिक्षण लूप में चरण अवधि आउटलेर शामिल हैं। आपको ध्यान देना चाहिए कि यद्यपि अंतर्निहित नियमों का उपयोग निःशुल्क है, कस्टम नियमों की लागत उस उदाहरण के आधार पर लागू होती है जिसे आप प्रशिक्षण कार्य की अवधि और उससे जुड़े भंडारण के लिए कॉन्फ़िगर करते हैं।

निष्कर्ष

इस पोस्ट में, हमने सेजमेकर प्रशिक्षण नौकरियों का उपयोग करके एमएल मॉडल को प्रशिक्षित करते समय लागत विश्लेषण और सर्वोत्तम प्रथाओं पर मार्गदर्शन प्रदान किया। चूंकि मशीन लर्निंग खुद को उद्योगों में एक शक्तिशाली उपकरण के रूप में स्थापित करती है, इसलिए प्रशिक्षण और एमएल मॉडल चलाने को लागत प्रभावी बनाए रखने की आवश्यकता है। सेजमेकर एमएल पाइपलाइन में प्रत्येक चरण को सुविधाजनक बनाने के लिए एक विस्तृत और गहन सुविधा सेट प्रदान करता है और प्रदर्शन या चपलता को प्रभावित किए बिना लागत अनुकूलन के अवसर प्रदान करता है।

---

लेखक के बारे में

दीपाली राजले AWS में एक वरिष्ठ AI/ML विशेषज्ञ हैं। वह एडब्ल्यूएस पारिस्थितिकी तंत्र में एआई/एमएल समाधानों को तैनात करने और बनाए रखने के लिए सर्वोत्तम प्रथाओं के साथ तकनीकी मार्गदर्शन प्रदान करने वाले उद्यम ग्राहकों के साथ काम करती है। उन्होंने एनएलपी और कंप्यूटर विज़न से जुड़े विभिन्न गहन शिक्षण उपयोग मामलों पर कई संगठनों के साथ काम किया है। वह अपने उपयोग के अनुभव को बढ़ाने के लिए जेनरेटर एआई का लाभ उठाने के लिए संगठनों को सशक्त बनाने को लेकर उत्साहित हैं। अपने खाली समय में, वह फिल्में, संगीत और साहित्य का आनंद लेती हैं।

उरी रोसेनबर्ग यूरोप, मध्य पूर्व और अफ्रीका के लिए एआई और एमएल विशेषज्ञ तकनीकी प्रबंधक हैं। इज़राइल में स्थित, उरी उद्यम ग्राहकों को एमएल की सभी चीजों को डिजाइन, निर्माण और बड़े पैमाने पर संचालित करने के लिए सशक्त बनाने के लिए काम करता है। अपने खाली समय में, वह साइकिल चलाना, लंबी पैदल यात्रा करना और एन्ट्रॉपी बढ़ाना पसंद करते हैं।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोआईस्ट्रीम। Web3 डेटा इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• मिंटिंग द फ्यूचर डब्ल्यू एड्रिएन एशले। यहां पहुंचें।
• PREIPO® के साथ PRE-IPO कंपनियों में शेयर खरीदें और बेचें। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/machine-learning/part-4-analyze-amazon-sagemaker-spend-and-determine-cost-optimization-opportunities-based-on-usage-part-4-training-jobs/