अमेज़न SageMaker है की घोषणा अमेज़ॅन सेजमेकर के लिए तीन नए पूर्णता मानदंडों का समर्थन स्वचालित मॉडल ट्यूनिंग, आपके मॉडल के लिए सर्वोत्तम हाइपरपैरामीटर कॉन्फ़िगरेशन ढूंढते समय आपको ट्यूनिंग कार्य के स्टॉपिंग मानदंड को नियंत्रित करने के लिए लीवर का एक अतिरिक्त सेट प्रदान करता है।
इस पोस्ट में, हम इन नए समापन मानदंडों, उनका उपयोग कब करना है, और उनसे होने वाले कुछ लाभों पर चर्चा करते हैं।
SageMaker स्वचालित मॉडल ट्यूनिंग
स्वचालित मॉडल ट्यूनिंग, जिसे स्वचालित मॉडल ट्यूनिंग भी कहा जाता है हाइपरपरमीटर ट्यूनिंग, हमारे द्वारा चुने गए मीट्रिक द्वारा मापे गए मॉडल का सर्वोत्तम संस्करण ढूंढता है। यह चुने गए एल्गोरिदम और निर्दिष्ट हाइपरपैरामीटर श्रेणियों का उपयोग करके, प्रदान किए गए डेटासेट पर कई प्रशिक्षण कार्य शुरू करता है। प्रत्येक प्रशिक्षण कार्य को जल्दी पूरा किया जा सकता है जब उद्देश्य मीट्रिक में उल्लेखनीय सुधार नहीं हो रहा हो, जिसे जल्दी रोकना के रूप में जाना जाता है।
अब तक, समग्र ट्यूनिंग कार्य को नियंत्रित करने के सीमित तरीके थे, जैसे प्रशिक्षण कार्यों की अधिकतम संख्या निर्दिष्ट करना। हालाँकि, इस पैरामीटर मान का चयन सर्वोत्तम रूप से अनुमानी है। बड़े मूल्य से ट्यूनिंग लागत बढ़ जाती है, और छोटे मूल्य से हर समय मॉडल का सर्वोत्तम संस्करण नहीं मिल सकता है।
सेजमेकर स्वचालित मॉडल ट्यूनिंग आपको ट्यूनिंग कार्य के लिए कई पूर्णता मानदंड देकर इन चुनौतियों का समाधान करती है। इसे प्रत्येक व्यक्तिगत प्रशिक्षण कार्य स्तर के बजाय ट्यूनिंग स्तर पर लागू किया जाता है, जिसका अर्थ है कि यह उच्च अमूर्त परत पर काम करता है।
कार्य पूर्णता मानदंड को समायोजित करने के लाभ
ट्यूनिंग कार्य कब रुकेगा, इस पर बेहतर नियंत्रण के साथ, कार्य को लंबे समय तक न चलाने और कम्प्यूटेशनल रूप से महंगा होने से आपको लागत बचत का लाभ मिलता है। इसका मतलब यह भी है कि आप यह सुनिश्चित कर सकते हैं कि काम बहुत जल्दी न रुके और आपको पर्याप्त रूप से अच्छी गुणवत्ता वाला मॉडल मिले जो आपके उद्देश्यों को पूरा करता हो। जब पुनरावृत्तियों के एक सेट के बाद मॉडल में सुधार नहीं हो रहा है या जब अनुमानित अवशिष्ट सुधार गणना संसाधनों और समय को उचित नहीं ठहराता है, तो आप ट्यूनिंग कार्य को रोकने का विकल्प चुन सकते हैं।
प्रशिक्षण कार्य पूरा करने के मानदंडों की मौजूदा अधिकतम संख्या के अलावा प्रशिक्षण नौकरियों की अधिकतम संख्या, स्वचालित मॉडल ट्यूनिंग अधिकतम ट्यूनिंग समय, सुधार निगरानी और अभिसरण पहचान के आधार पर ट्यूनिंग को रोकने का विकल्प पेश करती है।
आइए इनमें से प्रत्येक मानदंड का पता लगाएं।
अधिकतम ट्यूनिंग समय
पहले, आपके पास कंप्यूट संसाधन के संदर्भ में ट्यूनिंग बजट को नियंत्रित करने के लिए संसाधन सीमा सेटिंग के रूप में प्रशिक्षण नौकरियों की अधिकतम संख्या को परिभाषित करने का विकल्प था। हालाँकि, इससे अनावश्यक रूप से आवश्यकता या वांछित से अधिक लंबा या छोटा प्रशिक्षण समय लग सकता है।
अधिकतम ट्यूनिंग समय मानदंड को जोड़ने के साथ, अब आप ट्यूनिंग कार्य को चलाने के लिए समय की मात्रा के संदर्भ में अपना प्रशिक्षण बजट आवंटित कर सकते हैं और सेकंड में परिभाषित समय की एक निर्दिष्ट मात्रा के बाद कार्य को स्वचालित रूप से समाप्त कर सकते हैं।
जैसा कि ऊपर देखा गया है, हम इसका उपयोग करते हैं MaxRuntimeInSeconds
ट्यूनिंग समय को सेकंड में परिभाषित करने के लिए। ट्यूनिंग समय सीमा निर्धारित करने से आपको ट्यूनिंग कार्य की अवधि और प्रयोग की अनुमानित लागत को सीमित करने में मदद मिलती है।
किसी भी संविदात्मक छूट से पहले की कुल लागत का अनुमान निम्नलिखित सूत्र से लगाया जा सकता है:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
सेकंड में अधिकतम रनटाइम का उपयोग लागत और रनटाइम को सीमित करने के लिए किया जा सकता है। दूसरे शब्दों में, यह एक बजट नियंत्रण पूर्णता मानदंड है।
यह सुविधा संसाधन नियंत्रण मानदंड का हिस्सा है और मॉडलों के अभिसरण को ध्यान में नहीं रखती है। जैसा कि हम इस पोस्ट में बाद में देखते हैं, सटीकता का त्याग किए बिना लागत नियंत्रण प्राप्त करने के लिए इस मानदंड का उपयोग अन्य रोक मानदंडों के साथ संयोजन में किया जा सकता है।
वांछित लक्ष्य मीट्रिक
पहले से शुरू किया गया एक अन्य मानदंड लक्ष्य उद्देश्य लक्ष्य को पहले से परिभाषित करना है। मानदंड एक विशिष्ट उद्देश्य मीट्रिक के आधार पर सर्वश्रेष्ठ मॉडल के प्रदर्शन की निगरानी करता है और जब मॉडल एक निर्दिष्ट उद्देश्य मीट्रिक के संबंध में परिभाषित सीमा तक पहुंचते हैं तो ट्यूनिंग बंद कर देते हैं।
उसके साथ TargetObjectiveMetricValue
मानदंड, सर्वोत्तम मॉडल का उद्देश्य मीट्रिक निर्दिष्ट मूल्य तक पहुंचने के बाद हम सेजमेकर को मॉडल को ट्यून करना बंद करने का निर्देश दे सकते हैं:
इस उदाहरण में, हमें सेजमेकर को निर्देश दिया गया है कि जब सर्वोत्तम मॉडल का उद्देश्य मीट्रिक 0.95 तक पहुंच जाए तो मॉडल को ट्यून करना बंद कर दें।
यह विधि तब उपयोगी होती है जब आपके पास एक विशिष्ट लक्ष्य होता है जिसे आप अपने मॉडल तक पहुंचाना चाहते हैं, जैसे सटीकता का एक निश्चित स्तर, परिशुद्धता, रिकॉल, एफ 1-स्कोर, एयूसी, लॉग-लॉस इत्यादि।
इस मानदंड के लिए एक विशिष्ट उपयोग का मामला ऐसे उपयोगकर्ता के लिए होगा जो पहले से ही दिए गए थ्रेशोल्ड पर मॉडल के प्रदर्शन से परिचित है। अन्वेषण चरण में एक उपयोगकर्ता पहले पूर्ण डेटासेट के साथ प्रशिक्षण के दौरान लक्ष्य के लिए एक संतोषजनक मूल्यांकन मीट्रिक सीमा की पहचान करने के लिए बड़े डेटासेट के एक छोटे उपसमूह के साथ मॉडल को ट्यून कर सकता है।
सुधार की निगरानी
यह मानदंड प्रत्येक पुनरावृत्ति के बाद मॉडल के अभिसरण की निगरानी करता है और यदि प्रशिक्षण नौकरियों की एक निर्धारित संख्या के बाद मॉडल में सुधार नहीं होता है तो ट्यूनिंग रोक देता है। निम्नलिखित कॉन्फ़िगरेशन देखें:
इस मामले में हम सेट करते हैं MaxNumberOfTrainingJobsNotImproving
10 तक, जिसका अर्थ है कि यदि 10 प्रशिक्षण नौकरियों के बाद उद्देश्य मीट्रिक में सुधार होना बंद हो जाता है, तो ट्यूनिंग रोक दी जाएगी और सर्वोत्तम मॉडल और मीट्रिक की सूचना दी जाएगी।
सुधार निगरानी का उपयोग मॉडल की गुणवत्ता और समग्र वर्कफ़्लो अवधि के बीच एक ऐसे तरीके से तालमेल बिठाने के लिए किया जाना चाहिए जो संभवतः विभिन्न अनुकूलन समस्याओं के बीच हस्तांतरणीय हो।
अभिसरण का पता लगाना
कन्वर्जेंस डिटेक्शन एक पूर्णता मानदंड है जो स्वचालित मॉडल ट्यूनिंग को यह तय करने देता है कि ट्यूनिंग कब बंद करनी है। आम तौर पर, स्वचालित मॉडल ट्यूनिंग तब ट्यूनिंग बंद कर देगी जब यह अनुमान लगाया जाएगा कि कोई महत्वपूर्ण सुधार हासिल नहीं किया जा सकता है। निम्नलिखित कॉन्फ़िगरेशन देखें:
मानदंड तब सबसे उपयुक्त होता है जब आप शुरू में नहीं जानते कि कौन सी स्टॉपिंग सेटिंग्स का चयन करना है।
यह तब भी उपयोगी है यदि आप नहीं जानते कि समस्या और डेटासेट को देखते हुए एक अच्छी भविष्यवाणी के लिए कौन सा लक्ष्य उद्देश्य मीट्रिक उचित है, और जब इसमें सुधार नहीं हो रहा हो तो ट्यूनिंग कार्य पूरा करना चाहेंगे।
पूर्णता मानदंड की तुलना के साथ प्रयोग
इस प्रयोग में, एक प्रतिगमन कार्य को देखते हुए, हम कुल मिलाकर 3 हाइपरपैरामीटर कॉन्फ़िगरेशन वाले 2 हाइपरपैरामीटर के खोज स्थान के भीतर इष्टतम मॉडल खोजने के लिए 200 ट्यूनिंग प्रयोग चलाते हैं। प्रत्यक्ष विपणन डेटासेट.
बाकी सब कुछ समान होने के साथ, पहले मॉडल को इसके साथ ट्यून किया गया था BestObjectiveNotImproving
पूर्णता मानदंड, दूसरे मॉडल को इसके साथ ट्यून किया गया था CompleteOnConvergence
और तीसरे मॉडल को बिना किसी पूर्णता मानदंड के परिभाषित किया गया था।
प्रत्येक कार्य का वर्णन करते समय, हम उस सेटिंग का अवलोकन कर सकते हैं BestObjectiveNotImproving
मानदंड ने वस्तुनिष्ठ मीट्रिक के सापेक्ष सबसे इष्टतम संसाधन और समय का नेतृत्व किया है और काफी कम नौकरियां चलीं।
RSI CompleteOnConvergence
मानदंड प्रयोग के बीच में ट्यूनिंग को रोकने में भी सक्षम था जिसके परिणामस्वरूप मानदंड निर्धारित न करने की तुलना में कम प्रशिक्षण कार्य और कम प्रशिक्षण समय हुआ।
पूर्णता मानदंड निर्धारित नहीं करने के परिणामस्वरूप इसे परिभाषित करना एक महंगा प्रयोग बन गया MaxRuntimeInSeconds
संसाधन सीमा के हिस्से के रूप में लागत को कम करने का एक तरीका होगा।
उपरोक्त परिणाम दिखाते हैं कि पूर्णता मानदंड को परिभाषित करते समय, अमेज़ॅन सेजमेकर समझदारी से ट्यूनिंग प्रक्रिया को रोकने में सक्षम होता है जब उसे पता चलता है कि मॉडल में वर्तमान परिणाम से परे सुधार की संभावना कम है।
ध्यान दें कि सेजमेकर स्वचालित मॉडल ट्यूनिंग में समर्थित पूर्णता मानदंड परस्पर अनन्य नहीं हैं और किसी मॉडल को ट्यून करते समय समवर्ती रूप से उपयोग किया जा सकता है।
जब एक से अधिक पूर्णता मानदंड परिभाषित किए जाते हैं, तो कोई भी मानदंड पूरा होने पर ट्यूनिंग कार्य पूरा हो जाता है।
उदाहरण के लिए, एक अभिसरण मानदंड के साथ अधिकतम ट्यूनिंग समय जैसे संसाधन सीमा मानदंड का संयोजन, जैसे कि सुधार निगरानी या अभिसरण का पता लगाना, एक इष्टतम लागत नियंत्रण और एक इष्टतम उद्देश्य मेट्रिक्स का उत्पादन कर सकता है।
निष्कर्ष
इस पोस्ट में, हमने चर्चा की कि कैसे अब आप सेजमेकर में नए शुरू किए गए पूर्णता मानदंडों के एक सेट का चयन करके समझदारी से अपने ट्यूनिंग कार्य को रोक सकते हैं, जैसे कि अधिकतम ट्यूनिंग समय, सुधार की निगरानी, या अभिसरण का पता लगाना।
हमने एक प्रयोग के साथ प्रदर्शित किया कि संपूर्ण पुनरावृत्ति में सुधार अवलोकन के आधार पर बुद्धिमान रोक से पूर्णता मानदंड को परिभाषित न करने की तुलना में काफी अनुकूलित बजट और समय प्रबंधन हो सकता है।
हमने यह भी दिखाया कि ये मानदंड परस्पर अनन्य नहीं हैं और बजट नियंत्रण और इष्टतम अभिसरण दोनों का लाभ उठाने के लिए मॉडल को ट्यून करते समय समवर्ती रूप से उपयोग किया जा सकता है।
स्वचालित मॉडल ट्यूनिंग को कॉन्फ़िगर करने और चलाने के तरीके के बारे में अधिक जानकारी के लिए, देखें हाइपरपैरामीटर ट्यूनिंग जॉब सेटिंग्स निर्दिष्ट करें.
लेखक के बारे में
डौग म्बाया डेटा और एनालिटिक्स में फोकस के साथ एक सीनियर पार्टनर सॉल्यूशन आर्किटेक्ट है। डौग एडब्ल्यूएस भागीदारों के साथ मिलकर काम करता है, जिससे उन्हें क्लाउड में डेटा और एनालिटिक्स समाधानों को एकीकृत करने में मदद मिलती है।
चैत्र माथुरी AWS में प्रिंसिपल सॉल्यूशंस आर्किटेक्ट हैं। वह AWS पर अत्यधिक मापनीय, विश्वसनीय, सुरक्षित और लागत प्रभावी समाधान बनाने में ग्राहकों और भागीदारों का मार्गदर्शन करती है। वह मशीन लर्निंग के बारे में भावुक है और ग्राहकों को एडब्ल्यूएस एआई / एमएल सेवाओं का उपयोग करके उनकी एमएल जरूरतों को समाधान में अनुवाद करने में मदद करती है। उसके पास एमएल स्पेशलिटी सर्टिफिकेशन सहित 5 प्रमाणपत्र हैं। अपने खाली समय में वह पढ़ना, योग करना और अपनी बेटियों के साथ समय बिताना पसंद करती हैं।
इरोसलव शचरबती AWS में मशीन लर्निंग इंजीनियर हैं। वह मुख्य रूप से अमेज़ॅन सेजमेकर प्लेटफ़ॉर्म में सुधार और ग्राहकों को इसकी सुविधाओं का सर्वोत्तम उपयोग करने में मदद करने पर काम करता है। अपने खाली समय में, वह जिम जाना, आइस स्केटिंग या लंबी पैदल यात्रा जैसे आउटडोर खेल करना और नए एआई अनुसंधान को सीखना पसंद करते हैं।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- योग्य
- About
- ऊपर
- लेखा
- शुद्धता
- पाना
- हासिल
- के पार
- इसके अलावा
- अतिरिक्त
- लाभ
- बाद
- AI
- ai शोध
- ऐ / एमएल
- कलन विधि
- सब
- पहले ही
- वीरांगना
- अमेज़न SageMaker
- राशि
- विश्लेषिकी
- और
- लागू
- स्वचालित
- स्वतः
- एडब्ल्यूएस
- आधारित
- से पहले
- जा रहा है
- लाभ
- लाभ
- BEST
- बेहतर
- के बीच
- परे
- सीमा
- लाना
- बजट
- इमारत
- बुलाया
- मामला
- कुश्ती
- कुछ
- प्रमाणीकरण
- प्रमाणपत्र
- चुनौतियों
- चुनें
- करने के लिए चुना
- निकट से
- बादल
- संयोजन
- तुलना
- तुलना
- पूरा
- पूरा
- पूरा करता है
- समापन
- गणना करना
- विन्यास
- नियंत्रण
- कन्वर्जेंस
- लागत
- लागत बचत
- प्रभावी लागत
- लागत
- सका
- मापदंड
- वर्तमान
- ग्राहक
- तिथि
- परिभाषित
- परिभाषित करने
- साबित
- वांछित
- विवरण
- खोज
- विभिन्न
- छूट
- चर्चा करना
- चर्चा की
- नहीं करता है
- dont
- से प्रत्येक
- शीघ्र
- सक्षम
- इंजीनियर
- सुनिश्चित
- अनुमानित
- अनुमान
- मूल्यांकन
- सब कुछ
- उदाहरण
- अनन्य
- मौजूदा
- महंगा
- प्रयोग
- अन्वेषण
- का पता लगाने
- परिचित
- Feature
- विशेषताएं
- खोज
- खोज
- पाता
- प्रथम
- फोकस
- निम्नलिखित
- सूत्र
- पूर्ण
- आम तौर पर
- मिल
- दी
- देते
- Go
- लक्ष्य
- अच्छा
- मार्गदर्शिकाएँ
- व्यायामशाला
- होने
- मदद
- मदद करता है
- उच्चतर
- अत्यधिक
- रखती है
- कैसे
- How To
- तथापि
- एचटीएमएल
- HTTPS
- हाइपरपरमेटर अनुकूलन
- हाइपरपरमेटर ट्यूनिंग
- बर्फ
- पहचान करना
- में सुधार
- सुधार
- सुधार
- में सुधार लाने
- in
- अन्य में
- सहित
- बढ़ जाती है
- व्यक्ति
- शुरू में
- एकीकृत
- बुद्धिमान
- शुरू की
- द्वारा प्रस्तुत
- IT
- यात्रा
- पुनरावृत्तियों
- काम
- नौकरियां
- जानना
- जानने वाला
- बड़ा
- परत
- नेतृत्व
- सीख रहा हूँ
- नेतृत्व
- चलें
- स्तर
- संभावित
- सीमा
- सीमित
- लंबे समय तक
- मशीन
- यंत्र अधिगम
- प्रबंध
- बहुत
- विपणन (मार्केटिंग)
- मैक्स
- अधिकतम करने के लिए
- अधिकतम
- साधन
- की बैठक
- तरीका
- मीट्रिक
- मेट्रिक्स
- कम से कम
- ML
- आदर्श
- मॉडल
- निगरानी
- पर नज़र रखता है
- अधिक
- अधिकांश
- विभिन्न
- आपस लगीं
- की जरूरत है
- नया
- संख्या
- उद्देश्य
- उद्देश्य
- निरीक्षण
- ONE
- संचालित
- इष्टतम
- इष्टतमीकरण
- अनुकूलित
- विकल्प
- अन्य
- कुल
- प्राचल
- भाग
- साथी
- भागीदारों
- आवेशपूर्ण
- प्रदर्शन
- अवधि
- चरण
- मंच
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- पद
- शुद्धता
- भविष्यवाणी
- पहले से
- प्रिंसिपल
- मुसीबत
- समस्याओं
- प्रक्रिया
- उत्पादन
- प्रक्षेपित
- बशर्ते
- प्रदान कर
- गुणवत्ता
- पहुंच
- पहुँचे
- पढ़ना
- उचित
- संबंध
- विश्वसनीय
- की सूचना दी
- अनुसंधान
- संसाधन
- उपयुक्त संसाधन चुनें
- परिणाम
- जिसके परिणामस्वरूप
- परिणाम
- रन
- त्याग
- sagemaker
- सेजमेकर स्वचालित मॉडल ट्यूनिंग
- बचत
- स्केलेबल
- Search
- दूसरा
- सेकंड
- सुरक्षित
- का चयन
- चयन
- वरिष्ठ
- सेवाएँ
- सेट
- की स्थापना
- सेटिंग्स
- चाहिए
- दिखाना
- महत्वपूर्ण
- काफी
- छोटा
- छोटे
- So
- समाधान
- समाधान ढूंढे
- हल करती है
- कुछ
- अंतरिक्ष
- विशेषता
- विशिष्ट
- विनिर्दिष्ट
- खर्च
- spins में
- खेल-कूद
- रुकें
- रोक
- रोक
- बंद हो जाता है
- ऐसा
- समर्थन
- समर्थित
- समर्थन करता है
- लेना
- लक्ष्य
- कार्य
- शर्तों
- RSI
- लेकिन हाल ही
- तीसरा
- तीन
- द्वार
- यहाँ
- पहर
- बार
- सेवा मेरे
- भी
- कुल
- प्रशिक्षण
- अनुवाद करना
- ठेठ
- उपयोग
- उदाहरण
- उपयोगकर्ता
- सत्यापन
- मूल्य
- संस्करण
- तरीके
- क्या
- कौन कौन से
- कौन
- मर्जी
- अंदर
- बिना
- शब्द
- कार्य
- होगा
- प्राप्ति
- योग
- आप
- आपका
- जेफिरनेट