आज, डेटा वैज्ञानिक जो गहन शिक्षण मॉडल का प्रशिक्षण दे रहे हैं, उन्हें उत्पादन परिनियोजन के लिए सटीकता लक्ष्यों को पूरा करने के लिए मॉडल प्रशिक्षण मुद्दों की पहचान करने और उनका समाधान करने की आवश्यकता है, और डिबगिंग मॉडल प्रशिक्षण के लिए मानक उपकरणों का उपयोग करने के तरीके की आवश्यकता है। डेटा वैज्ञानिक समुदाय के बीच, TensorBoard एक लोकप्रिय टूलकिट है जो डेटा वैज्ञानिकों को उनके मशीन लर्निंग (ML) मॉडल और प्रशिक्षण प्रक्रियाओं के विभिन्न पहलुओं की कल्पना और विश्लेषण करने की अनुमति देता है। यह प्रशिक्षण मेट्रिक्स की कल्पना करने, मॉडल आर्किटेक्चर की जांच करने, एम्बेडिंग की खोज करने आदि के लिए उपकरणों का एक सूट प्रदान करता है। TensorFlow और PyTorch प्रोजेक्ट अपने आधिकारिक दस्तावेज़ों और उदाहरणों में TensorBoard का समर्थन और उपयोग दोनों करते हैं।
अमेज़न SageMaker TensorBoard के साथ एक क्षमता है जो TensorBoard के विज़ुअलाइज़ेशन टूल को SageMaker में लाती है। SageMaker प्रशिक्षण नौकरियों और डोमेन के साथ एकीकृत, यह SageMaker डोमेन उपयोगकर्ताओं को TensorBoard डेटा तक पहुँच प्रदान करता है और डोमेन उपयोगकर्ताओं को SageMaker TensorBoard विज़ुअलाइज़ेशन प्लगइन्स का उपयोग करके मॉडल डिबगिंग कार्य करने में मदद करता है। जब वे एक SageMaker प्रशिक्षण कार्य बनाते हैं, तो डोमेन उपयोगकर्ता SageMaker Python SDK या Boto3 API का उपयोग करके TensorBoard का उपयोग कर सकते हैं। TensorBoard के साथ SageMaker, SageMaker Data Manager प्लगइन द्वारा समर्थित है, जिसके साथ डोमेन उपयोगकर्ता TensorBoard एप्लिकेशन के भीतर एक ही स्थान पर कई प्रशिक्षण नौकरियों तक पहुँच सकते हैं।
इस पोस्ट में, हम प्रदर्शित करते हैं कि कैसे SageMaker Python SDK का उपयोग करके SageMaker में TensorBoard के साथ प्रशिक्षण कार्य सेट अप करें, SageMaker TensorBoard तक पहुँचें, TensorBoard में विज़ुअलाइज़ किए गए प्रशिक्षण आउटपुट डेटा का अन्वेषण करें और अप्रयुक्त TensorBoard एप्लिकेशन को हटाएं।
समाधान अवलोकन
सैजमेकर में गहन सीखने के लिए एक विशिष्ट प्रशिक्षण कार्य में दो मुख्य चरण होते हैं: एक प्रशिक्षण स्क्रिप्ट तैयार करना और एक सेजमेकर प्रशिक्षण जॉब लॉन्चर को कॉन्फ़िगर करना। इस पोस्ट में, हम आपको SageMaker प्रशिक्षण से TensorBoard-संगत डेटा एकत्र करने के लिए आवश्यक परिवर्तनों के बारे में बताते हैं।
.. पूर्वापेक्षाएँ
TensorBoard के साथ SageMaker का उपयोग शुरू करने के लिए, आपको AWS खाते के तहत Amazon VPC के साथ SageMaker डोमेन सेट अप करना होगा। SageMaker पर TensorBoard तक पहुँचने के लिए प्रत्येक व्यक्तिगत उपयोगकर्ता के लिए डोमेन उपयोगकर्ता प्रोफ़ाइल की आवश्यकता होती है, और AWS पहचान और अभिगम प्रबंधन (IAM) निष्पादन भूमिका के लिए निम्न सहित अनुमतियों के न्यूनतम सेट की आवश्यकता होती है:
sagemaker:CreateApp
sagemaker:DeleteApp
sagemaker:DescribeTrainingJob
sagemaker:Search
s3:GetObject
s3:ListBucket
SageMaker डोमेन और उपयोगकर्ता प्रोफ़ाइल कैसे सेट करें, इस बारे में अधिक जानकारी के लिए, देखें त्वरित सेटअप का उपयोग करके अमेज़न सैजमेकर डोमेन पर ऑनबोर्ड और उपयोगकर्ता प्रोफ़ाइल जोड़ें और निकालें.
निर्देशिका संरचना
उपयोग करते समय अमेज़ॅन सैजमेकर स्टूडियो, निर्देशिका संरचना को निम्नानुसार व्यवस्थित किया जा सकता है:
यहाँ, script/train.py
आपकी प्रशिक्षण स्क्रिप्ट है, और simple_tensorboard.ipynb
सेजमेकर प्रशिक्षण कार्य की शुरूआत की।
अपनी प्रशिक्षण स्क्रिप्ट को संशोधित करें
आप टेंसर और स्केलर एकत्र करने के लिए निम्न में से किसी भी टूल का उपयोग कर सकते हैं: TensorBoardX, TensorFlow सारांश लेखक, PyTorch सारांश लेखक, या अमेज़न SageMaker डिबगर, और प्रशिक्षण कंटेनर में लॉग निर्देशिका के रूप में डेटा आउटपुट पथ निर्दिष्ट करें (log_dir
). इस नमूना कोड में, हम वर्गीकरण कार्य के लिए एक सरल, पूरी तरह से जुड़े तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए TensorFlow का उपयोग करते हैं। अन्य विकल्पों के लिए देखें TensorBoard आउटपुट डेटा कॉन्फ़िगरेशन के साथ प्रशिक्षण कार्य तैयार करें. में train()
समारोह, हम उपयोग करते हैं tensorflow.keras.callbacks
टेंसर और स्केलर एकत्र करने के लिए .TensorBoard टूल निर्दिष्ट करें /opt/ml/output/tensorboard
प्रशिक्षण कंटेनर में लॉग निर्देशिका के रूप में, और इसे मॉडल प्रशिक्षण कॉलबैक तर्क में पास करें। निम्न कोड देखें:
TensorBoard डेटा कॉन्फ़िगरेशन के साथ SageMaker ट्रेनिंग लॉन्चर बनाएं
SageMaker.debugger.TensorBoardOutputConfig का उपयोग SageMaker फ्रेमवर्क एस्टिमेटर को कॉन्फ़िगर करते समय करें, जो मैप करता है अमेज़न सरल भंडारण सेवा (Amazon S3) बकेट जिसे आप प्रशिक्षण कंटेनर में स्थानीय पथ के साथ TensorBoard डेटा को सहेजने के लिए निर्दिष्ट करते हैं (उदाहरण के लिए, /opt/ml/output/tensorboard
). आप एक अलग कंटेनर स्थानीय आउटपुट पथ का उपयोग कर सकते हैं। हालांकि, यह के मूल्य के अनुरूप होना चाहिए LOG_DIR
चर, जैसा कि पिछले चरण में निर्दिष्ट किया गया है, SageMaker को प्रशिक्षण कंटेनर में स्थानीय पथ को सफलतापूर्वक खोजने और TensorBoard डेटा को S3 आउटपुट बकेट में सहेजने के लिए।
अगला, मॉड्यूल के ऑब्जेक्ट को पास करें tensorboard_output_config
अनुमानक वर्ग के पैरामीटर। निम्न कोड स्निपेट TensorBoard आउटपुट कॉन्फ़िगरेशन पैरामीटर के साथ TensorFlow अनुमानक तैयार करने का एक उदाहरण दिखाता है।
निम्नलिखित बॉयलरप्लेट कोड है:
निम्नलिखित कोड प्रशिक्षण कंटेनर के लिए है:
निम्नलिखित कोड TensorBoard कॉन्फ़िगरेशन है:
निम्न कोड के साथ प्रशिक्षण कार्य प्रारंभ करें:
SageMaker पर TensorBoard ऐक्सेस करें
आप TensorBoard को दो तरीकों से एक्सेस कर सकते हैं: प्रोग्रामेटिक रूप से sagemaker.interactive_apps.tensorboard
मॉड्यूल जो URL उत्पन्न करता है या SageMaker कंसोल पर TensorBoard लैंडिंग पृष्ठ का उपयोग करता है। आपके द्वारा TensorBoard खोलने के बाद, SageMaker TensorBoard प्लगइन चलाता है और स्वचालित रूप से प्रशिक्षण के दौरान या बाद में प्रशिक्षण कार्य के साथ जोड़े गए S3 बकेट से TensorBoard-संगत फ़ाइल प्रारूप में सभी प्रशिक्षण कार्य आउटपुट डेटा को ढूंढता और लोड करता है।
निम्न कोड URL को TensorBoard कंसोल लैंडिंग पृष्ठ पर स्वत: जनरेट करता है:
यह निम्नलिखित संदेश को एक URL के साथ लौटाता है जो TensorBoard लैंडिंग पृष्ठ खोलता है।
SageMaker कंसोल से TensorBoard खोलने के लिए, कृपया देखें SageMaker पर TensorBoard को कैसे एक्सेस करें.
जब आप TensorBoard ऐप्लिकेशन खोलते हैं, तो TensorBoard इसके साथ खुलता है सेजमेकर डेटा मैनेजर टैब। निम्न स्क्रीनशॉट इसका पूरा दृश्य दिखाता है सेजमेकर डेटा मैनेजर TensorBoard एप्लिकेशन में टैब।
पर सेजमेकर डेटा मैनेजर टैब पर, आप कोई भी प्रशिक्षण कार्य चुन सकते हैं और Amazon S3 से TensorBoard- संगत प्रशिक्षण आउटपुट डेटा लोड कर सकते हैं।
- में प्रशिक्षण कार्य जोड़ें अनुभाग, उन प्रशिक्षण कार्यों को चुनने के लिए चेक बॉक्स का उपयोग करें जिनसे आप डेटा निकालना चाहते हैं और डिबगिंग के लिए विज़ुअलाइज़ करना चाहते हैं।
- चुनें चयनित कार्य जोड़ें.
चयनित नौकरियां इसमें दिखाई देनी चाहिए ट्रैक किए गए प्रशिक्षण नौकरियां अनुभाग।
ऊपरी-दाएँ कोने में ताज़ा करें आइकन चुनकर दर्शक को ताज़ा करें, और कार्य डेटा सफलतापूर्वक लोड होने के बाद विज़ुअलाइज़ेशन टैब दिखाई देने चाहिए।
TensorBoard में विज़ुअलाइज़ किए गए प्रशिक्षण आउटपुट डेटा का अन्वेषण करें
पर समय श्रृंखला टैब और अन्य ग्राफ़िक्स-आधारित टैब, आप की सूची देख सकते हैं ट्रैक किए गए प्रशिक्षण नौकरियां बाएँ फलक में। आप विज़ुअलाइज़ेशन दिखाने या छिपाने के लिए प्रशिक्षण कार्यों के चेक बॉक्स का भी उपयोग कर सकते हैं। TensorBoard डायनेमिक प्लगइन्स गतिशील रूप से सक्रिय होते हैं, यह इस बात पर निर्भर करता है कि आपने सारांश लेखकों को शामिल करने और टेन्सर और स्केलर संग्रह के लिए कॉलबैक पास करने के लिए अपनी प्रशिक्षण स्क्रिप्ट को कैसे सेट किया है, और ग्राफ़िक्स टैब भी गतिशील रूप से दिखाई देते हैं। निम्नलिखित स्क्रीनशॉट दो प्रशिक्षण नौकरियों के एकत्रित मेट्रिक्स के विज़ुअलाइज़ेशन के साथ प्रत्येक टैब के उदाहरण दृश्य दिखाते हैं। मेट्रिक्स में टाइम सीरीज़, स्केलर, ग्राफ, डिस्ट्रीब्यूशन और हिस्टोग्राम प्लगइन्स शामिल हैं।
निम्न स्क्रीनशॉट है समय श्रृंखला टैब दृश्य।
निम्न स्क्रीनशॉट है अदिश टैब दृश्य।
निम्न स्क्रीनशॉट है रेखाचित्र टैब दृश्य।
निम्न स्क्रीनशॉट है वितरण टैब दृश्य।
निम्न स्क्रीनशॉट है Histograms टैब दृश्य।
क्लीन अप
TensorBoard में नौकरियों की निगरानी और प्रयोग करने के बाद, TensorBoard एप्लिकेशन को बंद कर दें:
- SageMaker कंसोल पर, चुनें डोमेन नेविगेशन फलक में
- अपना डोमेन चुनें।
- अपना उपयोगकर्ता प्रोफ़ाइल चुनें।
- के अंतर्गत ऐप्स , चुनें ऐप हटाएं TensorBoard पंक्ति के लिए।
- चुनें हां, ऐप हटाएं.
- टेक्स्ट बॉक्स में डिलीट दर्ज करें, फिर चुनें मिटाना.
पृष्ठ के शीर्ष पर एक संदेश दिखाई देना चाहिए: "डिफ़ॉल्ट हटाया जा रहा है"।
निष्कर्ष
TensorBoard गहन शिक्षण मॉडल की कल्पना, विश्लेषण और डिबगिंग के लिए एक शक्तिशाली उपकरण है। इस पोस्ट में, हम TensorBoard के साथ SageMaker का उपयोग करने के लिए एक गाइड प्रदान करते हैं, जिसमें SageMaker Python SDK का उपयोग करके SageMaker प्रशिक्षण कार्य में TensorBoard को कैसे सेट अप करना, SageMaker TensorBoard तक पहुँचना, TensorBoard में विज़ुअलाइज़ किए गए प्रशिक्षण आउटपुट डेटा का पता लगाना और अप्रयुक्त TensorBoard एप्लिकेशन को हटाना शामिल है। इन चरणों का पालन करके, आप अपने काम के लिए SageMaker में TensorBoard का उपयोग करना प्रारंभ कर सकते हैं।
हम आपको विभिन्न विशेषताओं और तकनीकों के साथ प्रयोग करने के लिए प्रोत्साहित करते हैं।
लेखक के बारे में
डॉ. बाइचुआन सुन AWS AI/ML में वरिष्ठ डेटा वैज्ञानिक हैं। उन्हें क्लाउड पर डेटा-संचालित कार्यप्रणाली का उपयोग करके ग्राहकों के साथ रणनीतिक व्यावसायिक समस्याओं को हल करने का शौक है, और वे रोबोटिक्स कंप्यूटर विज़न, समय श्रृंखला पूर्वानुमान, मूल्य अनुकूलन, भविष्य कहनेवाला रखरखाव, दवा विकास, उत्पाद सिफारिश प्रणाली सहित चुनौतीपूर्ण क्षेत्रों में परियोजनाओं का नेतृत्व कर रहे हैं। आदि। अपने खाली समय में वह यात्रा करना और परिवार के साथ घूमना पसंद करते हैं।
मनोज रवि Amazon SageMaker के वरिष्ठ उत्पाद प्रबंधक हैं। उन्हें अगली पीढ़ी के एआई उत्पादों के निर्माण का शौक है और वे ग्राहकों के लिए बड़े पैमाने पर मशीन लर्निंग को आसान बनाने के लिए सॉफ्टवेयर और टूल्स पर काम करते हैं। उन्होंने हास स्कूल ऑफ बिजनेस से एमबीए किया है और कार्नेगी मेलॉन यूनिवर्सिटी से सूचना प्रणाली प्रबंधन में मास्टर्स किया है। मनोज अपने खाली समय में टेनिस खेलना और लैंडस्केप फोटोग्राफी करना पसंद करते हैं।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोआईस्ट्रीम। Web3 डेटा इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- मिंटिंग द फ्यूचर डब्ल्यू एड्रिएन एशले। यहां पहुंचें।
- PREIPO® के साथ PRE-IPO कंपनियों में शेयर खरीदें और बेचें। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-with-tensorboard-overview-of-a-hosted-tensorboard-experience/
- :हैस
- :है
- $यूपी
- 1
- 10
- 100
- 11
- 15% तक
- 26% तक
- 28
- 7
- 8
- 9
- a
- About
- पहुँच
- लेखा
- शुद्धता
- ऐडम
- बाद
- AI
- ऐ / एमएल
- सब
- की अनुमति देता है
- भी
- वीरांगना
- अमेज़न SageMaker
- के बीच में
- an
- विश्लेषण करें
- का विश्लेषण
- और
- कोई
- एपीआई
- अनुप्रयोग
- दिखाई देते हैं
- आवेदन
- अनुप्रयोगों
- हैं
- क्षेत्रों के बारे में जानकारी का उपयोग करके ट्रेडिंग कर सकते हैं।
- तर्क
- AS
- पहलुओं
- At
- स्वतः
- एडब्ल्यूएस
- BE
- किया गया
- जा रहा है
- के छात्रों
- मुक्केबाज़ी
- बक्से
- लाता है
- इमारत
- व्यापार
- by
- कर सकते हैं
- कार्नेगी मेलॉन
- चुनौतीपूर्ण
- परिवर्तन
- चेक
- चुनें
- चुनने
- कक्षा
- बादल
- कोड
- इकट्ठा
- संग्रह
- समुदाय
- कंप्यूटर
- Computer Vision
- विन्यास
- जुड़ा हुआ
- संगत
- कंसोल
- कंटेनर
- कोना
- बनाना
- ग्राहक
- तिथि
- आँकड़े वाला वैज्ञानिक
- डेटा पर ही आधारित
- डेटासेट
- दिनांक और समय
- गहरा
- ध्यान लगा के पढ़ना या सीखना
- दिखाना
- निर्भर करता है
- तैनाती
- विकास
- वितरण
- दस्तावेज़ीकरण
- डोमेन
- डोमेन
- किया
- नीचे
- दौरान
- गतिशील
- गतिशील
- से प्रत्येक
- आसान
- अन्य
- प्रोत्साहित करना
- का समर्थन किया
- अवधियों को
- आदि
- मूल्यांकित
- जांच
- उदाहरण
- उदाहरण
- निष्पादन
- अनुभव
- प्रयोग
- का पता लगाने
- तलाश
- परिवार
- विशेषताएं
- फिट
- निम्नलिखित
- इस प्रकार है
- के लिए
- प्रारूप
- ढांचा
- से
- पूर्ण
- पूरी तरह से
- समारोह
- उत्पन्न करता है
- ग्राफ
- ग्राफ़िक्स
- गाइड
- है
- he
- मदद करता है
- छिपाना
- उसके
- रखती है
- मेजबानी
- कैसे
- How To
- तथापि
- एचटीएमएल
- http
- HTTPS
- नायक
- पहचान करना
- पहचान
- if
- आयात
- in
- शामिल
- सहित
- व्यक्ति
- करें-
- सूचना प्रणालियों
- एकीकृत
- में
- मुद्दों
- IT
- काम
- नौकरियां
- जेपीजी
- JSON
- keras
- अवतरण
- परिदृश्य
- बड़े पैमाने पर
- शुरूआत
- परतों
- प्रमुख
- सीख रहा हूँ
- बाएं
- लिंक्डइन
- सूची
- भार
- भार
- स्थानीय
- लॉग इन
- बंद
- मशीन
- यंत्र अधिगम
- मुख्य
- रखरखाव
- बनाना
- प्रबंध
- प्रबंधक
- बहुत
- मैप्स
- मिलना
- मेलॉन
- message
- क्रियाविधि
- तरीकों
- मेट्रिक्स
- न्यूनतम
- ML
- आदर्श
- मॉडल
- मॉड्यूल
- निगरानी
- अधिक
- चाहिए
- नेविगेट करें
- पथ प्रदर्शन
- आवश्यकता
- की जरूरत है
- नेटवर्क
- तंत्रिका नेटवर्क
- संख्या
- वस्तु
- of
- on
- ONE
- खुला
- उद्घाटन
- खोलता है
- इष्टतमीकरण
- ऑप्शंस
- or
- संगठित
- OS
- अन्य
- आउट
- उत्पादन
- सिंहावलोकन
- पृष्ठ
- बनती
- फलक
- प्राचल
- पास
- आवेशपूर्ण
- पथ
- निष्पादन
- अनुमतियाँ
- फार्मास्युटिकल
- फ़ोटोग्राफ़ी
- जगह
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- खेल
- कृप्या अ
- लगाना
- plugins
- लोकप्रिय
- पद
- शक्तिशाली
- तैयारी
- पिछला
- मूल्य
- समस्याओं
- प्रक्रियाओं
- एस्ट्रो मॉल
- उत्पादन प्रबंधक
- उत्पादन
- उत्पाद
- परियोजनाओं
- प्रदान करना
- प्रदान करता है
- अजगर
- pytorch
- त्वरित
- सिफारिश
- क्षेत्र
- हटाना
- की आवश्यकता होती है
- अपेक्षित
- वापसी
- रिटर्न
- रोबोटिक्स
- भूमिका
- आरओडब्ल्यू
- sagemaker
- सहेजें
- बचत
- स्कूल के साथ
- वैज्ञानिक
- वैज्ञानिकों
- स्क्रीनशॉट
- एसडीके
- Search
- देखना
- चयनित
- वरिष्ठ
- कई
- सत्र
- सेट
- व्यवस्था
- चाहिए
- दिखाना
- दिखाता है
- सरल
- सॉफ्टवेयर
- सुलझाने
- मानक
- प्रारंभ
- कदम
- कदम
- भंडारण
- की दुकान
- सामरिक
- रणनीतिक व्यापार
- संरचना
- स्टूडियो
- सफलतापूर्वक
- सूट
- सारांश
- समर्थित
- प्रणाली
- सिस्टम
- लक्ष्य
- कार्य
- कार्य
- तकनीक
- tensorflow
- परीक्षण
- कि
- RSI
- लेकिन हाल ही
- फिर
- इन
- वे
- इसका
- यहाँ
- पहर
- समय श्रृंखला
- सेवा मेरे
- साधन
- टूलकिट
- उपकरण
- ऊपर का
- रेलगाड़ी
- प्रशिक्षण
- यात्रा का
- दो
- टाइप
- ठेठ
- के अंतर्गत
- विश्वविद्यालय
- अप्रयुक्त
- यूआरएल
- उपयोग
- उपयोगकर्ता
- उपयोगकर्ताओं
- का उपयोग
- उपयोग
- मूल्य
- विभिन्न
- देखें
- विचारों
- दृष्टि
- दृश्य
- करना चाहते हैं
- मार्ग..
- we
- कब
- कौन कौन से
- जब
- कौन
- साथ में
- अंदर
- काम
- कार्य
- लेखक
- आप
- आपका
- जेफिरनेट