Amazon SageMaker ट्रेनिंग पर PyTorch लाइटनिंग और देशी PyTorch DDP चलाएँ, जिसमें Amazon Search शामिल है

इतना डेटा, इतना कम समय। मशीन लर्निंग (एमएल) विशेषज्ञों, डेटा वैज्ञानिकों, इंजीनियरों और उत्साही लोगों ने दुनिया भर में इस समस्या का सामना किया है। प्राकृतिक भाषा प्रसंस्करण से लेकर कंप्यूटर विज़न, सारणीबद्ध से लेकर समय श्रृंखला तक, और बीच में सब कुछ, कई GPU के विरुद्ध डेटा चलाते समय गति के अनुकूलन की सदियों पुरानी समस्या ने अनगिनत समाधानों को प्रेरित किया है। आज, हमें PyTorch डेवलपर्स के लिए स्थानीय ओपन-सोर्स फ्रेमवर्क का उपयोग करने वाली सुविधाओं की घोषणा करते हुए खुशी हो रही है, जैसे PyTorch लाइटनिंग और PyTorch डीडीपी, जो बादल तक उनके मार्ग को सुव्यवस्थित करेगा।

अमेज़न SageMaker एमएल के लिए पूरी तरह से प्रबंधित सेवा है, और सेजमेकर मॉडल प्रशिक्षण बड़े पैमाने पर उच्च-प्रदर्शन प्रशिक्षण के लिए एक अनुकूलित गणना वातावरण है। सेजमेकर मॉडल प्रशिक्षण उच्च प्रदर्शन और कम लागत पर एमएल मॉडल को आसानी से प्रशिक्षित और पुन: पेश करने के लिए एक सहज नियंत्रण विमान के साथ एक दूरस्थ प्रशिक्षण अनुभव प्रदान करता है। हम सेजमेकर प्रशिक्षण पोर्टफोलियो में नई सुविधाओं की घोषणा करने के लिए रोमांचित हैं जो बड़े पैमाने पर चलने वाले पायटॉर्च को और भी आसान और अधिक सुलभ बनाते हैं:

1. PyTorch Lightning को अब एकीकृत किया जा सकता है सेजमेकर का वितरित डेटा समानांतर पुस्तकालय कोड परिवर्तन की केवल एक-पंक्ति के साथ।
2. सेजमेकर मॉडल प्रशिक्षण अब एनसीसीएल बैकएंड के साथ देशी PyTorch वितरित डेटा समानांतर के लिए समर्थन है, जिससे डेवलपर्स को पहले से कहीं ज्यादा आसान सेजमेकर पर माइग्रेट करने की अनुमति मिलती है।

इस पोस्ट में, हम इन नई विशेषताओं पर चर्चा करते हैं, और यह भी सीखते हैं कि अमेज़ॅन सर्च ने मॉडल प्रशिक्षण समय को तेज करने के लिए सेजमेकर में अनुकूलित वितरित प्रशिक्षण बैकएंड के साथ PyTorch लाइटनिंग कैसे चलाया है।

अमेज़ॅन सर्च केस स्टडी में गोता लगाने से पहले, जो परिचित नहीं हैं उनके लिए हम कुछ पृष्ठभूमि देना चाहेंगे सेजमेकर का वितरित डेटा समानांतर पुस्तकालय. 2020 में, हमने बड़े पैमाने पर वितरित ग्रेडिएंट डिसेंट के लिए एक कस्टम क्लस्टर कॉन्फ़िगरेशन विकसित और लॉन्च किया, जो समग्र क्लस्टर दक्षता को बढ़ाता है, जैसा कि अमेज़ॅन साइंस पर पेश किया गया है हिलसा. पैरामीटर सर्वर और रिंग-आधारित टोपोलॉजी दोनों का सर्वोत्तम उपयोग करते हुए, सेजमेकर डिस्ट्रिब्यूटेड डेटा पैरेलल (एसएमडीडीपी) को अनुकूलित किया गया है अमेज़ॅन इलास्टिक कम्प्यूट क्लाउड (अमेज़ॅन ईसी2) नेटवर्क टोपोलॉजी, सहित ईएफए. बड़े क्लस्टर आकारों के लिए, SMDDP Horovod (TensorFlow) और PyTorch डिस्ट्रिब्यूटेड डेटा पैरेलल के सापेक्ष 20–40% थ्रूपुट सुधार देने में सक्षम है। छोटे क्लस्टर आकार और समर्थित मॉडल के लिए, हम अनुशंसा करते हैं सेजमेकर ट्रेनिंग कंपाइलर, जो समग्र कार्य समय को 50% तक कम करने में सक्षम है।

ग्राहक स्पॉटलाइट: अमेज़ॅन सर्च के साथ सेजमेकर के अनुकूलित बैकएंड पर PyTorch लाइटनिंग

Amazon Search पर खोज और खोज के अनुभव के लिए ज़िम्मेदार है Amazon.com. यह उन ग्राहकों के लिए खोज अनुभव प्रदान करता है जो अमेज़ॅन पर उत्पादों की तलाश कर रहे हैं। उच्च स्तर पर, Amazon Search Amazon.com पर बेचे जाने वाले सभी उत्पादों के लिए एक इंडेक्स बनाता है। जब कोई ग्राहक कोई प्रश्न दर्ज करता है, तो Amazon Search ग्राहक क्वेरी के लिए प्रासंगिक और दिलचस्प उत्पादों का मिलान करने के लिए गहन शिक्षण मॉडल सहित कई प्रकार की ML तकनीकों का उपयोग करता है। फिर यह ग्राहक को परिणाम दिखाने से पहले उत्पादों को रैंक करता है।

Amazon Search के वैज्ञानिकों ने PyTorch के शीर्ष पर अपनी अतिरिक्त उपयोगिता सुविधाओं के कारण खोज रैंकिंग को सशक्त बनाने वाले गहन शिक्षण मॉडल को प्रशिक्षित करने के लिए मुख्य ढांचे में से एक के रूप में PyTorch Lightning का उपयोग किया है। SMDDP को इस नए SageMaker लॉन्च से पहले PyTorch Lightning में लिखे गए डीप लर्निंग मॉडल्स के लिए सपोर्ट नहीं किया गया था। इसने अमेज़ॅन सर्च वैज्ञानिकों को रोका, जो डेटा समानांतर तकनीकों का उपयोग करके अपने मॉडल प्रशिक्षण को स्केल करने से PyTorch लाइटनिंग का उपयोग करना पसंद करते हैं, उनके प्रशिक्षण समय को काफी धीमा कर देते हैं और उन्हें नए प्रयोगों का परीक्षण करने से रोकते हैं जिनके लिए अधिक स्केलेबल प्रशिक्षण की आवश्यकता होती है।

टीम के शुरुआती बेंचमार्किंग परिणाम एकल-नोड प्रशिक्षण आधार रेखा की तुलना में आठ नोड्स पर प्रशिक्षित होने पर नमूना मॉडल के लिए 7.3 गुना तेज प्रशिक्षण समय दिखाते हैं। इन बेंचमार्किंग में उपयोग किया जाने वाला बेसलाइन मॉडल एक बहु-परत परसेप्ट्रॉन न्यूरल नेटवर्क है जिसमें सात घनी पूरी तरह से जुड़ी हुई परतें और 200 से अधिक पैरामीटर हैं। निम्न तालिका ml.p3.16xlarge SageMaker प्रशिक्षण उदाहरणों पर बेंचमार्किंग परिणाम को सारांशित करती है।

इसके बाद, हम नए लॉन्च के विवरण में गोता लगाते हैं। यदि आप चाहें, तो आप हमारे संगत के माध्यम से कदम उठा सकते हैं उदाहरण नोटबुक।

सेजमेकर द्वारा वितरित प्रशिक्षण पुस्तकालय के साथ PyTorch लाइटनिंग चलाएँ

हमें यह घोषणा करते हुए खुशी हो रही है कि सेजमेकर डेटा पैरेलल अब सेजमेकर प्रशिक्षण के भीतर पाइटॉर्च लाइटनिंग के साथ समेकित रूप से एकीकृत हो गया है।

PyTorch Lightning एक खुला स्रोत ढांचा है जो PyTorch में कस्टम मॉडल लिखने के लिए एक सरलीकरण प्रदान करता है। कुछ मायनों में जैसा कि केरस ने टेंसरफ्लो के लिए किया था, या यहां तक ​​​​कि यकीनन हगिंग फेस के लिए, PyTorch लाइटनिंग, PyTorch की निम्न-स्तरीय कार्यक्षमता के लिए अमूर्त के साथ एक उच्च-स्तरीय API प्रदान करता है। इसमें मॉडल को परिभाषित करना, प्रोफाइलिंग, मूल्यांकन, प्रूनिंग, मॉडल समानांतरवाद, हाइपरपैरामीटर कॉन्फ़िगरेशन, ट्रांसफर लर्निंग, और बहुत कुछ शामिल हैं।

पहले, PyTorch लाइटनिंग डेवलपर्स इस बारे में अनिश्चित थे कि कैसे अपने प्रशिक्षण कोड को उच्च-प्रदर्शन वाले SageMaker GPU क्लस्टर में मूल रूप से स्थानांतरित किया जाए। इसके अलावा, उनके पास सेजमेकर डेटा पैरेलल द्वारा पेश किए गए दक्षता लाभ का लाभ उठाने का कोई तरीका नहीं था।

PyTorch लाइटनिंग के लिए, आम तौर पर बोलते हुए, इन एपीआई को सेजमेकर ट्रेनिंग पर चलाने के लिए बहुत कम-से-कोई कोड परिवर्तन नहीं होना चाहिए। उदाहरण नोटबुक में हम उपयोग करते हैं डीडीपीरणनीति और डीडीपीपीप्लगइन तरीकों.

एक अनुकूलित बैकएंड के रूप में सेजमेकर डेटा समानांतर के साथ PyTorch लाइटनिंग का उपयोग करने के लिए तीन चरण हैं:

1. एक समर्थित का प्रयोग करें एडब्ल्यूएस डीप लर्निंग कंटेनर (डीएलसी) अपनी मूल छवि के रूप में, या वैकल्पिक रूप से अपना स्वयं का कंटेनर बनाएं और सेजमेकर डेटा समानांतर बैकएंड को स्वयं स्थापित करें. सुनिश्चित करें कि आपके पास आवश्यक पैकेजों में PyTorch Lightning शामिल है, जैसे कि a requirements.txt फ़ाइल.
2. अपनी प्रशिक्षण स्क्रिप्ट में कुछ छोटे कोड परिवर्तन करें जो अनुकूलित बैकएंड को सक्षम करते हैं। इसमे शामिल है:
   1. एसएम डीडीपी पुस्तकालय आयात करें:

      import smdistributed.dataparallel.torch.torch_smddp
      

   2. SageMaker के लिए PyTorch लाइटनिंग वातावरण सेट करें:

      from pytorch_lightning.plugins.environments.lightning_environment 
        import LightningEnvironment
      
      env = LightningEnvironment()
      env.world_size = lambda: int(os.environ["WORLD_SIZE"])
      env.global_rank = lambda: int(os.environ["RANK"])

   3. यदि आप 1.5.10 से अधिक पुराने PyTorch Lightning संस्करण का उपयोग कर रहे हैं, तो आपको कुछ और चरण जोड़ने होंगे।
      1. सबसे पहले, पर्यावरण चर जोड़ें:

         os.environ["PL_TORCH_DISTRIBUTED_BACKEND"] = "smddp"

      2. दूसरा, सुनिश्चित करें कि आप उपयोग करते हैं DDPPlugin, बजाय DDPStrategy. यदि आप अधिक नवीनतम संस्करण का उपयोग कर रहे हैं, जिसे आप आसानी से रखकर सेट कर सकते हैं requirements.txt में source_dir आपकी नौकरी के लिए, तो यह आवश्यक नहीं है। निम्नलिखित कोड देखें:

         ddp = DDPPlugin(parallel_devices=[torch.device("cuda", d) for d in range(num_gpus)], cluster_environment=env)

   4. वैकल्पिक रूप से, अपने प्रक्रिया समूह बैकएंड को इस प्रकार परिभाषित करें "smddp" में DDPSTrategy वस्तु। हालाँकि, यदि आप PyTorch DDP बैकएंड के साथ PyTorch लाइटनिंग का उपयोग कर रहे हैं, जो कि समर्थित भी है, तो बस इसे हटा दें।process_group_backend`पैरामीटर। निम्नलिखित कोड देखें:

      ddp = DDPStrategy(
        cluster_environment=env, 
        process_group_backend="smddp", 
        accelerator="gpu")

3. सुनिश्चित करें कि आपके पास अनुमानक में नोट की गई वितरण विधि है, जैसे distribution={"smdistributed":{"dataparallel":{"enabled":True} यदि आप हेरिंग बैकएंड का उपयोग कर रहे हैं, या distribution={"pytorchddp":{"enabled":True}.

• में उपयुक्त मापदंडों की पूरी सूची के लिए distribution पैरामीटर, हमारे दस्तावेज़ देखें यहाँ उत्पन्न करें.

अब आप अपना सेजमेकर प्रशिक्षण कार्य शुरू कर सकते हैं! आप पायथन एसडीके, बोटो3, सेजमेकर कंसोल, के माध्यम से अपना प्रशिक्षण कार्य शुरू कर सकते हैं AWS कमांड लाइन इंटरफ़ेस (एडब्ल्यूएस सीएलआई), और अनगिनत अन्य तरीके। एडब्ल्यूएस के नजरिए से, यह है एक एकल एपीआई कमांड: create-training-job. चाहे आप इस कमांड को अपने स्थानीय टर्मिनल से लॉन्च करें, a AWS लाम्बा समारोह, ए अमेज़ॅन सैजमेकर स्टूडियो नोटबुक, KubeFlow पाइपलाइन, या कोई अन्य कंप्यूट वातावरण पूरी तरह आप पर निर्भर है।

कृपया ध्यान दें कि PyTorch Lightning और SageMaker Data Parallel के बीच एकीकरण वर्तमान में 1.11 से शुरू होने वाले PyTorch के केवल नए संस्करणों के लिए समर्थित है। इसके अलावा, यह रिलीज केवल PyTorch 1.12 से शुरू होने वाले सेजमेकर के लिए AWS DLCs में उपलब्ध है। सुनिश्चित करें कि आप इस छवि को अपने आधार के रूप में इंगित करते हैं। में us-east-1, यह पता इस प्रकार है:

ecr_image = '763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-training:1.12.0-gpu-py38-cu113-ubuntu20.04-sagemaker'

फिर आप इसे अपनी मूल छवि के रूप में उपयोग करके अपने डॉकर कंटेनर का विस्तार कर सकते हैं, या आप इसे एक चर के रूप में पास कर सकते हैं image_uri का तर्क सेजमेकर प्रशिक्षण अनुमानक।

परिणामस्वरूप, आप AWS पर उपलब्ध सर्वोत्तम प्रदर्शन के साथ, सेजमेकर ट्रेनिंग के अनुकूलित GPU पर अपना PyTorch लाइटनिंग कोड चलाने में सक्षम होंगे।

सेजमेकर पर समानांतर में PyTorch वितरित डेटा चलाएँ

सबसे बड़ी समस्या PyTorch वितरित डेटा समानांतर (DDP) हल भ्रामक रूप से सरल है: गति। एक अच्छा वितरित प्रशिक्षण ढांचा स्थिरता, विश्वसनीयता और सबसे महत्वपूर्ण पैमाने पर उत्कृष्ट प्रदर्शन प्रदान करना चाहिए। PyTorch DDP सिंगल-नोड और मल्टी-नोड सेटिंग्स दोनों में, कई GPU उपकरणों पर अपने मॉडल को दोहराने के लिए API के साथ टार्च डेवलपर्स प्रदान करके इसे प्रदान करता है। तब ढांचा प्रशिक्षण डेटासेट से प्रत्येक मॉडल कॉपी में अलग-अलग ऑब्जेक्ट को विभाजित करने का प्रबंधन करता है, प्रत्येक मॉडल प्रतियों के लिए ग्रेडिएंट्स को प्रत्येक चरण में सिंक्रनाइज़ करने के लिए औसत करता है। यह पूर्ण प्रशिक्षण रन के कुल समापन पर एक मॉडल तैयार करता है। निम्नलिखित आरेख इस प्रक्रिया को दिखाता है।

PyTorch DDP उन प्रोजेक्ट्स में आम है जो बड़े डेटासेट का उपयोग करते हैं। प्रत्येक डेटासेट का सटीक आकार व्यापक रूप से भिन्न होगा, लेकिन एक सामान्य दिशानिर्देश समान अनुपात में डेटासेट, गणना आकार और मॉडल आकार को मापना है। यह भी कहा जाता है स्केलिंग कानून, इन तीनों का इष्टतम संयोजन बहस के लिए बहुत ऊपर है और अनुप्रयोगों के आधार पर अलग-अलग होगा। AWS में, कई ग्राहकों के साथ काम करने के आधार पर, हम डेटा समानांतर रणनीतियों से स्पष्ट रूप से लाभ देख सकते हैं जब एक समग्र डेटासेट आकार कम से कम कुछ दसियों GB का हो। जब डेटासेट और भी बड़े हो जाते हैं, तो किसी प्रकार के डेटा समानांतर रणनीति को लागू करना समग्र प्रयोग को गति देने और आपके समय को बेहतर बनाने के लिए एक महत्वपूर्ण तकनीक है।

पहले, जो ग्राहक परिसर में या अन्य कंप्यूट वातावरण में वितरित प्रशिक्षण के लिए PyTorch DDP का उपयोग कर रहे थे, उनके पास सहज नियंत्रण विमान के साथ उच्च-प्रदर्शन GPU का लाभ उठाने के लिए अपनी परियोजनाओं को आसानी से SageMaker प्रशिक्षण पर स्थानांतरित करने के लिए एक रूपरेखा का अभाव था। विशेष रूप से, उन्हें या तो अपने डेटा समानांतर ढांचे को SMDDP में स्थानांतरित करने की आवश्यकता होती है, या मैन्युअल रूप से SageMaker प्रशिक्षण पर PyTorch DDP की क्षमताओं का विकास और परीक्षण करने की आवश्यकता होती है। आज, सेजमेकर ट्रेनिंग ग्राहकों को उनके PyTorch DDP कोड को ऑनबोर्ड करने के लिए एक सहज अनुभव प्रदान करके खुश है।

इसका प्रभावी ढंग से उपयोग करने के लिए, आपको अपनी प्रशिक्षण लिपियों में कोई परिवर्तन करने की आवश्यकता नहीं है।

आप इस नए पैरामीटर को निम्न कोड में देख सकते हैं। में distribution पैरामीटर, बस जोड़ें pytorchddp और सक्षम के रूप में सेट करें true.

estimator = PyTorch(
    base_job_name="pytorch-dataparallel-mnist",
    source_dir="code",
    entry_point = "my_model.py",
    ... 
    # Training using SMDataParallel Distributed Training Framework
    distribution = {"pytorchddp": {"enabled": "true"}}
)

यह नया कॉन्फ़िगरेशन सेजमेकर पायथन एसडीके संस्करण 2.102.0 और पायटॉर्च डीएलसी के 1.11 पर शुरू होता है।

PyTorch DDP डेवलपर्स के लिए जो लोकप्रिय से परिचित हैं टॉर्चरन फ्रेमवर्क, यह जानना उपयोगी है कि यह सेजमेकर प्रशिक्षण वातावरण पर आवश्यक नहीं है, जो पहले से ही मजबूत दोष सहिष्णुता प्रदान करता है। हालाँकि, कोड पुनर्लेखन को कम करने के लिए, आप एक और लॉन्चर स्क्रिप्ट ला सकते हैं जो इस कमांड को आपके प्रवेश बिंदु के रूप में चलाती है।

अब PyTorch डेवलपर्स आसानी से अपनी स्क्रिप्ट को SageMaker पर स्थानांतरित कर सकते हैं, यह सुनिश्चित करते हुए कि उनकी स्क्रिप्ट और कंटेनर कई कंप्यूट वातावरण में निर्बाध रूप से चल सकते हैं।

यह उन्हें भविष्य में इसका लाभ उठाने के लिए तैयार करता है सेजमेकर द्वारा वितरित प्रशिक्षण पुस्तकालय जो 40% स्पीडअप एन्हांसमेंट देने के लिए AWS- अनुकूलित प्रशिक्षण टोपोलॉजी प्रदान करते हैं। PyTorch डेवलपर्स के लिए, यह कोड की एक पंक्ति है! PyTorch DDP कोड के लिए, आप बस बैकएंड को सेट कर सकते हैं smddp प्रारंभ में (देखें एक PyTorch प्रशिक्षण स्क्रिप्ट को संशोधित करें), जैसा कि निम्नलिखित कोड में दिखाया गया है:

import smdistributed.dataparallel.torch.torch_smddp
import torch.distributed as dist
dist.init_process_group(backend='smddp')

जैसा कि हमने ऊपर देखा, आप का बैकएंड भी सेट कर सकते हैं DDPStrategy सेवा मेरे smddp लाइटनिंग का उपयोग करते समय। यह तक ले जा सकता है कुल मिलाकर 40% स्पीडअप बड़े समूहों के लिए! सेजमेकर पर वितरित प्रशिक्षण के बारे में अधिक जानने के लिए देखें हमारी ऑन-डिमांड वेबिनार, समर्थन कर रहे हैं पुस्तिकाओं, से मिलता जुलता दस्तावेज़ीकरण, तथा कागजात.

निष्कर्ष

इस पोस्ट में, हमने सेजमेकर ट्रेनिंग परिवार के भीतर दो नई विशेषताएं पेश की हैं। ये PyTorch डेवलपर्स के लिए अपने मौजूदा कोड को SageMaker, PyTorch DDP और PyTorch Lightning दोनों पर उपयोग करना बहुत आसान बनाते हैं।

हमने यह भी दिखाया कि कैसे अमेज़ॅन सर्च अपने गहन शिक्षण मॉडल के प्रशिक्षण के लिए सेजमेकर प्रशिक्षण का उपयोग करता है, और विशेष रूप से बैकएंड के रूप में सेजमेकर डेटा समानांतर अनुकूलित सामूहिक पुस्तकालय के साथ पाइटॉर्च लाइटनिंग। कुल मिलाकर वितरित प्रशिक्षण की ओर बढ़ने से Amazon Search को 7.3 गुना तेज ट्रेन समय प्राप्त करने में मदद मिली।

लेखक के बारे में

एमिली वेबर सेजमेकर के लॉन्च होने के ठीक बाद एडब्ल्यूएस में शामिल हुआ, और तब से दुनिया को इसके बारे में बताने की कोशिश कर रहा है! ग्राहकों के लिए नए एमएल अनुभवों के निर्माण के अलावा, एमिली को तिब्बती बौद्ध धर्म का ध्यान और अध्ययन करना पसंद है।

करण धीमान टोरंटो, कनाडा में स्थित AWS में एक सॉफ्टवेयर डेवलपमेंट इंजीनियर है। उन्हें मशीन लर्निंग स्पेस और वितरित कंप्यूटिंग वर्कलोड में तेजी लाने के लिए समाधान तैयार करने का बहुत शौक है।

विश्व करिया AWS डीप इंजन में सॉफ्टवेयर डेवलपमेंट इंजीनियर हैं। उनकी रुचियां मशीन लर्निंग और डिस्ट्रिब्यूटेड सिस्टम्स के चौराहे पर हैं और वह टेक और एआई में महिलाओं को सशक्त बनाने के बारे में भी भावुक हैं।

ईमान एलनाहरवी अमेज़ॅन सर्च में एक प्रिंसिपल सॉफ्टवेयर इंजीनियर है, जो मशीन लर्निंग एक्सेलेरेशन, स्केलिंग और ऑटोमेशन के प्रयासों का नेतृत्व करता है। उनकी विशेषज्ञता मशीन लर्निंग, डिस्ट्रीब्यूटेड सिस्टम्स और वैयक्तिकरण सहित कई क्षेत्रों में फैली हुई है।