पिछले कुछ वर्षों में प्राकृतिक भाषा प्रसंस्करण (एनएलपी) के क्षेत्र में तेजी से विकास हुआ है। जबकि हार्डवेयर में सुधार हुआ है, जैसे कि एनवीआईडीआईए और अमेज़ॅन से त्वरक की नवीनतम पीढ़ी के साथ, उन्नत मशीन लर्निंग (एमएल) व्यवसायी अभी भी नियमित रूप से कई जीपीयू में अपने बड़े भाषा मॉडल को स्केल करने के मुद्दों में भाग लेते हैं।
इस ब्लॉग पोस्ट में, हम संक्षेप में बड़े और छोटे पैमाने के एनएलपी मॉडल के उदय को संक्षेप में प्रस्तुत करते हैं, मुख्य रूप से हगिंग फेस द्वारा प्रदान किए गए अमूर्तता के माध्यम से और अमेज़ॅन सेजमेकर के मॉड्यूलर बैकएंड के साथ। विशेष रूप से हम सेजमेकर मॉडल समानांतर लाइब्रेरी के भीतर चार अतिरिक्त सुविधाओं के लॉन्च पर प्रकाश डालते हैं जो ग्राहकों के लिए 175 बिलियन पैरामीटर एनएलपी मॉडल प्रीट्रेनिंग और फाइन-ट्यूनिंग को अनलॉक करते हैं।
हमने सेजमेकर प्रशिक्षण मंच पर इस पुस्तकालय का उपयोग किया और 32 ml.p120d.4xबड़े उदाहरणों और 24 बिलियन मापदंडों पर प्रति सेकंड 175 नमूनों का थ्रूपुट हासिल किया। हमारा अनुमान है कि अगर हम इसे 240 गुना तक बढ़ाते हैं, तो पूरे मॉडल को तैयार होने में 25 दिन लगेंगे।
मॉडल समानता के बारे में अधिक जानकारी के लिए, पेपर देखें अमेज़ॅन सेजमेकर मॉडल समानांतरवाद: बड़े मॉडल प्रशिक्षण के लिए एक सामान्य और लचीला ढांचा.
आप उस GPT2 नोटबुक को भी देख सकते हैं जिसका उपयोग हमने इन प्रदर्शन संख्याओं को उत्पन्न करने के लिए किया था गिटहब भंडार.
सेजमेकर मॉडल के समानांतर में नई सुविधाओं का उपयोग करने के तरीके के बारे में अधिक जानने के लिए, देखें PyTorch के लिए सेजमेकर मॉडल पैरेलल लाइब्रेरी की विस्तारित विशेषताएं, तथा सेजमेकर पायथन एसडीके के साथ प्रयोग करें.
अमेज़ॅन सेजमेकर पर एनएलपी - चेहरे और मॉडल समानता को गले लगाना
यदि आप हगिंग फेस और एनएलपी के लिए नए हैं, तो आपको सबसे बड़ी हाइलाइट यह जानने की जरूरत है कि प्राकृतिक भाषा प्रसंस्करण (एनएलपी) का उपयोग करने वाले एप्लिकेशन मानव स्तर के प्रदर्शन को प्राप्त करना शुरू कर रहे हैं। यह काफी हद तक एक सीखने के तंत्र द्वारा संचालित होता है, जिसे कहा जाता है ध्यान, जिसने एक गहन शिक्षण मॉडल को जन्म दिया, जिसे कहा जाता है ट्रांसफार्मर, जो पिछले गहन शिक्षण अनुक्रमिक विधियों की तुलना में बहुत अधिक मापनीय है। अब प्रसिद्ध बर्ट मॉडल ट्रांसफॉर्मर को भुनाने के लिए विकसित किया गया था, और रास्ते में कई उपयोगी एनएलपी रणनीति विकसित की। एनएलपी के भीतर और बाहर दोनों जगह ट्रांसफॉर्मर और मॉडल का सूट, जो सभी बीईआरटी से प्रेरित हैं, आपके Google खोज परिणामों के पीछे प्राथमिक इंजन हैंअपने में Google अनुवाद परिणाम, तथा कई नए स्टार्टअप.
सेजमेकर और हगिंग फेस ने ग्राहकों के लिए इसे पहले से कहीं ज्यादा आसान बनाने के लिए साझेदारी की है। हमने आपके लिए हगिंग फेस से सीधे पूर्व-प्रशिक्षित मॉडल को प्रशिक्षित और होस्ट करने के लिए हगिंग फेस डीप लर्निंग कंटेनर (डीएलसी) लॉन्च किया है। 26,000 से अधिक मॉडलों का भंडार। हमने लॉन्च किया है सेजमेकर प्रशिक्षण संकलक आपके हगिंग फेस ट्रेनिंग लूप के रनटाइम को 50% तक तेज करने के लिए। हमने भी एकीकृत किया है हगिंग फेस फ्लैगशिप ट्रांसफॉर्मर्स एसडीके साथ में हमारे वितरित प्रशिक्षण पुस्तकालय अपने एनएलपी मॉडल को पहले से कहीं अधिक आसान बनाने के लिए।
अमेज़ॅन सेजमेकर पर हगिंग फेस ट्रांसफॉर्मर मॉडल के बारे में अधिक जानकारी के लिए देखें हगिंग फेस ट्रांसफॉर्मर मॉडल के लिए समर्थन।
सेजमेकर मॉडल समानांतर पुस्तकालय के साथ बड़े पैमाने पर एनएलपी मॉडल प्रशिक्षण के लिए नई सुविधाएँ
AWS re:Invent 2020 में, सेजमेकर ने वितरित लाइब्रेरी लॉन्च की, जो कंप्यूटर विज़न मॉडल जैसे प्रशिक्षण के लिए क्लाउड पर सर्वश्रेष्ठ प्रदर्शन प्रदान करती हैं। मास्क-RCNN और एनएलपी मॉडल जैसे टी5-3बी. यह उन्नत संचार आदिम के माध्यम से संभव है जो एडब्ल्यूएस पर एनसीसीएल की तुलना में 20-40% तेज है, और मॉडल वितरण तकनीक जो बहुत बड़े भाषा मॉडल को दसियों से सैकड़ों से हजारों जीपीयू तक स्केल करने में सक्षम बनाती है।
सेजमेकर मॉडल पैरेलल लाइब्रेरी (एसएमपी) ने आपको हमेशा अपने पूर्वनिर्धारित एनएलपी मॉडल को PyTorch में लेने की क्षमता दी है, चाहे वह हगिंग फेस या कहीं और हो, और उस मॉडल को अपने क्लस्टर में कई GPU पर विभाजित करें। एक और तरीके से कहा, एसएमपी आपके मॉडल को छोटे टुकड़ों में तोड़ देता है ताकि आपको मेमोरी (ओओएम) त्रुटियों का अनुभव न हो। हमें अतिरिक्त मेमोरी-बचत तकनीकों को जोड़ने में प्रसन्नता हो रही है जो बड़े पैमाने के मॉडल के लिए महत्वपूर्ण हैं, अर्थात्:
- टेंसर समानता
- ऑप्टिमाइज़र स्टेट शार्डिंग
- एक्टिवेशन चेकपॉइंटिंग
- सक्रियण ऑफलोडिंग
आप इन चार विशेषताओं को जोड़ सकते हैं ताकि स्मृति का अधिक कुशलता से उपयोग किया जा सके और अगली पीढ़ी के चरम पैमाने के एनएलपी मॉडल को प्रशिक्षित किया जा सके।
वितरित प्रशिक्षण और टेंसर समानता
टेंसर समांतरता को समझने के लिए, यह जानना उपयोगी है कि कई प्रकार के वितरित प्रशिक्षण, या समांतरता हैं. आप शायद पहले से ही सबसे सामान्य प्रकार से परिचित हैं, डेटा समानता। डेटा समांतरता का मूल इस तरह काम करता है: आप अपने क्लस्टर में एक अतिरिक्त नोड जोड़ते हैं, जैसे कि आपके सेजमेकर अनुमानक में एक से दो ml.EC2 इंस्टेंस में जाना। फिर, आप डेटा समानांतर ढांचे का उपयोग करते हैं जैसे होरोवोड, पायटॉर्च डिस्ट्रिब्यूटेड डेटा पैरेलल, या सेजमेकर डिस्ट्रिब्यूटेड। यह आपके मॉडल की प्रतिकृतियां बनाता है, एक प्रति त्वरक, और आपके तंत्रिका नेटवर्क के बैक प्रोपेगेशन चरण के दौरान सभी परिणामों को एक साथ लाने के साथ-साथ प्रत्येक नोड में डेटा को शार्प करना संभालता है। वितरित ढाल वंश के बारे में सोचो। डेटा समांतरता सर्वर के भीतर भी लोकप्रिय है; आप अपने सभी नोड्स पर सभी GPU, और कभी-कभी CPU में डेटा साझा कर रहे हैं। निम्नलिखित आरेख डेटा समांतरता को दर्शाता है।
मॉडल समानता थोड़ा अलग है। उसी मॉडल की प्रतियां बनाने के बजाय, हम आपके मॉडल को टुकड़ों में बांट देते हैं। फिर हम इसे चलाने का प्रबंधन करते हैं, इसलिए आपका डेटा अभी भी आपके तंत्रिका नेटवर्क के माध्यम से ठीक उसी तरह से बह रहा है जैसे गणितीय रूप से, लेकिन आपके मॉडल के विभिन्न टुकड़े अलग-अलग GPU पर बैठे हैं। यदि आप ml.p3.8xlarge का उपयोग कर रहे हैं, तो आपके पास चार NVIDIA V100 हैं, इसलिए आप शायद अपने मॉडल को 4 टुकड़ों में विभाजित करना चाहेंगे, प्रति GPU एक टुकड़ा। यदि आप दो ml.p4d.24xlarge तक कूदते हैं, तो यह आपके क्लस्टर में कुल 16 A100 है, इसलिए आप अपने मॉडल को 16 टुकड़ों में तोड़ सकते हैं। इसे कभी-कभी भी कहा जाता है पाइपलाइन समानता। ऐसा इसलिए है क्योंकि नेटवर्क में परतों के सेट को GPU में विभाजित किया जाता है, और GPU उपयोग को अधिकतम करने के लिए पाइपलाइन तरीके से चलाया जाता है। निम्नलिखित आरेख मॉडल समानता को दर्शाता है।
मॉडल समानता को बड़े पैमाने पर बनाने के लिए, हमें तीसरे प्रकार के वितरण की आवश्यकता है: टेंसर समानता. टेंसर समानांतरवाद एक ही अवधारणा को एक कदम आगे लागू करता है-हम आपके तंत्रिका नेटवर्क की सबसे बड़ी परतों को तोड़ते हैं और परतों के हिस्सों को अलग-अलग उपकरणों पर रखते हैं। यह तब प्रासंगिक होता है जब आप 175 बिलियन या अधिक पैरामीटर के साथ काम कर रहे हों, और उस ट्रांसफॉर्मर को प्रशिक्षित करने के लिए, अपने मॉडल के कुछ हिस्सों के साथ, रैम में कुछ रिकॉर्ड भी फिट करने का प्रयास कर रहे हों। निम्न आरेख टेंसर समांतरता को दर्शाता है।
सक्षम करने के लिए टेंसर समानांतरवाद, इसे smp विकल्पों के भीतर सेट करें आप अपने अनुमानक के पास जाते हैं।
पूर्ववर्ती कोड में, pipeline_parallel_degree
यह वर्णन करता है कि आपके मॉडल को कितने खंडों में विभाजित किया जाना चाहिए, यह उस पाइपलाइन समानता के आधार पर है जिसकी हमने ऊपर चर्चा की थी। इसके लिए एक और शब्द है बीसियों.
टेंसर समांतरता को सक्षम करने के लिए, सेट करें tensor_parallel_degree
अपने वांछित स्तर तक। सुनिश्चित करें कि आप प्रति आवृत्ति GPU की संख्या के बराबर या उससे छोटी संख्या चुन रहे हैं, इसलिए ml.p8d.4xlarge मशीनों के लिए 24 से अधिक नहीं। अतिरिक्त स्क्रिप्ट परिवर्तनों के लिए, देखें टेंसर समानांतरवाद के साथ एक सेजमेकर वितरित मॉडल समानांतर प्रशिक्षण कार्य चलाएं.
डीडीपी पैरामीटर समानांतर वितरित डेटा को संदर्भित करता है। आप आमतौर पर इसे सक्षम करते हैं यदि आप डेटा समांतरता या टेंसर समांतरता का उपयोग कर रहे हैं, क्योंकि मॉडल समांतरता पुस्तकालय इन सुविधाओं के लिए डीडीपी पर निर्भर करता है।
ऑप्टिमाइज़र स्टेट शार्डिंग, एक्टिवेशन ऑफ़लोडिंग और चेकपॉइंट्स
यदि आपके पास एक बहुत बड़ा मॉडल है, तो आपको एक बहुत बड़ी अनुकूलक स्थिति की भी आवश्यकता है। एसएमपी के लिए अपना अनुकूलक तैयार करना सीधा है: बस इसे अपनी स्क्रिप्ट में डिस्क से उठाएं और इसे इसमें लोड करें smp.DistributedOptimizer()
वस्तु।
सुनिश्चित करें कि आप इसे सेटिंग करके अनुमानक पर सक्षम करते हैं shard_optimizer_state
में सच करने के लिए smp_options
आप एसएमपी को कॉन्फ़िगर करने के लिए उपयोग करते हैं:
टेंसर और पाइपलाइन समानांतरवाद के समान, एसएमपी आपके मॉडल और आपके विश्व आकार (आपके सभी प्रशिक्षण नोड्स में जीपीयू की कुल संख्या) को सर्वोत्तम प्लेसमेंट रणनीतियों को खोजने के लिए प्रोफाइल करता है।
डीप लर्निंग में इंटरमीडिएट लेयर आउटपुट को एक्टिवेशन भी कहा जाता है, और इन्हें फॉरवर्ड पास के दौरान स्टोर करने की आवश्यकता होती है। ऐसा इसलिए है क्योंकि उन्हें बैकवर्ड पास में ग्रेडिएंट कंप्यूटेशन के लिए उपयोग करने की आवश्यकता है। एक बड़े मॉडल में, इन सभी सक्रियणों को एक साथ मेमोरी में संग्रहीत करने से महत्वपूर्ण मेमोरी अड़चनें पैदा हो सकती हैं। इस अड़चन को दूर करने के लिए, आप उपयोग कर सकते हैं सक्रियण चेकपॉइंटिंग, सेजमेकर मॉडल पैरेललिज्म लाइब्रेरी में तीसरा नया फीचर। सक्रियण चेकपॉइंटिंग, या ग्रेडिएंट चेकपॉइंटिंग, कुछ परतों की सक्रियता को साफ़ करके और बैकवर्ड पास के दौरान उन्हें पुन: गणना करके स्मृति उपयोग को कम करने की एक तकनीक है। यह प्रभावी रूप से कम मेमोरी उपयोग के लिए अतिरिक्त गणना समय का व्यापार करता है।
अन्त में, सक्रियण ऑफलोडिंग सीधे सक्रियण चेकपॉइंटिंग का उपयोग करता है। यह मॉडल प्रशिक्षण के दौरान GPU RAM पर केवल कुछ टेंसर सक्रियण रखने की रणनीति है। विशेष रूप से, हम चेकपॉइंट एक्टिवेशन को फॉरवर्ड पास के दौरान सीपीयू मेमोरी में ले जाते हैं और एक विशिष्ट माइक्रो-बैच के बैकवर्ड पास के लिए उन्हें वापस जीपीयू में लोड करते हैं।
माइक्रो-बैच और प्लेसमेंट रणनीतियाँ
अन्य विषय जो कभी-कभी ग्राहकों को भ्रमित करते हैं, वे हैं माइक्रो-बैच और प्लेसमेंट रणनीतियाँ। ये दोनों हाइपरपैरामीटर हैं जिन्हें आप सेजमेकर मॉडल समानांतर लाइब्रेरी में आपूर्ति कर सकते हैं। विशेष रूप से माइक्रो-बैच ऐसे मॉडल को लागू करते समय प्रासंगिक होते हैं जो पाइपलाइन समांतरता पर भरोसा करते हैं, जैसे कि आकार में कम से कम 30 अरब पैरामीटर या अधिक।
माइक्रो-बैच मिनीबैच के सबसेट हैं। जब आपका मॉडल अपने प्रशिक्षण लूप में होता है, तो आप परतों के माध्यम से आगे और पीछे लेने और पास करने के लिए एक निश्चित संख्या में रिकॉर्ड को परिभाषित करते हैं-इसे एक कहा जाता है मिनीबैच, या कभी कभी सिर्फ एक बैच. आपके डेटासेट के माध्यम से एक पूर्ण पास को an . कहा जाता है युग. पाइपलाइन समानांतरता के साथ आगे और पीछे के पास चलाने के लिए, सेजमेकर मॉडल समानांतर पुस्तकालय बैचों को छोटे सबसेट में विभाजित करता है जिसे माइक्रो-बैच कहा जाता है, जो GPU उपयोग को अधिकतम करने के लिए एक समय में एक चलाए जाते हैं। परिणामी, प्रति-जीपीयू उदाहरणों के बहुत छोटे सेट को माइक्रो-बैच कहा जाता है। हमारे GPT-2 उदाहरण में, हमने सीधे प्रशिक्षण स्क्रिप्ट में 1 माइक्रोबैच का डिफ़ॉल्ट जोड़ा.
जैसे ही आप अपने प्रशिक्षण विन्यास को बढ़ाते हैं, आपको अपने बैच आकार और माइक्रो-बैच आकार को तदनुसार बदलने की दृढ़ता से अनुशंसा की जाती है. अच्छा प्रदर्शन सुनिश्चित करने का यही एकमात्र तरीका है: पाइपलाइन समांतरता पर भरोसा करते समय आपको बैच आकार और माइक्रो-बैच आकारों को अपने समग्र विश्व आकार के कार्य के रूप में मानना चाहिए।
प्लेसमेंट रणनीतियाँ हैं कि कैसे सेजमेकर को भौतिक रूप से बताएं कि आपके मॉडल विभाजन को कहाँ रखा जाए। यदि आप मॉडल समानांतर और डेटा समानांतर दोनों का उपयोग कर रहे हैं, तो सेटिंग placement_strategy
सेवा मेरे “cluster”
डिवाइस आईडी (जीपीयू) में मॉडल प्रतिकृतियां रखता है जो शारीरिक रूप से एक दूसरे के करीब हैं। हालाँकि, यदि आप वास्तव में अपनी समानांतरवाद रणनीति के बारे में अधिक निर्देशात्मक होना चाहते हैं, तो आप इसे तीन अक्षरों के विभिन्न संयोजनों के साथ एक ही स्ट्रिंग में तोड़ सकते हैं: डेटा समानांतरवाद के लिए डी, P
पाइपलाइन समांतरता को इंगित करता है, और T
टेंसर समानता के लिए। हम आम तौर पर का डिफ़ॉल्ट प्लेसमेंट रखने की सलाह देते हैं "cluster"
, क्योंकि यह बड़े पैमाने पर मॉडल प्रशिक्षण के लिए सबसे उपयुक्त है। "क्लस्टर" प्लेसमेंट "से मेल खाता है"DPT
".
प्लेसमेंट रणनीतियों के बारे में अधिक जानकारी के लिए देखें टेंसर समानांतरवाद के साथ प्लेसमेंट रणनीति.
उदाहरण उपयोग केस
मान लें कि आपके प्रशिक्षण कार्य में आपके पास एक ml.p3.16xबड़ा है। यह आपको देता है 8 NVIDIA V100 प्रति नोड. याद रखें, हर बार जब आप एक अतिरिक्त इंस्टेंस जोड़ते हैं, तो आप अतिरिक्त बैंडविड्थ ओवरहेड का अनुभव करते हैं, इसलिए एक ही नोड पर अधिक GP'U रखना हमेशा बेहतर होता है। इस मामले में, उदाहरण के लिए, दो ml.p3.16xबड़े से एक ml.p3.8xबड़ा आपके लिए बेहतर है। भले ही GPU की संख्या समान हो, अतिरिक्त नोड का अतिरिक्त बैंडविड्थ ओवरहेड आपके थ्रूपुट को धीमा कर देता है।
निम्नलिखित आरेख दो-तरफा डेटा समांतरता के साथ संयुक्त चार-तरफा मॉडल समांतरता दिखाता है। इसका मतलब है कि आपके पास वास्तव में आपके मॉडल की दो प्रतिकृतियां हैं (डेटा समानांतर सोचें), उनमें से प्रत्येक को चार जीपीयू (मॉडल समानांतर) में विभाजित किया गया है।
यदि उनमें से कोई भी मॉडल विभाजन एक GPU पर फ़िट होने के लिए बहुत बड़ा है, तो आप इसे थूकने और दोनों उपकरणों का उपयोग करने के लिए एक अतिरिक्त प्रकार का वितरण-टेंसर समानांतरवाद जोड़ सकते हैं।
निष्कर्ष
इस ब्लॉग पोस्ट में हमने सेजमेकर द्वारा वितरित प्रशिक्षण पुस्तकालयों पर चर्चा की, विशेष रूप से मॉडल समानता पर ध्यान केंद्रित करते हुए। हमने अमेज़ॅन सेजमेकर पर 32 एमएल.पी120डी.4xबड़े इंस्टेंस और 24बी पैरामीटर में प्रति सेकंड 175 नमूने प्राप्त करते हुए अपने नवीनतम परीक्षण से प्रदर्शन बेंचमार्क साझा किए। हम अनुमान लगाते हैं कि यदि हम इसे 240 p4 उदाहरणों तक बढ़ाते हैं तो हम 175 दिनों में 25B पैरामीटर मॉडल को प्रशिक्षित कर सकते हैं।
हमने नवीनतम सुविधाओं पर भी चर्चा की जो बड़े पैमाने पर प्रशिक्षण को सक्षम करती हैं, जैसे कि टेंसर समानांतरवाद, ऑप्टिमाइज़र स्टेट शार्डिंग, एक्टिवेशन चेकपॉइंटिंग और एक्टिवेशन ऑफ़लोडिंग। हमने Amazon SageMaker पर प्रशिक्षण के माध्यम से इसे सक्षम करने के लिए कुछ टिप्स और ट्रिक्स साझा किए हैं।
इसे स्वयं आजमाएं उसी नोटबुक का उपयोग करके जिसने हमारे नंबर जेनरेट किए, जो यहां GitHub पर उपलब्ध है. आप अपने AWS खाते के लिए और GPU के लिए भी अनुरोध कर सकते हैं यहां सेवा सीमा अनुमोदन का अनुरोध करना.
लेखक के बारे में
एमिली वेबर सेजमेकर के लॉन्च होने के ठीक बाद एडब्ल्यूएस में शामिल हुआ, और तब से दुनिया को इसके बारे में बताने की कोशिश कर रहा है! ग्राहकों के लिए नए एमएल अनुभवों के निर्माण के अलावा, एमिली को तिब्बती बौद्ध धर्म का ध्यान और अध्ययन करना पसंद है।
आदित्य बिंदल AWS डीप लर्निंग के लिए एक वरिष्ठ उत्पाद प्रबंधक है। वह उन उत्पादों पर काम करता है जो ग्राहकों के लिए AWS पर गहन शिक्षण मॉडल को प्रशिक्षित करना आसान बनाते हैं। अपने खाली समय में, उन्हें अपनी बेटी के साथ समय बिताना, टेनिस खेलना, ऐतिहासिक फिक्शन पढ़ना और यात्रा करना पसंद है।
लुइस क्विंटेला एडब्ल्यूएस सेजमेकर मॉडल समानांतर पुस्तकालय के लिए सॉफ्टवेयर डेवलपर प्रबंधक है। अपने खाली समय में, उन्हें SF बे एरिया में अपनी Harley की सवारी करते हुए पाया जा सकता है।
- कॉइनस्मार्ट। यूरोप का सर्वश्रेष्ठ बिटकॉइन और क्रिप्टो एक्सचेंज।
- प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। नि: शुल्क प्रवेश।
- क्रिप्टोहॉक। Altcoin रडार। मुफ्त परीक्षण।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/train-175-billion-parameter-nlp-models-with-model-parallel-additions-and-hugging-face-on-amazon-sagemaker/
- "
- 000
- 100
- 2020
- 39
- About
- त्वरक
- लेखा
- हासिल
- के पार
- अतिरिक्त
- पता
- उन्नत
- सब
- पहले ही
- वीरांगना
- अन्य
- अनुप्रयोगों
- क्षेत्र
- उपलब्ध
- एडब्ल्यूएस
- खाड़ी
- BEST
- सबसे बड़ा
- बिलियन
- ब्लॉग
- इमारत
- कारण
- परिवर्तन
- बादल
- कोड
- संयोजन
- सामान्य
- संचार
- विन्यास
- भ्रम
- कंटेनरों
- मूल
- सका
- ग्राहक
- तिथि
- विकसित
- डेवलपर
- विकास
- युक्ति
- डिवाइस
- विभिन्न
- वितरित
- वितरण
- नीचे
- संचालित
- समर्थकारी
- विशेष रूप से
- उदाहरण
- अनुभव
- अनुभव
- चरम
- चेहरा
- और तेज
- Feature
- विशेषताएं
- कल्पना
- फिट
- निम्नलिखित
- आगे
- पाया
- ढांचा
- पूर्ण
- समारोह
- सामान्य जानकारी
- उत्पन्न
- GitHub
- जा
- अच्छा
- गूगल
- गूगल खोज
- GPU
- हार्डवेयर
- सहायक
- हाइलाइट
- ऐतिहासिक
- कैसे
- How To
- HTTPS
- सैकड़ों
- वृद्धि हुई
- करें-
- प्रेरित
- एकीकृत
- मुद्दों
- IT
- काम
- में शामिल हो गए
- छलांग
- रखना
- भाषा
- बड़ा
- ताज़ा
- लांच
- जानें
- सीख रहा हूँ
- स्तर
- पुस्तकालय
- भार
- मशीन
- यंत्र अधिगम
- मशीनें
- निर्माण
- प्रबंधक
- याद
- ML
- आदर्श
- मॉडल
- मॉड्यूलर
- अधिकांश
- चाल
- यानी
- प्राकृतिक
- नेटवर्क
- नई सुविधाएँ
- नोड्स
- नोटबुक
- संख्या
- अन्य
- काग़ज़
- भागीदारी
- पीडीएफ
- प्रदर्शन
- टुकड़ा
- मंच
- लोकप्रिय
- संभव
- प्राथमिक
- एस्ट्रो मॉल
- उत्पाद
- प्रोफाइल
- प्रदान करना
- रैम
- RE
- पढ़ना
- की सिफारिश
- अभिलेख
- को कम करने
- परिणाम
- रन
- दौड़ना
- कहा
- स्केलेबल
- स्केल
- स्केलिंग
- एसडीके
- Search
- सेवा
- सेट
- की स्थापना
- sharding
- साझा
- महत्वपूर्ण
- आकार
- So
- सॉफ्टवेयर
- विशेष रूप से
- गति
- खर्च
- विभाजित
- राज्य
- रणनीतियों
- स्ट्रेटेजी
- आपूर्ति
- युक्ति
- तकनीक
- परीक्षण
- दुनिया
- हजारों
- यहाँ
- पहर
- सुझावों
- युक्तियाँ और चालें
- एक साथ
- विषय
- ट्रेडों
- प्रशिक्षण
- समझना
- उपयोग
- उपयोग
- दृष्टि
- अंदर
- काम कर रहे
- कार्य
- विश्व
- साल