अमेज़ॅन सैजमेकर भू-स्थानिक क्षमताओं और कस्टम सैजमेकर मॉडल का उपयोग करके नुकसान का आकलन

इस पोस्ट में, हम दिखाते हैं कि प्राकृतिक आपदा से होने वाले नुकसान को कैसे प्रशिक्षित किया जाए, तैनात किया जाए और भविष्यवाणी की जाए भू-स्थानिक क्षमताओं के साथ Amazon SageMaker. हम मॉडल का परीक्षण करने के लिए नए निष्कर्ष डेटा उत्पन्न करने के लिए नई SageMaker भू-स्थानिक क्षमताओं का उपयोग करते हैं। आपदा आने पर कई सरकारी और मानवीय संगठनों को त्वरित और सटीक स्थितिजन्य जागरूकता की आवश्यकता होती है। क्षति की गंभीरता, कारण और स्थान को जानने से पहले उत्तरदाता की प्रतिक्रिया रणनीति और निर्णय लेने में सहायता मिल सकती है। सटीक और समय पर जानकारी की कमी एक अपूर्ण या गलत दिशा में राहत प्रयास में योगदान कर सकती है।

जैसे-जैसे प्राकृतिक आपदाओं की आवृत्ति और गंभीरता बढ़ती है, यह महत्वपूर्ण है कि हम निर्णय लेने वालों और पहले उत्तरदाताओं को क्षति का तेज़ और सटीक आकलन प्रदान करें। इस उदाहरण में, हम प्राकृतिक आपदा क्षति की भविष्यवाणी करने के लिए भू-स्थानिक इमेजरी का उपयोग करते हैं। इमारतों, सड़कों, या अन्य महत्वपूर्ण बुनियादी ढांचे को नुकसान की तेजी से पहचान करने के लिए भू-स्थानिक डेटा का उपयोग प्राकृतिक आपदा के तत्काल बाद में किया जा सकता है। इस पोस्ट में, हम आपको दिखाते हैं कि आपदा क्षति वर्गीकरण के लिए उपयोग किए जाने वाले भू-स्थानिक विभाजन मॉडल को कैसे प्रशिक्षित और तैनात किया जाए। हम एप्लिकेशन को तीन विषयों में विभाजित करते हैं: मॉडल प्रशिक्षण, मॉडल परिनियोजन और अनुमान।

मॉडल प्रशिक्षण

इस उपयोग के मामले में, हमने उपयोग करके एक कस्टम PyTorch मॉडल बनाया अमेज़न SageMaker भवन क्षति की छवि विभाजन के लिए। SageMaker में भू-स्थानिक क्षमताओं में आपके उपयोग के लिए प्रशिक्षित मॉडल शामिल हैं। इन बिल्ट-इन मॉडल में क्लाउड सेगमेंटेशन और रिमूवल और लैंड कवर सेगमेंटेशन शामिल हैं। इस पोस्ट के लिए, हम क्षति विभाजन के लिए एक कस्टम मॉडल को प्रशिक्षित करते हैं। हमने सबसे पहले xView2 प्रतियोगिता के डेटा पर SegFormer मॉडल को प्रशिक्षित किया। SegFormer एक ट्रांसफ़ॉर्मर-आधारित आर्किटेक्चर है जिसे 2021 के पेपर में पेश किया गया था सेगफॉर्मर: ट्रांसफॉर्मर्स के साथ सिमेंटिक सेगमेंटेशन के लिए सरल और कुशल डिजाइन. यह ट्रांसफॉर्मर आर्किटेक्चर पर आधारित है जो नेचुरल लैंग्वेज प्रोसेसिंग वर्कलोड के साथ काफी लोकप्रिय हैं; हालाँकि, SegFormer आर्किटेक्चर सिमेंटिक सेगमेंटेशन के लिए बनाया गया है। यह ट्रांसफॉर्मर-आधारित एन्कोडर और हल्के डिकोडर दोनों को जोड़ती है। यह पिछले तरीकों की तुलना में काफी छोटे मॉडल आकार प्रदान करते हुए पिछले तरीकों की तुलना में बेहतर प्रदर्शन की अनुमति देता है। पूर्व-प्रशिक्षित और अप्रशिक्षित दोनों सेगफॉर्मर मॉडल लोकप्रिय हगिंग फेस ट्रांसफॉर्मर लाइब्रेरी से उपलब्ध हैं। इस उपयोग के मामले में, हम एक पूर्व-प्रशिक्षित SegFormer आर्किटेक्चर डाउनलोड करते हैं और इसे एक नए डेटासेट पर प्रशिक्षित करते हैं।

इस उदाहरण में प्रयुक्त डेटासेट से आता है xView2 डेटा विज्ञान प्रतियोगिता. इस प्रतियोगिता का विमोचन किया एक्सबीडी डेटासेट, प्राकृतिक आपदाओं से पहले और बाद में इमारत के स्थान और क्षति स्कोर (वर्ग) के साथ एनोटेट किए गए उच्च-रिज़ॉल्यूशन उपग्रह इमेजरी के सबसे बड़े और उच्चतम-गुणवत्ता वाले सार्वजनिक रूप से उपलब्ध डेटासेट में से एक। डेटासेट में 15 देशों के डेटा शामिल हैं जिनमें 6 प्रकार की आपदाएँ (भूकंप/सुनामी, बाढ़, ज्वालामुखी विस्फोट, जंगल की आग, हवा) शामिल हैं, जिसमें भू-स्थानिक डेटा के साथ 850,736 किमी^45,362 इमेजरी में 2 बिल्डिंग एनोटेशन शामिल हैं। निम्न छवि डेटासेट का एक उदाहरण दिखाती है। यह छवि आपदा के बाद की छवि को भवन क्षति विभाजन मुखौटा के साथ दिखाती है। प्रत्येक छवि में निम्नलिखित शामिल हैं: पूर्व-आपदा उपग्रह छवि, पूर्व-आपदा भवन विभाजन मुखौटा, आपदा के बाद उपग्रह छवि, और क्षति वर्गों के साथ आपदा-पश्चात भवन विभाजन मुखौटा।

इस उदाहरण में, हम आपदा के बाद के नुकसान के वर्गीकरण (विभाजन मुखौटा) की भविष्यवाणी करने के लिए केवल पूर्व और बाद की आपदा इमेजरी का उपयोग करते हैं। हम पूर्व-आपदा भवन विभाजन मास्क का उपयोग नहीं करते हैं। यह तरीका सादगी के लिए चुना गया था। इस डेटासेट तक पहुँचने के लिए अन्य विकल्प हैं। xView2 प्रतियोगिता के लिए जीतने वाले कई दृष्टिकोणों ने दो-चरणीय समाधान का उपयोग किया: सबसे पहले, पूर्व-आपदा भवन रूपरेखा विभाजन मुखौटा की भविष्यवाणी करें। भवन की रूपरेखा और क्षति के बाद की छवियों को तब क्षति वर्गीकरण की भविष्यवाणी करने के लिए इनपुट के रूप में उपयोग किया जाता है। हम वर्गीकरण और पहचान प्रदर्शन में सुधार के लिए अन्य मॉडलिंग दृष्टिकोणों का पता लगाने के लिए इसे पाठक पर छोड़ देते हैं।

पूर्व-प्रशिक्षित SegFormer आर्किटेक्चर एक सिंगल थ्री-कलर चैनल इमेज को इनपुट के रूप में स्वीकार करने के लिए बनाया गया है और एक सेगमेंटेशन मास्क को आउटपुट करता है। ऐसे कई तरीके हैं जिनसे हम इनपुट के रूप में पूर्व और बाद की दोनों छवियों को स्वीकार करने के लिए मॉडल को संशोधित कर सकते थे, हालाँकि, हमने दोनों छवियों को एक साथ छह-रंग की चैनल छवि में ढेर करने के लिए एक सरल स्टैकिंग तकनीक का उपयोग किया। हमने आपदा के बाद के विभाजन मास्क की भविष्यवाणी करने के लिए xView2 प्रशिक्षण डेटासेट पर मानक वृद्धि तकनीकों का उपयोग करके मॉडल को प्रशिक्षित किया। ध्यान दें कि हमने सभी इनपुट छवियों का आकार 1024 से 512 पिक्सेल में बदल दिया है। यह प्रशिक्षण डेटा के स्थानिक संकल्प को और कम करना था। मॉडल को सिंगल p3.2xlarge GPU आधारित उदाहरण का उपयोग करके SageMaker के साथ प्रशिक्षित किया गया था। प्रशिक्षित मॉडल आउटपुट का एक उदाहरण निम्नलिखित आंकड़ों में दिखाया गया है। छवियों का पहला सेट सत्यापन सेट से पूर्व और क्षति के बाद की छवियां हैं।

निम्नलिखित आंकड़े अनुमानित क्षति मुखौटा और जमीनी सच्चाई क्षति मुखौटा दिखाते हैं।

पहली नज़र में, ऐसा लगता है कि जमीनी सच्चाई के आंकड़ों की तुलना में मॉडल अच्छा प्रदर्शन नहीं करता है। कई इमारतों को गलत तरीके से वर्गीकृत किया गया है, बिना किसी नुकसान के मामूली क्षति को भ्रमित करना और एक इमारत की रूपरेखा के लिए कई वर्गीकरण दिखाना। हालांकि, मॉडल के प्रदर्शन की समीक्षा करते समय एक दिलचस्प खोज यह है कि ऐसा लगता है कि उसने भवन क्षति वर्गीकरण को स्थानीय बनाना सीख लिया है। प्रत्येक इमारत में वर्गीकृत किया जा सकता है No Damage, Minor Damage, Major Damageया, Destroyed. अनुमानित नुकसान का मुखौटा दिखाता है कि मॉडल ने बीच में बड़ी इमारत को ज्यादातर में वर्गीकृत किया है No Damage, लेकिन शीर्ष दाएं कोने को इस रूप में वर्गीकृत किया गया है Destroyed. यह उप-भवन क्षति स्थानीयकरण प्रति भवन स्थानीयकृत क्षति दिखा कर उत्तरदाताओं की सहायता कर सकता है।

मॉडल की तैनाती

प्रशिक्षित मॉडल को तब एक अतुल्यकालिक सैजमेकर अनुमान समापन बिंदु पर तैनात किया गया था। ध्यान दें कि हमने लंबे अनुमान समय, बड़े पेलोड इनपुट आकार, और उपयोग में नहीं होने पर समापन बिंदु को शून्य उदाहरणों (कोई शुल्क नहीं) पर स्केल करने की क्षमता के लिए अनुमति देने के लिए एक एसिंक्रोनस एंडपॉइंट चुना है। निम्नलिखित आंकड़ा अतुल्यकालिक समापन बिंदु परिनियोजन के लिए उच्च-स्तरीय कोड दिखाता है। हम पहले सहेजे गए PyTorch स्टेट डिक्शनरी को कंप्रेस करते हैं और कंप्रेस्ड मॉडल कलाकृतियों को अपलोड करते हैं अमेज़न सरल भंडारण सेवा (अमेज़न एस 3)। हम अपने अनुमान कोड और मॉडल कलाकृतियों की ओर इशारा करते हुए एक SageMaker PyTorch मॉडल बनाते हैं। हमारे मॉडल को लोड करने और सर्व करने के लिए अनुमान कोड की आवश्यकता होती है। SageMaker PyTorch मॉडल के लिए आवश्यक कस्टम अनुमान कोड के बारे में अधिक जानकारी के लिए देखें सेजमेकर पायथन एसडीके के साथ PyTorch का उपयोग करें.

निम्नलिखित आंकड़ा एसिंक्रोनस इन्वेंशन एंडपॉइंट के लिए ऑटो स्केलिंग पॉलिसी के लिए कोड दिखाता है।

ध्यान दें कि अन्य समापन बिंदु विकल्प हैं, जैसे वास्तविक समय, बैच और सर्वर रहित, जिनका उपयोग आपके एप्लिकेशन के लिए किया जा सकता है। आप वह विकल्प चुनना चाहेंगे जो उपयोग के मामले के लिए सबसे उपयुक्त हो और उसे याद करें अमेज़ॅन सेजमेकर अनुमान अनुशंसाकर्ता मशीन लर्निंग (ML) एंडपॉइंट कॉन्फ़िगरेशन की अनुशंसा करने में सहायता के लिए उपलब्ध है।

मॉडल अनुमान

तैनात किए गए प्रशिक्षित मॉडल के साथ, अब हम उपयोग कर सकते हैं सेजमेकर की भू-स्थानिक क्षमताएं अनुमान के लिए डेटा इकट्ठा करना। SageMaker की भू-स्थानिक क्षमताओं के साथ, कई अंतर्निर्मित मॉडल लीक से हटकर उपलब्ध हैं। इस उदाहरण में, हम अपने पृथ्वी अवलोकन कार्य के लिए लाल, हरे और नीले रंग के चैनलों को ढेर करने के लिए बैंड स्टैकिंग ऑपरेशन का उपयोग करते हैं। कार्य Sentinel-2 डेटासेट से डेटा एकत्र करता है। पृथ्वी अवलोकन कार्य को कॉन्फ़िगर करने के लिए, हमें सबसे पहले रुचि के स्थान के निर्देशांकों की आवश्यकता होती है। दूसरा, हमें अवलोकन की समय सीमा की आवश्यकता है। इसके साथ अब हम स्टैकिंग सुविधा का उपयोग करके पृथ्वी अवलोकन कार्य सबमिट कर सकते हैं। यहां हम रंगीन छवि बनाने के लिए लाल, हरे और नीले बैंड को ढेर करते हैं। निम्नलिखित आंकड़ा अक्टूबर 2022 के मध्य में रोचेस्टर, ऑस्ट्रेलिया में बाढ़ से डेटा उत्पन्न करने के लिए उपयोग किए गए कार्य विन्यास को दर्शाता है। हम अपने प्रशिक्षित एमएल मॉडल के इनपुट के रूप में आपदा से पहले और बाद की छवियों का उपयोग करते हैं।

जॉब कॉन्फ़िगरेशन परिभाषित होने के बाद, हम जॉब सबमिट कर सकते हैं। जब काम पूरा हो जाता है, तो हम परिणाम Amazon S3 को निर्यात करते हैं। ध्यान दें कि हम कार्य पूरा होने के बाद ही परिणामों को निर्यात कर सकते हैं। कार्य के परिणाम निर्यात कार्य कॉन्फ़िगरेशन में उपयोगकर्ता द्वारा निर्दिष्ट Amazon S3 स्थान पर निर्यात किए जा सकते हैं। अब Amazon S3 में हमारे नए डेटा के साथ, हम परिनियोजित मॉडल का उपयोग करके नुकसान का पूर्वानुमान प्राप्त कर सकते हैं। हम पहले डेटा को मेमोरी में पढ़ते हैं और पूर्व और बाद की आपदा इमेजरी को एक साथ जोड़ते हैं।

रोचेस्टर बाढ़ के लिए विभाजन मास्क के परिणाम निम्न छवियों में दिखाए गए हैं। यहां हम देख सकते हैं कि मॉडल ने संभावित क्षतिग्रस्त क्षेत्रों के रूप में बाढ़ वाले क्षेत्र के भीतर स्थानों की पहचान की है। यह भी ध्यान दें कि अनुमान छवि का स्थानिक संकल्प प्रशिक्षण डेटा से अलग है। स्थानिक संकल्प को बढ़ाने से मॉडल के प्रदर्शन में मदद मिल सकती है; हालाँकि, यह SegFormer मॉडल के लिए कम समस्या है क्योंकि यह मल्टीस्केल मॉडल आर्किटेक्चर के कारण अन्य मॉडलों के लिए है।

नुकसान का आकलन

निष्कर्ष

इस पोस्ट में, हमने दिखाया कि प्राकृतिक आपदा से होने वाली क्षति को कैसे प्रशिक्षित किया जाए, तैनात किया जाए और भविष्यवाणी की जाए SageMaker भू-स्थानिक क्षमताओं के साथ. हमने मॉडल का परीक्षण करने के लिए नए निष्कर्ष डेटा उत्पन्न करने के लिए नई सैजमेकर भू-स्थानिक क्षमताओं का उपयोग किया। इस पोस्ट के लिए कोड जारी होने की प्रक्रिया में है, और इस पोस्ट को पूर्ण प्रशिक्षण, परिनियोजन और अनुमान कोड के लिंक के साथ अपडेट किया जाएगा। यह एप्लिकेशन प्राकृतिक आपदा के तुरंत बाद महत्वपूर्ण स्थितिजन्य जागरूकता प्रदान करते हुए, पहले उत्तरदाताओं, सरकारों और मानवीय संगठनों को उनकी प्रतिक्रिया का अनुकूलन करने की अनुमति देता है। यह एप्लिकेशन केवल एक उदाहरण है कि SageMaker जैसे आधुनिक ML टूल के साथ क्या संभव है।

आज ही अपने स्वयं के मॉडल का उपयोग करके SageMaker की भू-स्थानिक क्षमताओं को आजमाएँ; हम यह देखने के लिए उत्सुक हैं कि आप आगे क्या बनाते हैं।

लेखक के बारे में

आरोन सेंगस्टैकन Amazon Web Services में एक मशीन लर्निंग स्पेशलिस्ट सॉल्यूशन आर्किटेक्ट है। हारून उत्पादन मशीन सीखने के अनुप्रयोगों को विकसित करने और तैनात करने के लिए सभी आकार के सार्वजनिक क्षेत्र के ग्राहकों के साथ मिलकर काम करता है। उन्हें मशीन लर्निंग, टेक्नोलॉजी और स्पेस एक्सप्लोरेशन सभी चीजों में दिलचस्पी है।