Amazon SageMaker ভূ-স্থানিক ক্ষমতা এবং কাস্টম SageMaker মডেল ব্যবহার করে ক্ষতির মূল্যায়ন

এই পোস্টে, আমরা দেখাই যে কীভাবে প্রশিক্ষণ দেওয়া যায়, মোতায়েন করা যায় এবং প্রাকৃতিক দুর্যোগের ক্ষতির পূর্বাভাস দেওয়া যায় ভূ-স্থানিক ক্ষমতা সহ Amazon SageMaker. আমরা মডেল পরীক্ষা করার জন্য নতুন অনুমান ডেটা তৈরি করতে নতুন সেজমেকার ভূ-স্থানিক ক্ষমতা ব্যবহার করি। অনেক সরকারী এবং মানবিক সংস্থার দ্রুত এবং সঠিক পরিস্থিতিগত সচেতনতা প্রয়োজন যখন একটি দুর্যোগ আঘাত হানে। ক্ষতির তীব্রতা, কারণ এবং অবস্থান জানা প্রথম উত্তরদাতার প্রতিক্রিয়া কৌশল এবং সিদ্ধান্ত গ্রহণে সহায়তা করতে পারে। সঠিক এবং সময়োপযোগী তথ্যের অভাব একটি অসম্পূর্ণ বা ভুল নির্দেশিত ত্রাণ প্রচেষ্টায় অবদান রাখতে পারে।

প্রাকৃতিক দুর্যোগের ফ্রিকোয়েন্সি এবং তীব্রতা বৃদ্ধির সাথে সাথে, এটি গুরুত্বপূর্ণ যে আমরা সিদ্ধান্ত গ্রহণকারীদের এবং প্রথম প্রতিক্রিয়াকারীদের দ্রুত এবং সঠিক ক্ষতির মূল্যায়নের সাথে সজ্জিত করি। এই উদাহরণে, প্রাকৃতিক দুর্যোগের ক্ষতির পূর্বাভাস দিতে আমরা ভূ-স্থানিক চিত্র ব্যবহার করি। বিল্ডিং, রাস্তা বা অন্যান্য গুরুত্বপূর্ণ অবকাঠামোর ক্ষতি দ্রুত শনাক্ত করার জন্য প্রাকৃতিক দুর্যোগের পরপরই ভূ-স্থানিক ডেটা ব্যবহার করা যেতে পারে। এই পোস্টে, আমরা আপনাকে দেখাব যে কীভাবে দুর্যোগের ক্ষতির শ্রেণীবিভাগের জন্য ব্যবহার করার জন্য একটি ভূ-স্থানিক বিভাজন মডেল প্রশিক্ষণ এবং স্থাপন করা যায়। আমরা অ্যাপ্লিকেশনটিকে তিনটি বিষয়ে বিভক্ত করি: মডেল প্রশিক্ষণ, মডেল স্থাপনা এবং অনুমান।

মডেল প্রশিক্ষণ

এই ব্যবহারের ক্ষেত্রে, আমরা ব্যবহার করে একটি কাস্টম PyTorch মডেল তৈরি করেছি আমাজন সেজমেকার বিল্ডিং ক্ষতি ইমেজ সেগমেন্টেশন জন্য. SageMaker-এর ভূ-স্থানিক ক্ষমতাগুলির মধ্যে আপনার ব্যবহারের জন্য প্রশিক্ষিত মডেলগুলি অন্তর্ভুক্ত রয়েছে৷ এই অন্তর্নির্মিত মডেলগুলির মধ্যে রয়েছে ক্লাউড সেগমেন্টেশন এবং রিমুভাল এবং ল্যান্ড কভার সেগমেন্টেশন। এই পোস্টের জন্য, আমরা ক্ষতি বিভাজন জন্য একটি কাস্টম মডেল প্রশিক্ষণ. আমরা প্রথম সেগফর্মার মডেলকে xView2 প্রতিযোগিতা থেকে ডেটার উপর প্রশিক্ষণ দিয়েছিলাম। SegFormer হল একটি ট্রান্সফরমার-ভিত্তিক আর্কিটেকচার যা 2021 কাগজে চালু করা হয়েছিল SegFormer: ট্রান্সফরমার সহ শব্দার্থিক বিভাজনের জন্য সহজ এবং দক্ষ ডিজাইন. এটি ট্রান্সফরমার আর্কিটেকচারের উপর ভিত্তি করে যা প্রাকৃতিক ভাষা প্রক্রিয়াকরণ কাজের চাপের সাথে বেশ জনপ্রিয়; যাইহোক, SegFormer আর্কিটেকচার শব্দার্থিক সেগমেন্টেশনের জন্য নির্মিত। এটি ট্রান্সফরমার-ভিত্তিক এনকোডার এবং একটি লাইটওয়েট ডিকোডার উভয়কে একত্রিত করে। এটি পূর্ববর্তী পদ্ধতির তুলনায় ভাল কর্মক্ষমতার জন্য অনুমতি দেয়, যখন পূর্ববর্তী পদ্ধতির তুলনায় উল্লেখযোগ্যভাবে ছোট মডেল মাপ প্রদান করে। জনপ্রিয় আলিঙ্গন ফেস ট্রান্সফরমার লাইব্রেরি থেকে প্রাক-প্রশিক্ষিত এবং অপ্রশিক্ষিত উভয় SegFormer মডেল পাওয়া যায়। এই ব্যবহারের ক্ষেত্রে, আমরা একটি প্রাক-প্রশিক্ষিত SegFormer আর্কিটেকচার ডাউনলোড করি এবং এটি একটি নতুন ডেটাসেটে প্রশিক্ষণ দিই।

এই উদাহরণে ব্যবহৃত ডেটাসেট থেকে এসেছে xView2 ডেটা বিজ্ঞান প্রতিযোগিতা. এই প্রতিযোগিতাটি প্রকাশ করেছে xBD ডেটাসেট, প্রাকৃতিক দুর্যোগের আগে এবং পরে বিল্ডিং অবস্থান এবং ক্ষতির স্কোর (ক্লাস) সহ টীকাযুক্ত উচ্চ-রেজোলিউশন স্যাটেলাইট চিত্রের সর্বজনীনভাবে উপলব্ধ সবচেয়ে বড় এবং সর্বোচ্চ মানের ডেটাসেটগুলির মধ্যে একটি৷ ডেটাসেটটিতে 15টি দেশের তথ্য রয়েছে যার মধ্যে 6 ধরনের দুর্যোগ (ভূমিকম্প/সুনামি, বন্যা, আগ্নেয়গিরির অগ্ন্যুৎপাত, দাবানল, বায়ু) 850,736 km^45,362 চিত্র জুড়ে 2 বিল্ডিং টীকা সহ ভূ-স্থানিক ডেটা রয়েছে। নিম্নলিখিত চিত্রটি ডেটাসেটের একটি উদাহরণ দেখায়। এই চিত্রটি বিল্ডিং ড্যামেজ সেগমেন্টেশন মাস্ক ওভারলেড সহ দুর্যোগ-পরবর্তী চিত্রটি দেখায়। প্রতিটি ছবিতে নিম্নলিখিতগুলি অন্তর্ভুক্ত রয়েছে: প্রাক-দুর্যোগ স্যাটেলাইট চিত্র, প্রাক-দুর্যোগ বিল্ডিং সেগমেন্টেশন মাস্ক, দুর্যোগ-পরবর্তী স্যাটেলাইট চিত্র, এবং দুর্যোগ-পরবর্তী বিল্ডিং সেগমেন্টেশন মাস্ক এবং ক্ষতির শ্রেণী।

এই উদাহরণে, আমরা শুধুমাত্র দুর্যোগ-পরবর্তী ক্ষতির শ্রেণীবিভাগ (সেগমেন্টেশন মাস্ক) ভবিষ্যদ্বাণী করতে প্রাক- এবং-পরবর্তী চিত্র ব্যবহার করি। আমরা প্রি-ডিজাস্টার বিল্ডিং সেগমেন্টেশন মাস্ক ব্যবহার করি না। এই পদ্ধতিটি সরলতার জন্য নির্বাচিত হয়েছিল। এই ডেটাসেটের কাছে যাওয়ার জন্য অন্যান্য বিকল্প রয়েছে। xView2 প্রতিযোগিতার জন্য বেশ কয়েকটি বিজয়ী পন্থা একটি দ্বি-পদক্ষেপ সমাধান ব্যবহার করেছে: প্রথমত, প্রাক-দুর্যোগ বিল্ডিং রূপরেখা বিভাজন মাস্কের পূর্বাভাস দিন। ভবনের রূপরেখা এবং ক্ষতি-পরবর্তী চিত্রগুলি ক্ষতির শ্রেণীবিভাগের পূর্বাভাস দেওয়ার জন্য ইনপুট হিসাবে ব্যবহার করা হয়। শ্রেণীবিভাগ এবং সনাক্তকরণ কর্মক্ষমতা উন্নত করার জন্য অন্যান্য মডেলিং পদ্ধতির অন্বেষণ করার জন্য আমরা এটি পাঠকের উপর ছেড়ে দিই।

প্রাক-প্রশিক্ষিত SegFormer আর্কিটেকচারটি একটি একক তিন-রঙের চ্যানেলের ছবিকে ইনপুট হিসাবে গ্রহণ করার জন্য তৈরি করা হয়েছে এবং একটি বিভাজন মাস্ক আউটপুট করে। উপগ্রহের পূর্বের এবং পরবর্তী উভয় ইমেজকে ইনপুট হিসাবে গ্রহণ করার জন্য আমরা মডেলটিকে পরিবর্তন করতে পারতাম এমন অনেক উপায় রয়েছে, তবে, আমরা একটি ছয় রঙের চ্যানেলের ছবিতে উভয় ছবিকে একসাথে স্ট্যাক করার জন্য একটি সাধারণ স্ট্যাকিং কৌশল ব্যবহার করেছি। আমরা xView2 প্রশিক্ষণ ডেটাসেটে স্ট্যান্ডার্ড অগমেন্টেশন কৌশল ব্যবহার করে মডেলটিকে প্রশিক্ষিত করেছি দুর্যোগ পরবর্তী সেগমেন্টেশন মাস্কের পূর্বাভাস দিতে। মনে রাখবেন যে আমরা 1024 থেকে 512 পিক্সেল পর্যন্ত সমস্ত ইনপুট চিত্রের আকার পরিবর্তন করেছি। এটি প্রশিক্ষণের ডেটার স্থানিক রেজোলিউশনকে আরও কমাতে হয়েছিল। মডেলটিকে সেজমেকারের সাথে একটি একক p3.2xlarge GPU ভিত্তিক উদাহরণ ব্যবহার করে প্রশিক্ষণ দেওয়া হয়েছিল। প্রশিক্ষিত মডেল আউটপুট একটি উদাহরণ নিম্নলিখিত পরিসংখ্যান দেখানো হয়েছে. ইমেজের প্রথম সেট হল ভ্যালিডেশন সেট থেকে প্রাক- এবং ক্ষতি-পরবর্তী ছবি।

নিম্নলিখিত পরিসংখ্যানগুলি পূর্বাভাসিত ক্ষতির মুখোশ এবং স্থল সত্য ক্ষতির মুখোশ দেখায়।

প্রথম নজরে, মনে হচ্ছে গ্রাউন্ড ট্রুথ ডেটার তুলনায় মডেলটি ভাল পারফর্ম করে না। অনেক বিল্ডিং ভুলভাবে শ্রেণীবদ্ধ করা হয়েছে, বিভ্রান্তিকর ছোটখাটো ক্ষয়ক্ষতি বিভ্রান্তিকর এবং একটি একক বিল্ডিং রূপরেখার জন্য একাধিক শ্রেণীবিভাগ দেখায়। যাইহোক, মডেলের কর্মক্ষমতা পর্যালোচনা করার সময় একটি আকর্ষণীয় অনুসন্ধান হল যে এটি বিল্ডিং ক্ষতির শ্রেণীবিভাগ স্থানীয়করণ করতে শিখেছে বলে মনে হচ্ছে। প্রতিটি বিল্ডিং শ্রেণীবদ্ধ করা যেতে পারে No Damage, Minor Damage, Major Damage, বা Destroyed. ভবিষ্যদ্বাণী করা ক্ষতির মুখোশ দেখায় যে মডেলটি মাঝখানে বড় বিল্ডিংটিকে বেশিরভাগের মধ্যে শ্রেণীবদ্ধ করেছে No Damage, কিন্তু উপরের ডান কোণে শ্রেণীবদ্ধ করা হয়েছে Destroyed. এই উপ-বিল্ডিং ক্ষতি স্থানীয়করণ প্রতি বিল্ডিং প্রতি স্থানীয় ক্ষতি দেখিয়ে প্রতিক্রিয়াকারীদের আরও সহায়তা করতে পারে।

মডেল মোতায়েন

প্রশিক্ষিত মডেলটি তখন একটি অ্যাসিঙ্ক্রোনাস সেজমেকার ইনফারেন্স এন্ডপয়েন্টে স্থাপন করা হয়েছিল। মনে রাখবেন যে আমরা একটি অ্যাসিঙ্ক্রোনাস এন্ডপয়েন্ট বেছে নিয়েছি যাতে দীর্ঘ অনুমান সময়, বৃহত্তর পেলোড ইনপুট মাপ এবং ব্যবহার না করার সময় এন্ডপয়েন্টকে শূন্য দৃষ্টান্তে স্কেল করার ক্ষমতা (কোন চার্জ নেই)। নিম্নলিখিত চিত্রটি অ্যাসিঙ্ক্রোনাস এন্ডপয়েন্ট স্থাপনার জন্য উচ্চ-স্তরের কোড দেখায়। আমরা প্রথমে সংরক্ষিত PyTorch স্টেট ডিকশনারী সংকুচিত করি এবং কম্প্রেস করা মডেল আর্টিফ্যাক্টগুলি আপলোড করি আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3)। আমরা একটি SageMaker PyTorch মডেল তৈরি করি যা আমাদের অনুমান কোড এবং মডেল আর্টিফ্যাক্টগুলির দিকে নির্দেশ করে৷ আমাদের মডেল লোড এবং পরিবেশন করার জন্য অনুমান কোড প্রয়োজন। SageMaker PyTorch মডেলের জন্য প্রয়োজনীয় কাস্টম ইনফারেন্স কোড সম্পর্কে আরও বিশদ বিবরণের জন্য, পড়ুন সেজমেকার পাইথন এসডিকে দিয়ে পাইটর্চ ব্যবহার করুন.

নিম্নলিখিত চিত্রটি অ্যাসিঙ্ক্রোনাস ইনফারেন্স এন্ডপয়েন্টের জন্য স্বয়ংক্রিয় স্কেলিং নীতির কোড দেখায়।

মনে রাখবেন যে রিয়েল টাইম, ব্যাচ এবং সার্ভারহীনের মতো অন্যান্য এন্ডপয়েন্ট বিকল্প রয়েছে যা আপনার অ্যাপ্লিকেশনের জন্য ব্যবহার করা যেতে পারে। আপনি বিকল্পটি বেছে নিতে চাইবেন যেটি ব্যবহারের ক্ষেত্রে সবচেয়ে উপযুক্ত এবং এটি স্মরণ করুন আমাজন সেজমেকার ইনফারেন্স সুপারিশকারী মেশিন লার্নিং (ML) এন্ডপয়েন্ট কনফিগারেশনের সুপারিশ করতে সাহায্য করার জন্য উপলব্ধ।

মডেল অনুমান

প্রশিক্ষিত মডেল মোতায়েন সহ, আমরা এখন ব্যবহার করতে পারি সেজমেকার ভূ-স্থানিক ক্ষমতা অনুমানের জন্য তথ্য সংগ্রহ করতে। সেজমেকার ভূ-স্থানিক ক্ষমতা সহ, বেশ কয়েকটি অন্তর্নির্মিত মডেল বাক্সের বাইরে উপলব্ধ। এই উদাহরণে, আমরা আমাদের পৃথিবী পর্যবেক্ষণ কাজের জন্য লাল, সবুজ এবং নীল রঙের চ্যানেল স্ট্যাক করার জন্য ব্যান্ড স্ট্যাকিং অপারেশন ব্যবহার করি। কাজটি সেন্টিনেল-2 ডেটাসেট থেকে ডেটা সংগ্রহ করে। একটি পৃথিবী পর্যবেক্ষণ কাজ কনফিগার করতে, আমাদের প্রথমে আগ্রহের অবস্থানের স্থানাঙ্কের প্রয়োজন। দ্বিতীয়ত, আমাদের পর্যবেক্ষণের সময়সীমা প্রয়োজন। এটির সাহায্যে আমরা এখন স্ট্যাকিং বৈশিষ্ট্য ব্যবহার করে একটি আর্থ পর্যবেক্ষণ কাজ জমা দিতে পারি। এখানে আমরা একটি রঙিন চিত্র তৈরি করতে লাল, সবুজ এবং নীল ব্যান্ডগুলিকে স্ট্যাক করি। নিম্নলিখিত চিত্রটি 2022 সালের অক্টোবরের মাঝামাঝি অস্ট্রেলিয়ার রোচেস্টারে বন্যা থেকে ডেটা তৈরি করতে ব্যবহৃত কাজের কনফিগারেশন দেখায়। আমরা আমাদের প্রশিক্ষিত এমএল মডেলের ইনপুট হিসাবে দুর্যোগের আগে এবং পরে ছবিগুলি ব্যবহার করি।

কাজের কনফিগারেশন সংজ্ঞায়িত হওয়ার পরে, আমরা কাজটি জমা দিতে পারি। কাজটি সম্পূর্ণ হলে, আমরা ফলাফলগুলি Amazon S3 এ রপ্তানি করি। মনে রাখবেন যে কাজ শেষ হওয়ার পরেই আমরা ফলাফল রপ্তানি করতে পারি। কাজের ফলাফল রপ্তানি কাজের কনফিগারেশনে ব্যবহারকারী দ্বারা নির্দিষ্ট একটি Amazon S3 অবস্থানে রপ্তানি করা যেতে পারে। এখন Amazon S3-এ আমাদের নতুন ডেটার সাথে, আমরা স্থাপন করা মডেল ব্যবহার করে ক্ষতির পূর্বাভাস পেতে পারি। আমরা প্রথমে মেমরিতে ডেটা পড়ি এবং দুর্যোগের পূর্বের এবং পরবর্তী চিত্রগুলিকে একসাথে স্ট্যাক করি।

রচেস্টার বন্যার জন্য সেগমেন্টেশন মাস্কের ফলাফলগুলি নিম্নলিখিত চিত্রগুলিতে দেখানো হয়েছে। এখানে আমরা দেখতে পাচ্ছি যে মডেলটি প্লাবিত অঞ্চলের মধ্যে স্থানগুলিকে সম্ভাব্য ক্ষতিগ্রস্থ হিসাবে চিহ্নিত করেছে৷ এছাড়াও নোট করুন যে অনুমান চিত্রের স্থানিক রেজোলিউশন প্রশিক্ষণের ডেটা থেকে আলাদা। স্থানিক রেজোলিউশন বৃদ্ধি মডেল কর্মক্ষমতা সাহায্য করতে পারে; তবে, এটি SegFormer মডেলের জন্য একটি সমস্যা কম কারণ এটি মাল্টিস্কেল মডেল আর্কিটেকচারের কারণে অন্যান্য মডেলের জন্য।

ক্ষতির মূল্যায়ন

উপসংহার

এই পোস্টে, আমরা দেখিয়েছি কিভাবে প্রশিক্ষণ দেওয়া যায়, মোতায়েন করা যায় এবং প্রাকৃতিক দুর্যোগের ক্ষতির পূর্বাভাস দেওয়া যায় ভূ-স্থানিক ক্ষমতা সহ সেজমেকার. আমরা মডেলটি পরীক্ষা করার জন্য নতুন অনুমান ডেটা তৈরি করতে নতুন সেজমেকার ভূ-স্থানিক ক্ষমতা ব্যবহার করেছি। এই পোস্টের কোডটি প্রকাশের প্রক্রিয়াধীন রয়েছে এবং এই পোস্টটি সম্পূর্ণ প্রশিক্ষণ, স্থাপনা এবং অনুমান কোডের লিঙ্ক সহ আপডেট করা হবে। এই অ্যাপ্লিকেশনটি প্রথম প্রতিক্রিয়াকারীদের, সরকার এবং মানবিক সংস্থাগুলিকে তাদের প্রতিক্রিয়া অপ্টিমাইজ করার অনুমতি দেয়, প্রাকৃতিক দুর্যোগের পরে অবিলম্বে গুরুতর পরিস্থিতিগত সচেতনতা প্রদান করে। এই অ্যাপ্লিকেশনটি সেজমেকারের মতো আধুনিক এমএল সরঞ্জামগুলির সাথে কী সম্ভব তার একটি উদাহরণ।

আপনার নিজস্ব মডেল ব্যবহার করে আজই সেজমেকার ভূ-স্থানিক ক্ষমতা ব্যবহার করে দেখুন; আমরা আপনার পরবর্তী নির্মাণ দেখার জন্য উন্মুখ.

লেখক সম্পর্কে

অ্যারন সেংস্ট্যাকেন অ্যামাজন ওয়েব সার্ভিসেস-এর একজন মেশিন লার্নিং বিশেষজ্ঞ সমাধান আর্কিটেক্ট। অ্যারন প্রোডাকশন মেশিন লার্নিং অ্যাপ্লিকেশানগুলি বিকাশ এবং স্থাপন করতে সমস্ত আকারের পাবলিক সেক্টর গ্রাহকদের সাথে ঘনিষ্ঠভাবে কাজ করে। তিনি মেশিন লার্নিং, প্রযুক্তি এবং মহাকাশ অনুসন্ধানের সমস্ত বিষয়ে আগ্রহী।