ایمیزون سیج میکر جغرافیائی صلاحیتوں اور کسٹم سیج میکر ماڈلز کا استعمال کرتے ہوئے نقصان کا اندازہ

اس پوسٹ میں، ہم یہ بتاتے ہیں کہ کس طرح تربیت، تعیناتی، اور قدرتی آفات سے ہونے والے نقصان کی پیشین گوئی کرنا ہے۔ جغرافیائی صلاحیتوں کے ساتھ ایمیزون سیج میکر. ہم ماڈل کو جانچنے کے لیے نئے انفرنس ڈیٹا بنانے کے لیے نئی SageMaker جغرافیائی صلاحیتوں کا استعمال کرتے ہیں۔ جب کوئی آفت آتی ہے تو بہت ساری حکومتی اور انسانی تنظیموں کو فوری اور درست حالات سے متعلق آگاہی کی ضرورت ہوتی ہے۔ نقصان کی شدت، وجہ اور مقام کو جاننا پہلے جواب دہندہ کی جوابی حکمت عملی اور فیصلہ سازی میں مدد کر سکتا ہے۔ درست اور بروقت معلومات کا فقدان ایک نامکمل یا غلط سمت والی امدادی کوششوں میں حصہ ڈال سکتا ہے۔

جیسا کہ قدرتی آفات کی تعدد اور شدت میں اضافہ ہوتا ہے، یہ ضروری ہے کہ ہم فیصلہ سازوں اور پہلے جواب دہندگان کو نقصان کے تیز اور درست تشخیص سے لیس کریں۔ اس مثال میں، ہم قدرتی آفات کے نقصان کی پیشین گوئی کرنے کے لیے جغرافیائی منظر کشی کا استعمال کرتے ہیں۔ عمارتوں، سڑکوں، یا دیگر اہم انفراسٹرکچر کو پہنچنے والے نقصان کی تیزی سے نشاندہی کرنے کے لیے قدرتی آفت کے فوراً بعد جغرافیائی اعداد و شمار کا استعمال کیا جا سکتا ہے۔ اس پوسٹ میں، ہم آپ کو دکھاتے ہیں کہ تباہی سے ہونے والے نقصان کی درجہ بندی کے لیے استعمال ہونے والے جغرافیائی تقسیم کے ماڈل کو کیسے تربیت اور تعینات کیا جائے۔ ہم درخواست کو تین عنوانات میں تقسیم کرتے ہیں: ماڈل ٹریننگ، ماڈل کی تعیناتی، اور اندازہ۔

ماڈل ٹریننگ

اس استعمال کے معاملے میں، ہم نے استعمال کرتے ہوئے ایک اپنی مرضی کے مطابق PyTorch ماڈل بنایا ایمیزون سیج میکر عمارت کو پہنچنے والے نقصان کی تصویری تقسیم کے لیے۔ SageMaker میں جغرافیائی صلاحیتوں میں آپ کے استعمال کے لیے تربیت یافتہ ماڈلز شامل ہیں۔ ان بلٹ ان ماڈلز میں کلاؤڈ سیگمنٹیشن اور ریموول، اور لینڈ کور سیگمنٹیشن شامل ہیں۔ اس پوسٹ کے لیے، ہم نقصان کی تقسیم کے لیے ایک حسب ضرورت ماڈل کو تربیت دیتے ہیں۔ ہم نے پہلے SegFormer ماڈل کو xView2 مقابلے کے ڈیٹا پر تربیت دی۔ SegFormer ایک ٹرانسفارمر پر مبنی فن تعمیر ہے جو 2021 کے پیپر میں متعارف کرایا گیا تھا۔ SegFormer: ٹرانسفارمرز کے ساتھ سیمنٹک سیگمنٹیشن کے لیے سادہ اور موثر ڈیزائن. یہ ٹرانسفارمر آرکیٹیکچرز پر مبنی ہے جو قدرتی لینگویج پروسیسنگ ورک بوجھ کے ساتھ کافی مقبول ہیں۔ تاہم، SegFormer فن تعمیر سیمنٹک سیگمنٹیشن کے لیے بنایا گیا ہے۔ یہ ٹرانسفارمر پر مبنی انکوڈر اور ہلکا پھلکا ڈیکوڈر دونوں کو یکجا کرتا ہے۔ یہ پچھلے طریقوں سے بہتر کارکردگی کی اجازت دیتا ہے، جبکہ پچھلے طریقوں سے نمایاں طور پر چھوٹے ماڈل سائز فراہم کرتا ہے۔ دونوں پہلے سے تربیت یافتہ اور غیر تربیت یافتہ SegFormer ماڈل مقبول Hugging Face ٹرانسفارمر لائبریری سے دستیاب ہیں۔ اس استعمال کے معاملے کے لیے، ہم پہلے سے تربیت یافتہ SegFormer فن تعمیر کو ڈاؤن لوڈ کرتے ہیں اور اسے ایک نئے ڈیٹا سیٹ پر تربیت دیتے ہیں۔

اس مثال میں استعمال کردہ ڈیٹاسیٹ سے آتا ہے۔ xView2 ڈیٹا سائنس مقابلہ. اس مقابلے نے جاری کیا۔ xBD ڈیٹاسیٹ، قدرتی آفات سے پہلے اور بعد میں عمارت کے مقام اور نقصان کے اسکور (کلاسز) کے ساتھ تشریح کردہ ہائی ریزولوشن سیٹلائٹ امیجری کے سب سے بڑے اور اعلی ترین معیار کے عوامی طور پر دستیاب ڈیٹا سیٹس میں سے ایک۔ ڈیٹاسیٹ میں 15 ممالک کا ڈیٹا شامل ہے جس میں 6 قسم کی آفات (زلزلہ/سونامی، سیلاب، آتش فشاں پھٹنا، جنگل کی آگ، ہوا) شامل ہیں جس میں 850,736 کلومیٹر^45,362 کی 2 عمارتوں کی تشریحات شامل ہیں۔ مندرجہ ذیل تصویر ڈیٹاسیٹ کی ایک مثال دکھاتی ہے۔ یہ تصویر تباہی کے بعد کی تصویر کو دکھاتی ہے جس میں عمارت کو پہنچنے والے نقصان کے سیگمنٹیشن ماسک کو اوورلی کیا گیا ہے۔ ہر تصویر میں مندرجہ ذیل چیزیں شامل ہوتی ہیں: آفت سے پہلے کی سیٹلائٹ کی تصویر، آفت سے پہلے کی عمارت کی تقسیم کا ماسک، آفت کے بعد کی سیٹلائٹ کی تصویر، اور تباہی کے بعد کی عمارتوں کے سیگمنٹیشن ماسک کو نقصان کی کلاسوں کے ساتھ۔

اس مثال میں، ہم تباہی کے بعد ہونے والے نقصان کی درجہ بندی (سیگمنٹیشن ماسک) کی پیشین گوئی کرنے کے لیے صرف آفت سے پہلے اور بعد کی تصویروں کا استعمال کرتے ہیں۔ ہم پری ڈیزاسٹر بلڈنگ سیگمنٹیشن ماسک استعمال نہیں کرتے ہیں۔ یہ طریقہ سادگی کے لیے منتخب کیا گیا تھا۔ اس ڈیٹاسیٹ تک پہنچنے کے لیے اور بھی اختیارات ہیں۔ xView2 مقابلے کے لیے متعدد جیتنے والے طریقوں نے دو قدمی حل کا استعمال کیا: سب سے پہلے، آفت سے پہلے کی عمارت کے آؤٹ لائن سیگمنٹیشن ماسک کی پیش گوئی کریں۔ عمارت کا خاکہ اور نقصان کے بعد کی تصاویر کو نقصان کی درجہ بندی کی پیشین گوئی کے لیے بطور ان پٹ استعمال کیا جاتا ہے۔ درجہ بندی اور پتہ لگانے کی کارکردگی کو بہتر بنانے کے لیے ماڈلنگ کے دیگر طریقوں کو تلاش کرنے کے لیے ہم اسے قارئین پر چھوڑتے ہیں۔

پہلے سے تربیت یافتہ SegFormer فن تعمیر ایک واحد تین رنگوں والے چینل کی تصویر کو ان پٹ کے طور پر قبول کرنے کے لیے بنایا گیا ہے اور سیگمنٹیشن ماسک کو آؤٹ پٹ کرتا ہے۔ سیٹلائٹ سے پہلے کی اور پوسٹ کے بعد کی دونوں تصاویر کو ان پٹ کے طور پر قبول کرنے کے لیے ہم ماڈل میں ترمیم کر سکتے تھے، تاہم، ہم نے دونوں تصاویر کو چھ رنگوں والی چینل امیج میں ایک ساتھ اسٹیک کرنے کے لیے ایک سادہ اسٹیکنگ تکنیک کا استعمال کیا۔ ہم نے xView2 ٹریننگ ڈیٹاسیٹ پر معیاری اضافہ کی تکنیک کا استعمال کرتے ہوئے ماڈل کو تربیت دی تاکہ آفات کے بعد کے سیگمنٹیشن ماسک کی پیشن گوئی کی جا سکے۔ نوٹ کریں کہ ہم نے تمام ان پٹ امیجز کا سائز 1024 سے 512 پکسلز کر دیا ہے۔ یہ تربیتی ڈیٹا کی مقامی ریزولوشن کو مزید کم کرنا تھا۔ ماڈل کو SageMaker کے ساتھ ایک p3.2xlarge GPU پر مبنی مثال کے ساتھ تربیت دی گئی تھی۔ تربیت یافتہ ماڈل آؤٹ پٹ کی ایک مثال درج ذیل اعداد و شمار میں دکھائی گئی ہے۔ امیجز کا پہلا سیٹ توثیق سیٹ سے پہلے کی اور بعد کی تصاویر ہیں۔

مندرجہ ذیل اعداد و شمار پیش گوئی شدہ نقصان کے ماسک اور زمینی سچائی کو پہنچنے والے نقصان کے ماسک کو ظاہر کرتے ہیں۔

پہلی نظر میں، ایسا لگتا ہے کہ ماڈل زمینی سچائی کے اعداد و شمار کے مقابلے میں اچھی کارکردگی کا مظاہرہ نہیں کرتا ہے۔ بہت سی عمارتوں کی غلط درجہ بندی کی گئی ہے، بغیر کسی نقصان کے معمولی نقصان کو الجھا کر اور ایک ہی عمارت کے خاکے کے لیے متعدد درجہ بندی دکھا رہی ہے۔ تاہم، ماڈل کی کارکردگی کا جائزہ لیتے وقت ایک دلچسپ بات یہ ہے کہ ایسا لگتا ہے کہ اس نے عمارت کو پہنچنے والے نقصان کی درجہ بندی کو مقامی بنانا سیکھ لیا ہے۔ ہر عمارت میں درجہ بندی کی جا سکتی ہے۔ No Damage, Minor Damage, Major Damage، یا Destroyed. پیش گوئی شدہ نقصان کے ماسک سے پتہ چلتا ہے کہ ماڈل نے درمیان میں بڑی عمارت کو زیادہ تر میں درجہ بندی کیا ہے۔ No Damage، لیکن اوپری دائیں کونے کی درجہ بندی کی گئی ہے۔ Destroyed. یہ ذیلی عمارت کو پہنچنے والے نقصان کی لوکلائزیشن فی عمارت مقامی نقصان کو دکھا کر جواب دہندگان کی مزید مدد کر سکتی ہے۔

ماڈل کی تعیناتی۔

اس کے بعد تربیت یافتہ ماڈل کو ایک غیر مطابقت پذیر سیج میکر انفرنس اینڈ پوائنٹ پر تعینات کیا گیا تھا۔ نوٹ کریں کہ ہم نے ایک غیر مطابقت پذیر اختتامی نقطہ کا انتخاب کیا ہے تاکہ طویل قیاس کے اوقات، بڑے پے لوڈ ان پٹ سائزز، اور استعمال میں نہ ہونے پر اختتامی نقطہ کو صفر تک (کوئی چارجز نہیں) تک پیمانہ کرنے کی صلاحیت۔ درج ذیل اعداد و شمار غیر مطابقت پذیر اختتامی نقطہ کی تعیناتی کے لیے اعلیٰ سطحی کوڈ کو ظاہر کرتا ہے۔ ہم سب سے پہلے محفوظ کردہ PyTorch ریاستی لغت کو کمپریس کرتے ہیں اور کمپریسڈ ماڈل کے نمونے اس پر اپ لوڈ کرتے ہیں ایمیزون سادہ اسٹوریج سروس (ایمیزون S3)۔ ہم SageMaker PyTorch ماڈل بناتے ہیں جو ہمارے انفرنس کوڈ اور ماڈل نمونے کی طرف اشارہ کرتا ہے۔ ہمارے ماڈل کو لوڈ کرنے اور پیش کرنے کے لیے انفرنس کوڈ کی ضرورت ہے۔ SageMaker PyTorch ماڈل کے لیے مطلوبہ کسٹم انفرنس کوڈ کے بارے میں مزید تفصیلات کے لیے، رجوع کریں۔ SageMaker Python SDK کے ساتھ PyTorch استعمال کریں۔.

مندرجہ ذیل اعداد و شمار غیر مطابقت پذیر انفرنس اینڈ پوائنٹ کے لیے آٹو اسکیلنگ پالیسی کا کوڈ دکھاتا ہے۔

نوٹ کریں کہ اختتامی نقطہ کے دیگر اختیارات ہیں، جیسے کہ حقیقی وقت، بیچ، اور سرور لیس، جو آپ کی درخواست کے لیے استعمال کیے جا سکتے ہیں۔ آپ وہ آپشن چننا چاہیں گے جو استعمال کے معاملے کے لیے بہترین ہو اور اسے یاد کریں۔ Amazon SageMaker Inference Recommender مشین لرننگ (ML) اینڈ پوائنٹ کنفیگریشنز کی تجویز کرنے میں مدد کے لیے دستیاب ہے۔

ماڈل کا اندازہ

تربیت یافتہ ماڈل کے ساتھ، اب ہم استعمال کر سکتے ہیں۔ سیج میکر کی جغرافیائی صلاحیتیں۔ اندازہ لگانے کے لیے ڈیٹا اکٹھا کرنا۔ SageMaker جغرافیائی صلاحیتوں کے ساتھ، کئی بلٹ ان ماڈل باکس سے باہر دستیاب ہیں۔ اس مثال میں، ہم اپنے زمین کے مشاہدے کے کام کے لیے سرخ، سبز اور نیلے رنگ کے چینلز کو اسٹیک کرنے کے لیے بینڈ اسٹیکنگ آپریشن کا استعمال کرتے ہیں۔ کام سینٹینیل-2 ڈیٹاسیٹ سے ڈیٹا اکٹھا کرتا ہے۔ زمین کے مشاہدے کے کام کو ترتیب دینے کے لیے، ہمیں پہلے دلچسپی کے مقام کے نقاط کی ضرورت ہے۔ دوسرا، ہمیں مشاہدے کی ٹائم رینج کی ضرورت ہے۔ اس کے ساتھ اب ہم اسٹیکنگ فیچر کا استعمال کرتے ہوئے ارتھ آبزرویشن جاب جمع کر سکتے ہیں۔ یہاں ہم رنگین تصویر بنانے کے لیے سرخ، سبز اور نیلے رنگ کے بینڈز کو اسٹیک کرتے ہیں۔ مندرجہ ذیل اعداد و شمار اکتوبر 2022 کے وسط میں روچیسٹر، آسٹریلیا میں سیلاب سے ڈیٹا بنانے کے لیے استعمال ہونے والی جاب کنفیگریشن کو ظاہر کرتا ہے۔

کام کی ترتیب کی وضاحت کے بعد، ہم نوکری جمع کر سکتے ہیں. کام مکمل ہونے پر، ہم نتائج کو ایمیزون S3 پر برآمد کرتے ہیں۔ نوٹ کریں کہ کام مکمل ہونے کے بعد ہی ہم نتائج برآمد کر سکتے ہیں۔ ملازمت کے نتائج کو ایمیزون S3 مقام پر ایکسپورٹ کیا جا سکتا ہے جسے صارف نے ایکسپورٹ جاب کنفیگریشن میں بیان کیا ہے۔ اب Amazon S3 میں ہمارے نئے ڈیٹا کے ساتھ، ہم تعینات ماڈل کا استعمال کرتے ہوئے نقصان کی پیشین گوئیاں حاصل کر سکتے ہیں۔ ہم سب سے پہلے ڈیٹا کو میموری میں پڑھتے ہیں اور آفت سے پہلے اور بعد کی تصاویر کو ایک ساتھ جمع کرتے ہیں۔

روچیسٹر سیلاب کے لیے سیگمنٹیشن ماسک کے نتائج درج ذیل تصاویر میں دکھائے گئے ہیں۔ یہاں ہم دیکھ سکتے ہیں کہ ماڈل نے سیلاب زدہ علاقے میں ممکنہ طور پر نقصان پہنچانے والے مقامات کی نشاندہی کی ہے۔ یہ بھی نوٹ کریں کہ انفرنس امیج کی مقامی ریزولوشن ٹریننگ ڈیٹا سے مختلف ہے۔ مقامی ریزولوشن کو بڑھانے سے ماڈل کی کارکردگی میں مدد مل سکتی ہے۔ تاہم، یہ SegFormer ماڈل کے لیے کم مسئلہ ہے کیونکہ یہ ملٹی اسکیل ماڈل آرکیٹیکچر کی وجہ سے دوسرے ماڈلز کے لیے ہے۔

نقصان کا اندازہ

نتیجہ

اس پوسٹ میں، ہم نے قدرتی آفات سے ہونے والے نقصانات کی تربیت، تعیناتی اور پیشین گوئی کرنے کا طریقہ دکھایا جغرافیائی صلاحیتوں کے ساتھ سیج میکر. ہم نے ماڈل کو جانچنے کے لیے نئے انفرنس ڈیٹا بنانے کے لیے نئی SageMaker جغرافیائی صلاحیتوں کا استعمال کیا۔ اس پوسٹ کا کوڈ جاری ہونے کے مراحل میں ہے، اور اس پوسٹ کو مکمل تربیت، تعیناتی، اور انفرنس کوڈ کے لنکس کے ساتھ اپ ڈیٹ کیا جائے گا۔ یہ ایپلیکیشن پہلے جواب دہندگان، حکومتوں اور انسانی ہمدردی کی تنظیموں کو قدرتی آفت کے فوراً بعد نازک حالات سے متعلق آگاہی فراہم کرتے ہوئے اپنے ردعمل کو بہتر بنانے کی اجازت دیتی ہے۔ یہ ایپلیکیشن اس کی صرف ایک مثال ہے جو سیج میکر جیسے جدید ایم ایل ٹولز سے ممکن ہے۔

آج ہی اپنے ماڈلز کا استعمال کرتے ہوئے SageMaker جغرافیائی صلاحیتوں کو آزمائیں۔ ہم یہ دیکھنے کے منتظر ہیں کہ آپ آگے کیا بناتے ہیں۔

مصنف کے بارے میں

آرون سینگ اسٹیکن ایمیزون ویب سروسز میں مشین لرننگ ماہر حل آرکیٹیکٹ ہے۔ ہارون پروڈکشن مشین لرننگ ایپلی کیشنز کو تیار کرنے اور تعینات کرنے کے لیے تمام سائز کے پبلک سیکٹر کے صارفین کے ساتھ مل کر کام کرتا ہے۔ وہ تمام چیزوں میں دلچسپی رکھتا ہے مشین لرننگ، ٹیکنالوجی، اور خلائی تحقیق۔