MongoDB ٹائم سیریز کے مجموعوں اور Amazon SageMaker Canvas کے ساتھ ٹائم ٹو بصیرت کو تیز کرنا ایمیزون ویب سروسز

یہ ایک مہمان پوسٹ ہے جو MongoDB سے بابو سری نواسن کے ساتھ مل کر لکھی گئی ہے۔

جیسے جیسے صنعتیں آج کے تیز رفتار کاروباری منظر نامے میں تیار ہوتی ہیں، حقیقی وقت کی پیشین گوئیاں کرنے میں ناکامی ان صنعتوں کے لیے اہم چیلنجز کا باعث بنتی ہے جو درست اور بروقت بصیرت پر بہت زیادہ انحصار کرتی ہیں۔ مختلف صنعتوں میں حقیقی وقت کی پیشن گوئی کی غیر موجودگی کاروباری چیلنجوں کو پیش کرتی ہے جو فیصلہ سازی اور آپریشنل کارکردگی کو نمایاں طور پر متاثر کر سکتی ہے۔ ریئل ٹائم بصیرت کے بغیر، کاروبار مارکیٹ کے متحرک حالات کے مطابق ڈھالنے، گاہک کی طلب کا درست اندازہ لگانے، انوینٹری کی سطح کو بہتر بنانے، اور فعال اسٹریٹجک فیصلے کرنے کے لیے جدوجہد کرتے ہیں۔ فنانس، ریٹیل، سپلائی چین مینجمنٹ، اور لاجسٹکس جیسی صنعتوں کو مواقع ضائع ہونے، بڑھتے ہوئے اخراجات، وسائل کی غیر موثر تقسیم، اور صارفین کی توقعات کو پورا کرنے میں ناکامی کے خطرے کا سامنا ہے۔ ان چیلنجوں کو تلاش کر کے، تنظیمیں حقیقی وقت کی پیشن گوئی کی اہمیت کو تسلیم کر سکتی ہیں اور ان رکاوٹوں کو دور کرنے کے لیے جدید حل تلاش کر سکتی ہیں، انہیں مسابقتی رہنے، باخبر فیصلے کرنے، اور آج کے تیز رفتار کاروباری ماحول میں ترقی کی منازل طے کر سکتی ہیں۔

MongoDB کے آبائی باشندوں کی تبدیلی کی صلاحیت کو بروئے کار لا کر وقت کا سلسلہ ڈیٹا کی صلاحیتوں اور اسے کی طاقت کے ساتھ مربوط کرنا ایمیزون سیج میکر کینوس، تنظیمیں ان چیلنجوں پر قابو پا سکتی ہیں اور چستی کی نئی سطحوں کو کھول سکتی ہیں۔ MongoDB کا مضبوط ٹائم سیریز ڈیٹا مینجمنٹ ریئل ٹائم میں ٹائم سیریز ڈیٹا کی بڑی مقدار کو ذخیرہ کرنے اور بازیافت کرنے کی اجازت دیتا ہے، جبکہ جدید مشین لرننگ الگورتھم اور پیشین گوئی کی صلاحیتیں SageMaker Canvas کے ساتھ درست اور متحرک پیشن گوئی کے ماڈل فراہم کرتی ہیں۔

اس پوسٹ میں، ہم MongoDB کے ٹائم سیریز ڈیٹا اور SageMaker Canvas کو ایک جامع حل کے طور پر استعمال کرنے کی صلاحیت کو تلاش کریں گے۔

مونگو ڈی بی اٹلس

مونگو ڈی بی اٹلس ایک مکمل طور پر منظم ڈویلپر ڈیٹا پلیٹ فارم ہے جو کلاؤڈ میں MongoDB ڈیٹا بیس کی تعیناتی اور اسکیلنگ کو آسان بناتا ہے۔ یہ ایک دستاویز پر مبنی اسٹوریج ہے جو بلٹ ان فل ٹیکسٹ اور ویکٹر کے ساتھ مکمل طور پر منظم ڈیٹا بیس فراہم کرتا ہے۔ تلاش کریں، کے لئے حمایت Geospatial سوالات، چارٹس اور موثر کے لیے مقامی حمایت وقت کا سلسلہ ذخیرہ کرنے اور استفسار کرنے کی صلاحیتیں۔ MongoDB Atlas خودکار شارڈنگ، افقی اسکیل ایبلٹی، اور ہائی والیوم ڈیٹا کے ادخال کے لیے لچکدار انڈیکسنگ پیش کرتا ہے۔ سب کے درمیان، مقامی وقت کی سیریز کی صلاحیتیں ایک نمایاں خصوصیت ہے، جو اسے ٹائم سیریز کے اعداد و شمار کے اعلیٰ حجم کے انتظام کے لیے مثالی بناتی ہے، جیسے کہ کاروباری اہم ایپلیکیشن ڈیٹا، ٹیلی میٹری، سرور لاگز اور بہت کچھ۔ موثر استفسار، جمع اور تجزیات کے ساتھ، کاروبار ٹائم اسٹیمپڈ ڈیٹا سے قیمتی بصیرتیں نکال سکتے ہیں۔ ان صلاحیتوں کو استعمال کرتے ہوئے، کاروبار ٹائم سیریز ڈیٹا کو مؤثر طریقے سے ذخیرہ، انتظام اور تجزیہ کر سکتے ہیں، ڈیٹا پر مبنی فیصلوں کو فعال کر کے اور مسابقتی برتری حاصل کر سکتے ہیں۔

ایمیزون سیج میکر کینوس

ایمیزون سیج میکر کینوس ایک بصری مشین لرننگ (ML) سروس ہے جو کاروباری تجزیہ کاروں اور ڈیٹا سائنسدانوں کو کسی ML تجربے کی ضرورت کے بغیر یا کوڈ کی ایک لائن لکھنے کی ضرورت کے بغیر اپنی مرضی کے ML ماڈل بنانے اور تعینات کرنے کے قابل بناتی ہے۔ سیج میکر کینوس متعدد استعمال کے معاملات کی حمایت کرتا ہے، بشمول ٹائم سیریز کی پیشن گوئی، جو کاروباروں کو مستقبل کی طلب، فروخت، وسائل کی ضروریات اور دیگر ٹائم سیریز ڈیٹا کی درستگی کی پیشن گوئی کرنے کا اختیار دیتا ہے۔ سروس پیچیدہ ڈیٹا پیٹرن کو سنبھالنے کے لیے گہری سیکھنے کی تکنیکوں کا استعمال کرتی ہے اور کاروباری اداروں کو کم سے کم تاریخی ڈیٹا کے ساتھ بھی درست پیشن گوئیاں پیدا کرنے کے قابل بناتی ہے۔ Amazon SageMaker کینوس کی صلاحیتوں کو استعمال کرتے ہوئے، کاروبار باخبر فیصلے کر سکتے ہیں، انوینٹری کی سطح کو بہتر بنا سکتے ہیں، آپریشنل کارکردگی کو بہتر بنا سکتے ہیں، اور کسٹمر کی اطمینان کو بڑھا سکتے ہیں۔

SageMaker Canvas UI آپ کو بغیر کسی کوڈنگ کے کلاؤڈ یا آن پریمیسس سے ڈیٹا کے ذرائع کو بغیر کسی رکاوٹ کے ضم کرنے، ڈیٹا سیٹس کو آسانی سے ضم کرنے، درست ماڈلز کو تربیت دینے، اور ابھرتے ہوئے ڈیٹا کے ساتھ پیشین گوئیاں کرنے دیتا ہے۔ اگر آپ کو خودکار ورک فلو یا ایپس میں براہ راست ایم ایل ماڈل انضمام کی ضرورت ہے تو کینوس کی پیشن گوئی کے فنکشنز اس کے ذریعے قابل رسائی ہیں APIs.

حل جائزہ

صارفین اپنا ٹرانزیکشنل ٹائم سیریز ڈیٹا MongoDB Atlas میں برقرار رکھتے ہیں۔ اٹلس ڈیٹا فیڈریشن کے ذریعے، ڈیٹا کو Amazon S3 بالٹی میں نکالا جاتا ہے۔ ایمیزون سیج میکر کینوس ماڈل بنانے اور پیشین گوئیاں بنانے کے لیے ڈیٹا تک رسائی حاصل کرتا ہے۔ پیشن گوئی کے نتائج S3 بالٹی میں محفوظ کیے جاتے ہیں۔ MongoDB ڈیٹا فیڈریشن کی خدمات کا استعمال کرتے ہوئے، پیش گوئیاں MongoDB چارٹس کے ذریعے بصری طور پر پیش کی جاتی ہیں۔

مندرجہ ذیل خاکہ مجوزہ حل فن تعمیر کا خاکہ پیش کرتا ہے۔

شرائط

اس حل کے لیے ہم ٹائم سیریز کے ڈیٹا کو ذخیرہ کرنے کے لیے MongoDB Atlas کا استعمال کرتے ہیں، Amazon SageMaker Canvas کو ایک ماڈل کو تربیت دینے اور پیشین گوئیاں تیار کرنے کے لیے، اور Amazon S3 کو MongoDB Atlas سے نکالا گیا ڈیٹا ذخیرہ کرنے کے لیے استعمال کرتے ہیں۔

یقینی بنائیں کہ آپ کے پاس درج ذیل شرائط ہیں:

MongoDB Atlas کلسٹر کو ترتیب دیں۔

میں دی گئی ہدایات پر عمل کرتے ہوئے ایک مفت MongoDB Atlas کلسٹر بنائیں ایک کلسٹر بنائیں. سیٹ اپ ڈیٹا بیس تک رسائی اور نیٹ ورک تک رسائی.

MongoDB Atlas میں ٹائم سیریز کا مجموعہ تیار کریں۔

اس مظاہرے کے مقاصد کے لیے، آپ سے نمونہ ڈیٹا سیٹ استعمال کر سکتے ہیں۔ کاگل اور اسے MongoDB کے ساتھ MongoDB Atlas پر اپ لوڈ کریں۔ اوزار ، ترجیحا مونگو ڈی بی کمپاس.

درج ذیل کوڈ ٹائم سیریز جمع کرنے کے لیے ایک نمونہ ڈیٹا سیٹ دکھاتا ہے:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

مندرجہ ذیل اسکرین شاٹ MongoDB Atlas میں نمونہ ٹائم سیریز کا ڈیٹا دکھاتا ہے:

ایک S3 بالٹی بنائیں

تخلیق کریں AWS میں ایک S3 بالٹی، جہاں ٹائم سیریز کے ڈیٹا کو ذخیرہ کرنے اور تجزیہ کرنے کی ضرورت ہے۔ نوٹ کریں کہ ہمارے پاس دو فولڈر ہیں۔ sales-train-data MongoDB Atlas سے نکالے گئے ڈیٹا کو ذخیرہ کرنے کے لیے استعمال کیا جاتا ہے، جبکہ sales-forecast-output کینوس سے پیشین گوئیوں پر مشتمل ہے۔

ڈیٹا فیڈریشن بنائیں

سیٹ اپ کریں۔ ڈیٹا فیڈریشن اٹلس میں اور ڈیٹا سورس کے حصے کے طور پر پہلے بنائی گئی S3 بالٹی کو رجسٹر کریں۔ غور کریں کہ اٹلس کلسٹر کے لیے ڈیٹا فیڈریشن میں تین مختلف ڈیٹا بیس/مجموعے بنائے گئے ہیں، مونگو ڈی بی اٹلس ڈیٹا کے لیے S3 بالٹی اور کینوس کے نتائج کو ذخیرہ کرنے کے لیے S3 بالٹی۔

درج ذیل اسکرین شاٹس ڈیٹا فیڈریشن کے سیٹ اپ کو ظاہر کرتے ہیں۔

اٹلس ایپلیکیشن سروس سیٹ اپ کریں۔

بنائیں MongoDB ایپلیکیشن سروسز MongoDB Atlas کلسٹر سے S3 بالٹی میں ڈیٹا کی منتقلی کے لیے فنکشنز کو استعمال کرنے کے لیے $آؤٹ جمع

ڈیٹا سورس کنفیگریشن کی تصدیق کریں۔

ایپلیکیشن سروسز ایک نیا Altas سروس کا نام بناتی ہیں جسے درج ذیل فنکشن میں ڈیٹا سروسز کے طور پر حوالہ کرنے کی ضرورت ہے۔ تصدیق کریں کہ اٹلس سروس کا نام بنایا گیا ہے اور اسے مستقبل کے حوالے کے لیے نوٹ کریں۔

فنکشن بنائیں

اٹلس ایپلیکیشن سروسز کو بنانے کے لیے سیٹ اپ کریں۔ ٹرگر اور افعال. ماڈلز کی تربیت کے لیے کاروباری ضرورت کی بنیاد پر مدت کی فریکوئنسی پر S3 پر ڈیٹا لکھنے کے لیے ٹرگرز کو شیڈول کرنے کی ضرورت ہے۔

درج ذیل اسکرپٹ S3 بالٹی پر لکھنے کا فنکشن دکھاتا ہے:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

نمونہ فنکشن

فنکشن کو رن ٹیب کے ذریعے چلایا جا سکتا ہے اور ایپلی کیشن سروسز میں لاگ فیچرز کا استعمال کرتے ہوئے غلطیوں کو ڈیبگ کیا جا سکتا ہے۔ اس کے علاوہ، بائیں پین میں لاگز مینو کا استعمال کرتے ہوئے غلطیوں کو ڈیبگ کیا جا سکتا ہے۔

مندرجہ ذیل اسکرین شاٹ آؤٹ پٹ کے ساتھ فنکشن کے عمل کو ظاہر کرتا ہے:

ایمیزون سیج میکر کینوس میں ڈیٹاسیٹ بنائیں

مندرجہ ذیل اقدامات فرض کرتے ہیں کہ آپ نے SageMaker ڈومین اور صارف پروفائل بنایا ہے۔ اگر آپ نے پہلے ہی ایسا نہیں کیا ہے، تو یقینی بنائیں کہ آپ کنفیگر کر رہے ہیں۔ SageMaker ڈومین اور صارف پروفائل. صارف پروفائل میں، اپنی S3 بالٹی کو اپنی مرضی کے مطابق اپ ڈیٹ کریں اور اپنی بالٹی کا نام فراہم کریں۔

مکمل ہونے پر، SageMaker Canvas پر جائیں، اپنا ڈومین اور پروفائل منتخب کریں، اور Canvas کو منتخب کریں۔

ڈیٹا کا ذریعہ فراہم کرنے والا ڈیٹاسیٹ بنائیں۔

ڈیٹا سیٹ کے ذریعہ کو S3 کے بطور منتخب کریں۔

S3 بالٹی سے ڈیٹا لوکیشن منتخب کریں اور ڈیٹا سیٹ بنائیں کو منتخب کریں۔

اسکیما کا جائزہ لیں اور ڈیٹا سیٹ بنائیں پر کلک کریں۔

کامیاب درآمد پر، ڈیٹا سیٹ فہرست میں ظاہر ہو گا جیسا کہ درج ذیل اسکرین شاٹ میں دکھایا گیا ہے۔

ماڈل کو تربیت دیں۔

اگلا، ہم ماڈل کو تربیت دینے کے لیے کینوس کا استعمال کریں گے۔ ڈیٹاسیٹ کو منتخب کریں اور تخلیق پر کلک کریں۔

ایک ماڈل کا نام بنائیں، پیشین گوئی کا تجزیہ منتخب کریں، اور تخلیق کو منتخب کریں۔

ہدف کالم منتخب کریں۔

اس کے بعد، ٹائم سیریز کے ماڈل کو ترتیب دیں پر کلک کریں اور آئٹم ID کالم کے طور پر item_id کو منتخب کریں۔

منتخب کریں tm ٹائم اسٹیمپ کالم کے لیے

وقت کی مقدار بتانے کے لیے جس کی آپ پیشین گوئی کرنا چاہتے ہیں، 8 ہفتے کا انتخاب کریں۔

اب آپ ماڈل کا پیش نظارہ کرنے یا تعمیراتی عمل کو شروع کرنے کے لیے تیار ہیں۔

ماڈل کا پیش نظارہ کرنے یا بلڈ لانچ کرنے کے بعد، آپ کا ماڈل بن جائے گا اور اس میں چار گھنٹے لگ سکتے ہیں۔ آپ اسکرین چھوڑ سکتے ہیں اور ماڈل ٹریننگ کی حیثیت دیکھنے کے لیے واپس آ سکتے ہیں۔

جب ماڈل تیار ہو، ماڈل کو منتخب کریں اور تازہ ترین ورژن پر کلک کریں۔

ماڈل میٹرکس اور کالم کے اثرات کا جائزہ لیں اور اگر آپ ماڈل کی کارکردگی سے مطمئن ہیں تو پیشین گوئی پر کلک کریں۔

اگلا، بیچ کی پیشن گوئی کا انتخاب کریں، اور ڈیٹا سیٹ کو منتخب کریں پر کلک کریں۔

اپنا ڈیٹاسیٹ منتخب کریں، اور ڈیٹاسیٹ کا انتخاب کریں پر کلک کریں۔

اگلا، پیشین گوئی شروع کریں پر کلک کریں۔

سیج میکر میں تخلیق کردہ ملازمت کا مشاہدہ کریں یا انفرنس، بیچ ٹرانسفارم جابز کے تحت ملازمت کی پیشرفت کا مشاہدہ کریں۔

جب کام مکمل ہو جائے، جاب کو منتخب کریں، اور S3 راستے کو نوٹ کریں جہاں کینوس نے پیشین گوئیاں محفوظ کی تھیں۔

اٹلس چارٹس میں پیشن گوئی کے اعداد و شمار کا تصور کریں۔

پیشن گوئی کے اعداد و شمار کو دیکھنے کے لیے، تخلیق کریں۔ مونگو ڈی بی اٹلس چارٹس P10، P50، اور P90 پیشین گوئیوں کے لیے فیڈریٹڈ ڈیٹا (ایمیزون-پیش گوئی-ڈیٹا) کی بنیاد پر جیسا کہ مندرجہ ذیل چارٹ میں دکھایا گیا ہے۔

صاف کرو

• MongoDB Atlas کلسٹر کو حذف کریں۔
• اٹلس ڈیٹا فیڈریشن کنفیگریشن کو حذف کریں۔
• اٹلس ایپلیکیشن سروس ایپ کو حذف کریں۔
• S3 بالٹی کو حذف کریں۔
• ایمیزون سیج میکر کینوس ڈیٹاسیٹ اور ماڈلز کو حذف کریں۔
• اٹلس چارٹس کو حذف کریں۔
• Amazon SageMaker Canvas سے لاگ آؤٹ کریں۔

نتیجہ

اس پوسٹ میں ہم نے MongoDB ٹائم سیریز کے مجموعہ سے ٹائم سیریز کا ڈیٹا نکالا ہے۔ یہ ایک خاص مجموعہ ہے جسے ذخیرہ کرنے اور ٹائم سیریز کے ڈیٹا کے استفسار کی رفتار کے لیے بہتر بنایا گیا ہے۔ ہم نے Amazon SageMaker Canvas کو ماڈلز کی تربیت اور پیشین گوئیاں پیدا کرنے کے لیے استعمال کیا اور ہم نے اٹلس چارٹس میں پیشین گوئیوں کا تصور کیا۔

مزید معلومات کے لیے درج ذیل وسائل سے رجوع کریں۔

---

مصنفین کے بارے میں

ایگور الیکسیف ڈیٹا اور تجزیات کے ڈومین میں AWS میں ایک سینئر پارٹنر سلوشن آرکیٹیکٹ ہے۔ اپنے کردار میں Igor سٹریٹجک شراکت داروں کے ساتھ کام کر رہا ہے جو انہیں پیچیدہ، AWS سے بہتر بنائے گئے فن تعمیرات کی تعمیر میں مدد کر رہا ہے۔ AWS میں شامل ہونے سے پہلے، بطور ڈیٹا/سولیوشن آرکیٹیکٹ اس نے بگ ڈیٹا ڈومین میں بہت سے پروجیکٹس کو لاگو کیا، بشمول ہڈوپ ایکو سسٹم میں کئی ڈیٹا لیکس۔ ڈیٹا انجینئر کے طور پر وہ فراڈ کا پتہ لگانے اور آفس آٹومیشن کے لیے AI/ML کا اطلاق کرنے میں ملوث تھا۔

بابو سری نواسن MongoDB میں ایک سینئر پارٹنر سلوشنز آرکیٹیکٹ ہے۔ اپنے موجودہ کردار میں، وہ AWS اور MongoDB سلوشنز کے لیے تکنیکی انضمام اور ریفرنس آرکیٹیکچرز بنانے کے لیے AWS کے ساتھ کام کر رہا ہے۔ اسے ڈیٹا بیس اور کلاؤڈ ٹیکنالوجیز میں دو دہائیوں سے زیادہ کا تجربہ ہے۔ وہ متعدد جغرافیوں میں متعدد گلوبل سسٹم انٹیگریٹرز (GSIs) کے ساتھ کام کرنے والے صارفین کو تکنیکی حل فراہم کرنے کے بارے میں پرجوش ہیں۔

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
• پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
• پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/