MongoDB টাইম সিরিজ সংগ্রহ এবং Amazon SageMaker ক্যানভাসের সাথে টাইম টু ইনসাইটকে ত্বরান্বিত করা | আমাজন ওয়েব সার্ভিসেস

এটি মঙ্গোডিবি থেকে বাবু শ্রীনিবাসনের সাথে সহ-লেখা একটি অতিথি পোস্ট।

আজকের দ্রুত-গতির ব্যবসায়িক ল্যান্ডস্কেপে শিল্পগুলি বিকশিত হওয়ার সাথে সাথে, প্রকৃত-সময়ের পূর্বাভাস না পাওয়ার অক্ষমতা সঠিক এবং সময়োপযোগী অন্তর্দৃষ্টির উপর অত্যন্ত নির্ভরশীল শিল্পগুলির জন্য উল্লেখযোগ্য চ্যালেঞ্জ তৈরি করে। বিভিন্ন শিল্পে রিয়েল-টাইম পূর্বাভাসের অনুপস্থিতি চাপের ব্যবসায়িক চ্যালেঞ্জগুলি উপস্থাপন করে যা সিদ্ধান্ত গ্রহণ এবং অপারেশনাল দক্ষতাকে উল্লেখযোগ্যভাবে প্রভাবিত করতে পারে। রিয়েল-টাইম অন্তর্দৃষ্টি ব্যতীত, ব্যবসাগুলি গতিশীল বাজারের অবস্থার সাথে খাপ খাইয়ে নিতে, গ্রাহকের চাহিদা সঠিকভাবে অনুমান করতে, ইনভেন্টরি লেভেল অপ্টিমাইজ করতে এবং সক্রিয় কৌশলগত সিদ্ধান্ত নিতে লড়াই করে। ফাইন্যান্স, রিটেইল, সাপ্লাই চেইন ম্যানেজমেন্ট এবং লজিস্টিকসের মতো শিল্পগুলি সুযোগ হাতছাড়া, বর্ধিত খরচ, অদক্ষ সম্পদ বরাদ্দ এবং গ্রাহকের প্রত্যাশা পূরণে অক্ষমতার ঝুঁকির সম্মুখীন হয়। এই চ্যালেঞ্জগুলি অন্বেষণ করে, সংস্থাগুলি রিয়েল-টাইম পূর্বাভাসের গুরুত্বকে চিনতে পারে এবং এই প্রতিবন্ধকতাগুলি কাটিয়ে উঠতে উদ্ভাবনী সমাধানগুলি অন্বেষণ করতে পারে, তাদের প্রতিযোগিতায় থাকতে, জ্ঞাত সিদ্ধান্ত নিতে এবং আজকের দ্রুত-গতির ব্যবসায়িক পরিবেশে উন্নতি করতে সক্ষম করে।

MongoDB এর নেটিভের রূপান্তরমূলক সম্ভাবনাকে কাজে লাগানোর মাধ্যমে সময় সিরিজ তথ্য ক্ষমতা এবং ক্ষমতা সঙ্গে এটি একীভূত আমাজন সেজমেকার ক্যানভাস, সংস্থাগুলি এই চ্যালেঞ্জগুলি কাটিয়ে উঠতে পারে এবং তত্পরতার নতুন স্তর আনলক করতে পারে। MongoDB এর শক্তিশালী টাইম সিরিজ ডেটা ম্যানেজমেন্ট রিয়েল-টাইমে প্রচুর পরিমাণে টাইম-সিরিজ ডেটা সঞ্চয় এবং পুনরুদ্ধারের অনুমতি দেয়, যখন উন্নত মেশিন লার্নিং অ্যালগরিদম এবং ভবিষ্যদ্বাণীমূলক ক্ষমতা SageMaker ক্যানভাসের সাথে সঠিক এবং গতিশীল পূর্বাভাস মডেল সরবরাহ করে।

এই পোস্টে, আমরা MongoDB-এর টাইম সিরিজ ডেটা এবং সেজমেকার ক্যানভাসকে একটি ব্যাপক সমাধান হিসাবে ব্যবহার করার সম্ভাবনা অন্বেষণ করব।

মঙ্গোডিবি আটলাস

মঙ্গোডিবি আটলাস একটি সম্পূর্ণরূপে পরিচালিত ডেভেলপার ডেটা প্ল্যাটফর্ম যা ক্লাউডে MongoDB ডেটাবেস স্থাপন এবং স্কেলিংকে সহজ করে। এটি একটি নথি ভিত্তিক স্টোরেজ যা একটি সম্পূর্ণরূপে পরিচালিত ডাটাবেস প্রদান করে, বিল্ট-ইন ফুল-টেক্সট এবং ভেক্টর সহ সার্চ, জন্য সমর্থন ভৌগলিক অবস্থান বিষয়ক প্রযুক্তিবিদ্যা প্রশ্ন, চার্ট এবং দক্ষ জন্য স্থানীয় সমর্থন সময় সিরিজ স্টোরেজ এবং অনুসন্ধান ক্ষমতা। MongoDB Atlas স্বয়ংক্রিয় শার্ডিং, অনুভূমিক স্কেলেবিলিটি, এবং উচ্চ-ভলিউম ডেটা ইনজেশনের জন্য নমনীয় ইনডেক্সিং অফার করে। সর্বোপরি, নেটিভ টাইম সিরিজের ক্ষমতা হল একটি স্ট্যান্ডআউট বৈশিষ্ট্য, এটিকে টাইম-সিরিজ ডেটার উচ্চ ভলিউম পরিচালনার জন্য আদর্শ করে তোলে, যেমন ব্যবসায়িক সমালোচনামূলক অ্যাপ্লিকেশন ডেটা, টেলিমেট্রি, সার্ভার লগ এবং আরও অনেক কিছু। দক্ষ ক্যোয়ারী, একত্রীকরণ এবং বিশ্লেষণ সহ, ব্যবসাগুলি সময়-স্ট্যাম্প করা ডেটা থেকে মূল্যবান অন্তর্দৃষ্টি বের করতে পারে। এই ক্ষমতাগুলি ব্যবহার করে, ব্যবসাগুলি দক্ষতার সাথে সময়-সিরিজ ডেটা সঞ্চয়, পরিচালনা এবং বিশ্লেষণ করতে পারে, ডেটা-চালিত সিদ্ধান্তগুলিকে সক্ষম করে এবং একটি প্রতিযোগিতামূলক প্রান্ত অর্জন করতে পারে।

আমাজন সেজমেকার ক্যানভাস

আমাজন সেজমেকার ক্যানভাস এটি একটি ভিজ্যুয়াল মেশিন লার্নিং (ML) পরিষেবা যা ব্যবসায় বিশ্লেষক এবং ডেটা বিজ্ঞানীদেরকে কোনো ML অভিজ্ঞতার প্রয়োজন ছাড়াই বা কোডের একটি লাইন লিখতে ছাড়াই কাস্টম ML মডেল তৈরি এবং স্থাপন করতে সক্ষম করে৷ সেজমেকার ক্যানভাস সহ বেশ কয়েকটি ব্যবহারের ক্ষেত্রে সমর্থন করে সময় সিরিজের পূর্বাভাস, যা ব্যবসাগুলিকে ভবিষ্যতের চাহিদা, বিক্রয়, সম্পদের প্রয়োজনীয়তা এবং অন্যান্য সময়-সিরিজ ডেটা সঠিকভাবে পূর্বাভাস দেওয়ার ক্ষমতা দেয়৷ পরিষেবাটি জটিল ডেটা প্যাটার্নগুলি পরিচালনা করতে গভীর শিক্ষার কৌশলগুলি ব্যবহার করে এবং ন্যূনতম ঐতিহাসিক ডেটা থাকা সত্ত্বেও ব্যবসাগুলিকে সঠিক পূর্বাভাস তৈরি করতে সক্ষম করে৷ Amazon SageMaker ক্যানভাস ক্ষমতা ব্যবহার করে, ব্যবসাগুলি জ্ঞাত সিদ্ধান্ত নিতে পারে, ইনভেন্টরি লেভেল অপ্টিমাইজ করতে পারে, অপারেশনাল দক্ষতা উন্নত করতে পারে এবং গ্রাহকের সন্তুষ্টি বাড়াতে পারে।

SageMaker ক্যানভাস UI আপনাকে নির্বিঘ্নে ক্লাউড বা অন-প্রিমিসেস থেকে ডেটা উত্সগুলিকে একত্রিত করতে, অনায়াসে ডেটাসেটগুলিকে একত্রিত করতে, সুনির্দিষ্ট মডেলগুলিকে প্রশিক্ষণ দিতে এবং উদীয়মান ডেটার সাথে ভবিষ্যদ্বাণী করতে দেয়—সবকিছু কোডিং ছাড়াই৷ আপনার যদি অ্যাপগুলিতে একটি স্বয়ংক্রিয় কর্মপ্রবাহ বা সরাসরি এমএল মডেল একীকরণের প্রয়োজন হয়, ক্যানভাস পূর্বাভাস ফাংশনগুলি এর মাধ্যমে অ্যাক্সেসযোগ্য API গুলি.

সমাধান ওভারভিউ

ব্যবহারকারীরা মঙ্গোডিবি অ্যাটলাসে তাদের লেনদেনের সময় সিরিজের ডেটা বজায় রাখে। Atlas Data Federation-এর মাধ্যমে Amazon S3 বালতিতে ডেটা বের করা হয়। অ্যামাজন সেজমেকার ক্যানভাস মডেল তৈরি করতে এবং পূর্বাভাস তৈরি করতে ডেটা অ্যাক্সেস করে। পূর্বাভাসের ফলাফল একটি S3 বালতিতে সংরক্ষণ করা হয়। MongoDB ডেটা ফেডারেশন পরিষেবাগুলি ব্যবহার করে, পূর্বাভাসগুলি MongoDB চার্টের মাধ্যমে দৃশ্যমানভাবে উপস্থাপন করা হয়।

নিম্নলিখিত চিত্রটি প্রস্তাবিত সমাধান আর্কিটেকচারের রূপরেখা দেয়।

পূর্বশর্ত

এই সমাধানের জন্য আমরা টাইম সিরিজ ডেটা সঞ্চয় করতে MongoDB Atlas ব্যবহার করি, Amazon SageMaker Canvas একটি মডেলকে প্রশিক্ষণ দিতে এবং পূর্বাভাস তৈরি করতে এবং Amazon S3 ব্যবহার করি MongoDB অ্যাটলাস থেকে নেওয়া ডেটা সংরক্ষণ করতে।

নিশ্চিত করুন যে আপনার নিম্নলিখিত পূর্বশর্ত রয়েছে:

MongoDB Atlas ক্লাস্টার কনফিগার করুন

নির্দেশাবলী অনুসরণ করে একটি বিনামূল্যে MongoDB Atlas ক্লাস্টার তৈরি করুন৷ একটি ক্লাস্টার তৈরি করুন. সেটআপ ডাটাবেস অ্যাক্সেস এবং নেটওয়ার্কের প্রবেশাধিকার.

MongoDB Atlas-এ একটি টাইম সিরিজ সংগ্রহ তৈরি করুন

এই প্রদর্শনের উদ্দেশ্যে, আপনি থেকে একটি নমুনা ডেটা সেট ব্যবহার করতে পারেন Kaggle এবং MongoDB এর সাথে MongoDB Atlas-এ আপলোড করুন সরঞ্জাম , অগ্রাধিকার মঙ্গোডিবি কম্পাস.

নিম্নলিখিত কোড একটি সময় সিরিজ সংগ্রহের জন্য একটি নমুনা ডেটা সেট দেখায়:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

নিচের স্ক্রিনশটটি MongoDB Atlas-এ নমুনা টাইম সিরিজ ডেটা দেখায়:

একটি S3 বালতি তৈরি করুন

সৃষ্টি AWS-এ একটি S3 বালতি, যেখানে টাইম সিরিজ ডেটা সংরক্ষণ এবং বিশ্লেষণ করা প্রয়োজন। মনে রাখবেন আমাদের দুটি ফোল্ডার আছে। sales-train-data মঙ্গোডিবি অ্যাটলাস থেকে আহরিত ডেটা সংরক্ষণ করতে ব্যবহৃত হয়, যখন sales-forecast-output ক্যানভাস থেকে ভবিষ্যদ্বাণী রয়েছে।

ডেটা ফেডারেশন তৈরি করুন

সেটআপ করুন ডেটা ফেডারেশন অ্যাটলাসে এবং ডেটা উত্সের অংশ হিসাবে পূর্বে তৈরি করা S3 বালতি নিবন্ধন করুন। লক্ষ্য করুন অ্যাটলাস ক্লাস্টারের জন্য ডেটা ফেডারেশনে তিনটি ভিন্ন ডাটাবেস/সংগ্রহ তৈরি করা হয়েছে, মঙ্গোডিবি অ্যাটলাস ডেটার জন্য S3 বাকেট এবং ক্যানভাস ফলাফলগুলি সংরক্ষণ করার জন্য S3 বাকেট তৈরি করা হয়েছে।

নিম্নলিখিত স্ক্রিনশটগুলি ডেটা ফেডারেশনের সেটআপ দেখায়।

অ্যাটলাস অ্যাপ্লিকেশন পরিষেবা সেটআপ করুন

তৈরি করুন MongoDB অ্যাপ্লিকেশন পরিষেবা মঙ্গোডিবি অ্যাটলাস ক্লাস্টার থেকে S3 বালতিতে ডেটা স্থানান্তর করার জন্য ফাংশন স্থাপন করতে $আউট সমষ্টি

ডেটাসোর্স কনফিগারেশন যাচাই করুন

অ্যাপ্লিকেশন পরিষেবাগুলি একটি নতুন Altas পরিষেবার নাম তৈরি করে যা নিম্নলিখিত ফাংশনে ডেটা পরিষেবা হিসাবে উল্লেখ করা প্রয়োজন৷ যাচাই করুন যে Atlas পরিষেবার নাম তৈরি করা হয়েছে এবং ভবিষ্যতে রেফারেন্সের জন্য এটি নোট করুন।

ফাংশন তৈরি করুন

তৈরি করতে অ্যাটলাস অ্যাপ্লিকেশন পরিষেবাগুলি সেটআপ করুন৷ ট্রিগার এবং ফাংশন. মডেলদের প্রশিক্ষণের জন্য ব্যবসায়িক প্রয়োজনের উপর ভিত্তি করে একটি পিরিয়ড ফ্রিকোয়েন্সিতে S3 তে ডেটা লেখার জন্য ট্রিগারগুলি নির্ধারণ করা প্রয়োজন।

নিম্নলিখিত স্ক্রিপ্টটি S3 বালতিতে লেখার ফাংশন দেখায়:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

নমুনা ফাংশন

ফাংশনটি রান ট্যাবের মাধ্যমে চালানো যেতে পারে এবং অ্যাপ্লিকেশন পরিষেবাগুলিতে লগ বৈশিষ্ট্যগুলি ব্যবহার করে ত্রুটিগুলি ডিবাগ করা যেতে পারে। উপরন্তু, বাম ফলকে লগ মেনু ব্যবহার করে ত্রুটিগুলি ডিবাগ করা যেতে পারে।

নিম্নলিখিত স্ক্রিনশটটি আউটপুট সহ ফাংশনটির সম্পাদন দেখায়:

অ্যামাজন সেজমেকার ক্যানভাসে ডেটাসেট তৈরি করুন

নিম্নলিখিত পদক্ষেপগুলি অনুমান করে যে আপনি একটি SageMaker ডোমেন এবং ব্যবহারকারী প্রোফাইল তৈরি করেছেন৷ আপনি যদি ইতিমধ্যে এটি না করে থাকেন তবে নিশ্চিত করুন যে আপনি কনফিগার করেছেন সেজমেকার ডোমেন এবং ব্যবহারকারীর প্রোফাইল. ব্যবহারকারীর প্রোফাইলে, কাস্টম হতে আপনার S3 বালতি আপডেট করুন এবং আপনার বালতির নাম সরবরাহ করুন।

সম্পূর্ণ হলে, সেজমেকার ক্যানভাসে নেভিগেট করুন, আপনার ডোমেন এবং প্রোফাইল নির্বাচন করুন এবং ক্যানভাস নির্বাচন করুন।

ডেটা উত্স সরবরাহকারী একটি ডেটাসেট তৈরি করুন।

S3 হিসাবে ডেটাসেট উত্স নির্বাচন করুন

S3 বাকেট থেকে ডেটা অবস্থান নির্বাচন করুন এবং ডেটাসেট তৈরি করুন নির্বাচন করুন।

স্কিমা পর্যালোচনা করুন এবং ডেটাসেট তৈরি করুন ক্লিক করুন

সফলভাবে আমদানি করার পরে, নিম্নলিখিত স্ক্রিনশটে দেখানো হিসাবে ডেটাসেট তালিকায় উপস্থিত হবে।

মডেল প্রশিক্ষণ

পরবর্তী, আমরা মডেল প্রশিক্ষণের জন্য সেট আপ করতে ক্যানভাস ব্যবহার করব। ডেটাসেট নির্বাচন করুন এবং তৈরি করুন ক্লিক করুন।

একটি মডেলের নাম তৈরি করুন, ভবিষ্যদ্বাণীমূলক বিশ্লেষণ নির্বাচন করুন এবং তৈরি করুন নির্বাচন করুন।

লক্ষ্য কলাম নির্বাচন করুন

এরপরে, টাইম সিরিজ মডেল কনফিগার করুন ক্লিক করুন এবং আইটেম আইডি কলাম হিসাবে item_id নির্বাচন করুন।

নির্বাচন করা tm টাইম স্ট্যাম্প কলামের জন্য

আপনি যে সময়ের পূর্বাভাস দিতে চান তা নির্দিষ্ট করতে, 8 সপ্তাহ বেছে নিন।

এখন আপনি মডেলটির পূর্বরূপ দেখতে বা বিল্ড প্রক্রিয়া চালু করতে প্রস্তুত।

আপনি মডেলের পূর্বরূপ দেখার পরে বা বিল্ড চালু করার পরে, আপনার মডেল তৈরি হবে এবং চার ঘন্টা পর্যন্ত সময় নিতে পারে৷ আপনি পর্দা ছেড়ে এবং মডেল প্রশিক্ষণ অবস্থা দেখতে ফিরে আসতে পারেন.

মডেলটি প্রস্তুত হলে, মডেলটি নির্বাচন করুন এবং সর্বশেষ সংস্করণে ক্লিক করুন

মডেল মেট্রিক্স এবং কলামের প্রভাব পর্যালোচনা করুন এবং আপনি যদি মডেলের কার্যকারিতা নিয়ে সন্তুষ্ট হন তবে ভবিষ্যদ্বাণীতে ক্লিক করুন।

এরপরে, ব্যাচের পূর্বাভাস নির্বাচন করুন এবং ডেটাসেট নির্বাচন করুন ক্লিক করুন।

আপনার ডেটাসেট নির্বাচন করুন এবং ডেটাসেট চয়ন করুন ক্লিক করুন।

এরপরে, স্টার্ট প্রেডিকশন ক্লিক করুন।

ইনফারেন্স, ব্যাচ ট্রান্সফর্ম জবসের অধীনে সেজমেকারে তৈরি করা চাকরি পর্যবেক্ষণ করুন বা কাজের অগ্রগতি পর্যবেক্ষণ করুন।

কাজ শেষ হলে, কাজটি নির্বাচন করুন এবং S3 পাথটি নোট করুন যেখানে ক্যানভাস ভবিষ্যদ্বাণীগুলি সংরক্ষণ করেছে৷

অ্যাটলাস চার্টে পূর্বাভাসের ডেটা ভিজ্যুয়ালাইজ করুন

পূর্বাভাসের ডেটা কল্পনা করতে, তৈরি করুন মঙ্গোডিবি অ্যাটলাস চার্ট P10, P50, এবং P90 পূর্বাভাসের জন্য ফেডারেটেড ডেটার (amazon-forecast-data) উপর ভিত্তি করে নিম্নলিখিত চার্টে দেখানো হয়েছে।

পরিষ্কার কর

• MongoDB Atlas ক্লাস্টার মুছুন
• Atlas ডেটা ফেডারেশন কনফিগারেশন মুছুন
• Atlas অ্যাপ্লিকেশন পরিষেবা অ্যাপ মুছুন
• S3 বালতি মুছুন
• Amazon SageMaker ক্যানভাস ডেটাসেট এবং মডেল মুছুন
• অ্যাটলাস চার্ট মুছুন
• Amazon SageMaker Canvas থেকে লগ আউট করুন

উপসংহার

এই পোস্টে আমরা MongoDB টাইম সিরিজ সংগ্রহ থেকে টাইম সিরিজ ডেটা বের করেছি। এটি একটি বিশেষ সংগ্রহ যা টাইম সিরিজ ডেটার স্টোরেজ এবং অনুসন্ধানের গতির জন্য অপ্টিমাইজ করা হয়েছে। আমরা মডেলকে প্রশিক্ষণ দিতে এবং ভবিষ্যদ্বাণী তৈরি করতে Amazon SageMaker ক্যানভাস ব্যবহার করেছি এবং আমরা অ্যাটলাস চার্টে ভবিষ্যদ্বাণীগুলি কল্পনা করেছি৷

আরও তথ্যের জন্য, নিম্নলিখিত সংস্থানগুলি পড়ুন।

---

লেখক সম্পর্কে

ইগর আলেকসিভ ডেটা এবং অ্যানালিটিক্স ডোমেনে AWS-এর একজন সিনিয়র পার্টনার সলিউশন আর্কিটেক্ট। তার ভূমিকায় ইগর কৌশলগত অংশীদারদের সাথে কাজ করছেন যা তাদের জটিল, AWS-অপ্টিমাইজ করা আর্কিটেকচার তৈরি করতে সহায়তা করছে। AWS-এ যোগদানের আগে, একজন ডেটা/সলিউশন আর্কিটেক্ট হিসেবে তিনি বিগ ডেটা ডোমেনে অনেক প্রকল্প বাস্তবায়ন করেছিলেন, যার মধ্যে হাডুপ ইকোসিস্টেমের বেশ কয়েকটি ডেটা লেক রয়েছে। একজন ডেটা ইঞ্জিনিয়ার হিসাবে তিনি জালিয়াতি সনাক্তকরণ এবং অফিস অটোমেশনে AI/ML প্রয়োগের সাথে জড়িত ছিলেন।

বাবু শ্রীনিবাসন MongoDB-এর একজন সিনিয়র পার্টনার সলিউশন আর্কিটেক্ট। তার বর্তমান ভূমিকায়, তিনি AWS এবং MongoDB সমাধানের জন্য প্রযুক্তিগত একীকরণ এবং রেফারেন্স আর্কিটেকচার তৈরি করতে AWS এর সাথে কাজ করছেন। ডাটাবেস এবং ক্লাউড প্রযুক্তিতে তার দুই দশকেরও বেশি অভিজ্ঞতা রয়েছে। তিনি একাধিক ভূগোল জুড়ে একাধিক গ্লোবাল সিস্টেম ইন্টিগ্রেটর (GSIs) এর সাথে কাজ করা গ্রাহকদের প্রযুক্তিগত সমাধান প্রদানের বিষয়ে উত্সাহী।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/