Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.

মেট্রিক্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন

আজ, বায়ু দূষণ একটি পরিচিত পরিবেশগত সমস্যা যা গুরুতর শ্বাসযন্ত্র এবং হার্টের অবস্থার সৃষ্টি করে, যা গুরুতর স্বাস্থ্যের হুমকি সৃষ্টি করে। অ্যাসিড বৃষ্টি, ওজোন স্তরের অবক্ষয় এবং বৈশ্বিক উষ্ণতাও বায়ু দূষণের বিরূপ পরিণতি। গুরুতর স্বাস্থ্য সমস্যা এবং চরম ক্ষেত্রে জীবন-হুমকির পরিস্থিতিতে প্রতিরোধ করার জন্য বুদ্ধিমান পর্যবেক্ষণ এবং অটোমেশনের প্রয়োজন। বাতাসে দূষণকারীর ঘনত্ব ব্যবহার করে বায়ুর গুণমান পরিমাপ করা হয়। বিপজ্জনক হওয়ার আগে লক্ষণগুলি শনাক্ত করা এবং দূষণের মাত্রা নিয়ন্ত্রণ করা অত্যন্ত গুরুত্বপূর্ণ। বায়ুর গুণমান এবং দূষণকারীর ওজনের অসঙ্গতি সনাক্ত করার প্রক্রিয়া এবং দ্রুত মূল কারণ নির্ণয় করা কঠিন, ব্যয়বহুল এবং ত্রুটি-প্রবণ।

ডেটার অসঙ্গতিগুলি খুঁজে বের করার জন্য AI এবং মেশিন লার্নিং (ML)-ভিত্তিক সমাধানগুলি প্রয়োগ করার প্রক্রিয়াটি সঠিক বিন্যাসে ডেটা গ্রহণ, কিউরেট এবং প্রস্তুত করার এবং তারপর দীর্ঘ সময় ধরে এই ML মডেলগুলির কার্যকারিতা অপ্টিমাইজ এবং বজায় রাখার ক্ষেত্রে অনেক জটিলতা জড়িত। সময় এটি ML ক্ষমতা গ্রহণের দ্রুত বাস্তবায়ন এবং স্কেল করার ক্ষেত্রে অন্যতম বাধা হয়ে দাঁড়িয়েছে।

এই পোস্টটি আপনাকে দেখায় কিভাবে একটি সমন্বিত সমাধান ব্যবহার করতে হয় মেট্রিক্সের জন্য অ্যামাজন লুকআউট এবং আমাজন কিনেস ডেটা ফায়ারহোজ ose দ্রুত এবং সহজে স্ট্রিমিং ডেটা ইনজেস্ট করে এবং পরবর্তীতে আপনার আগ্রহের মূল কর্মক্ষমতা সূচকে অসঙ্গতিগুলি সনাক্ত করে এই বাধাগুলি ভাঙতে।

মেট্রিক্সের জন্য Lookout স্বয়ংক্রিয়ভাবে ব্যবসা এবং অপারেশনাল ডেটাতে অসঙ্গতিগুলি (আদর্শের বাইরের) সনাক্ত করে এবং নির্ণয় করে। এটি একটি সম্পূর্ণরূপে পরিচালিত ML পরিষেবা যা আপনার ডেটার বৈশিষ্ট্যগুলির উপর ভিত্তি করে অসঙ্গতিগুলি সনাক্ত করতে বিশেষ ML মডেলগুলি ব্যবহার করে৷ উদাহরণস্বরূপ, প্রবণতা এবং ঋতুতা হল টাইম সিরিজ মেট্রিক্সের দুটি বৈশিষ্ট্য যেখানে থ্রেশহোল্ড-ভিত্তিক অসঙ্গতি সনাক্তকরণ কাজ করে না। প্রবণতা হল মেট্রিকের মানের ক্রমাগত পরিবর্তন (বৃদ্ধি বা হ্রাস)। অন্যদিকে, ঋতুতা হল পর্যায়ক্রমিক নিদর্শন যা একটি সিস্টেমে ঘটে, সাধারণত একটি বেসলাইনের উপরে উঠে এবং তারপর আবার হ্রাস পায়। মেট্রিক্সের জন্য Lookout ব্যবহার করার জন্য আপনার ML অভিজ্ঞতার প্রয়োজন নেই।

আমরা একটি সাধারণ বায়ু মানের নিরীক্ষণের দৃশ্য প্রদর্শন করি, যেখানে আমরা বাতাসে দূষণকারী ঘনত্বের অসামঞ্জস্যতা সনাক্ত করি। এই পোস্টের শেষে, আপনি স্বাস্থ্য সমস্যা এবং গ্লোবাল ওয়ার্মিং প্রতিরোধে সাহায্য করার জন্য AWS থেকে এই পরিচালিত পরিষেবাগুলি কীভাবে ব্যবহার করবেন তা শিখবেন। আপনি আরও ভাল পরিবেশ ব্যবস্থাপনার জন্য অন্যান্য ব্যবহারের ক্ষেত্রে এই সমাধানটি প্রয়োগ করতে পারেন, যেমন জলের গুণমান, জমির গুণমান এবং বিদ্যুত ব্যবহারের ধরণগুলিতে অসামঞ্জস্যতা সনাক্ত করা, কয়েকটি নাম।

সমাধান ওভারভিউ

আর্কিটেকচারটি তিনটি কার্যকরী ব্লক নিয়ে গঠিত:

  • বায়ুতে কার্বন মনোক্সাইড (CO), সালফার ডাই অক্সাইড (SO2), এবং নাইট্রোজেন ডাই অক্সাইড (NO2) এর ঘনত্বের মাত্রা বোঝার জন্য কৌশলগত অবস্থানে স্থাপন করা ওয়্যারলেস সেন্সর
  • স্ট্রিমিং ডেটা ইনজেশন এবং স্টোরেজ
  • অসঙ্গতি সনাক্তকরণ এবং বিজ্ঞপ্তি

সমাধানটি সেন্সর থেকে ব্যবহারকারীর কাছে উত্থাপিত একটি বিজ্ঞপ্তি পর্যন্ত একটি সম্পূর্ণ স্বয়ংক্রিয় ডেটা পথ সরবরাহ করে। চিহ্নিত অসঙ্গতিগুলি বিশ্লেষণ করার জন্য আপনি মেট্রিক্স UI এর জন্য Lookout ব্যবহার করে সমাধানের সাথে ইন্টারঅ্যাক্ট করতে পারেন।

নিম্নলিখিত চিত্রটি আমাদের সমাধান আর্কিটেকচারের চিত্র তুলে ধরেছে।

পূর্বশর্ত

আপনি সমাধানের সাথে এগিয়ে যাওয়ার আগে আপনার নিম্নলিখিত পূর্বশর্ত প্রয়োজন। এই পোস্টের জন্য, আমরা us-east-1 অঞ্চল ব্যবহার করি।

  1. পাইথন স্ক্রিপ্ট ডাউনলোড করুন (publish.py) এবং থেকে ডেটা ফাইল গিটহুব রেপো.
  2. খোলা live_data.csv আপনার পছন্দের সম্পাদকে ফাইল করুন এবং আজকের এবং আগামীকালের তারিখগুলি প্রতিস্থাপন করুন। উদাহরণস্বরূপ, যদি আজকের তারিখ হয় 8 জুলাই, 2022, তাহলে প্রতিস্থাপন করুন 2022-03-25 সঙ্গে 2022-07-08. ফরম্যাট একই রাখুন। IoT সিমুলেটর স্ক্রিপ্ট ব্যবহার করে বর্তমান তারিখের জন্য সেন্সর ডেটা সিমুলেট করার জন্য এটি প্রয়োজন।
  3. তৈরি একটি আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি এবং একটি ফোল্ডার নামে air-quality. ভিতরে একটি সাবফোল্ডার তৈরি করুন air-quality নামে historical. নির্দেশাবলীর জন্য, দেখুন একটি ফোল্ডার তৈরি করা হচ্ছে.
  4. আপলোড করুন live_data.csv রুট S3 বালতি এবং ফাইল historical_data.json ঐতিহাসিক ফোল্ডারে।
  5. তৈরি একটি এডাব্লুএস ক্লাউড 9 ডেভেলপমেন্ট এনভায়রনমেন্ট, যা আমরা পাইথন সিমুলেটর প্রোগ্রাম চালাতে ব্যবহার করি এই সমাধানের জন্য সেন্সর ডেটা তৈরি করতে।

AWS IoT Core এবং Kinesis Data Firehose ব্যবহার করে ডেটা ইনজেস্ট এবং ট্রান্সফর্ম করুন

আমরা একটি কাইনেসিস ডেটা ফায়ারহোস ডেলিভারি স্ট্রীম ব্যবহার করি যা থেকে স্ট্রিমিং ডেটা গ্রহণ করি৷ এডাব্লুএস আইওটি কোর এবং এটি Amazon S3 এ বিতরণ করুন। নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

  1. Kinesis Data Firehose কনসোলে, নির্বাচন করুন ডেলিভারি স্ট্রিম তৈরি করুন.
  2. জন্য উৎসনির্বাচন সরাসরি PUT.
  3. জন্য গন্তব্যনির্বাচন আমাজন S3.
  4. জন্য ডেলিভারি স্ট্রিম নাম, আপনার ডেলিভারি স্ট্রীমের জন্য একটি নাম লিখুন।
    Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.
  5. জন্য এস 3 বালতি, আপনি একটি পূর্বশর্ত হিসাবে তৈরি করা বালতি লিখুন।
  6. এর জন্য মান লিখুন S3 বালতি উপসর্গ এবং S3 বালতি ত্রুটি আউটপুট উপসর্গ.উল্লেখ্য মূল পয়েন্টগুলির মধ্যে একটি হল কাস্টম উপসর্গের কনফিগারেশন যা Amazon S3 গন্তব্যের জন্য কনফিগার করা হয়েছে। এই উপসর্গ প্যাটার্নটি নিশ্চিত করে যে লুকআউট ফর মেট্রিক্স দ্বারা প্রত্যাশিত উপসর্গ শ্রেণিবিন্যাস অনুসারে S3 বালতিতে ডেটা তৈরি হয়েছে। (পরে এই পোস্টে এটি সম্পর্কে আরও।) কাস্টম উপসর্গ সম্পর্কে আরও তথ্যের জন্য, দেখুন Amazon S3 অবজেক্টের জন্য কাস্টম উপসর্গ.
    Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.
  7. জন্য বাফার ব্যবধানপ্রবেশ করান 60.
    Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.
  8. বেছে নিন IAM ভূমিকা তৈরি বা আপডেট করুন.
  9. বেছে নিন ডেলিভারি স্ট্রিম তৈরি করুন.
    Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.
    এখন আমরা AWS IoT Core কনফিগার করি এবং এয়ার কোয়ালিটি সিমুলেটর প্রোগ্রাম চালাই।
  10. AWS IoT কোর কনসোলে, একটি AWS IoT নীতি তৈরি করুন অ্যাডমিন বলা হয়।
  11. নীচে নেভিগেশন ফলকে বার্তা রাউটিংনির্বাচন বিধি.
  12. বেছে নিন বিধি তৈরি করুন.
  13. দিয়ে একটি নিয়ম তৈরি করুন কাইনেসিস ডেটা ফায়ারহোজ(ফায়ারহোজ) অ্যাকশন.
    এটি একটি MQTT বার্তা থেকে একটি Kinesis ডেটা ফায়ারহোস ডেলিভারি স্ট্রীমে ডেটা পাঠায়।
  14. বেছে নিন সৃষ্টি.
    Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.
  15. নামের সাথে একটি AWS IoT জিনিস তৈরি করুন Test-Thing এবং আপনার তৈরি করা নীতি সংযুক্ত করুন।
  16. AWS IoT Core-এর জন্য সার্টিফিকেট, পাবলিক কী, প্রাইভেট কী, ডিভাইস সার্টিফিকেট এবং রুট CA ডাউনলোড করুন।
  17. ডাউনলোড করা প্রতিটি ফাইল সংরক্ষণ করুন certificates সাবডিরেক্টরি যা আপনি আগে তৈরি করেছেন।
    Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.
  18. publish.py আপলোড করুন iot-test-publish ফোল্ডার.
  19. AWS IoT কোর কনসোলে, নেভিগেশন প্যানে, নির্বাচন করুন সেটিংস.
  20. অধীনে কাস্টম শেষ বিন্দু, শেষ বিন্দু অনুলিপি.
    এই AWS IoT কোর কাস্টম এন্ডপয়েন্ট URL আপনার AWS অ্যাকাউন্ট এবং অঞ্চলের ব্যক্তিগত।
  21. প্রতিস্থাপন করা customEndpointUrl আপনার AWS IoT কোর কাস্টম এন্ডপয়েন্ট URL, সার্টিফিকেটের নামের সাথে সার্টিফিকেট, এবং Your_S3_Bucket_Name আপনার S3 বালতি নামের সাথে।
    এরপরে, আপনি পাইথনের জন্য পিপ এবং AWS IoT SDK ইনস্টল করুন।
  22. AWS Cloud9 এ লগ ইন করুন এবং আপনার ডেভেলপমেন্ট এনভায়রনমেন্টে একটি ওয়ার্কিং ডিরেক্টরি তৈরি করুন। উদাহরণ স্বরূপ: aq-iot-publish.
  23. আপনার নতুন কাজের ডিরেক্টরিতে সার্টিফিকেটের জন্য একটি সাবডিরেক্টরি তৈরি করুন। উদাহরণ স্বরূপ: certificates.
  24. কমান্ড লাইন থেকে নিম্নলিখিতটি চালিয়ে পাইথন v2 এর জন্য AWS IoT SDK ইনস্টল করুন।
    pip install awsiotsdk

  25. ডেটা পাইপলাইন পরীক্ষা করতে, নিম্নলিখিত কমান্ডটি চালান:
    python3 publish.py

আপনি নিচের স্ক্রিনশটে পেলোড দেখতে পারেন।

Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.

অবশেষে, উপসর্গ গঠনে নির্দিষ্ট S3 বালতিতে ডেটা বিতরণ করা হয়।

Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.

ফাইলগুলির ডেটা নিম্নরূপ:

  • {"TIMESTAMP":"2022-03-20 00:00","LOCATION_ID":"B-101","CO":2.6,"SO2":62,"NO2":57}
  • {"TIMESTAMP":"2022-03-20 00:05","LOCATION_ID":"B-101","CO":3.9,"SO2":60,"NO2":73}

টাইমস্ট্যাম্পগুলি দেখায় যে প্রতিটি ফাইলে 5 মিনিটের ব্যবধানের জন্য ডেটা রয়েছে।

ন্যূনতম কোড সহ, আমরা এখন সেন্সর ডেটা ইনজেস্ট করেছি, ইনজেস্ট করা ডেটা থেকে একটি ইনপুট স্ট্রীম তৈরি করেছি এবং মেট্রিক্সের জন্য Lookout-এর প্রয়োজনীয়তার উপর ভিত্তি করে S3 বালতিতে ডেটা সংরক্ষণ করেছি৷

নিম্নলিখিত বিভাগগুলিতে, আমরা মেট্রিক্সের জন্য মেট্রিক্সের মধ্যে নির্মাণগুলি গভীরভাবে দেখেছি এবং মেট্রিক্সের জন্য মেট্রিক্স কনসোল ব্যবহার করে এই ধারণাগুলি কনফিগার করা কতটা সহজ।

একটি আবিষ্কারক তৈরি করুন

একটি ডিটেক্টর হল মেট্রিক্স রিসোর্সের জন্য একটি সন্ধান যা একটি ডেটাসেট নিরীক্ষণ করে এবং পূর্বনির্ধারিত ফ্রিকোয়েন্সিতে অসঙ্গতিগুলি সনাক্ত করে। ডিটেক্টররা ML ব্যবহার করে ডেটাতে প্যাটার্ন খুঁজে বের করতে এবং ডেটাতে প্রত্যাশিত বৈচিত্র এবং বৈধ অসঙ্গতির মধ্যে পার্থক্য করতে। এটির কার্যকারিতা উন্নত করতে, একটি ডিটেক্টর সময়ের সাথে সাথে আপনার ডেটা সম্পর্কে আরও শিখে।

আমাদের ব্যবহারের ক্ষেত্রে, ডিটেক্টর প্রতি 5 মিনিটে সেন্সর থেকে ডেটা বিশ্লেষণ করে।

Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.

ডিটেক্টর তৈরি করতে, মেট্রিক্স কনসোলের জন্য Lookout এ নেভিগেট করুন এবং বেছে নিন সনাক্তকারী তৈরি করুন. 5 মিনিটের ব্যবধান সহ ডিটেক্টরের নাম এবং বিবরণ (ঐচ্ছিক) দিন।

আপনার ডেটা ডিফল্টভাবে একটি কী দিয়ে এনক্রিপ্ট করা হয় যেটি AWS আপনার জন্য এবং পরিচালনা করে। আপনি যদি ডিফল্টরূপে ব্যবহৃত একটি থেকে একটি ভিন্ন এনক্রিপশন কী ব্যবহার করতে চান তবে আপনি কনফিগার করতে পারেন।

এখন এই ডিটেক্টরটিকে সেই ডেটার দিকে নির্দেশ করা যাক যা আপনি এটিতে অসঙ্গতি সনাক্তকরণ চালাতে চান৷

একটি ডেটাসেট তৈরি করুন

একটি ডেটাসেট ডিটেক্টরকে বলে যে আপনার ডেটা কোথায় খুঁজে পাবেন এবং অসঙ্গতির জন্য কোন মেট্রিক্স বিশ্লেষণ করতে হবে। একটি ডেটাসেট তৈরি করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

  1. মেট্রিক্স কনসোলের জন্য Amazon Lookout-এ, আপনার ডিটেক্টরে নেভিগেট করুন।
  2. বেছে নিন একটি ডেটাসেট যুক্ত করুন.
    Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.
  3. জন্য নাম, একটি নাম লিখুন (উদাহরণস্বরূপ, air-quality-dataset).
  4. জন্য তথ্য সূত্র, আপনার ডেটা উৎস নির্বাচন করুন (এই পোস্টের জন্য, Amazon S3)।
    Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.
  5. জন্য সনাক্তকারী মোড, আপনার মোড নির্বাচন করুন (এই পোস্টের জন্য, একটানা).

Amazon S3 দিয়ে, আপনি দুটি মোডে একটি ডিটেক্টর তৈরি করতে পারেন:

    • Backtest - এই মোডটি ঐতিহাসিক ডেটাতে অসঙ্গতি খুঁজে পেতে ব্যবহৃত হয়। এটি একটি একক ফাইল একত্রিত করা সমস্ত রেকর্ড প্রয়োজন.
    • একটানা - এই মোডটি লাইভ ডেটাতে অসঙ্গতি সনাক্ত করতে ব্যবহৃত হয়। আমরা আমাদের ব্যবহারের ক্ষেত্রে এই মোডটি ব্যবহার করি কারণ আমরা বায়ু মনিটরিং সেন্সর থেকে বায়ু দূষণকারী ডেটা পাওয়ার সাথে সাথে অসামঞ্জস্যতা সনাক্ত করতে চাই।
  1. লাইভ S3 ফোল্ডার এবং পাথ প্যাটার্নের জন্য S3 পাথ লিখুন।
  2. জন্য ডাটাসোর্স ব্যবধাননির্বাচন 5 মিনিটের ব্যবধান.যদি আপনার কাছে ঐতিহাসিক তথ্য থাকে যা থেকে ডিটেক্টর নিদর্শন শিখতে পারে, আপনি এই কনফিগারেশনের সময় তা প্রদান করতে পারেন। ডেটা একই ফর্ম্যাটে হবে বলে আশা করা হচ্ছে যা আপনি ব্যাকটেস্ট করতে ব্যবহার করেন। ঐতিহাসিক তথ্য প্রদান এমএল মডেল প্রশিক্ষণ প্রক্রিয়া গতি বাড়ায়. এটি উপলব্ধ না হলে, অবিচ্ছিন্ন ডিটেক্টর অনুমান করার আগে পর্যাপ্ত ডেটা উপলব্ধ হওয়ার জন্য অপেক্ষা করে।
  3. এই পোস্টের জন্য, আমাদের কাছে ইতিমধ্যেই ঐতিহাসিক তথ্য আছে, তাই নির্বাচন করুন .তিহাসিক ডেটা ব্যবহার করুন.
  4. এর S3 পাথ লিখুন historical_data.json.
  5. জন্য ফাইল বিন্যাস, নির্বাচন করুন JSON লাইন.
    Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.

এই মুহুর্তে, মেট্রিক্সের জন্য Lookout ডেটা উত্স অ্যাক্সেস করে এবং এটি ডেটা পার্স করতে পারে কিনা তা যাচাই করে। পার্সিং সফল হলে, এটি আপনাকে একটি "বৈধকরণ সফল" বার্তা দেয় এবং আপনাকে পরবর্তী পৃষ্ঠায় নিয়ে যায়, যেখানে আপনি পরিমাপ, মাত্রা এবং টাইমস্ট্যাম্পগুলি কনফিগার করেন৷

পরিমাপ, মাত্রা এবং টাইমস্ট্যাম্প কনফিগার করুন

ব্যবস্থা KPIs সংজ্ঞায়িত করুন যেগুলির জন্য আপনি অসঙ্গতিগুলি ট্র্যাক করতে চান৷ আপনি ডিটেক্টর প্রতি পাঁচটি পর্যন্ত পরিমাপ যোগ করতে পারেন। আপনার উৎস ডেটা থেকে KPIs তৈরি করতে যে ক্ষেত্রগুলি ব্যবহার করা হয় সেগুলি অবশ্যই সাংখ্যিক বিন্যাসের হতে হবে৷ KPIs বর্তমানে একটি SUM বা গড় করে সময়ের ব্যবধানের মধ্যে রেকর্ড একত্রিত করে সংজ্ঞায়িত করা যেতে পারে।

মাত্রা বিভাগ বা বিভাগ সংজ্ঞায়িত করে আপনাকে আপনার ডেটা টুকরো টুকরো করার ক্ষমতা দেয়। এটি আপনাকে ডেটার সম্পূর্ণ সেটের একটি উপসেটের জন্য অসঙ্গতিগুলি ট্র্যাক করতে দেয় যার জন্য একটি নির্দিষ্ট পরিমাপ প্রযোজ্য।

আমাদের ব্যবহারের ক্ষেত্রে, আমরা তিনটি পরিমাপ যোগ করি, যা 5-মিনিটের ব্যবধানে দেখা বস্তুর AVG গণনা করে এবং শুধুমাত্র একটি মাত্রা আছে, যার জন্য দূষণকারীর ঘনত্ব পরিমাপ করা হয়।

Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.

ডেটাসেটের প্রতিটি রেকর্ডের একটি টাইমস্ট্যাম্প থাকতে হবে। নিম্নলিখিত কনফিগারেশন আপনাকে টাইমস্ট্যাম্প মান এবং টাইমস্ট্যাম্পের বিন্যাস প্রতিনিধিত্ব করে এমন ক্ষেত্র নির্বাচন করতে দেয়।

Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.

পরবর্তী পৃষ্ঠাটি আপনাকে আপনার যোগ করা সমস্ত বিবরণ পর্যালোচনা করতে এবং তারপর ডিটেক্টরটিকে সংরক্ষণ ও সক্রিয় করতে দেয়।

ডিটেক্টর তারপর ডেটা উৎসে ডেটা স্ট্রিমিং শেখা শুরু করে। এই পর্যায়ে, ডিটেক্টরের অবস্থা পরিবর্তিত হয় Initializing.

লুকআউট ফর মেট্রিক্স অসামঞ্জস্যতা শনাক্ত করা শুরু করার আগে ন্যূনতম পরিমাণ ডেটার প্রয়োজনীয়তা লক্ষ্য করা গুরুত্বপূর্ণ। প্রয়োজনীয়তা এবং সীমা সম্পর্কে আরও তথ্যের জন্য, দেখুন মেট্রিক্স কোটা জন্য সন্ধান করুন.

ন্যূনতম কনফিগারেশনের সাথে, আপনি আপনার ডিটেক্টর তৈরি করেছেন, এটিকে একটি ডেটাসেটে নির্দেশ করেছেন এবং যে মেট্রিকগুলিকে আপনি দেখতে চান সেটির মধ্যে অসঙ্গতি খুঁজে বের করতে চান।

অসঙ্গতিগুলি কল্পনা করুন

মেট্রিক্সের জন্য লুকআউট ব্যবহার করতে চান এমন ব্যবহারকারীদের জন্য একটি সমৃদ্ধ UI অভিজ্ঞতা প্রদান করে৷ এডাব্লুএস ম্যানেজমেন্ট কনসোল বিশৃঙ্খলতা সনাক্ত করা হচ্ছে বিশ্লেষণ করতে. এটি API-এর মাধ্যমে অসঙ্গতিগুলি অনুসন্ধান করার ক্ষমতাও প্রদান করে।

আসুন আমাদের বায়ু মানের ডেটা ব্যবহারের ক্ষেত্রে সনাক্ত করা একটি উদাহরণ দেখি। নিম্নোক্ত স্ক্রিনশটটি 93 এর তীব্রতার স্কোর সহ নির্ধারিত সময় এবং তারিখে বায়ুতে CO ঘনত্বে সনাক্ত করা একটি অসামঞ্জস্য দেখায়। এটি অসামঞ্জস্যের দিকে মাত্রার শতাংশের অবদানও দেখায়। এই ক্ষেত্রে, অবস্থান আইডি B-100 মাত্রা থেকে 101% অবদান আসে।

Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.

সতর্কতা তৈরি করুন

মেট্রিক্সের জন্য সন্ধান আপনাকে বিভিন্ন চ্যানেল ব্যবহার করে সতর্কতা পাঠাতে দেয়। আপনি অসঙ্গতি তীব্রতা স্কোর থ্রেশহোল্ড কনফিগার করতে পারেন যেখানে সতর্কতাগুলি ট্রিগার করা আবশ্যক৷

আমাদের ব্যবহারের ক্ষেত্রে, আমরা একটিকে পাঠানোর জন্য সতর্কতা কনফিগার করি অ্যামাজন সাধারণ বিজ্ঞপ্তি পরিষেবা (Amazon SNS) চ্যানেল, যা ঘুরে একটি SMS পাঠায়। নিম্নলিখিত স্ক্রিনশটগুলি কনফিগারেশনের বিবরণ দেখায়।

Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.

আপনি ব্যবহার করে অটোমেশন ট্রিগার করতে একটি সতর্কতা ব্যবহার করতে পারেন এডাব্লুএস ল্যাম্বদা AWS IoT কোরে API-চালিত অপারেশন চালানোর জন্য ফাংশন।

উপসংহার

এই পোস্টে, আমরা আপনাকে দেখিয়েছি যে ML-চালিত অসঙ্গতি সনাক্তকরণ অ্যাপ্লিকেশন তৈরির শেষ-থেকে-এন্ড লাইফসাইকেল পরিচালনার সাথে জড়িত অপরিবর্তনীয় ভারী উত্তোলনগুলিকে অপসারণ করতে মেট্রিক্স এবং কাইনেসিস ডেটা ফায়ারহোসের জন্য লুকআউট ব্যবহার করা কতটা সহজ। এই সমাধানটি আপনাকে মূল ব্যবসায়িক মেট্রিক্সে অসঙ্গতিগুলি খুঁজে বের করার আপনার ক্ষমতাকে ত্বরান্বিত করতে সাহায্য করতে পারে এবং আপনাকে আপনার ব্যবসার বৃদ্ধি এবং উন্নতিতে আপনার প্রচেষ্টাকে ফোকাস করার অনুমতি দেয়।

আমরা আপনাকে পরিদর্শন করে আরও শিখতে উত্সাহিত করি মেট্রিক্স বিকাশকারী গাইডের জন্য অ্যামাজন লুকআউট এবং আপনার ব্যবসার কেপিআই-এর সাথে প্রাসঙ্গিক ডেটাসেট সহ এই পরিষেবাগুলির দ্বারা সক্ষম করা এন্ড-টু-এন্ড সমাধান চেষ্টা করুন৷


লেখক সম্পর্কে

Metrics PlatoBlockchain ডেটা ইন্টেলিজেন্সের জন্য Amazon Lookout ব্যবহার করে একটি বায়ু মানের অসঙ্গতি সনাক্তকারী তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.ধীরাজ ঠাকুর অ্যামাজন ওয়েব পরিষেবাগুলির সাথে একজন সমাধান স্থপতি৷ তিনি এন্টারপ্রাইজ ক্লাউড গ্রহণ, স্থানান্তর এবং কৌশল সম্পর্কে নির্দেশিকা প্রদান করতে AWS গ্রাহক এবং অংশীদারদের সাথে কাজ করেন। তিনি প্রযুক্তি সম্পর্কে উত্সাহী এবং বিশ্লেষণ এবং এআই/এমএল স্পেসে নির্মাণ এবং পরীক্ষা করা উপভোগ করেন।

সময় স্ট্যাম্প:

থেকে আরো এডাব্লুএস মেশিন লার্নিং

Amazon SageMaker নোটবুক কাজের সময়সূচী করুন এবং APIs ব্যবহার করে মাল্টি-স্টেপ নোটবুক ওয়ার্কফ্লো পরিচালনা করুন | আমাজন ওয়েব সার্ভিসেস

উত্স নোড: 1919097
সময় স্ট্যাম্প: নভেম্বর 29, 2023