মেশিন লার্নিং ব্যবহার করে সম্পদের স্বাস্থ্য এবং গ্রিড স্থিতিস্থাপকতা উন্নত করা | আমাজন ওয়েব সার্ভিসেস

এই পোস্টটি ট্র্যাভিস ব্রনসন এবং ডিউক এনার্জি থেকে ব্রায়ান এল উইলকারসনের সাথে সহ-লেখা হয়েছে

মেশিন লার্নিং (ML) প্রতিটি শিল্প, প্রক্রিয়া এবং ব্যবসায় রূপান্তরিত করছে, কিন্তু সাফল্যের পথ সবসময় সোজা হয় না। এই ব্লগ পোস্টে, আমরা কিভাবে প্রদর্শন ডিউক শক্তি, একটি Fortune 150 কোম্পানি যার সদর দপ্তর শার্লট, NC., এর সাথে সহযোগিতা করেছে AWS মেশিন লার্নিং সলিউশন ল্যাব (MLSL) কাঠের ইউটিলিটি খুঁটির পরিদর্শন স্বয়ংক্রিয় করতে কম্পিউটার দৃষ্টি ব্যবহার করে এবং বিদ্যুৎ বিভ্রাট, সম্পত্তির ক্ষতি এবং এমনকি আঘাত প্রতিরোধে সহায়তা করে।

বৈদ্যুতিক গ্রিডটি খুঁটি, লাইন এবং পাওয়ার প্ল্যান্ট দিয়ে তৈরি এবং লক্ষ লক্ষ বাড়ি এবং ব্যবসায় বিদ্যুৎ সরবরাহ করে। এই ইউটিলিটি খুঁটিগুলি গুরুত্বপূর্ণ অবকাঠামোগত উপাদান এবং বায়ু, বৃষ্টি এবং তুষার-এর মতো বিভিন্ন পরিবেশগত কারণের সাপেক্ষে, যা সম্পদের ক্ষয়-ক্ষতির কারণ হতে পারে। এটি গুরুত্বপূর্ণ যে ইউটিলিটি খুঁটিগুলি নিয়মিতভাবে পরিদর্শন করা হয় এবং ব্যর্থতা রোধ করার জন্য রক্ষণাবেক্ষণ করা হয় যা বিদ্যুৎ বিভ্রাট, সম্পত্তির ক্ষতি এবং এমনকি আঘাতের কারণ হতে পারে। ডিউক এনার্জি সহ বেশিরভাগ পাওয়ার ইউটিলিটি কোম্পানিগুলি তাদের ট্রান্সমিশন এবং ডিস্ট্রিবিউশন নেটওয়ার্কের সাথে সম্পর্কিত অসঙ্গতিগুলি সনাক্ত করতে ইউটিলিটি খুঁটির ম্যানুয়াল ভিজ্যুয়াল পরিদর্শন ব্যবহার করে। কিন্তু এই পদ্ধতিটি ব্যয়বহুল এবং সময়সাপেক্ষ হতে পারে এবং এর জন্য প্রয়োজন যে পাওয়ার ট্রান্সমিশন লাইনওয়ার্কারদের কঠোর নিরাপত্তা প্রোটোকল অনুসরণ করা।

ডিউক এনার্জি অতীতে কৃত্রিম বুদ্ধিমত্তা ব্যবহার করে দৈনন্দিন কাজকর্মে দক্ষতা তৈরি করে দারুণ সাফল্য অর্জন করেছে। কোম্পানিটি জেনারেশন অ্যাসেট এবং গুরুত্বপূর্ণ অবকাঠামো পরিদর্শন করতে AI ব্যবহার করেছে এবং ইউটিলিটি খুঁটি পরিদর্শনেও AI প্রয়োগ করার সুযোগ অন্বেষণ করছে। ডিউক এনার্জির সাথে AWS মেশিন লার্নিং সলিউশনস ল্যাব জড়িত থাকার সময়, ইউটিলিটি উন্নত কম্পিউটার ভিশন কৌশল ব্যবহার করে কাঠের খুঁটিতে অসঙ্গতি সনাক্তকরণ স্বয়ংক্রিয়ভাবে তার কাজকে এগিয়ে নিয়ে গেছে।

লক্ষ্য এবং ব্যবহার ক্ষেত্রে

ডিউক এনার্জি এবং মেশিন লার্নিং সলিউশনস ল্যাবের মধ্যে এই ব্যস্ততার লক্ষ্য হল 33,000 মাইল ট্রান্সমিশন লাইন জুড়ে কাঠের খুঁটি সংক্রান্ত সমস্ত সমস্যার সনাক্তকরণ এবং পর্যালোচনা প্রক্রিয়া স্বয়ংক্রিয় করতে কয়েক হাজার উচ্চ-রেজোলিউশন বায়বীয় চিত্রগুলি পরিদর্শন করার জন্য মেশিন লার্নিংকে সুবিধা দেওয়া। . এই লক্ষ্যটি ডিউক এনার্জিকে গ্রিডের স্থিতিস্থাপকতা উন্নত করতে এবং সময়মত ত্রুটিগুলি চিহ্নিত করার মাধ্যমে সরকারী প্রবিধান মেনে চলতে সাহায্য করবে। এটি জ্বালানি ও শ্রমের খরচও কমিয়ে দেবে, সেইসাথে অপ্রয়োজনীয় ট্রাক রোল কমিয়ে কার্বন নিঃসরণ কমিয়ে দেবে। অবশেষে, এটি মাইল চালিত, খুঁটিতে আরোহণ এবং আপোসকারী ভূখণ্ড এবং আবহাওয়ার অবস্থার সাথে সম্পর্কিত শারীরিক পরিদর্শন ঝুঁকি কমিয়ে নিরাপত্তার উন্নতি করবে।

নিম্নলিখিত বিভাগগুলিতে, আমরা কাঠের ইউটিলিটি খুঁটিগুলির সাথে সম্পর্কিত অসঙ্গতি সনাক্তকরণের জন্য শক্তিশালী এবং দক্ষ মডেলগুলির বিকাশের সাথে সম্পর্কিত মূল চ্যালেঞ্জগুলি উপস্থাপন করি৷ আমরা পছন্দসই মডেল কর্মক্ষমতা অর্জনের জন্য নিযুক্ত বিভিন্ন ডেটা প্রিপ্রসেসিং কৌশলগুলির সাথে যুক্ত মূল চ্যালেঞ্জ এবং অনুমানগুলিও বর্ণনা করি। এর পরে, আমরা আমাদের চূড়ান্ত মডেলগুলির মূল্যায়নের সাথে মডেলের কার্যকারিতা মূল্যায়নের জন্য ব্যবহৃত মূল মেট্রিক্স উপস্থাপন করি। এবং পরিশেষে, আমরা বিভিন্ন অত্যাধুনিক তত্ত্বাবধানে থাকা এবং তত্ত্বাবধানহীন মডেলিং কৌশলগুলির তুলনা করি।

চ্যালেঞ্জ

বায়বীয় চিত্রগুলি ব্যবহার করে অসামঞ্জস্যগুলি সনাক্ত করার জন্য একটি মডেলকে প্রশিক্ষণের সাথে যুক্ত মূল চ্যালেঞ্জগুলির মধ্যে একটি হল অ-ইউনিফর্ম চিত্রের আকার। নিম্নলিখিত চিত্রটি ডিউক এনার্জি থেকে সেট করা একটি নমুনা ডেটার চিত্রের উচ্চতা এবং প্রস্থের বন্টন দেখায়। এটি লক্ষ্য করা যায় যে চিত্রগুলির আকারের ক্ষেত্রে প্রচুর পরিমাণে তারতম্য রয়েছে। একইভাবে, ছবির আকারও উল্লেখযোগ্য চ্যালেঞ্জ তৈরি করে। ইনপুট চিত্রের আকার হাজার হাজার পিক্সেল চওড়া এবং হাজার হাজার পিক্সেল লম্বা। এটি চিত্রের ছোট অস্বাভাবিক অঞ্চলগুলি সনাক্ত করার জন্য একটি মডেল প্রশিক্ষণের জন্যও আদর্শ নয়।

এছাড়াও, ইনপুট চিত্রগুলিতে প্রচুর পরিমাণে অপ্রাসঙ্গিক পটভূমির তথ্য রয়েছে যেমন গাছপালা, গাড়ি, খামারের প্রাণী, ইত্যাদি। পটভূমির তথ্যের ফলে মডেল পারফরম্যান্স সাবঅপ্টিমাল হতে পারে। আমাদের মূল্যায়নের উপর ভিত্তি করে, চিত্রের মাত্র 5% কাঠের খুঁটি রয়েছে এবং অসামঞ্জস্যগুলি আরও ছোট। উচ্চ-রেজোলিউশনের চিত্রগুলিতে অসঙ্গতিগুলি সনাক্তকরণ এবং স্থানীয়করণের জন্য এটি একটি বড় চ্যালেঞ্জ। সম্পূর্ণ ডেটা সেটের তুলনায় অসামঞ্জস্যের সংখ্যা উল্লেখযোগ্যভাবে কম। সম্পূর্ণ ডেটা সেটে শুধুমাত্র 0.12% অস্বাভাবিক চিত্র রয়েছে (অর্থাৎ, 1.2টি চিত্রের মধ্যে 1000টি অসঙ্গতি)। অবশেষে, তত্ত্বাবধানে মেশিন লার্নিং মডেলের প্রশিক্ষণের জন্য কোন লেবেলযুক্ত ডেটা উপলব্ধ নেই। এরপরে, আমরা বর্ণনা করি কিভাবে আমরা এই চ্যালেঞ্জ মোকাবেলা করি এবং আমাদের প্রস্তাবিত পদ্ধতি ব্যাখ্যা করি।

সমাধান ওভারভিউ

মডেলিং কৌশল

নিম্নলিখিত চিত্রটি আমাদের চিত্র প্রক্রিয়াকরণ এবং অসঙ্গতি সনাক্তকরণ পাইপলাইন প্রদর্শন করে। আমরা প্রথমে ডেটা আমদানি করেছি অ্যামাজন সিম্পল স্টোরেজ সার্ভিস (অ্যামাজন এস 3) ব্যবহার অ্যামাজন সেজমেকার স্টুডিও. আমরা মডেল কর্মক্ষমতা উন্নত করতে উপরে হাইলাইট করা কিছু চ্যালেঞ্জ মোকাবেলা করার জন্য বিভিন্ন ডেটা প্রক্রিয়াকরণ কৌশল নিযুক্ত করেছি। ডেটা প্রিপ্রসেসিংয়ের পরে, আমরা অ্যামাজন নিযুক্ত করেছি কাস্টম লেবেল স্বীকৃতি ডেটা লেবেলিংয়ের জন্য। লেবেলযুক্ত ডেটা আরও তত্ত্বাবধানে থাকা এমএল মডেল যেমন ভিশন ট্রান্সফরমারকে প্রশিক্ষণ দিতে ব্যবহার করা হয়, দৃষ্টি জন্য Amazon Lookout, এবং অটোগ্লাউন অসঙ্গতি সনাক্তকরণের জন্য।

নিম্নলিখিত চিত্রটি আমাদের প্রস্তাবিত পদ্ধতির বিশদ ওভারভিউ প্রদর্শন করে যার মধ্যে ডেটা প্রসেসিং পাইপলাইন এবং অসঙ্গতি সনাক্তকরণের জন্য নিযুক্ত বিভিন্ন এমএল অ্যালগরিদম অন্তর্ভুক্ত রয়েছে। প্রথমত, আমরা ডেটা প্রসেসিং পাইপলাইনের সাথে জড়িত পদক্ষেপগুলি বর্ণনা করব। এর পরে, আমরা পছন্দসই কর্মক্ষমতা লক্ষ্য অর্জনের জন্য এই ব্যস্ততার সময় নিযুক্ত বিভিন্ন মডেলিং কৌশল সম্পর্কিত বিশদ এবং অন্তর্দৃষ্টি ব্যাখ্যা করব।

তথ্য প্রপ্রোকাসিং

প্রস্তাবিত তথ্য প্রিপ্রসেসিং পাইপলাইন অন্তর্ভুক্ত তথ্য মানীকরণ, আগ্রহের অঞ্চলের সনাক্তকরণ (ROI), তথ্য বৃদ্ধি, ডেটা সেগমেন্টেশন, এবং পরিশেষে ডেটা লেবেলিং. প্রতিটি পদক্ষেপের উদ্দেশ্য নীচে বর্ণনা করা হয়েছে:

ডেটা প্রমিতকরণ

আমাদের ডেটা প্রসেসিং পাইপলাইনের প্রথম ধাপে ডেটা স্ট্যান্ডার্ডাইজেশন অন্তর্ভুক্ত। এই ধাপে, প্রতিটি ছবি ক্রপ করা হয় এবং 224 X 224 পিক্সেল আকারের অ ওভারল্যাপিং প্যাচে ভাগ করা হয়। এই পদক্ষেপের লক্ষ্য হল অভিন্ন আকারের প্যাচগুলি তৈরি করা যা একটি ML মডেলকে প্রশিক্ষণের জন্য আরও ব্যবহার করা যেতে পারে এবং উচ্চ রেজোলিউশন চিত্রগুলিতে অসামঞ্জস্যগুলি স্থানীয়করণের জন্য ব্যবহার করা যেতে পারে।

আগ্রহের অঞ্চলের সনাক্তকরণ (ROI)

ইনপুট ডেটাতে প্রচুর পরিমাণে অপ্রাসঙ্গিক পটভূমির তথ্য (যেমন, গাছপালা, বাড়ি, গাড়ি, ঘোড়া, গরু ইত্যাদি) উচ্চ-রেজোলিউশনের ছবি থাকে। আমাদের লক্ষ্য কাঠের খুঁটি সম্পর্কিত অসঙ্গতিগুলি চিহ্নিত করা। ROI সনাক্ত করার জন্য (অর্থাৎ, কাঠের খুঁটি ধারণকারী প্যাচ), আমরা Amazon Recognition কাস্টম লেবেলিং নিযুক্ত করেছি। আমরা ROI এবং ব্যাকগ্রাউন্ড ইমেজ উভয় সমন্বিত 3k লেবেলযুক্ত ছবি ব্যবহার করে একটি Amazon Recognition কাস্টম লেবেল মডেলকে প্রশিক্ষণ দিয়েছি। মডেলটির লক্ষ্য হল ROI এবং ব্যাকগ্রাউন্ড ইমেজের মধ্যে একটি বাইনারি শ্রেণীবিভাগ করা। পটভূমির তথ্য হিসাবে চিহ্নিত প্যাচগুলি বাতিল করা হয় যখন ROI হিসাবে ভবিষ্যদ্বাণী করা ফসলগুলি পরবর্তী ধাপে ব্যবহার করা হয়। নিম্নলিখিত চিত্রটি পাইপলাইন প্রদর্শন করে যা ROI সনাক্ত করে। আমরা 1,110টি কাঠের চিত্রের নন-ওভারল্যাপিং ফসলের একটি নমুনা তৈরি করেছি যা 244,673টি ফসল তৈরি করেছে। আমরা এই ছবিগুলিকে একটি Amazon Recognition কাস্টম মডেলে ইনপুট হিসাবে ব্যবহার করেছি যা 11,356 ফসলকে ROI হিসাবে চিহ্নিত করেছে৷ অবশেষে, আমরা ম্যানুয়ালি এই 11,356 প্যাচগুলির প্রতিটি যাচাই করেছি। ম্যানুয়াল পরিদর্শনের সময়, আমরা শনাক্ত করেছি যে মডেলটি ROI হিসাবে 10,969টির মধ্যে 11,356টি কাঠের প্যাচ সঠিকভাবে ভবিষ্যদ্বাণী করতে সক্ষম। অন্য কথায়, মডেলটি 96% নির্ভুলতা অর্জন করেছে।

ডেটা লেবেলিং

ছবিগুলির ম্যানুয়াল পরিদর্শনের সময়, আমরা প্রতিটি ছবিকে তাদের সংশ্লিষ্ট লেবেলগুলির সাথে লেবেলও করেছি৷ ছবির সংশ্লিষ্ট লেবেলগুলির মধ্যে রয়েছে কাঠের প্যাচ, নন-উড প্যাচ, অ-কাঠামো, অ-উড প্যাচ এবং শেষ পর্যন্ত অসঙ্গতি সহ কাঠের প্যাচ। নিম্নলিখিত চিত্রটি Amazon Recognition কাস্টম লেবেলিং ব্যবহার করে চিত্রগুলির নামকরণ প্রদর্শন করে৷

তথ্য বৃদ্ধি

প্রশিক্ষণের জন্য উপলভ্য সীমিত পরিমাণে লেবেলযুক্ত ডেটার পরিপ্রেক্ষিতে, আমরা সমস্ত প্যাচের অনুভূমিক ফ্লিপ করে প্রশিক্ষণের ডেটা সেটকে বাড়িয়ে দিয়েছি। এটি আমাদের ডেটা সেটের আকার দ্বিগুণ করার কার্যকর প্রভাব ফেলেছিল।

সেগমেন্টেশন

আমরা Amazon Recognition Custom Labels-এ বাউন্ডিং বক্স অবজেক্ট ডিটেকশন লেবেলিং টুল ব্যবহার করে 600টি ইমেজে (খুঁটি, তার এবং ধাতব রেলিং) অবজেক্টের লেবেল দিয়েছি এবং আগ্রহের তিনটি প্রধান বস্তু শনাক্ত করার জন্য একটি মডেলকে প্রশিক্ষণ দিয়েছি। আমরা প্রশিক্ষিত মডেল ব্যবহার করেছি সমস্ত ছবি থেকে ব্যাকগ্রাউন্ড মুছে ফেলার জন্য, প্রতিটি ইমেজে খুঁটি চিহ্নিত করে বের করে, অন্যান্য সমস্ত বস্তুর পাশাপাশি পটভূমি মুছে ফেলার মাধ্যমে। কাঠের খুঁটি নেই এমন সমস্ত ছবি মুছে ফেলার ফলে ফলস্বরূপ ডেটাসেটে আসল ডেটা সেটের চেয়ে কম ছবি ছিল। এছাড়াও, একটি মিথ্যা ইতিবাচক চিত্রও ছিল যা ডেটাসেট থেকে সরানো হয়েছিল।

অসাধারণ সনাক্তকরণ

এর পরে, আমরা অসঙ্গতি সনাক্তকরণের জন্য মেশিন লার্নিং মডেলকে প্রশিক্ষণের জন্য প্রি-প্রসেসড ডেটা ব্যবহার করি। আমরা অসঙ্গতি সনাক্তকরণের জন্য তিনটি ভিন্ন পদ্ধতি নিযুক্ত করেছি যার মধ্যে রয়েছে AWS পরিচালিত মেশিন লার্নিং পরিষেবা (Amazon Lookout for Vision [L4V], Amazon Recognition), AutoGluon, এবং Vision Transformer-ভিত্তিক স্ব-পাতন পদ্ধতি।

এডব্লিউএস পরিষেবাদি

Amazon Lookout for Vision (L4V)

অ্যামাজন লুকআউট ফর ভিশন হল একটি পরিচালিত AWS পরিষেবা যা দ্রুত প্রশিক্ষণ এবং এমএল মডেলের স্থাপনা সক্ষম করে এবং অসঙ্গতি সনাক্তকরণের ক্ষমতা প্রদান করে। এটির জন্য সম্পূর্ণরূপে লেবেলযুক্ত ডেটা প্রয়োজন, যা আমরা Amazon S3-এ চিত্র পাথগুলি নির্দেশ করে প্রদান করেছি৷ মডেলটিকে প্রশিক্ষণ দেওয়া একটি একক API (অ্যাপ্লিকেশন প্রোগ্রামিং ইন্টারফেস) কল বা কনসোল বোতাম ক্লিকের মতো সহজ এবং L4V হুডের নীচে মডেল নির্বাচন এবং হাইপারপ্যারামিটার টিউনিংয়ের যত্ন নেয়।

আমাজন রেকোনিশন

Amazon Recognition হল L4V-এর মতো একটি পরিচালিত AI/ML পরিষেবা, যা মডেলিংয়ের বিশদ বিবরণ লুকিয়ে রাখে এবং ইমেজ শ্রেণীবিভাগ, অবজেক্ট ডিটেকশন, কাস্টম লেবেলিং এবং আরও অনেক কিছু প্রদান করে। এটি ইমেজগুলির পূর্বে পরিচিত সত্তাগুলিতে প্রয়োগ করার জন্য অন্তর্নির্মিত মডেলগুলি ব্যবহার করার ক্ষমতা প্রদান করে (যেমন, ImageNet বা অন্যান্য বড় খোলা ডেটাসেট থেকে)। যাইহোক, আমরা ROI ডিটেক্টরকে প্রশিক্ষণ দিতে Amazon Recognition-এর কাস্টম লেবেল কার্যকারিতা ব্যবহার করেছি, সেইসাথে Duke Energy-এর নির্দিষ্ট চিত্রগুলিতে একটি অসঙ্গতি সনাক্তকারী। আমরা প্রতিটি ছবিতে কাঠের খুঁটির চারপাশে বাউন্ডিং বাক্স রাখার জন্য একটি মডেলকে প্রশিক্ষণ দেওয়ার জন্য Amazon Recognition এর কাস্টম লেবেলগুলিও ব্যবহার করেছি৷

অটোগ্লাউন

AutoGluon হল একটি ওপেন সোর্স মেশিন লার্নিং কৌশল যা Amazon দ্বারা তৈরি করা হয়েছে। AutoGluon একটি মাল্টি-মোডাল উপাদান অন্তর্ভুক্ত করে যা ইমেজ ডেটার উপর সহজ প্রশিক্ষণের অনুমতি দেয়। আমরা অটোগ্লুওন মাল্টি-মডেল ব্যবহার করেছি লেবেলযুক্ত চিত্র প্যাচগুলিতে মডেলগুলিকে প্রশিক্ষণ দিতে অসঙ্গতিগুলি সনাক্ত করার জন্য একটি বেসলাইন স্থাপন করতে।

ভিশন ট্রান্সফরমার

সবচেয়ে উত্তেজনাপূর্ণ নতুন এআই ব্রেকথ্রু দুটি সাম্প্রতিক উদ্ভাবন থেকে এসেছে: স্ব-তত্ত্বাবধানে শিক্ষা, যা মেশিনগুলিকে এলোমেলো, লেবেলবিহীন উদাহরণ থেকে শিখতে দেয়; এবং ট্রান্সফরমার, যা এআই মডেলগুলিকে তাদের ইনপুটের নির্দিষ্ট অংশগুলিতে বেছে বেছে ফোকাস করতে সক্ষম করে এবং এইভাবে আরও কার্যকরভাবে যুক্তি দেয়। উভয় পদ্ধতিই মেশিন লার্নিং সম্প্রদায়ের জন্য একটি টেকসই ফোকাস হয়েছে, এবং আমরা ভাগ করে আনন্দিত যে আমরা সেগুলিকে এই ব্যস্ততায় ব্যবহার করেছি।

বিশেষ করে, ডিউক এনার্জির গবেষকদের সাথে সহযোগিতায় কাজ করে, আমরা অ্যামাজন সেজমেকার ব্যবহার করে ডাউনস্ট্রিম অসঙ্গতি সনাক্তকরণ অ্যাপ্লিকেশনের জন্য বৈশিষ্ট্য নিষ্কাশনকারী হিসাবে প্রাক-প্রশিক্ষিত স্ব-পাতন ভিআইটি (ভিশন ট্রান্সফরমার) মডেলগুলি ব্যবহার করেছি। প্রাক-প্রশিক্ষিত সেলফ-ডিস্টিলেশন ভিশন ট্রান্সফরমার মডেলগুলিকে অ্যামাজন সেজমেকার ব্যবহার করে স্ব-তত্ত্বাবধানে অ্যামাজন S3-এ সঞ্চিত প্রচুর প্রশিক্ষণ ডেটার উপর প্রশিক্ষণ দেওয়া হয়। আমরা বড় আকারের ডেটাসেটে (যেমন, ইমেজনেট) প্রাক-প্রশিক্ষিত ভিআইটি মডেলগুলির স্থানান্তর শেখার ক্ষমতাগুলিকে কাজে লাগাই। এটি আমাদের প্রশিক্ষণের জন্য কয়েক হাজার লেবেলযুক্ত চিত্র ব্যবহার করে একটি মূল্যায়ন সেটে 83% প্রত্যাহার করতে সহায়তা করেছে।

মূল্যায়ন মেট্রিক্স

নিম্নলিখিত চিত্রটি মডেল কার্যকারিতা এবং এর প্রভাবগুলি মূল্যায়ন করতে ব্যবহৃত মূল মেট্রিকগুলি দেখায়৷ মডেলের মূল লক্ষ্য হল অসঙ্গতি সনাক্তকরণ (অর্থাৎ সত্যিকারের ইতিবাচক) এবং মিথ্যা নেতিবাচকের সংখ্যা কমিয়ে আনা, বা যখন বিভ্রাটের কারণ হতে পারে এমন অসঙ্গতিগুলিকে ভুল শ্রেণিবদ্ধ করা হয়।

অসঙ্গতিগুলি চিহ্নিত হয়ে গেলে, প্রযুক্তিবিদরা ভবিষ্যতে বিভ্রাট রোধ করতে এবং সরকারী প্রবিধানগুলির সাথে সম্মতি নিশ্চিত করতে তাদের সমাধান করতে পারেন। মিথ্যা ইতিবাচক কমানোর আরেকটি সুবিধা আছে: আপনি আবার ইমেজ মাধ্যমে যাওয়ার অপ্রয়োজনীয় প্রচেষ্টা এড়ান।

এই মেট্রিকগুলিকে মাথায় রেখে, আমরা নিম্নলিখিত মেট্রিকগুলির পরিপ্রেক্ষিতে মডেলের কার্যকারিতা ট্র্যাক করি, যা উপরে সংজ্ঞায়িত চারটি মেট্রিক্সকে এনক্যাপসুলেট করে৷

স্পষ্টতা

শনাক্ত করা অসামঞ্জস্যের শতাংশ যা আগ্রহের বস্তুর জন্য প্রকৃত অসঙ্গতি। নির্ভুলতা পরিমাপ করে যে আমাদের অ্যালগরিদম শুধুমাত্র অসঙ্গতিগুলিকে কতটা ভালভাবে চিহ্নিত করে। এই ব্যবহারের ক্ষেত্রে, উচ্চ নির্ভুলতা মানে কম মিথ্যা অ্যালার্ম (অর্থাৎ, অ্যালগরিদম একটি কাঠঠোকরার গর্তকে মিথ্যাভাবে সনাক্ত করে যখন ছবিতে কোনওটি নেই)।

প্রত্যাহার

আগ্রহের প্রতিটি বস্তুর জন্য পুনরুদ্ধার করা সমস্ত অসঙ্গতির শতাংশ। আমরা সমস্ত অসঙ্গতিগুলিকে কতটা ভালভাবে চিহ্নিত করি তার পরিমাপগুলি স্মরণ করুন। এই সেট অসঙ্গতির সম্পূর্ণ সেটের কিছু শতাংশ ক্যাপচার করে এবং সেই শতাংশ হল প্রত্যাহার। এই ব্যবহারের ক্ষেত্রে, উচ্চ প্রত্যাহার মানে হল যে কাঠঠোকরার গর্তগুলি ঘটলে আমরা ধরতে পারি। তাই এই POC-তে ফোকাস করার জন্য রিকল হল সঠিক মেট্রিক কারণ মিথ্যা অ্যালার্মগুলি সবচেয়ে বেশি বিরক্তিকর, যখন মিস করা অসামঞ্জস্যগুলি অযৌক্তিক রেখে দিলে গুরুতর পরিণতি হতে পারে।

কম প্রত্যাহার আউটেজ এবং সরকারী নিয়ম লঙ্ঘন হতে পারে. যদিও কম নির্ভুলতা মানুষের প্রচেষ্টাকে নষ্ট করে দেয়। এই ব্যস্ততার প্রাথমিক লক্ষ্য হল সরকারী নিয়ম মেনে চলার জন্য সমস্ত অসঙ্গতিগুলি চিহ্নিত করা এবং কোনও বিভ্রাট এড়ানো, তাই আমরা নির্ভুলতার চেয়ে প্রত্যাহার উন্নত করাকে অগ্রাধিকার দিই।

মূল্যায়ন এবং মডেল তুলনা

নিম্নলিখিত বিভাগে, আমরা এই ব্যস্ততার সময় নিযুক্ত বিভিন্ন মডেলিং কৌশলগুলির তুলনা প্রদর্শন করি। আমরা দুটি AWS পরিষেবা Amazon Recognition এবং Amazon Lookout for Vision-এর কর্মক্ষমতা মূল্যায়ন করেছি। আমরা AutoGluon ব্যবহার করে বিভিন্ন মডেলিং কৌশল মূল্যায়ন করেছি। অবশেষে, আমরা অত্যাধুনিক ভিআইটি ভিত্তিক স্ব-পাতন পদ্ধতির সাথে পারফরম্যান্সের তুলনা করি।

নিম্নলিখিত চিত্রটি এই ব্যস্ততার সময়কালে বিভিন্ন ডেটা প্রক্রিয়াকরণ কৌশল ব্যবহার করে অটোগ্লুওনের মডেলের উন্নতি দেখায়। মূল পর্যবেক্ষণ হল আমরা ডেটার গুণমান এবং পরিমাণে উন্নতি করার ক্ষেত্রে মডেলের কর্মক্ষমতা 30% থেকে 78%-এর নিচে উন্নীত হয়েছে।

এর পরে, আমরা AWS পরিষেবাগুলির সাথে AutoGluon-এর কর্মক্ষমতা তুলনা করি। আমরা বিভিন্ন ডেটা প্রসেসিং কৌশলও নিযুক্ত করেছি যা কর্মক্ষমতা উন্নত করতে সাহায্য করেছে। যাইহোক, প্রধান উন্নতি ডাটা পরিমাণ এবং গুণমান বৃদ্ধি থেকে এসেছে। আমরা ডেটাসেটের আকার মোট 11 K ছবি থেকে বাড়িয়ে 60 K ছবি করি।

এর পরে, আমরা ViT ভিত্তিক পদ্ধতির সাথে AutoGluon এবং AWS পরিষেবাগুলির কর্মক্ষমতা তুলনা করি। নিম্নলিখিত চিত্রটি দেখায় যে ভিআইটি-ভিত্তিক পদ্ধতি, অটোগ্লুওন এবং এডব্লিউএস পরিষেবাগুলি প্রত্যাহারের ক্ষেত্রে সমানভাবে সঞ্চালিত হয়েছে। একটি মূল পর্যবেক্ষণ হল, একটি নির্দিষ্ট বিন্দুর বাইরে, ডেটার গুণমান এবং পরিমাণ বৃদ্ধি প্রত্যাহার করার ক্ষেত্রে কর্মক্ষমতা বাড়াতে সাহায্য করে না। যাইহোক, আমরা নির্ভুলতার পরিপ্রেক্ষিতে উন্নতি লক্ষ্য করি।

নির্ভুলতা বনাম রিকল তুলনা

আমাজন অটোগ্লুওন	পূর্বাভাসিত অসঙ্গতি	স্বাভাবিক ভবিষ্যদ্বাণী
ব্যতিক্রমসমূহ	15600	4400
সাধারণ	3659	38341

এর পরে, আমরা আমাদের ডেটাসেট ব্যবহার করে অটোগ্লুওন এবং অ্যামাজন স্বীকৃতি এবং ভিআইটি ভিত্তিক পদ্ধতির জন্য বিভ্রান্তি ম্যাট্রিক্স উপস্থাপন করি যাতে 62 কে নমুনা রয়েছে। 62K নমুনার মধ্যে, 20 K নমুনা অস্বাভাবিক এবং বাকি 42 K চিত্র স্বাভাবিক। এটি লক্ষ্য করা যায় যে ভিআইটি ভিত্তিক পদ্ধতিগুলি সর্বাধিক সংখ্যক অসঙ্গতি (16,600) ক্যাপচার করে যার পরে অ্যামাজন রিকগনিশন (16,000) এবং অ্যামাজন অটোগ্লুওন (15600)। একইভাবে, Amazon AutoGluon-এর সর্বনিম্ন সংখ্যক মিথ্যা পজিটিভ (3659 ছবি) রয়েছে, তারপরে Amazon Recognition (5918) এবং ViT (15323)। এই ফলাফলগুলি দেখায় যে অ্যামাজন স্বীকৃতি সর্বোচ্চ AUC (বক্ররেখার নীচে এলাকা) অর্জন করে।

আমাজন রেকোনিশন	পূর্বাভাসিত অসঙ্গতি	স্বাভাবিক ভবিষ্যদ্বাণী
ব্যতিক্রমসমূহ	16,000	4000
সাধারণ	5918	36082

ভিআইটি	পূর্বাভাসিত অসঙ্গতি	স্বাভাবিক ভবিষ্যদ্বাণী
ব্যতিক্রমসমূহ	16,600	3400
সাধারণ	15,323	26,677

উপসংহার

এই পোস্টে, আমরা আপনাকে দেখিয়েছি যে কীভাবে MLSL এবং ডিউক এনার্জি দলগুলি হেলিকপ্টার ফ্লাইটের মাধ্যমে সংগৃহীত উচ্চ রেজোলিউশনের ছবিগুলি ব্যবহার করে কাঠের খুঁটিতে অসংগতি সনাক্তকরণ স্বয়ংক্রিয় করার জন্য একটি কম্পিউটার দৃষ্টি-ভিত্তিক সমাধান তৈরি করতে একসাথে কাজ করেছে৷ প্রস্তাবিত সমাধান আকার মানককরণের জন্য উচ্চ-রেজোলিউশন ইমেজ ক্রপ করার জন্য একটি ডেটা প্রসেসিং পাইপলাইন নিযুক্ত করেছে। ক্রপ করা ছবিগুলিকে আরও প্রক্রিয়া করা হয় Amazon Recognition কাস্টম লেবেল ব্যবহার করে আগ্রহের অঞ্চল সনাক্ত করতে (অর্থাৎ, খুঁটির সাথে প্যাচ ধারণকারী ফসল)। খুঁটির সাথে প্যাচগুলি সঠিকভাবে সনাক্ত করার ক্ষেত্রে Amazon Recognition 96% নির্ভুলতা অর্জন করেছে। ROI শস্যগুলি আরও বিসংগতি সনাক্তকরণের জন্য ViT ভিত্তিক স্ব-পাতন mdoel AutoGluon এবং AWS পরিষেবাগুলি ব্যবহার করে অসঙ্গতি সনাক্তকরণের জন্য ব্যবহৃত হয়। আমরা তিনটি পদ্ধতির কর্মক্ষমতা মূল্যায়ন করার জন্য একটি স্ট্যান্ডার্ড ডেটা সেট ব্যবহার করেছি। ViT ভিত্তিক মডেলটি 83% রিকল এবং 52% নির্ভুলতা অর্জন করেছে। AutoGluon 78% রিকল এবং 81% নির্ভুলতা অর্জন করেছে। অবশেষে, Amazon Recognition 80% রিকল এবং 73% নির্ভুলতা অর্জন করে। তিনটি ভিন্ন পদ্ধতি ব্যবহার করার লক্ষ্য হল প্রতিটি পদ্ধতির কর্মক্ষমতাকে বিভিন্ন সংখ্যক প্রশিক্ষণের নমুনা, প্রশিক্ষণের সময় এবং স্থাপনার সময়ের সাথে তুলনা করা। Amazon AWS-এ একটি একক A2 GPU ইনস্ট্যান্স বা পরিচালিত পরিষেবাগুলি ব্যবহার করে প্রশিক্ষণ এবং স্থাপন করতে এই সমস্ত পদ্ধতিগুলি 100 ঘন্টারও কম সময় নেয়৷ এর পরে, মডেলের কর্মক্ষমতার আরও উন্নতির জন্য পদক্ষেপগুলির মধ্যে রয়েছে মডেল নির্ভুলতা উন্নত করার জন্য আরও প্রশিক্ষণের ডেটা যোগ করা।

সামগ্রিকভাবে, এই পোস্টে প্রস্তাবিত এন্ড-টু-এন্ড পাইপলাইন অপারেশন খরচ, নিরাপত্তা ঘটনা, নিয়ন্ত্রক ঝুঁকি, কার্বন নিঃসরণ এবং সম্ভাব্য বিদ্যুৎ বিভ্রাট কমিয়ে অসামঞ্জস্যতা সনাক্তকরণে উল্লেখযোগ্য উন্নতি অর্জনে সহায়তা করে।

বিকশিত সমাধানটি ইনসুলেটর এবং অন্যান্য সরঞ্জামের ত্রুটি সহ সংক্রমণ এবং বিতরণ নেটওয়ার্ক জুড়ে অন্যান্য অসঙ্গতি সনাক্তকরণ এবং সম্পদের স্বাস্থ্য-সম্পর্কিত ব্যবহারের ক্ষেত্রে ব্যবহার করা যেতে পারে। এই সমাধানটি বিকাশ এবং কাস্টমাইজ করার জন্য আরও সহায়তার জন্য, অনুগ্রহ করে MLSL টিমের সাথে যোগাযোগ করুন।

---

লেখক সম্পর্কে

ট্র্যাভিস ব্রনসন প্রযুক্তিতে 15 বছরের অভিজ্ঞতা এবং 8 বছর বিশেষভাবে কৃত্রিম বুদ্ধিমত্তার জন্য নিবেদিত একজন প্রধান কৃত্রিম বুদ্ধিমত্তা বিশেষজ্ঞ। ডিউক এনার্জিতে তার 5 বছরের মেয়াদে, ট্র্যাভিস তার কোম্পানির শীর্ষস্থানীয় প্রান্তে অনন্য অন্তর্দৃষ্টি এবং সৃজনশীল চিন্তা নেতৃত্ব এনে ডিজিটাল রূপান্তরের জন্য AI-এর প্রয়োগকে অগ্রসর করেছে। ট্র্যাভিস বর্তমানে এআই কোর টিমের নেতৃত্ব দিচ্ছেন, এআই অনুশীলনকারীদের, উত্সাহী এবং ব্যবসায়িক অংশীদারদের একটি সম্প্রদায় যারা এআই ফলাফল এবং শাসনের অগ্রগতির উপর দৃষ্টি নিবদ্ধ করে। ট্র্যাভিস মার্কিন নৌবাহিনী এবং মার্কিন সরকার থেকে শুরু করে একাধিক প্রযুক্তিগত ক্ষেত্রে তার দক্ষতা অর্জন এবং পরিমার্জিত করেছেন, তারপর এক দশকেরও বেশি পরিষেবার পরে বেসরকারি খাতে রূপান্তরিত হয়েছেন।

 ব্রায়ান উইলকারসন ডিউক এনার্জিতে দুই দশকের অভিজ্ঞতা সহ একজন দক্ষ পেশাদার। কম্পিউটার বিজ্ঞানে ডিগ্রী সহ, তিনি কৃত্রিম বুদ্ধিমত্তার ক্ষেত্রে বিগত 7 বছর অতিবাহিত করেছেন। ব্রায়ান ডিউক এনার্জির MADlab (মেশিন লার্নিং, এআই এবং ডিপ লার্নিং টিম) এর সহ-প্রতিষ্ঠাতা। তিনি বর্তমানে ডিউক এনার্জিতে কৃত্রিম বুদ্ধিমত্তা ও রূপান্তরের পরিচালকের পদে অধিষ্ঠিত, যেখানে তিনি AI বাস্তবায়নের মাধ্যমে ব্যবসায়িক মূল্য প্রদানের বিষয়ে উত্সাহী।

আহসান আলী তিনি আমাজন জেনারেটিভ এআই ইনোভেশন সেন্টারের একজন ফলিত বিজ্ঞানী, যেখানে তিনি জেনারেটিভ এআই ব্যবহার করে তাদের জরুরী এবং ব্যয়বহুল সমস্যার সমাধান করার জন্য বিভিন্ন ডোমেনের গ্রাহকদের সাথে কাজ করেন।

তাহিন সৈয়দ অ্যামাজন জেনারেটিভ এআই ইনোভেশন সেন্টারের একজন ফলিত বিজ্ঞানী, যেখানে তিনি জেনারেটিভ এআই সমাধানের মাধ্যমে ব্যবসায়িক ফলাফল উপলব্ধি করতে গ্রাহকদের সাথে কাজ করেন। কাজের বাইরে, তিনি নতুন খাবার চেষ্টা, ভ্রমণ এবং তায়কোয়ান্দো শেখানো উপভোগ করেন।

ডঃ এনকেচিনেরে এন আগু AWS-এর জেনারেটিভ এআই ইনোভেশন সেন্টারের একজন ফলিত বিজ্ঞানী। তার দক্ষতা কম্পিউটার ভিশন এআই/এমএল পদ্ধতি, স্বাস্থ্যসেবাতে এআই/এমএলের প্রয়োগ, সেইসাথে এমএল সমাধানগুলিতে শব্দার্থিক প্রযুক্তির (নলেজ গ্রাফ) একীকরণ। তিনি কম্পিউটার সায়েন্সে মাস্টার্স এবং ডক্টরেট করেছেন।

আলদো আরিজমেন্ডি অস্টিন, টেক্সাসে অবস্থিত AWS জেনারেটিভ এআই ইনোভেশন সেন্টারের একজন জেনারেটিভ এআই স্ট্র্যাটেজিস্ট। নেব্রাস্কা-লিংকন ইউনিভার্সিটি থেকে কম্পিউটার ইঞ্জিনিয়ারিং-এ তার বিএস ডিগ্রি পাওয়ার পর, গত 12 বছরে, মিঃ আরিজমেন্ডি শত শত ফরচুন 500 কোম্পানি এবং স্টার্ট-আপদের উন্নত বিশ্লেষণ, মেশিন লার্নিং এবং জেনারেটিভ AI ব্যবহার করে তাদের ব্যবসায় পরিবর্তন আনতে সাহায্য করেছেন।

স্টেসি জেঙ্কস অ্যানালিটিক্স এবং AI/ML-এ দুই দশকেরও বেশি অভিজ্ঞতা সহ AWS-এর একজন প্রিন্সিপাল অ্যানালিটিক্স সেলস স্পেশালিস্ট৷ স্টেসি গ্রাহকের উদ্যোগে গভীরভাবে ডুব দেওয়ার এবং ডেটার সাহায্যে রূপান্তরমূলক, পরিমাপযোগ্য ব্যবসায়িক ফলাফল চালানোর বিষয়ে উত্সাহী। সাশ্রয়ী, নির্ভরযোগ্য, পরিষ্কার শক্তি সহ একটি সবুজ গ্রহে তাদের পথের মাধ্যমে ইউটিলিটিগুলি সমাজে যে চিহ্ন তৈরি করবে সে সম্পর্কে তিনি বিশেষভাবে উত্সাহী।

মেহেদী নূর জেনারেটিভ এআই ইনোভেশন সেন্টারের একজন ফলিত বিজ্ঞান ব্যবস্থাপক। ব্রিজিং প্রযুক্তি এবং উদ্ভাবনের প্রতি আবেগের সাথে, তিনি AWS গ্রাহকদের জেনারেটিভ এআই-এর সম্ভাবনাকে আনলক করতে, সম্ভাব্য চ্যালেঞ্জগুলিকে দ্রুত পরীক্ষা-নিরীক্ষা এবং উদ্ভাবনের সুযোগে পরিণত করতে উন্নত AI প্রযুক্তির মাপযোগ্য, পরিমাপযোগ্য এবং প্রভাবশালী ব্যবহারের উপর মনোযোগ কেন্দ্রীভূত করতে এবং পথকে সুগম করতে সহায়তা করেন। উৎপাদন করতে

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। মোটরগাড়ি / ইভি, কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• চার্টপ্রাইম। ChartPrime এর সাথে আপনার ট্রেডিং গেমটি উন্নত করুন। এখানে প্রবেশ করুন.
• ব্লকঅফসেট। পরিবেশগত অফসেট মালিকানার আধুনিকীকরণ। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/improving-asset-health-and-grid-resilience-using-machine-learning/