অ্যামাজন সেজমেকার ক্যানভাসের সাথে কোনও কোড এমএল মডেল তৈরি করার সময় সাধারণ ডেটা সমস্যাগুলি সনাক্ত করা এবং এড়ানো

ব্যবসায়িক বিশ্লেষকরা ডেটা নিয়ে কাজ করেন এবং কার্যকর ব্যবসায়িক ফলাফল অর্জনের জন্য ডেটা বিশ্লেষণ, অন্বেষণ এবং বুঝতে পছন্দ করেন। ব্যবসায়িক সমস্যা সমাধানের জন্য, তারা প্রায়ই মেশিন লার্নিং (ML) অনুশীলনকারীদের উপর নির্ভর করে যেমন ডেটা বিজ্ঞানীদের কৌশলগুলিতে সহায়তা করার জন্য যেমন এমএল ব্যবহার করে বিদ্যমান ডেটা ব্যবহার করে মডেল তৈরি করা এবং ভবিষ্যদ্বাণী তৈরি করা। যাইহোক, এটি সর্বদা সম্ভব হয় না, কারণ ডেটা বিজ্ঞানীরা সাধারণত তাদের কাজগুলির সাথে আবদ্ধ থাকে এবং বিশ্লেষকদের সাহায্য করার জন্য তাদের ব্যান্ডউইথ নেই।

স্বাধীন হতে এবং একজন ব্যবসায়িক বিশ্লেষক হিসাবে আপনার লক্ষ্যগুলি অর্জন করতে, এটি ব্যবহার করা সহজ, স্বজ্ঞাত এবং ভিজ্যুয়াল সরঞ্জামগুলির সাথে কাজ করা আদর্শ হবে যা বিশদ জানার এবং কোড ব্যবহার করার প্রয়োজন ছাড়াই ML ব্যবহার করে৷ এই সরঞ্জামগুলি ব্যবহার করা আপনাকে আপনার ব্যবসার সমস্যাগুলি সমাধান করতে এবং পছন্দসই ফলাফল অর্জনে সহায়তা করবে।

আপনাকে এবং আপনার সংস্থাকে আরও কার্যকরী হতে সাহায্য করার লক্ষ্যে এবং কোড না লিখে ML ব্যবহার করতে আমরা অ্যামাজন সেজমেকার ক্যানভাস চালু করেছে. এটি একটি নো-কোড এমএল সমাধান যা আপনাকে প্রযুক্তিগত বিশদ, যেমন এমএল অ্যালগরিদম এবং মূল্যায়ন মেট্রিক্স সম্পর্কে শেখার প্রয়োজন ছাড়াই সঠিক এমএল মডেল তৈরি করতে সহায়তা করে৷ সেজমেকার ক্যানভাস একটি ভিজ্যুয়াল, স্বজ্ঞাত ইন্টারফেস অফার করে যা আপনাকে ডেটা আমদানি করতে, ML মডেলগুলিকে প্রশিক্ষণ দিতে, মডেল বিশ্লেষণ করতে এবং ML পূর্বাভাস তৈরি করতে দেয়, সমস্ত কিছু কোডের একটি লাইন না লিখে।

পরীক্ষা করার জন্য SageMaker ক্যানভাস ব্যবহার করার সময়, আপনি ডেটা মানের সমস্যাগুলির সম্মুখীন হতে পারেন যেমন মান হারিয়ে যাওয়া বা ভুল সমস্যার ধরন। একটি এমএল মডেল প্রশিক্ষণের পরে প্রক্রিয়ার বেশ দেরি না হওয়া পর্যন্ত এই সমস্যাগুলি আবিষ্কৃত নাও হতে পারে। এই চ্যালেঞ্জ উপশম করতে, সেজমেকার ক্যানভাস এখন ডেটা বৈধতা সমর্থন করে। এই বৈশিষ্ট্যটি সক্রিয়ভাবে আপনার ডেটার সমস্যাগুলি পরীক্ষা করে এবং সমাধানের জন্য নির্দেশিকা প্রদান করে।

এই পোস্টে, আমরা প্রদর্শন করব কিভাবে আপনি মডেল তৈরির আগে সেজমেকার ক্যানভাসের মধ্যে ডেটা যাচাইকরণ ক্ষমতা ব্যবহার করতে পারেন। নাম অনুসারে, এই বৈশিষ্ট্যটি আপনার ডেটাসেট যাচাই করে, সমস্যাগুলি রিপোর্ট করে এবং সেগুলি ঠিক করার জন্য দরকারী পয়েন্টার সরবরাহ করে৷ ভাল মানের ডেটা ব্যবহার করে, আপনি একটি ভাল পারফরম্যান্স এমএল মডেলের সাথে শেষ হবেন।

সেজমেকার ক্যানভাসে ডেটা যাচাই করুন

ডেটা যাচাইকরণ হল SageMaker ক্যানভাসের একটি নতুন বৈশিষ্ট্য যা সম্ভাব্য ডেটা মানের সমস্যাগুলির জন্য সক্রিয়ভাবে পরীক্ষা করতে পারে। আপনি ডেটা আমদানি করার পরে এবং একটি লক্ষ্য কলাম নির্বাচন করার পরে, আপনাকে এখানে দেখানো হিসাবে আপনার ডেটা যাচাই করার জন্য একটি পছন্দ দেওয়া হবে:

আপনি যদি আপনার ডেটা যাচাই করতে চান, ক্যানভাস আপনার ডেটা বিশ্লেষণ করে অনেক শর্তের জন্য যার মধ্যে রয়েছে:

• আপনার লক্ষ্য কলামে অনেকগুলি অনন্য লেবেল৷ - বিভাগের ভবিষ্যদ্বাণী মডেল প্রকারের জন্য
• আপনার ডেটাতে সারির সংখ্যার জন্য আপনার লক্ষ্য কলামে অনেকগুলি অনন্য লেবেল - বিভাগের ভবিষ্যদ্বাণী মডেল প্রকারের জন্য
• আপনার ডেটার জন্য ভুল মডেল টাইপ - টার্গেট কলামে আপনি যে ডেটা ভবিষ্যদ্বাণী করছেন মডেলের ধরনটি তার সাথে খাপ খায় না৷
• অনেকগুলি অবৈধ সারি৷ - আপনার লক্ষ্য কলামে মান অনুপস্থিত
• সমস্ত বৈশিষ্ট্য কলাম পাঠ্য কলাম - তারা মান নির্মাণের জন্য বাদ দেওয়া হবে
• খুব কম কলাম - আপনার ডেটাতে খুব কম কলাম
• সম্পূর্ণ সারি নেই - আপনার ডেটার সমস্ত সারিতে অনুপস্থিত মান রয়েছে
• এক বা একাধিক কলামের নাম ডবল আন্ডারস্কোর ধারণ করে - সেজমেকার কলাম হেডারে (__) পরিচালনা করতে পারে না

প্রতিটি বৈধতার মানদণ্ডের বিশদ বিবরণ এই পোস্টের পরবর্তী বিভাগে দেওয়া হবে।

যদি সমস্ত চেক পাস হয়, তাহলে আপনি নিম্নলিখিত নিশ্চিতকরণ পাবেন: "আপনার ডেটাসেটে কোন সমস্যা পাওয়া যায়নি"।

কোনো সমস্যা পাওয়া গেলে, আপনি দেখতে এবং বোঝার জন্য একটি বিজ্ঞপ্তি পাবেন। এটি ডেটার গুণমানের সমস্যাগুলিকে প্রথম দিকে প্রকাশ করে এবং এটি আপনাকে প্রক্রিয়াটিতে আরও সময় এবং সংস্থান নষ্ট করার আগে অবিলম্বে সেগুলির সমাধান করতে দেয়৷

আপনি আপনার সামঞ্জস্য করতে পারেন এবং সমস্ত সমস্যার সমাধান না হওয়া পর্যন্ত আপনার ডেটাসেট যাচাই করতে পারেন।

লক্ষ্য কলাম এবং মডেল প্রকার যাচাই করুন

আপনি যখন সেজমেকার ক্যানভাসে একটি এমএল মডেল তৈরি করছেন, তখন এর সাথে সম্পর্কিত বিভিন্ন ডেটা মানের সমস্যা লক্ষ্য কলাম আপনার মডেল বিল্ড ব্যর্থ হতে পারে. সেজমেকার ক্যানভাস বিভিন্ন ধরণের সমস্যার জন্য পরীক্ষা করে যা আপনার উপর প্রভাব ফেলতে পারে লক্ষ্য কলাম।

1. আপনার লক্ষ্য কলামের জন্য, চেক করুন আপনার ডেটার জন্য ভুল মডেল টাইপ. উদাহরণস্বরূপ, যদি একটি 2-শ্রেণীর ভবিষ্যদ্বাণী মডেল নির্বাচন করা হয় কিন্তু আপনার লক্ষ্য কলামে 2টির বেশি অনন্য লেবেল থাকে, তাহলে SageMaker ক্যানভাস নিম্নলিখিত বৈধতা সতর্কতা প্রদান করবে।
   
2. যদি মডেলের ধরনটি 2 বা 3+ বিভাগের পূর্বাভাস হয়, তাহলে আপনাকে অবশ্যই যাচাই করতে হবে অনেকগুলি অনন্য লেবেল আপনার টার্গেট কলামের জন্য. অনন্য ক্লাসের সর্বাধিক সংখ্যা হল 2000৷ আপনি যদি আপনার টার্গেট কলামে 2000 টির বেশি অনন্য মান সহ একটি কলাম নির্বাচন করেন, তাহলে ক্যানভাস নিম্নলিখিত বৈধতা সতর্কতা প্রদান করবে৷
   
3. অনেকগুলি অনন্য টার্গেট লেবেল ছাড়াও, আপনাকেও সতর্ক থাকতে হবে আপনার ডেটাতে সারির সংখ্যার জন্য অনেকগুলি অনন্য লক্ষ্য লেবেল। সেজমেকার ক্যানভাস মোট সারির সংখ্যার সাথে লক্ষ্য লেবেলের অনুপাত 10%-এর কম হবে। এটি নিশ্চিত করে যে আপনার কাছে একটি উচ্চ মানের মডেলের জন্য প্রতিটি বিভাগের জন্য যথেষ্ট প্রতিনিধিত্ব রয়েছে এবং ওভারফিটিংয়ের সম্ভাবনা কমিয়েছে। আপনার মডেলটিকে অতিরিক্ত ফিটিং হিসাবে বিবেচনা করা হয় যখন এটি প্রশিক্ষণের ডেটাতে ভাল ভবিষ্যদ্বাণী করে তবে নতুন ডেটাতে নয় যা এটি আগে দেখা যায়নি৷ উল্লেখ করুন এখানে আরও জানতে.
   
4. অবশেষে, লক্ষ্য কলামের জন্য শেষ চেক হয় অনেকগুলি অবৈধ সারি. যদি আপনার টার্গেট কলামে 10% এর বেশি ডেটা অনুপস্থিত বা অবৈধ থাকে, তাহলে এটি আপনার মডেলের কার্যকারিতাকে প্রভাবিত করবে এবং কিছু ক্ষেত্রে আপনার মডেল বিল্ড ব্যর্থ হবে। নিম্নলিখিত উদাহরণে লক্ষ্য কলামে অনেকগুলি অনুপস্থিত মান (>90% অনুপস্থিত) রয়েছে এবং আপনি নিম্নলিখিত বৈধতা সতর্কতা পান৷
   
   

আপনি যদি আপনার টার্গেট কলামের জন্য উপরের সতর্কতাগুলির মধ্যে কোনোটি পান, তাহলে সমস্যাগুলি কমাতে নিম্নলিখিত পদক্ষেপগুলি ব্যবহার করুন:

1. আপনি কি সঠিক টার্গেট কলাম ব্যবহার করছেন?
2. আপনি কি সঠিক মডেল টাইপ নির্বাচন করেছেন?
3. আপনি কি লক্ষ্য লেবেল প্রতি আপনার ডেটাসেটে সারির সংখ্যা বাড়াতে পারেন?
4. আপনি কি একই রকম লেবেলকে একত্রিত/গ্রুপ করতে পারবেন?
5. আপনি অনুপস্থিত/অবৈধ মান পূরণ করতে পারেন?
6. আপনার কাছে কি পর্যাপ্ত ডেটা আছে যা আপনি অনুপস্থিত/অবৈধ মানগুলি ফেলে দিতে পারেন?
7. যদি উপরের সমস্ত বিকল্প সতর্কতাটি পরিষ্কার না করে, তাহলে আপনার একটি ভিন্ন ডেটাসেট ব্যবহার করার কথা বিবেচনা করা উচিত।

পড়ুন সেজমেকার ক্যানভাস ডেটা ট্রান্সফরমেশন ডকুমেন্টেশন উপরে উল্লিখিত অভিযোজন পদক্ষেপগুলি সম্পাদন করতে।

সমস্ত কলাম যাচাই করুন

টার্গেট কলাম ছাড়াও, আপনি অন্যান্য ডেটা কলামের (ফিচার কলাম) সাথেও ডেটা মানের সমস্যায় পড়তে পারেন। বৈশিষ্ট্য কলাম একটি ML ভবিষ্যদ্বাণী করতে ব্যবহৃত ইনপুট ডেটা।

• প্রতিটি ডেটাসেটে কমপক্ষে 1টি বৈশিষ্ট্য কলাম এবং 1টি লক্ষ্য কলাম (মোট 2টি কলাম) থাকতে হবে। অন্যথায়, সেজমেকার ক্যানভাস আপনাকে একটি দেবে আপনার ডেটাতে খুব কম কলাম সতর্কতা আপনি একটি মডেল নির্মাণের সাথে এগিয়ে যাওয়ার আগে আপনাকে অবশ্যই এই প্রয়োজনীয়তা পূরণ করতে হবে৷
  
• এর পরে, আপনাকে অবশ্যই নিশ্চিত করতে হবে যে আপনার ডেটাতে কমপক্ষে 1টি সংখ্যাসূচক কলাম রয়েছে৷ যদি না হয়, তাহলে আপনি পাবেন সমস্ত বৈশিষ্ট্য কলাম পাঠ্য কলাম সতর্কতা এর কারণ হল টেক্সট কলামগুলি সাধারণত স্ট্যান্ডার্ড বিল্ডের সময় বাদ দেওয়া হয়, যার ফলে মডেলটিকে প্রশিক্ষণের জন্য কোনও বৈশিষ্ট্য ছাড়াই ছেড়ে যায়। অতএব, এটি আপনার মডেল বিল্ডিং ব্যর্থ হবে. আপনি সেজমেকার ক্যানভাস ব্যবহার করতে পারেন কিছু পাঠ্য কলামকে সংখ্যায় এনকোড করতে বা স্ট্যান্ডার্ড বিল্ডের পরিবর্তে দ্রুত বিল্ড ব্যবহার করতে পারেন।
  
• তৃতীয় ধরনের সতর্কতা আপনি বৈশিষ্ট্য কলামের জন্য পেতে পারেন সম্পূর্ণ সারি নেই. আপনার কোনো অনুপস্থিত মান ছাড়া অন্তত একটি সারি আছে কিনা এই বৈধতা পরীক্ষা করে। সেজমেকার ক্যানভাসের জন্য কমপক্ষে একটি সম্পূর্ণ সারি প্রয়োজন, অন্যথায় আপনার দ্রুত নির্মাণ ব্যর্থ হবে. মডেল তৈরি করার আগে অনুপস্থিত মান পূরণ করার চেষ্টা করুন।
  
• সর্বশেষ প্রকারের বৈধতা এক বা একাধিক কলামের নাম ডবল আন্ডারস্কোর ধারণ করে. এটি একটি সেজমেকার ক্যানভাস নির্দিষ্ট প্রয়োজনীয়তা। যদি আপনার কলাম শিরোনামগুলিতে ডবল আন্ডারস্কোর (__) থাকে, তাহলে এটি আপনার দ্রুত নির্মাণ ব্যর্থ. যেকোন ডাবল আন্ডারস্কোর মুছে ফেলতে কলামের নাম পরিবর্তন করুন এবং তারপর আবার চেষ্টা করুন।
  

পরিষ্কার কর

যাতে ভবিষ্যতে ক্ষতি না হয় সেশন চার্জ, SageMaker ক্যানভাস থেকে লগ আউট করুন৷

উপসংহার

সেজমেকার ক্যানভাস হল একটি নো-কোড এমএল সমাধান যা ব্যবসায় বিশ্লেষকদের সঠিক এমএল মডেল তৈরি করতে এবং একটি ভিজ্যুয়াল, পয়েন্ট-এন্ড-ক্লিক ইন্টারফেসের মাধ্যমে ভবিষ্যদ্বাণী তৈরি করতে দেয়। আমরা আপনাকে দেখিয়েছি কিভাবে SageMaker ক্যানভাস আপনাকে ডেটার গুণমান নিশ্চিত করতে এবং ডেটাসেটটিকে সক্রিয়ভাবে যাচাই করে ডেটা সমস্যাগুলি কমাতে সাহায্য করে৷ সমস্যাগুলি প্রাথমিকভাবে চিহ্নিত করার মাধ্যমে, সেজমেকার ক্যানভাস আপনাকে মানসম্পন্ন এমএল মডেল তৈরি করতে এবং ডেটা সায়েন্স এবং প্রোগ্রামিং-এ দক্ষতা ছাড়াই বিল্ড পুনরাবৃত্তি কমাতে সাহায্য করে। এই নতুন বৈশিষ্ট্য সম্পর্কে আরো জানতে, পড়ুন সেজমেকার ক্যানভাস ডকুমেন্টেশন।

শুরু করতে এবং সেজমেকার ক্যানভাস সম্পর্কে আরও জানতে, নিম্নলিখিত সংস্থানগুলি পড়ুন:

---

লেখক সম্পর্কে

হরিহরন সুরেশ AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট। তিনি ডাটাবেস, মেশিন লার্নিং এবং উদ্ভাবনী সমাধান ডিজাইন করার বিষয়ে উত্সাহী। AWS-এ যোগ দেওয়ার আগে, হরিহরন একজন পণ্য স্থপতি, কোর ব্যাঙ্কিং বাস্তবায়ন বিশেষজ্ঞ এবং বিকাশকারী ছিলেন এবং 11 বছরেরও বেশি সময় ধরে BFSI সংস্থাগুলির সাথে কাজ করেছিলেন। প্রযুক্তির বাইরে, তিনি প্যারাগ্লাইডিং এবং সাইক্লিং উপভোগ করেন।

সাইনাথ মিরিয়ালা মার্কিন যুক্তরাষ্ট্রে স্বয়ংচালিত গ্রাহকদের জন্য কাজ করা AWS-এর একজন সিনিয়র টেকনিক্যাল অ্যাকাউন্ট ম্যানেজার। সাইনাথ এআই/এমএল ব্যবহার করে বৃহৎ মাপের বিতরণ করা অ্যাপ্লিকেশন ডিজাইন এবং নির্মাণের ব্যাপারে আগ্রহী। অবসর সময়ে সাইনাথ পরিবার ও বন্ধুদের সঙ্গে সময় কাটান।

জেমস উ AWS-এর একজন সিনিয়র AI/ML স্পেশালিস্ট সলিউশন আর্কিটেক্ট। গ্রাহকদের এআই/এমএল সলিউশন ডিজাইন এবং তৈরি করতে সাহায্য করা। জেমসের কাজ এমএল ব্যবহারের ক্ষেত্রের একটি বিস্তৃত পরিসর কভার করে, যার মধ্যে প্রাথমিক আগ্রহ কম্পিউটার ভিশন, গভীর শিক্ষা, এবং এন্টারপ্রাইজ জুড়ে এমএল স্কেলিং। AWS-এ যোগদানের আগে, জেমস 10 বছরেরও বেশি সময় ধরে একজন স্থপতি, বিকাশকারী এবং প্রযুক্তি নেতা ছিলেন, যার মধ্যে 6 বছর ইঞ্জিনিয়ারিং এবং 4 বছর মার্কেটিং এবং বিজ্ঞাপন শিল্পে ছিল।