Amazon SageMaker Data Wrangler দিয়ে ডেটার র্যান্ডম এবং স্তরিত নমুনা তৈরি করুন

এই পোস্টে, আমরা আপনাকে দুটি নমুনা কৌশলের মধ্যে দিয়ে চলেছি অ্যামাজন সেজমেকার ডেটা র্যাংলার যাতে আপনি দ্রুত আপনার ডেটার জন্য প্রক্রিয়াকরণ কর্মপ্রবাহ তৈরি করতে পারেন। আপনার নির্দিষ্ট প্রয়োজনীয়তার উপর ভিত্তি করে আপনাকে আপনার ডেটা নমুনা করতে সাহায্য করার জন্য আমরা এলোমেলো নমুনা এবং স্তরিত নমুনা কৌশল উভয়ই কভার করি।

ডেটা র‍্যাংলার মেশিন লার্নিং (এমএল) এর জন্য ডেটা একত্রিত করতে এবং প্রস্তুত করতে যে সময় নেয় তা কয়েক সপ্তাহ থেকে কয়েক মিনিট পর্যন্ত কমিয়ে দেয়। আপনি ডেটা প্রস্তুতি এবং বৈশিষ্ট্য প্রকৌশলের প্রক্রিয়াটিকে সহজ করতে পারেন এবং একটি একক ভিজ্যুয়াল ইন্টারফেস থেকে ডেটা নির্বাচন, পরিষ্কারকরণ, অন্বেষণ এবং ভিজ্যুয়ালাইজেশন সহ ডেটা প্রস্তুতির কর্মপ্রবাহের প্রতিটি ধাপ সম্পূর্ণ করতে পারেন। ডেটা র্যাংলারের ডেটা নির্বাচন টুলের সাহায্যে, আপনি বিভিন্ন ডেটা উত্স থেকে আপনার পছন্দসই ডেটা চয়ন করতে পারেন এবং এক ক্লিকে এটি আমদানি করতে পারেন। ডেটা র্যাংলারে 300 টিরও বেশি অন্তর্নির্মিত ডেটা ট্রান্সফরমেশন রয়েছে যাতে আপনি কোনও কোড না লিখেই দ্রুত স্বাভাবিককরণ, রূপান্তর এবং বৈশিষ্ট্যগুলিকে একত্রিত করতে পারেন। ডেটা র‍্যাংলারের ভিজ্যুয়ালাইজেশন টেমপ্লেটগুলির সাহায্যে, আপনি দ্রুত পূর্বরূপ দেখতে পারেন এবং পরিদর্শন করতে পারেন যে এই রূপান্তরগুলি আপনার উদ্দেশ্য অনুসারে সম্পূর্ণ হয়েছে অ্যামাজন সেজমেকার স্টুডিও, ML-এর জন্য প্রথম সম্পূর্ণ সমন্বিত উন্নয়ন পরিবেশ (IDE)। আপনার ডেটা প্রস্তুত হওয়ার পরে, আপনি সম্পূর্ণ স্বয়ংক্রিয় এমএল ওয়ার্কফ্লো তৈরি করতে পারেন অ্যামাজন সেজমেকার পাইপলাইন এবং তাদের পুনঃব্যবহারের জন্য সংরক্ষণ করুন আমাজন সেজমেকার ফিচার স্টোর.

নমুনা কি এবং এটি কিভাবে সাহায্য করতে পারে

পরিসংখ্যানগত বিশ্লেষণে, পর্যবেক্ষণের মোট সেট হিসাবে পরিচিত জনসংখ্যা. ডেটা নিয়ে কাজ করার সময়, জনসংখ্যা থেকে প্রতিটি পর্যবেক্ষণ পরিমাপ করা প্রায়শই গণনাগতভাবে সম্ভব হয় না। পরিসংখ্যানগত নমুনা একটি পদ্ধতি যা আপনাকে জনসংখ্যা থেকে উপসেট নির্বাচন করে আপনার ডেটা বুঝতে দেয়।

স্যাম্পলিং একটি ব্যবহারিক সমাধান প্রদান করে যা ব্যবহারিকতা এবং স্বাচ্ছন্দ্যের জন্য কিছু নির্ভুলতা ত্যাগ করে। আপনার নমুনা সামগ্রিক জনসংখ্যার একটি ভাল উপস্থাপনা নিশ্চিত করতে, আপনি নমুনা কৌশল নিয়োগ করতে পারেন। ডেটা র‍্যাংলার দুটি সর্বাধিক সাধারণ কৌশল সমর্থন করে: র্যান্ডম স্যাম্পলিং এবং স্তরিত নমুনা.

এলোমেলো নমুনা

যদি আপনার কাছে একটি বড় ডেটাসেট থাকে, সেই ডেটাসেটের উপর পরীক্ষা করা সময়সাপেক্ষ হতে পারে। ডেটা র্যাংলার এলোমেলো নমুনা প্রদান করে যাতে আপনি দক্ষতার সাথে আপনার ডেটা প্রক্রিয়া করতে এবং কল্পনা করতে পারেন। উদাহরণস্বরূপ, আপনি একটি সময় ফ্রেমের মধ্যে একজন গ্রাহকের জন্য কেনাকাটার গড় সংখ্যা গণনা করতে চাইতে পারেন, অথবা আপনি একজন গ্রাহকের অ্যাট্রিশন রেট গণনা করতে চাইতে পারেন। আপনি এই মেট্রিক্সের অনুমান কল্পনা করতে একটি এলোমেলো নমুনা ব্যবহার করতে পারেন।

আপনার ডেটাসেট থেকে একটি এলোমেলো নমুনা বেছে নেওয়া হয়েছে যাতে প্রতিটি উপাদানের নির্বাচিত হওয়ার সমান সম্ভাবনা থাকে। এই ক্রিয়াকলাপটি বড় ডেটাসেটের জন্য উপযুক্ত একটি কার্যকর পদ্ধতিতে সঞ্চালিত হয়, তাই নমুনার আকারটি প্রায় অনুরোধ করা আকারের, এবং অনুরোধ করা আকারের সমান নয়।

আপনি যদি আপনার ডেটাসেট বুঝতে দ্রুত আনুমানিক গণনা করতে চান তবে আপনি র্যান্ডম স্যাম্পলিং ব্যবহার করতে পারেন। নমুনার আকার বড় হওয়ার সাথে সাথে এলোমেলো নমুনা পুরো ডেটাসেটের আনুমানিক অনুমান করতে পারে, কিন্তু আপনি যদি সমস্ত ডেটা পয়েন্ট অন্তর্ভুক্ত না করেন, আপনার এলোমেলো নমুনায় সমস্ত আউটলায়ার এবং এজ কেস অন্তর্ভুক্ত নাও হতে পারে। আপনি যদি আপনার সম্পূর্ণ ডেটাসেটটি ইন্টারেক্টিভভাবে প্রস্তুত করতে চান তবে আপনি একটি বড় ইনস্ট্যান্স টাইপেও স্যুইচ করতে পারেন।

একটি সাধারণ নিয়ম হিসাবে, জনসংখ্যা গণনা করার ক্ষেত্রে নমুনা ত্রুটির অর্থ হল একটি এলোমেলো নমুনা ব্যবহার করে নমুনাটি বড় হওয়ার সাথে সাথে 0 এর দিকে ঝোঁক। নমুনার আকার বাড়ার সাথে সাথে নমুনা আকারের বর্গমূলের বিপরীতে ত্রুটি হ্রাস পায়। টেকওয়ে হচ্ছে, নমুনা যত বড় হবে, আনুমানিকতা তত ভাল।

স্তরিত নমুনা

কিছু ক্ষেত্রে, আপনার জনসংখ্যাকে স্তরে ভাগ করা যেতে পারে, বা পারস্পরিক একচেটিয়া বালতি, যেমন ঠিকানাগুলির জন্য ভৌগলিক অবস্থান, গানের জন্য প্রকাশনা বছর, বা আয়ের জন্য ট্যাক্স বন্ধনী। র‍্যান্ডম স্যাম্পলিং হল সবচেয়ে জনপ্রিয় স্যাম্পলিং কৌশল, কিন্তু যদি কিছু স্তর আপনার জনসংখ্যার মধ্যে অস্বাভাবিক হয়, আপনি ডেটা র্যাংলারে স্তরিত নমুনা ব্যবহার করতে পারেন যাতে প্রতিটি স্তর আপনার নমুনায় আনুপাতিকভাবে উপস্থাপন করা হয়। এটি নমুনা সংক্রান্ত ত্রুটি কমাতে এবং আপনার পরীক্ষার সময় এজ কেস ক্যাপচার করছেন তা নিশ্চিত করতে কার্যকর হতে পারে।

বাস্তব জগতে, প্রতারণামূলক ক্রেডিট কার্ড লেনদেনগুলি বিরল ঘটনা এবং সাধারণত আপনার ডেটার 1% এরও কম। যদি আমরা এলোমেলোভাবে নমুনা করি, তাহলে নমুনায় খুব কম বা কোনো প্রতারণামূলক লেনদেন থাকা অস্বাভাবিক নয়। ফলস্বরূপ, একটি মডেলকে প্রশিক্ষণ দেওয়ার সময়, সঠিক মডেল শেখার জন্য আমাদের কাছে খুব কম প্রতারণামূলক উদাহরণ থাকবে। আমরা প্রতারণামূলক লেনদেনের আনুপাতিক উপস্থাপনা নিশ্চিত করতে স্তরিত নমুনা ব্যবহার করতে পারি।

স্তরিত নমুনাতে, নমুনার প্রতিটি স্তরের আকার জনসংখ্যার স্তরের আকারের সমানুপাতিক। এটি আপনার নির্দিষ্ট কলামের উপর ভিত্তি করে আপনার ডেটাকে স্তরে ভাগ করে, সঠিক অনুপাতের সাথে প্রতিটি স্তর থেকে এলোমেলো নমুনা নির্বাচন করে এবং সেই নমুনাগুলিকে জনসংখ্যার একটি স্তরিত নমুনায় একত্রিত করে কাজ করে।

স্ট্র্যাটিফাইড স্যাম্পলিং হল একটি দরকারী কৌশল যখন আপনি বুঝতে চান কিভাবে আপনার ডেটার বিভিন্ন গ্রুপ একে অপরের সাথে তুলনা করে এবং আপনি নিশ্চিত করতে চান যে প্রতিটি গ্রুপ থেকে আপনার উপযুক্ত প্রতিনিধিত্ব আছে।

Amazon S3 থেকে আমদানি করার সময় র্যান্ডম স্যাম্পলিং

এই বিভাগে, আমরা আমাদের জালিয়াতি সনাক্তকরণ সিস্টেম থেকে প্রতারণামূলক এবং অ-প্রতারণামূলক উভয় ইভেন্টের সমন্বয়ে একটি ডেটাসেট সহ র্যান্ডম নমুনা ব্যবহার করি। তুমি পারবে ডাউনলোড এই পোস্টের সাথে অনুসরণ করার জন্য ডেটাসেট (CC 4.0 আন্তর্জাতিক অ্যাট্রিবিউশন লাইসেন্স).

এই লেখার সময়, আপনি থেকে ডেটাসেট আমদানি করতে পারেন আমাজন সিম্পল স্টোরেজ সার্ভিস (অ্যামাজন এস 3), অ্যামাজন অ্যাথেনা, আমাজন রেডশিফ্ট, এবং স্নোফ্লেক। আমাদের ডেটাসেট অনেক বড়, এতে 1 মিলিয়ন সারি রয়েছে। এই ক্ষেত্রে, আমরা ডেটা র্যাংলারের মধ্যে কিছু ইন্টারেক্টিভ পরীক্ষার জন্য Amazon S1,0000 থেকে আমদানির জন্য 3 সারি নমুনা করতে চাই।

1. SageMaker স্টুডিও খুলুন এবং একটি নতুন ডেটা র্যাংলার ফ্লো তৈরি করুন।
2. অধীনে তথ্য আমদানিনির্বাচন আমাজন S3.
   
3. আমদানি করতে ডেটাসেট নির্বাচন করুন।
4. মধ্যে বিস্তারিত ফলক, আপনার ডেটাসেটের নাম এবং ফাইলের ধরন প্রদান করুন।
5. জন্য আদর্শনির্বাচন এলোমেলো.
6. জন্য সাধারন মাপপ্রবেশ করান 10000.
7. বেছে নিন আমদানি ডেটাসেটটি ডেটা র্যাংলারে লোড করতে।
   

আপনি ডেটা র্যাংলারে ডেটা প্রবাহ পৃষ্ঠায় দুটি স্বতন্ত্র পদক্ষেপ কল্পনা করতে পারেন। প্রথম ধাপটি আপনার সংজ্ঞায়িত নমুনা কৌশলের উপর ভিত্তি করে নমুনা ডেটাসেটের লোডিং নির্দেশ করে। ডেটা লোড হওয়ার পরে, ডেটা র্যাংলার ডেটাসেটের প্রতিটি কলামের জন্য ডেটা প্রকারের স্বয়ংক্রিয় সনাক্তকরণ সম্পাদন করে। এই ধাপটি সমস্ত ডেটাসেটের জন্য ডিফল্টরূপে যোগ করা হয়।

আপনি এখন একটি বিশ্লেষণ যোগ করে ডেটা র্যাংলারে র্যান্ডম নমুনা ডেটা পর্যালোচনা করতে পারেন।

8. পাশের প্লাস চিহ্নটি বেছে নিন তথ্যের ধরণ এবং নির্বাচন করুন বিশ্লেষণ.
   
9. জন্য বিশ্লেষণের ধরণপছন্দ করা স্ক্যাটার প্লট.
10. বেছে নিন feat_1 এবং feat_2 এর জন্য এক্স অক্ষ এবং Y অক্ষ, যথাক্রমে।
11. জন্য রঙ দ্বারানির্বাচন is_fraud.

যখন আপনি ডেটাসেটের সাথে স্বাচ্ছন্দ্য বোধ করেন, তখন ML-এর জন্য আপনার ডেটা প্রস্তুত করতে আপনার ব্যবসার প্রয়োজনীয়তা অনুযায়ী আরও ডেটা রূপান্তর করতে এগিয়ে যান।

নিম্নলিখিত স্ক্রিনশটটিতে, আমরা আমাদের বিশ্লেষণে প্রতারণামূলক (গাঢ় নীল) এবং অ-প্রতারণামূলক (হালকা নীল) লেনদেনগুলি পর্যবেক্ষণ করতে পারি।

পরবর্তী বিভাগে, আমরা প্রতারণামূলক কেসগুলি আনুপাতিকভাবে বেছে নেওয়া হয়েছে তা নিশ্চিত করার জন্য স্তরিত নমুনা ব্যবহার করে আলোচনা করব।

একটি রূপান্তর সঙ্গে স্তরিত নমুনা

ডেটা র‍্যাংলার আপনাকে আমদানিতে নমুনা দেওয়ার পাশাপাশি ট্রান্সফর্মের মাধ্যমে স্যাম্পলিং করতে দেয়। এই বিভাগে, আপনি ডেটা র্যাংলারে আপনার ডেটাসেট আমদানি করার পরে আমরা একটি ট্রান্সফর্মের মাধ্যমে স্তরিত নমুনা ব্যবহার করে আলোচনা করি।

1. নমুনা শুরু করতে, উপর তথ্য প্রবাহ ট্যাবে, আমদানি করা ডেটাসেটের পাশে প্লাস চিহ্নটি নির্বাচন করুন এবং নির্বাচন করুন রূপান্তর যুক্ত করুন.
   

এই লেখার সময়, ডেটা র‍্যাংলার এর চেয়ে বেশি প্রদান করে 300টি অন্তর্নির্মিত রূপান্তর. অন্তর্নির্মিত রূপান্তরগুলি ছাড়াও, আপনি পান্ডাস বা PySpark-এ আপনার নিজস্ব কাস্টম রূপান্তরগুলি লিখতে পারেন।

2. থেকে রূপান্তর যোগ করুন তালিকা, নির্বাচন করুন আদর্শ.
   

আপনি এখন তিনটি স্বতন্ত্র নমুনা কৌশল ব্যবহার করতে পারেন: সীমা, এলোমেলো এবং স্তরিত।

3. জন্য নমুনা পদ্ধতিনির্বাচন স্তরযুক্ত.
4. ব্যবহার is_fraud স্তরবিন্যাস কলাম হিসাবে কলাম।
5. বেছে নিন প্রি রূপান্তর পূর্বরূপ দেখতে, তারপর নির্বাচন করুন বিজ্ঞাপন আপনার রূপান্তর রেসিপি একটি পদক্ষেপ হিসাবে এই রূপান্তর যোগ করতে.
   

আপনার ডেটা প্রবাহ এখন যোগ করা নমুনা ধাপ প্রতিফলিত করে।

এখন আমরা একটি বিশ্লেষণ যোগ করে র্যান্ডম নমুনা ডেটা পর্যালোচনা করতে পারি।

6. প্লাস চিহ্নটি বেছে নিন এবং নির্বাচন করুন বিশ্লেষণ.
7. জন্য বিশ্লেষণের ধরণপছন্দ করা বারলেখ.
8. বেছে নিন is_fraud উভয় জন্য এক্স অক্ষ এবং রঙ দ্বারা.
9. বেছে নিন প্রি.

নিম্নলিখিত স্ক্রিনশটে, আমরা প্রতারণামূলক (গাঢ় নীল) এবং নন-প্রতারণামূলক (হালকা নীল) কেসগুলির 20% জালিয়াতি এবং 80% নন-জালিয়াতির সঠিক অনুপাতে স্তরিত নমুনার মাধ্যমে বেছে নেওয়া কেসগুলির ভাঙ্গন পর্যবেক্ষণ করতে পারি।

উপসংহার

অত্যন্ত বড় ডেটাসেটগুলির সাথে কাজ করার সময় সঠিকভাবে ডেটা নমুনা করা এবং আপনার ব্যবসার প্রয়োজনীয়তা পূরণের জন্য সঠিক নমুনা কৌশল বেছে নেওয়া অপরিহার্য। আপনার নমুনার কার্যকারিতা ব্যবসার ফলাফল, ডেটা প্রাপ্যতা এবং বিতরণ সহ বিভিন্ন কারণের উপর নির্ভর করে। এই পোস্টে, আমরা আপনার ডেটা প্রস্তুত করতে ডেটা র্যাংলার এবং এর অন্তর্নির্মিত নমুনা কৌশলগুলি কীভাবে ব্যবহার করব তা কভার করেছি।

SageMaker স্টুডিও পাওয়া যায় এমন সমস্ত অঞ্চলে আপনি আজ এই ক্ষমতা ব্যবহার শুরু করতে পারেন। শুরু করতে, পরিদর্শন করুন অ্যামাজন সেজমেকার ডেটা র্যাংলার সহ এমএল ডেটা প্রস্তুত করুন.

প্রাপ্তি স্বীকার

লেখকরা এই নিবন্ধে তার পর্যালোচনা এবং মূল্যবান প্রতিক্রিয়ার জন্য জোনাথন চুং (প্রযুক্তিবিদ) কে ধন্যবাদ জানাতে চাই।

---

লেখক সম্পর্কে

বেন হ্যারিস একজন সফ্টওয়্যার প্রকৌশলী যা বিভিন্ন ডোমেন জুড়ে স্কেলযোগ্য ডেটা পাইপলাইন এবং মেশিন লার্নিং সলিউশন ডিজাইন, স্থাপন এবং বজায় রাখার অভিজ্ঞতা সহ।

বিশাল কাপুর AWS AI এর একজন সিনিয়র ফলিত বিজ্ঞানী। ডেটা র‍্যাংলারে গ্রাহকদের তাদের ডেটা বুঝতে সাহায্য করার বিষয়ে তিনি উত্সাহী। তার অবসর সময়ে, তিনি পর্বত বাইক, স্নোবোর্ড এবং তার পরিবারের সাথে সময় কাটান।

মীনাক্ষীসুন্দরম ঠাণ্ডাভারায়ণ AWS সহ একজন সিনিয়র AI/ML বিশেষজ্ঞ। তিনি তাদের AI এবং ML যাত্রায় হাই-টেক কৌশলগত অ্যাকাউন্টগুলিকে সাহায্য করেন। তিনি ডেটা-চালিত AI সম্পর্কে খুব উত্সাহী।

অজয় শর্মা তিনি আমাজন সেজমেকারের একজন প্রধান পণ্য ব্যবস্থাপক যেখানে তিনি ডেটা র্যাংলারের উপর ফোকাস করেন, যা ডেটা বিজ্ঞানীদের জন্য একটি ভিজ্যুয়াল ডেটা প্রস্তুতির সরঞ্জাম। AWS-এর আগে, আজাই ম্যাককিনসে অ্যান্ড কোম্পানিতে ডেটা সায়েন্স এক্সপার্ট ছিলেন, যেখানে তিনি বিশ্বব্যাপী নেতৃস্থানীয় ফাইন্যান্স এবং ইন্স্যুরেন্স ফার্মগুলির জন্য এমএল-কেন্দ্রিক ব্যস্ততার নেতৃত্ব দিয়েছিলেন। Ajai ডেটা সায়েন্স সম্পর্কে উত্সাহী এবং সর্বশেষ অ্যালগরিদম এবং মেশিন লার্নিং কৌশলগুলি অন্বেষণ করতে পছন্দ করে৷

• Coinsmart. ইউরোপের সেরা বিটকয়েন এবং ক্রিপ্টো এক্সচেঞ্জ।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. বিনামূল্যে এক্সেস.
• ক্রিপ্টোহক। Altcoin রাডার। বিনামূল্যে ট্রায়াল.
• সূত্র: https://aws.amazon.com/blogs/machine-learning/create-random-and-stratified-samples-of-data-with-amazon-sagemaker-data-wrangler/