Amazon SageMaker-এ সিন্থেটিক ডেটা ব্যবহার করে জালিয়াতি লেনদেন বৃদ্ধি করুন

সফল মেশিন লার্নিং (ML) জালিয়াতি মডেলগুলি বিকাশ ও প্রশিক্ষণের জন্য উচ্চ-মানের ডেটার বিপুল পরিমাণে অ্যাক্সেস প্রয়োজন। এই ডেটা সোর্স করা চ্যালেঞ্জিং কারণ উপলভ্য ডেটাসেটগুলি কখনও কখনও যথেষ্ট বড় নয় বা যথেষ্ট নিরপেক্ষভাবে ML মডেলটিকে কার্যকরভাবে প্রশিক্ষণের জন্য এবং উল্লেখযোগ্য খরচ এবং সময় প্রয়োজন হতে পারে। নিয়ন্ত্রণ এবং গোপনীয়তার প্রয়োজনীয়তাগুলি এমনকি একটি এন্টারপ্রাইজ সংস্থার মধ্যেও ডেটা ব্যবহার বা ভাগ করে নেওয়াকে বাধা দেয়। সংবেদনশীল ডেটা ব্যবহার এবং অ্যাক্সেস অনুমোদনের প্রক্রিয়া প্রায়শই এমএল প্রকল্পগুলিকে বিলম্বিত করে বা লাইনচ্যুত করে। বিকল্পভাবে, আমরা সিন্থেটিক ডেটা তৈরি এবং ব্যবহার করে এই চ্যালেঞ্জগুলি মোকাবেলা করতে পারি।

সিন্থেটিক ডেটা কৃত্রিমভাবে তৈরি ডেটাসেটগুলিকে বর্ণনা করে যা নিয়ন্ত্রক ঝুঁকি এবং সম্মতি, সময় এবং সোর্সিংয়ের খরচগুলিকে মোকাবেলা করার জন্য মূল ডেটাসেটের বিষয়বস্তু এবং নিদর্শনগুলিকে অনুকরণ করে। সিন্থেটিক ডেটা জেনারেটররা প্রকৃত ডেটা ব্যবহার করে প্রাসঙ্গিক বৈশিষ্ট্য, পারস্পরিক সম্পর্ক এবং নিদর্শনগুলি শিখতে, যাতে প্রকৃতভাবে ইনজেস্ট করা ডেটাসেটের পরিসংখ্যানগত গুণাবলীর সাথে মেলে প্রয়োজনীয় পরিমাণে সিন্থেটিক ডেটা তৈরি করা যায়।

সিন্থেটিক ডেটা ল্যাব পরিবেশে ব্যবহার করা হয়েছে দুই দশক ধরে; বাজারে ইউটিলিটির প্রমাণ রয়েছে যা বাণিজ্যিক এবং পাবলিক সেক্টরে গ্রহণকে ত্বরান্বিত করছে। গার্টনার অনুমান যে 2024 সালের মধ্যে, ML এবং বিশ্লেষণ সমাধানের বিকাশের জন্য ব্যবহৃত 60 শতাংশ ডেটা সিন্থেটিকভাবে তৈরি করা হবে এবং সিন্থেটিক ডেটার ব্যবহার যথেষ্ট পরিমাণে বাড়তে থাকবে।

দ্য ফিনান্সিয়াল কন্ডাক্ট অথরিটি, যুক্তরাজ্যের একটি নিয়ন্ত্রক সংস্থা, স্বীকার যে "ডেটাতে অ্যাক্সেস হল উদ্ভাবনের অনুঘটক, এবং সিন্থেটিক আর্থিক ডেটা উদ্ভাবনকে সমর্থন করতে এবং নতুন প্রবেশকারীদের নতুন সমাধানের মান বিকাশ, পরীক্ষা এবং প্রদর্শন করতে সক্ষম করতে ভূমিকা পালন করতে পারে।"

আমাজন সেজমেকার গ্রাউন্ডট্রুথ বর্তমানে সমর্থন করে সিন্থেটিক ডেটা জেনারেশন লেবেলযুক্ত সিন্থেটিক চিত্র ডেটার। এই ব্লগ পোস্টটি ট্যাবুলার সিন্থেটিক ডেটা জেনারেশনের অন্বেষণ করে। স্ট্রাকচার্ড ডেটা, যেমন একক এবং রিলেশনাল টেবিল, এবং টাইম সিরিজ ডেটা হল প্রায়শই এন্টারপ্রাইজ অ্যানালিটিক্সের সম্মুখীন হওয়া প্রকার।

এটি একটি দুই অংশের ব্লগ পোস্ট; আমরা প্রথম অংশে সিন্থেটিক ডেটা তৈরি করি এবং এর গুণমান মূল্যায়ন করি অংশ দুই.

এই ব্লগ পোস্টে, আপনি শিখবেন কিভাবে ওপেন সোর্স লাইব্রেরি ব্যবহার করতে হয় ydata-সিন্থেটিক এবং AWS SageMaker নোটবুক একটি জালিয়াতি ব্যবহারের ক্ষেত্রে ট্যাবুলার ডেটা সংশ্লেষিত করতে, যেখানে আমাদের কাছে একটি উচ্চ-নির্ভুলতার জালিয়াতি মডেল প্রশিক্ষণের জন্য যথেষ্ট প্রতারণামূলক লেনদেন নেই। একটি জালিয়াতি মডেল প্রশিক্ষণের সাধারণ প্রক্রিয়া এটি আচ্ছাদিত করা হয় পোস্ট.

সমাধান ওভারভিউ

এই টিউটোরিয়ালটির উদ্দেশ্য হল একটি অপ্টিমাইজড ব্যবহার করে একটি অত্যন্ত ভারসাম্যহীন ক্রেডিট কার্ড জালিয়াতি ডেটাসেটের সংখ্যালঘু শ্রেণীর সংশ্লেষ করা জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্ক (GAN) নামক WGAN-GP আসল ডেটার প্যাটার্ন এবং পরিসংখ্যানগত বৈশিষ্ট্যগুলি শিখতে এবং তারপরে সিন্থেটিক ডেটার অবিরাম নমুনা তৈরি করুন যা মূল ডেটার সাথে সাদৃশ্যপূর্ণ। এই প্রক্রিয়াটি জালিয়াতির মতো বিরল ইভেন্টগুলির নমুনা তৈরি করে বা মূল ডেটাতে উপস্থিত নেই এমন এজ কেস তৈরি করতেও মূল ডেটা উন্নত করতে ব্যবহার করা যেতে পারে।

আমরা দ্বারা প্রকাশিত একটি ক্রেডিট কার্ড জালিয়াতি ডেটাসেট ব্যবহার করি৷ ইউএলবি, যা থেকে ডাউনলোড করা যাবে Kaggle. সংখ্যালঘু শ্রেণীর জন্য সিন্থেটিক ডেটা তৈরি করা ভারসাম্যহীন ডেটাসেটের সাথে সম্পর্কিত সমস্যার সমাধান করতে সাহায্য করে, যা আরও সঠিক মডেল তৈরি করতে সাহায্য করতে পারে।

আমরা Amazon SageMaker এবং Amazon S3 সহ AWS পরিষেবাগুলি ব্যবহার করি, যা ক্লাউড সংস্থানগুলি ব্যবহার করার জন্য খরচ বহন করে।

উন্নয়ন পরিবেশ সেট আপ করুন

SageMaker মডেল বিল্ডিং, প্রশিক্ষণ এবং স্থাপনার জন্য একটি পরিচালিত জুপিটার নোটবুক উদাহরণ প্রদান করে।

পূর্বশর্ত:

SageMaker চালানোর জন্য আপনার অবশ্যই একটি AWS অ্যাকাউন্ট থাকতে হবে। তুমি পেতে পার শুরু SageMaker সঙ্গে এবং চেষ্টা করুন হাতে-কলমে টিউটোরিয়াল.

আপনার জুপিটার নোটবুক কাজের পরিবেশ সেট আপ করার নির্দেশাবলীর জন্য, দেখুন অ্যামাজন সেজমেকার নোটবুক উদাহরণ দিয়ে শুরু করুন.

ধাপ 1: আপনার Amazon SageMaker উদাহরণ সেট আপ করুন

1. AWS কনসোলে সাইন ইন করুন এবং "SageMaker" অনুসন্ধান করুন।
2. নির্বাচন করা স্টুডিও.
3. নির্বাচন করা নোটবুক উদাহরণস্বরূপ বাম বারে, এবং নির্বাচন করুন নোটবুকের উদাহরণ তৈরি করুন.
   
4. পরবর্তী পৃষ্ঠা থেকে (নিম্নলিখিত ছবিতে দেখানো হয়েছে), আপনার প্রয়োজন অনুযায়ী ভার্চুয়াল মেশিনের (ভিএম) কনফিগারেশন নির্বাচন করুন এবং নির্বাচন করুন নোটবুকের উদাহরণ তৈরি করুন. মনে রাখবেন যে আমরা একটি ML অপ্টিমাইজড VM ব্যবহার করেছি যেখানে কোন GPU এবং 5 GB ডেটা নেই, ml.t3.medium একটি Amazon Linux 2 এবং Jupyter Lab 3 কার্নেল চালাচ্ছে।
   
5. একটি নোটবুক উদাহরণ কয়েক মিনিটের মধ্যে আপনার ব্যবহারের জন্য প্রস্তুত হবে।
6. নির্বাচন করা JupyterLab খুলুন প্রবর্তন.
   
7. এখন যেহেতু আমাদের প্রয়োজনীয় স্পেসিফিকেশন সহ একটি JupyterLab আছে, আমরা সিন্থেটিক লাইব্রেরি ইনস্টল করব।

pip install ydata-synthetic

ধাপ 2: সিন্থেটিক ডেটা তৈরি করতে আসল ডেটাসেট ডাউনলোড বা বের করুন

রেফারেন্স ডেটা ডাউনলোড করুন Kaggle থেকে হয় ম্যানুয়ালি, যেমন আমরা এখানে করি, অথবা প্রোগ্রাম্যাটিকভাবে Kaggle API এর মাধ্যমে যদি আপনার একটি Kaggle অ্যাকাউন্ট থাকে। আপনি যদি এই ডেটাসেটটি অন্বেষণ করেন, আপনি লক্ষ্য করবেন যে "জালিয়াতি" শ্রেণীতে "জালিয়াতি নয়" শ্রেণীর তুলনায় অনেক কম ডেটা রয়েছে।

আপনি যদি সরাসরি মেশিন লার্নিং ভবিষ্যদ্বাণীর জন্য এই ডেটা ব্যবহার করেন, তাহলে মডেলগুলি সর্বদা "প্রতারণা নয়" ভবিষ্যদ্বাণী করতে শিখতে পারে। একটি মডেল সহজেই নন-ফ্রড কেসগুলিতে উচ্চতর নির্ভুলতা পাবে কারণ জালিয়াতির ঘটনা বিরল। যাইহোক, যেহেতু এই অনুশীলনে প্রতারণার ঘটনাগুলি সনাক্ত করা আমাদের উদ্দেশ্য, আমরা আসল ডেটার উপর তৈরি সিন্থেটিক ডেটা সহ জালিয়াতির শ্রেণি সংখ্যাগুলিকে বাড়িয়ে তুলব।

JupyterLab-এ একটি ডেটা ফোল্ডার তৈরি করুন এবং এতে Kaggle ডেটা ফাইল আপলোড করুন। এটি আপনাকে সেজমেকার থেকে নোটবুকের মধ্যে ডেটা ব্যবহার করতে দেবে স্টোরেজ সহ আসে আপনি নোটবুক ইনস্ট্যান্টিশিয়েট করার সময় আপনি নির্দিষ্ট করতেন।

এই ডেটাসেট 144 MB

তারপরে আপনি পান্ডাস লাইব্রেরির মাধ্যমে স্ট্যান্ডার্ড কোড ব্যবহার করে ডেটা পড়তে পারেন:

import pandas as pd
data = pd.read_csv('./data/creditcard.csv')

জালিয়াতি-সনাক্তকরণ ডেটার কিছু বৈশিষ্ট্য রয়েছে, যথা:

• বড় শ্রেণীর ভারসাম্যহীনতা (সাধারণত ননফ্রড ডেটা পয়েন্টের দিকে)।
• গোপনীয়তা-সম্পর্কিত উদ্বেগ (সংবেদনশীল ডেটার উপস্থিতির কারণে)।
• গতিশীলতার একটি মাত্রা, যাতে একজন দূষিত ব্যবহারকারী সর্বদা প্রতারণামূলক লেনদেনের জন্য সিস্টেম মনিটরিং দ্বারা সনাক্তকরণ এড়াতে চেষ্টা করে।
• উপলব্ধ ডেটা সেটগুলি খুব বড় এবং প্রায়শই লেবেলবিহীন।

এখন আপনি ডেটাসেট পরিদর্শন করেছেন, আসুন সংখ্যালঘু শ্রেণী (ক্রেডিট কার্ড ডেটাসেট থেকে "প্রতারণা" শ্রেণী) ফিল্টার করি এবং প্রয়োজন অনুসারে রূপান্তরগুলি সম্পাদন করি৷ আপনি এটি থেকে ডেটা রূপান্তর পরীক্ষা করতে পারেন নোটবই.

যখন এই সংখ্যালঘু শ্রেণীর ডেটাসেট সংশ্লেষিত হয় এবং মূল ডেটাসেটে আবার যোগ করা হয়, তখন এটি একটি বৃহত্তর সংশ্লেষিত ডেটাসেট তৈরির অনুমতি দেয় যা ডেটার ভারসাম্যহীনতার সমাধান করে। আমরা দ্বারা বৃহত্তর ভবিষ্যদ্বাণী নির্ভুলতা অর্জন করতে পারেন একটি জালিয়াতি সনাক্তকরণ মডেল প্রশিক্ষণ নতুন ডেটাসেট ব্যবহার করে।

আসুন নতুন জালিয়াতি ডেটাসেট সংশ্লেষিত করি।

ধাপ 3: সিন্থেসাইজারদের প্রশিক্ষণ দিন এবং মডেল তৈরি করুন

যেহেতু আপনার কাছে SageMaker-এর মধ্যে সহজে উপলভ্য ডেটা রয়েছে, তাই আমাদের সিন্থেটিক GAN মডেলগুলিকে কাজে লাগানোর সময় এসেছে৷

একটি জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্ক (GAN) এর দুটি অংশ রয়েছে:

সার্জারির উত্পাদক যুক্তিসঙ্গত ডেটা তৈরি করতে শেখে। উত্পন্ন দৃষ্টান্তগুলি বৈষম্যকারীর জন্য নেতিবাচক প্রশিক্ষণের উদাহরণ হয়ে ওঠে।

সার্জারির বৈষম্যকারী প্রকৃত ডেটা থেকে জেনারেটরের জাল ডেটা আলাদা করতে শেখে। অকল্পনীয় ফলাফলের জন্য বৈষম্যকারী জেনারেটরকে শাস্তি দেয়।

যখন প্রশিক্ষণ শুরু হয়, জেনারেটর স্পষ্টতই জাল ডেটা তৈরি করে, এবং বৈষম্যকারী দ্রুত জানাতে শিখে যে এটি জাল। প্রশিক্ষণের অগ্রগতির সাথে সাথে জেনারেটর আউটপুট উৎপাদনের কাছাকাছি চলে যায় যা বৈষম্যকারীকে বোকা বানাতে পারে। অবশেষে, যদি জেনারেটর প্রশিক্ষণ ভাল হয়, বৈষম্যকারী আসল এবং নকলের মধ্যে পার্থক্য বলার ক্ষেত্রে আরও খারাপ হয়ে যায়। এটি জাল ডেটাকে আসল হিসাবে শ্রেণীবদ্ধ করতে শুরু করে এবং এর যথার্থতা হ্রাস পায়।

জেনারেটর এবং বৈষম্যকারী উভয়ই নিউরাল নেটওয়ার্ক। জেনারেটরের আউটপুট ডিসক্রিমিনেটর ইনপুটের সাথে সরাসরি সংযুক্ত থাকে। মাধ্যম backpropagation, বৈষম্যকারীর শ্রেণীবিভাগ একটি সংকেত প্রদান করে যা জেনারেটর তার ওজন আপডেট করতে ব্যবহার করে।

ধাপ 4: সিন্থেসাইজার থেকে সিন্থেটিক ডেটার নমুনা

এখন আপনি আপনার মডেল তৈরি এবং প্রশিক্ষিত করেছেন, এখন মডেলকে শব্দ করে প্রয়োজনীয় ডেটা নমুনা করার সময়। এটি আপনাকে যতটা চান সিন্থেটিক ডেটা তৈরি করতে সক্ষম করে।

এই ক্ষেত্রে, আপনি প্রকৃত ডেটার পরিমাণের সমান পরিমাণে সিন্থেটিক ডেটা তৈরি করেন কারণ এটি ধাপ 5-এ অনুরূপ নমুনার আকার তুলনা করা সহজ করে তোলে।

আমাদের কাছে প্রতারণামূলক লেনদেন সম্বলিত সারিগুলির নমুনা করার বিকল্প রয়েছে—যা, অকৃত্রিম জালিয়াতি ডেটার সাথে মিলিত হলে, "জালিয়াতি" এবং "জালিয়াতি নয়" শ্রেণীর সমান বন্টনের দিকে পরিচালিত করবে। মূল কাগল ডেটাসেট 492টি লেনদেনের মধ্যে 284,807টি জালিয়াতি রয়েছে, তাই আমরা সিন্থেসাইজার থেকে একই নমুনা তৈরি করি৷

# use the same shape as the real data
synthetic_fraud = synthesizer.sample(492)

আমাদের কাছে ডেটা অগমেন্টেশন নামক একটি প্রক্রিয়ায় প্রতারণামূলক লেনদেন সম্বলিত সারিগুলিকে আপ-স্যাম্পল করার বিকল্প রয়েছে—যা, যখন ননসিন্থেটিক জালিয়াতি ডেটার সাথে মিলিত হয়, তখন "জালিয়াতি" এবং "জালিয়াতি নয়" শ্রেণীগুলির সমান বন্টনের দিকে পরিচালিত করবে৷

ধাপ 5: বাস্তব ডেটার সাথে সিন্থেটিক ডেটা তুলনা এবং মূল্যায়ন করুন

যদিও এই ধাপটি ঐচ্ছিক, আপনি একটি স্ক্যাটার প্লট ব্যবহার করে প্রকৃত ডেটার বিপরীতে উৎপন্ন সিন্থেটিক ডেটা গুণগতভাবে কল্পনা করতে এবং মূল্যায়ন করতে পারেন।

এটি আমাদের পরামিতি পরিবর্তন করে, নমুনার আকার পরিবর্তন করে এবং সবচেয়ে সঠিক সিন্থেটিক ডেটা তৈরি করতে অন্যান্য রূপান্তর করে আমাদের মডেলকে পুনরাবৃত্তি করতে সহায়তা করে। নির্ভুলতার এই প্রকৃতি সর্বদা সংশ্লেষণের উদ্দেশ্যের উপর নির্ভর করে

প্রশিক্ষণের ধাপ জুড়ে প্রকৃত জালিয়াতি এবং সিন্থেটিক জালিয়াতির ডেটা পয়েন্ট কতটা একই রকম তা নীচের চিত্রটি দেখায়। এটি সিন্থেটিক এবং প্রকৃত ডেটার মধ্যে সাদৃশ্যের একটি ভাল গুণগত পরিদর্শন দেয় এবং আমরা এটিকে আরও যুগের (অ্যালগরিদমের মাধ্যমে সম্পূর্ণ প্রশিক্ষণ ডেটাসেটের ট্রানজিট) চালানোর সাথে সাথে এটি কীভাবে উন্নত হয়। মনে রাখবেন যে আমরা যত বেশি যুগ চালাই, সিন্থেটিক ডেটা প্যাটার্ন সেটটি আসল ডেটার কাছাকাছি যায়।

ধাপ 6: পরিষ্কার করুন

অবশেষে, অপ্রত্যাশিত খরচ এড়াতে আপনার সংশ্লেষণ শেষ হয়ে গেলে আপনার নোটবুকের উদাহরণ বন্ধ করুন।

উপসংহার

মেশিন লার্নিং অ্যালগরিদম এবং কোডিং ফ্রেমওয়ার্ক হিসাবে দ্রুত বিকশিত হয়, স্কেলে উচ্চ-মানের ডেটা হল ML-এর সবচেয়ে কম সম্পদ। ভাল মানের সিন্থেটিক ডেটাসেটগুলি বিভিন্ন কাজে ব্যবহার করা যেতে পারে।

এই ব্লগ পোস্টে, আপনি একটি ওপেন-সোর্স লাইব্রেরি ব্যবহার করে ডেটাসেট সংশ্লেষণের গুরুত্ব শিখেছেন যা ব্যবহার করে WGAN-GP. এটি একটি সক্রিয় গবেষণা ক্ষেত্র যেখানে GAN-এর উপর হাজার হাজার গবেষণাপত্র প্রকাশিত হয়েছে এবং আপনার পরীক্ষা করার জন্য কয়েকশ নামী GAN উপলব্ধ রয়েছে। রিলেশনাল টেবিল এবং টাইম সিরিজ ডেটার মতো নির্দিষ্ট ব্যবহারের ক্ষেত্রে অপ্টিমাইজ করা বৈকল্পিক আছে।

আপনি এই নিবন্ধটির জন্য ব্যবহৃত সমস্ত কোড খুঁজে পেতে পারেন নোটবই, এবং অবশ্যই, এই ধরনের আরো টিউটোরিয়াল SageMaker থেকে পাওয়া যায় অফিসিয়াল ডকুমেন্টেশন পৃষ্ঠা।

মধ্যে দ্বিতীয় অংশ এই দুই-অংশের ব্লগ পোস্ট সিরিজের, আমরা বিশ্বস্ততা, উপযোগিতা এবং গোপনীয়তার দৃষ্টিকোণ থেকে সিন্থেটিক ডেটার গুণমানকে কীভাবে মূল্যায়ন করতে হয় সে সম্পর্কে গভীরভাবে আলোচনা করব।

লেখক সম্পর্কে

ফারিস হাদ্দাদ AABG স্ট্র্যাটেজিক পারস্যুটস টিমের ডেটা ও ইনসাইটস লিড। তিনি উদ্যোগগুলিকে সফলভাবে ডেটা-চালিত হতে সাহায্য করেন।