ব্যবসাগুলি ক্রমবর্ধমানভাবে মেশিন লার্নিং (ML) ব্যবহার করে কাছাকাছি-রিয়েল-টাইম সিদ্ধান্ত নিতে, যেমন একটি বিজ্ঞাপন দেওয়া, একজন ড্রাইভার নিয়োগ করা, একটি পণ্যের সুপারিশ করা, এমনকি গতিশীলভাবে পণ্য ও পরিষেবার মূল্য নির্ধারণ করা। এমএল মডেলগুলি ইনপুট ডেটার একটি সেট দিয়ে ভবিষ্যদ্বাণী করে যা নামে পরিচিত বৈশিষ্ট্য, এবং ডেটা বিজ্ঞানীরা সহজেই এই বৈশিষ্ট্যগুলি ডিজাইন এবং তৈরি করতে তাদের 60% এর বেশি সময় ব্যয় করে। অধিকন্তু, অত্যন্ত নির্ভুল ভবিষ্যদ্বাণীগুলি বৈশিষ্ট্য মানগুলিতে সময়মত অ্যাক্সেসের উপর নির্ভর করে যা সময়ের সাথে সাথে দ্রুত পরিবর্তিত হয়, একটি অত্যন্ত উপলব্ধ এবং সঠিক সমাধান তৈরির কাজে আরও জটিলতা যোগ করে। উদাহরণস্বরূপ, একটি রাইড-শেয়ারিং অ্যাপের মডেল বিমানবন্দর থেকে একটি রাইডের জন্য সর্বোত্তম মূল্য চয়ন করতে পারে, তবে শুধুমাত্র যদি এটি গত 10 মিনিটে প্রাপ্ত রাইডের অনুরোধের সংখ্যা এবং পরবর্তী সময়ে অবতরণ করার অনুমান করা যাত্রীদের সংখ্যা জানে। 10 মিনিট. একটি কল সেন্টার অ্যাপে একটি রাউটিং মডেল একটি ইনকামিং কলের জন্য সেরা উপলব্ধ এজেন্ট বাছাই করতে পারে, তবে এটি শুধুমাত্র তখনই কার্যকরী যদি এটি গ্রাহকের সর্বশেষ ওয়েব সেশন ক্লিকগুলি জানে৷
যদিও কাছাকাছি-রিয়েল-টাইম ML ভবিষ্যদ্বাণীগুলির ব্যবসায়িক মূল্য প্রচুর, তবে সেগুলিকে নির্ভরযোগ্যভাবে, নিরাপদে এবং ভাল পারফরম্যান্সের সাথে সরবরাহ করার জন্য প্রয়োজনীয় আর্কিটেকচারটি জটিল। সমাধানগুলির জন্য উচ্চ-থ্রুপুট আপডেট এবং মিলিসেকেন্ডে সাম্প্রতিক বৈশিষ্ট্যের মানগুলির কম-বিলম্বিত পুনরুদ্ধার প্রয়োজন, যা বেশিরভাগ ডেটা বিজ্ঞানী সরবরাহ করতে প্রস্তুত নন। ফলস্বরূপ, কিছু এন্টারপ্রাইজ ফিচার ম্যানেজমেন্টের জন্য তাদের নিজস্ব মালিকানাধীন অবকাঠামো উদ্ভাবনের জন্য মিলিয়ন মিলিয়ন ডলার খরচ করেছে। অন্যান্য সংস্থাগুলি তাদের ML অ্যাপ্লিকেশনগুলিকে ব্যাচ স্কোরিংয়ের মতো সহজ প্যাটার্নগুলিতে সীমাবদ্ধ রেখেছে যতক্ষণ না ML বিক্রেতারা অনলাইন বৈশিষ্ট্য স্টোরগুলির জন্য আরও ব্যাপক অফ-দ্য-শেল্ফ সমাধান প্রদান করে।
এই চ্যালেঞ্জগুলি মোকাবেলায়, আমাজন সেজমেকার ফিচার স্টোর ML বৈশিষ্ট্যগুলির জন্য একটি সম্পূর্ণরূপে পরিচালিত কেন্দ্রীয় সংগ্রহস্থল প্রদান করে, যা আপনার নিজস্ব পরিকাঠামো নির্মাণ এবং রক্ষণাবেক্ষণ না করেই বৈশিষ্ট্যগুলিকে নিরাপদে সংরক্ষণ এবং পুনরুদ্ধার করা সহজ করে তোলে। ফিচার স্টোর আপনাকে বৈশিষ্ট্যগুলির গ্রুপ সংজ্ঞায়িত করতে, ব্যাচ ইনজেশন এবং স্ট্রিমিং ইনজেশন ব্যবহার করতে, অত্যন্ত সঠিক অনলাইন ভবিষ্যদ্বাণীর জন্য একক-অঙ্কের মিলিসেকেন্ড লেটেন্সি সহ সর্বশেষ বৈশিষ্ট্যের মানগুলি পুনরুদ্ধার করতে এবং প্রশিক্ষণের জন্য পয়েন্ট-ইন-টাইম সঠিক ডেটাসেটগুলি বের করতে দেয়৷ এই অবকাঠামোগত ক্ষমতাগুলি তৈরি এবং বজায় রাখার পরিবর্তে, আপনি একটি সম্পূর্ণরূপে পরিচালিত পরিষেবা পান যা আপনার ডেটা বৃদ্ধির সাথে সাথে স্কেল করে, বিভিন্ন দল জুড়ে বৈশিষ্ট্যগুলি ভাগ করে নেওয়াকে সক্ষম করে এবং আপনার ডেটা বিজ্ঞানীদেরকে গেম-পরিবর্তনকারী ব্যবসায়িক ব্যবহারের ক্ষেত্রে লক্ষ্য করে দুর্দান্ত ML মডেল তৈরিতে ফোকাস করতে দেয়৷ দলগুলি এখন শক্তিশালী বৈশিষ্ট্যগুলি একবার সরবরাহ করতে পারে এবং বিভিন্ন দল দ্বারা নির্মিত হতে পারে এমন বিভিন্ন মডেলে সেগুলি বহুবার পুনঃব্যবহার করতে পারে।
এই পোস্টটি একটি সম্পূর্ণ উদাহরণের মধ্য দিয়ে হেঁটেছে কিভাবে আপনি ফিচার স্টোরের সাথে ফিচার ইঞ্জিনিয়ারিং স্ট্রিমিং করতে পারেন যাতে কাছাকাছি-রিয়েল টাইমে এমএল-ব্যাকড সিদ্ধান্ত নেওয়া যায়। আমরা একটি ক্রেডিট কার্ড জালিয়াতি সনাক্তকরণ ব্যবহারের ক্ষেত্রে দেখাই যা লেনদেনের একটি লাইভ স্ট্রিম থেকে সমষ্টিগত বৈশিষ্ট্যগুলিকে আপডেট করে এবং প্রতারণামূলক লেনদেন শনাক্ত করতে সাহায্য করার জন্য কম লেটেন্সি বৈশিষ্ট্য পুনরুদ্ধার ব্যবহার করে। আমাদের পরিদর্শন করে নিজের জন্য এটি চেষ্টা করুন গিটহুব রেপো.
ক্রেডিট কার্ড জালিয়াতি ব্যবহার কেস
চুরি করা ক্রেডিট কার্ড নম্বরগুলি এই সংবেদনশীল ডেটা সংরক্ষণ করে এমন সংস্থাগুলির পূর্ববর্তী ফাঁস বা হ্যাক থেকে ডার্ক ওয়েবে বাল্ক কেনা যেতে পারে। প্রতারকরা এই কার্ডের তালিকাগুলি কিনে নেয় এবং কার্ডটি ব্লক না হওয়া পর্যন্ত চুরি হওয়া নম্বরগুলি দিয়ে যতটা সম্ভব লেনদেন করার চেষ্টা করে। এই জালিয়াতি আক্রমণগুলি সাধারণত অল্প সময়ের মধ্যে ঘটে এবং এটি ঐতিহাসিক লেনদেনে সহজেই দেখা যায় কারণ আক্রমণের সময় লেনদেনের বেগ কার্ডধারীর স্বাভাবিক ব্যয়ের ধরণ থেকে উল্লেখযোগ্যভাবে আলাদা।
নিম্নলিখিত সারণীটি একটি ক্রেডিট কার্ড থেকে লেনদেনের একটি ক্রম দেখায় যেখানে কার্ডধারকের প্রথমে একটি সত্যিকারের ব্যয়ের প্যাটার্ন থাকে এবং তারপর 4 নভেম্বর থেকে শুরু হওয়া একটি জালিয়াতির আক্রমণের সম্মুখীন হয়৷
cc_num | ট্রান্স_টাইম | পরিমাণ | জালিয়াতি_লেবেল |
… 1248 | নভেম্বর-০১ 01:14:50 | 10.15 | 0 |
… এক্সএনএমএক্স | নভেম্বর-০১ 02:12:14 | 32.45 | 0 |
… এক্সএনএমএক্স | নভেম্বর-০১ 02:16:23 | 3.12 | 0 |
… এক্সএনএমএক্স | নভেম্বর-০১ 04:02:12 | 1.01 | 1 |
… এক্সএনএমএক্স | নভেম্বর-০১ 04:02:13 | 22.55 | 1 |
… এক্সএনএমএক্স | নভেম্বর-০১ 04:02:14 | 90.55 | 1 |
… এক্সএনএমএক্স | নভেম্বর-০১ 04:02:15 | 60.75 | 1 |
… এক্সএনএমএক্স | নভেম্বর-০১ 04:13:30 | 12.75 | 0 |
এই পোস্টের জন্য, আমরা একটি এমএল মডেলকে প্রকৌশল বৈশিষ্ট্যগুলির দ্বারা এই ধরনের আচরণকে চিহ্নিত করার জন্য প্রশিক্ষণ দিই যা একটি পৃথক কার্ডের ব্যয়ের ধরণ বর্ণনা করে, যেমন লেনদেনের সংখ্যা বা একটি নির্দিষ্ট সময় উইন্ডোতে সেই কার্ড থেকে গড় লেনদেনের পরিমাণ। এই মডেলটি পেমেন্ট সম্পূর্ণ করার আগে সন্দেহজনক লেনদেন শনাক্ত এবং ব্লক করে বিক্রির সময়ে কার্ডধারকদের জালিয়াতি থেকে রক্ষা করে। মডেলটি কম-বিলম্বিত, রিয়েল-টাইম প্রেক্ষাপটে ভবিষ্যদ্বাণী করে এবং আপ-টু-মিনিট বৈশিষ্ট্য গণনার উপর নির্ভর করে যাতে এটি একটি চলমান জালিয়াতি আক্রমণের প্রতিক্রিয়া জানাতে পারে। একটি বাস্তব-বিশ্বের দৃশ্যে, কার্ডধারীর ব্যয়ের ধরণগুলির সাথে সম্পর্কিত বৈশিষ্ট্যগুলি শুধুমাত্র মডেলের বৈশিষ্ট্য সেটের অংশ হবে এবং আমরা বণিক, কার্ডধারক, অর্থপ্রদানের জন্য ব্যবহৃত ডিভাইস এবং অন্য যেকোন ডেটা অন্তর্ভুক্ত করতে পারি। জালিয়াতি সনাক্তকরণের জন্য প্রাসঙ্গিক।
যেহেতু আমাদের ব্যবহারের ক্ষেত্রে একটি পৃথক কার্ডের ব্যয়ের ধরণগুলি প্রোফাইল করার উপর নির্ভর করে, তাই এটি অত্যন্ত গুরুত্বপূর্ণ যে আমরা একটি লেনদেন প্রবাহে ক্রেডিট কার্ডগুলি সনাক্ত করতে পারি। বেশিরভাগ সর্বজনীনভাবে উপলব্ধ জালিয়াতি সনাক্তকরণ ডেটাসেটগুলি এই তথ্য প্রদান করে না, তাই আমরা পাইথন ব্যবহার করি অধিক লাইব্রেরি একটি 5-মাস মেয়াদ কভার লেনদেনের একটি সেট তৈরি করতে. এই ডেটাসেটে 5.4টি অনন্য (এবং জাল) ক্রেডিট কার্ড নম্বর জুড়ে 10,000 মিলিয়ন লেনদেন রয়েছে এবং ক্রেডিট কার্ড জালিয়াতির বাস্তবতার সাথে মেলে ইচ্ছাকৃতভাবে ভারসাম্যহীন করা হয়েছে (শুধুমাত্র 0.25% লেনদেন জালিয়াতিপূর্ণ)। আমরা কার্ড প্রতি দিনে লেনদেনের সংখ্যা, সেইসাথে লেনদেনের পরিমাণও পরিবর্তিত করি। আমাদের দেখতে গিটহুব রেপো আরো বিস্তারিত জানার জন্য.
সমাধান ওভারভিউ
আমরা চাই আমাদের জালিয়াতি সনাক্তকরণ মডেলটি ক্রেডিট কার্ডের লেনদেনগুলিকে শ্রেণীবদ্ধ করতে সাম্প্রতিক লেনদেনগুলির একটি বিস্ফোরণ লক্ষ্য করে যা কার্ডধারীর স্বাভাবিক ব্যয়ের ধরণ থেকে উল্লেখযোগ্যভাবে আলাদা৷ যথেষ্ট সহজ শোনাচ্ছে, কিন্তু কিভাবে আমরা এটি নির্মাণ করব?
নিম্নলিখিত চিত্রটি আমাদের সামগ্রিক সমাধান আর্কিটেকচার দেখায়। আমরা মনে করি যে এই একই প্যাটার্নটি বিভিন্ন ধরণের স্ট্রিমিং অ্যাগ্রিগেশন ব্যবহারের ক্ষেত্রে ভাল কাজ করবে। একটি উচ্চ স্তরে, প্যাটার্ন নিম্নলিখিত পাঁচটি টুকরা জড়িত:
- বৈশিষ্ট্য দোকান – একাধিক বৈশিষ্ট্য গোষ্ঠীতে সংগঠিত বৈশিষ্ট্য মান ব্যবহার করে আমরা উচ্চ-থ্রুপুট লেখা এবং নিরাপদ লো-লেটেন্সি রিড সহ বৈশিষ্ট্যগুলির একটি সংগ্রহস্থল প্রদান করতে ফিচার স্টোর ব্যবহার করি।
- ব্যাচ ইনজেশন - ব্যাচ ইনজেশন লেবেলযুক্ত ঐতিহাসিক ক্রেডিট কার্ড লেনদেন নেয় এবং জালিয়াতি সনাক্তকরণ মডেল প্রশিক্ষণের জন্য প্রয়োজনীয় সমষ্টিগত বৈশিষ্ট্য এবং অনুপাত তৈরি করে। আমরা একটি ব্যবহার আমাজন সেজমেকার প্রসেসিং কাজ এবং অন্তর্নির্মিত স্পার্ক ধারক সামগ্রিক সাপ্তাহিক গণনা এবং লেনদেনের পরিমাণ গড় গণনা করতে এবং অনলাইন অনুমানে ব্যবহারের জন্য ফিচার স্টোরে প্রবেশ করান।
- মডেল প্রশিক্ষণ এবং স্থাপনা - আমাদের সমাধানের এই দিকটি সোজা। আমরা ব্যাবহার করি আমাজন সেজমেকার ব্যবহার করে একটি মডেল প্রশিক্ষণের জন্য অন্তর্নির্মিত XGBoost অ্যালগরিদম ঐতিহাসিক লেনদেন থেকে তৈরি সমষ্টিগত বৈশিষ্ট্যের উপর। মডেলটিকে একটি সেজমেকার এন্ডপয়েন্টে স্থাপন করা হয়েছে, যেখানে এটি লাইভ লেনদেনে জালিয়াতি সনাক্তকরণের অনুরোধগুলি পরিচালনা করে।
- স্ট্রিমিং ইনজেশন - একটি আমাজন কাইনেসিস ডেটা অ্যানালিটিক্স Apache Flink অ্যাপ্লিকেশনের জন্য Apache Kafka টপিক দ্বারা সমর্থিত Apache Kafka (MSK) এর জন্য আমাজন পরিচালিত স্ট্রিমিং (Amazon MSK) একটি লেনদেন স্ট্রীম থেকে সমষ্টিগত বৈশিষ্ট্য গণনা করে, এবং একটি এডাব্লুএস ল্যাম্বদা ফাংশন অনলাইন ফিচার স্টোর আপডেট করে। অ্যাপাচি ফ্লিঙ্ক ডেটা স্ট্রিম প্রক্রিয়াকরণের জন্য একটি জনপ্রিয় ফ্রেমওয়ার্ক এবং ইঞ্জিন।
- স্ট্রিমিং পূর্বাভাস – সবশেষে, আমরা অনলাইন ফিচার স্টোর থেকে সামগ্রিক বৈশিষ্ট্যগুলি টেনে আনতে Lambda ব্যবহার করে লেনদেনের একটি প্রবাহে জালিয়াতির পূর্বাভাস দিই। আমরা লেনদেনের অনুপাত গণনা করতে সর্বশেষ বৈশিষ্ট্য ডেটা ব্যবহার করি এবং তারপরে জালিয়াতি সনাক্তকরণের শেষ পয়েন্টে কল করি।
পূর্বশর্ত
আমরা একটি সরবরাহ এডাব্লুএস ক্লাউডফর্মেশন এই সমাধানের জন্য পূর্বশর্ত সংস্থান তৈরি করতে টেমপ্লেট। নিম্নলিখিত সারণী বিভিন্ন অঞ্চলের জন্য উপলব্ধ স্ট্যাকগুলি তালিকাভুক্ত করে৷
নিম্নলিখিত বিভাগে, আমরা আমাদের সমাধানের প্রতিটি উপাদানকে আরও বিশদভাবে অন্বেষণ করি।
বৈশিষ্ট্য দোকান
এমএল মডেলগুলি বিভিন্ন ডেটা উত্স থেকে আসা ভাল-ইঞ্জিনিয়ারযুক্ত বৈশিষ্ট্যগুলির উপর নির্ভর করে, যার রূপান্তরগুলি হিসাবের মতো সহজ বা বহু-পদক্ষেপ পাইপলাইনের মতো জটিল যা গণনার সময় এবং জটিল কোডিং এর ঘন্টা লাগে৷ ফিচার স্টোর টিম এবং মডেল জুড়ে এই বৈশিষ্ট্যগুলির পুনঃব্যবহার সক্ষম করে, যা ডেটা সায়েন্টিস্টের উত্পাদনশীলতা উন্নত করে, বাজারে সময় বাড়ায় এবং মডেল ইনপুটের ধারাবাহিকতা নিশ্চিত করে৷
ফিচার স্টোরের প্রতিটি বৈশিষ্ট্য একটি লজিক্যাল গ্রুপিংয়ে সংগঠিত হয় যাকে বলা হয় বৈশিষ্ট্য গ্রুপ. আপনি আপনার মডেলের জন্য কোন বৈশিষ্ট্য গ্রুপ প্রয়োজন তা নির্ধারণ করুন. প্রতিটির কয়েক ডজন, শত শত বা এমনকি হাজার হাজার বৈশিষ্ট্য থাকতে পারে। বৈশিষ্ট্য গোষ্ঠীগুলি স্বাধীনভাবে পরিচালিত এবং স্কেল করা হয়, তবে সেগুলি অনেকগুলি স্বাধীন এমএল মডেল এবং ব্যবহারের ক্ষেত্রে দায়ী ডেটা বিজ্ঞানীদের দল জুড়ে অনুসন্ধান এবং আবিষ্কারের জন্য উপলব্ধ।
এমএল মডেলের জন্য প্রায়ই একাধিক বৈশিষ্ট্য গোষ্ঠীর বৈশিষ্ট্যগুলির প্রয়োজন হয়। একটি বৈশিষ্ট্য গোষ্ঠীর একটি মূল দিক হল কত ঘন ঘন এর বৈশিষ্ট্য মানগুলিকে আপডেট করা বা ডাউনস্ট্রিম প্রশিক্ষণ বা অনুমানের জন্য বাস্তবায়িত করা দরকার। আপনি কিছু বৈশিষ্ট্য প্রতি ঘণ্টায়, রাত্রিকালীন বা সাপ্তাহিকভাবে রিফ্রেশ করেন এবং বৈশিষ্ট্যগুলির একটি উপসেটকে প্রায়-রিয়েল টাইমে বৈশিষ্ট্য স্টোরে স্ট্রিম করতে হবে। সমস্ত বৈশিষ্ট্য আপডেট স্ট্রিম করা অপ্রয়োজনীয় জটিলতার দিকে পরিচালিত করবে, এবং এমনকি আপনাকে বহিরাগতদের অপসারণ করার সুযোগ না দিয়ে ডেটা বিতরণের গুণমানকে কমিয়ে দিতে পারে।
আমাদের ব্যবহারের ক্ষেত্রে, আমরা নামক একটি বৈশিষ্ট্য গ্রুপ তৈরি করি cc-agg-batch-fg
সমষ্টিগত ক্রেডিট কার্ড বৈশিষ্ট্যগুলির জন্য ব্যাচে আপডেট করা হয়েছে, এবং একটি বলা হয় cc-agg-fg
স্ট্রিমিং বৈশিষ্ট্যের জন্য।
সার্জারির cc-agg-batch-fg
ফিচার গ্রুপ রাতারাতি আপডেট করা হয়, এবং 1-সপ্তাহের সময় উইন্ডোতে ফিরে তাকানোর সামগ্রিক বৈশিষ্ট্যগুলি প্রদান করে। স্ট্রিমিং লেনদেনে 1-সপ্তাহের সমষ্টির পুনঃগণনা করা অর্থপূর্ণ সংকেত দেয় না এবং এটি সম্পদের অপচয় হবে।
বিপরীতভাবে, আমাদের cc-agg-fg
বৈশিষ্ট্য গ্রুপ একটি স্ট্রিমিং ফ্যাশন আপডেট করা আবশ্যক, কারণ এটি সর্বশেষ লেনদেন গণনা এবং গড় লেনদেনের পরিমাণ 10-মিনিটের সময় উইন্ডোতে ফিরে দেখায়। স্ট্রিমিং একত্রীকরণ ছাড়া, আমরা ক্রয়ের একটি দ্রুত ক্রম এর সাধারণ জালিয়াতি আক্রমণের ধরণটি খুঁজে পেতে পারি না।
রাতে পুনঃগণনা করা বৈশিষ্ট্যগুলিকে আলাদা করে, আমরা আমাদের স্ট্রিমিং বৈশিষ্ট্যগুলির জন্য ইনজেশন থ্রুপুট উন্নত করতে পারি। বিচ্ছেদ আমাদের প্রতিটি গ্রুপের জন্য স্বাধীনভাবে ইনজেশন অপ্টিমাইজ করতে দেয়। আপনার ব্যবহারের ক্ষেত্রে ডিজাইন করার সময়, মনে রাখবেন যে মডেলগুলির জন্য প্রচুর সংখ্যক বৈশিষ্ট্য গোষ্ঠীর বৈশিষ্ট্যগুলির প্রয়োজন হয় সেগুলি ফিচার স্টোর থেকে সমান্তরালভাবে একাধিক পুনরুদ্ধার করতে চাইতে পারে যাতে রিয়েল-টাইম ভবিষ্যদ্বাণী ওয়ার্কফ্লোতে অত্যধিক বিলম্ব না করা যায়৷
আমাদের ব্যবহারের ক্ষেত্রে বৈশিষ্ট্য গোষ্ঠীগুলি নিম্নলিখিত টেবিলে দেখানো হয়েছে।
cc-agg-fg | cc-agg-batch-fg |
cc_num (রেকর্ড আইডি) | cc_num (রেকর্ড আইডি) |
ট্রান্স_টাইম | ট্রান্স_টাইম |
num_trans_last_10m | num_trans_last_1w |
avg_amt_last_10m | avg_amt_last_1w |
প্রতিটি বৈশিষ্ট্য গ্রুপ একটি রেকর্ড শনাক্তকারী হিসাবে ব্যবহৃত একটি বৈশিষ্ট্য থাকতে হবে (এই পোস্টের জন্য, ক্রেডিট কার্ড নম্বর)। রেকর্ড শনাক্তকারী বৈশিষ্ট্য গোষ্ঠীর জন্য একটি প্রাথমিক কী হিসাবে কাজ করে, দ্রুত লুকআপ সক্ষম করার পাশাপাশি বৈশিষ্ট্য গোষ্ঠী জুড়ে যোগদান করে। একটি ইভেন্ট টাইম ফিচারও প্রয়োজন, যা ফিচার স্টোরকে সময়ের সাথে ফিচার মানের ইতিহাস ট্র্যাক করতে সক্ষম করে। নির্দিষ্ট সময়ে বৈশিষ্ট্যের অবস্থার দিকে ফিরে তাকানোর সময় এটি গুরুত্বপূর্ণ হয়ে ওঠে।
প্রতিটি বৈশিষ্ট্য গোষ্ঠীতে, আমরা অনন্য ক্রেডিট কার্ড প্রতি লেনদেনের সংখ্যা এবং এর গড় লেনদেনের পরিমাণ ট্র্যাক করি। আমাদের দুটি গ্রুপের মধ্যে পার্থক্য হল একত্রিতকরণের জন্য ব্যবহৃত সময় উইন্ডো। আমরা স্ট্রিমিং এগ্রিগেশনের জন্য 10-মিনিটের উইন্ডো এবং ব্যাচ অ্যাগ্রিগেশনের জন্য 1-সপ্তাহের উইন্ডো ব্যবহার করি।
ফিচার স্টোরের সাথে, আপনার কাছে এমন বৈশিষ্ট্য গোষ্ঠী তৈরি করার নমনীয়তা রয়েছে যা শুধুমাত্র অফলাইন, শুধুমাত্র অনলাইন, অথবা অনলাইন এবং অফলাইন উভয়ই। একটি অনলাইন স্টোর উচ্চ-থ্রুপুট লেখা এবং বৈশিষ্ট্য মানগুলির কম-বিলম্বিত পুনরুদ্ধার প্রদান করে, যা অনলাইন অনুমানের জন্য আদর্শ। একটি অফলাইন দোকান ব্যবহার করে প্রদান করা হয় আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3), সংস্থাগুলিকে বৈশিষ্ট্য গোষ্ঠী দ্বারা বিভক্ত বৈশিষ্ট্যের মানগুলির সম্পূর্ণ ইতিহাস সহ একটি উচ্চ মাপযোগ্য সংগ্রহস্থল দেয়। অফলাইন স্টোরটি প্রশিক্ষণ এবং ব্যাচ স্কোরিং ব্যবহারের ক্ষেত্রে আদর্শ।
আপনি যখন অনলাইন এবং অফলাইন উভয় স্টোর সরবরাহ করতে একটি বৈশিষ্ট্য গোষ্ঠীকে সক্ষম করেন, তখন SageMaker স্বয়ংক্রিয়ভাবে একটি অফলাইন স্টোরে বৈশিষ্ট্য মানগুলিকে সিঙ্ক্রোনাইজ করে, ক্রমাগত সর্বশেষ মানগুলি যুক্ত করে আপনাকে সময়ের সাথে মানগুলির একটি সম্পূর্ণ ইতিহাস দিতে। অনলাইন এবং অফলাইন উভয় বৈশিষ্ট্যের গ্রুপগুলির আরেকটি সুবিধা হল যে তারা প্রশিক্ষণ এবং অনুমান তির্যক সমস্যা এড়াতে সহায়তা করে। SageMaker আপনাকে একই রূপান্তরিত বৈশিষ্ট্য মানগুলির সাথে প্রশিক্ষণ এবং অনুমান উভয়ই খাওয়াতে দেয়, আরও সঠিক ভবিষ্যদ্বাণী চালানোর জন্য ধারাবাহিকতা নিশ্চিত করে। আমাদের পোস্টের ফোকাস হল অনলাইন বৈশিষ্ট্য স্ট্রিমিং প্রদর্শন করা, তাই আমরা শুধুমাত্র অনলাইন বৈশিষ্ট্য গোষ্ঠীগুলি বাস্তবায়ন করেছি।
ব্যাচ ইনজেশন
আমাদের ব্যাচ বৈশিষ্ট্যগুলিকে বাস্তবায়িত করতে, আমরা একটি বৈশিষ্ট্য পাইপলাইন তৈরি করি যা একটি রাতের ভিত্তিতে সেজমেকার প্রসেসিং কাজ হিসাবে চলে। কাজের দুটি দায়িত্ব রয়েছে: আমাদের মডেলকে প্রশিক্ষণের জন্য ডেটাসেট তৈরি করা এবং 1-সপ্তাহের সমষ্টিগত বৈশিষ্ট্যগুলির জন্য সবচেয়ে আপ-টু-ডেট মান সহ ব্যাচ বৈশিষ্ট্য গোষ্ঠীকে জনবহুল করা, যেমনটি নিম্নলিখিত চিত্রে দেখানো হয়েছে।
প্রশিক্ষণ সেটে ব্যবহৃত প্রতিটি ঐতিহাসিক লেনদেন লেনদেনের সাথে জড়িত নির্দিষ্ট ক্রেডিট কার্ডের জন্য সমষ্টিগত বৈশিষ্ট্যগুলির সাথে সমৃদ্ধ। আমরা দুটি পৃথক স্লাইডিং টাইম উইন্ডোর দিকে ফিরে তাকাই: 1 সপ্তাহ পিছিয়ে, এবং আগের 10 মিনিট৷ মডেলটিকে প্রশিক্ষণের জন্য ব্যবহৃত প্রকৃত বৈশিষ্ট্যগুলির মধ্যে এই সমষ্টিগত মানগুলির নিম্নলিখিত অনুপাতগুলি অন্তর্ভুক্ত রয়েছে:
- amt_ratio1 =
avg_amt_last_10m / avg_amt_last_1w
- amt_ratio2 =
transaction_amount / avg_amt_last_1w
- গণনা_অনুপাত =
num_trans_last_10m / num_trans_last_1w
উদাহরণ স্বরূপ, count_ratio
আগের 10 মিনিটের লেনদেন গণনাকে গত সপ্তাহের লেনদেন গণনা দিয়ে ভাগ করা হয়।
আমাদের ML মডেল কাঁচা গণনা এবং লেনদেনের পরিমাণের উপর নির্ভর না করে এই অনুপাতগুলি থেকে স্বাভাবিক কার্যকলাপ বনাম প্রতারণামূলক কার্যকলাপের ধরণগুলি শিখতে পারে। বিভিন্ন কার্ডে ব্যয়ের ধরণ ব্যাপকভাবে পরিবর্তিত হয়, তাই স্বাভাবিক অনুপাতগুলি সমষ্টিকৃত পরিমাণের তুলনায় মডেলকে একটি ভাল সংকেত প্রদান করে।
আপনি হয়তো ভাবছেন কেন আমাদের ব্যাচের কাজ 10-মিনিটের লুকব্যাক সহ বৈশিষ্ট্যগুলি কম্পিউটিং করছে। এটি কি শুধুমাত্র অনলাইন অনুমানের জন্য প্রাসঙ্গিক নয়? একটি সঠিক প্রশিক্ষণ ডেটাসেট তৈরি করতে আমাদের ঐতিহাসিক লেনদেনের 10-মিনিটের উইন্ডো প্রয়োজন। এটি 10-মিনিটের স্ট্রিমিং উইন্ডোর সাথে সামঞ্জস্য নিশ্চিত করার জন্য গুরুত্বপূর্ণ যা অনলাইন অনুমানকে সমর্থন করার জন্য কাছাকাছি-রিয়েল টাইমে ব্যবহার করা হবে।
প্রসেসিং জব থেকে প্রাপ্ত প্রশিক্ষণ ডেটাসেটটি মডেল প্রশিক্ষণের জন্য সরাসরি একটি CSV হিসাবে সংরক্ষণ করা যেতে পারে, অথবা এটি একটি অফলাইন বৈশিষ্ট্য গোষ্ঠীতে প্রচুর পরিমাণে প্রবেশ করা যেতে পারে যা অন্যান্য মডেলের জন্য এবং অন্যান্য ডেটা সায়েন্স টিম দ্বারা ব্যবহার করা যেতে পারে বিভিন্ন ধরণের অন্যান্য মডেলগুলির জন্য ব্যবহারের ক্ষেত্রে. উদাহরণস্বরূপ, আমরা নামক একটি বৈশিষ্ট্য গ্রুপ তৈরি এবং পপুলেট করতে পারি cc-transactions-fg
. আমাদের প্রশিক্ষণের কাজটি আমাদের নির্দিষ্ট মডেলের প্রয়োজনীয়তার উপর ভিত্তি করে একটি নির্দিষ্ট প্রশিক্ষণ ডেটাসেট টানতে পারে, নির্দিষ্ট তারিখের সীমা এবং আগ্রহের বৈশিষ্ট্যগুলির একটি উপসেট নির্বাচন করে। এই পদ্ধতিটি একাধিক দলকে বৈশিষ্ট্য গোষ্ঠীগুলিকে পুনরায় ব্যবহার করতে এবং কম বৈশিষ্ট্যের পাইপলাইনগুলি বজায় রাখতে সক্ষম করে, যা সময়ের সাথে সাথে উল্লেখযোগ্য খরচ সঞ্চয় এবং উত্পাদনশীলতার উন্নতির দিকে পরিচালিত করে। এই উদাহরণ নোটবুক ফিচার স্টোরকে একটি কেন্দ্রীয় সংগ্রহস্থল হিসাবে ব্যবহার করার প্যাটার্ন দেখায় যেখান থেকে ডেটা বিজ্ঞানীরা প্রশিক্ষণ ডেটাসেটগুলি বের করতে পারেন।
একটি প্রশিক্ষণ ডেটাসেট তৈরি করার পাশাপাশি, আমরা ব্যবহার করি PutRecord
এপিআই 1-সপ্তাহের বৈশিষ্ট্য একত্রিত করে অনলাইন বৈশিষ্ট্য স্টোরে রাতের বেলায়। নিম্নলিখিত কোডটি একটি রেকর্ড শনাক্তকারী এবং একটি ইভেন্টের সময় সহ নির্দিষ্ট বৈশিষ্ট্য মান প্রদত্ত একটি অনলাইন বৈশিষ্ট্য গোষ্ঠীতে একটি রেকর্ড স্থাপন করে:
এমএল ইঞ্জিনিয়াররা প্রায়ই মডেল প্রশিক্ষণের জন্য ডেটা বিজ্ঞানীদের দ্বারা লিখিত মূল কোডের উপর ভিত্তি করে অনলাইন বৈশিষ্ট্যগুলির জন্য বৈশিষ্ট্য প্রকৌশল কোডের একটি পৃথক সংস্করণ তৈরি করে। এটি পছন্দসই কর্মক্ষমতা প্রদান করতে পারে, তবে এটি একটি অতিরিক্ত উন্নয়ন পদক্ষেপ, এবং প্রশিক্ষণ এবং অনুমান তির্যকের জন্য আরও সুযোগ প্রবর্তন করে। আমাদের ব্যবহারের ক্ষেত্রে, আমরা দেখাই কিভাবে একত্রিতকরণের জন্য SQL ব্যবহার করে একজন ডেটা বিজ্ঞানীকে ব্যাচ এবং স্ট্রিমিং উভয়ের জন্য একই কোড প্রদান করতে সক্ষম করে।
স্ট্রিমিং ইনজেশন
ফিচার স্টোর প্রাক-গণনা করা বৈশিষ্ট্যগুলির একক-অঙ্কের মিলিসেকেন্ড পুনরুদ্ধার করে এবং এটি স্ট্রিমিং ইনজেশনের প্রয়োজনীয় সমাধানগুলিতেও কার্যকর ভূমিকা পালন করতে পারে। আমাদের ব্যবহারের ক্ষেত্রে উভয়ই দেখায়। সাপ্তাহিক লুকব্যাক একটি প্রাক-গণনা করা বৈশিষ্ট্য গোষ্ঠী হিসাবে পরিচালনা করা হয়, যা পূর্বে দেখানো হিসাবে রাতের জন্য বাস্তবায়িত হয়। এখন আসুন আমরা কীভাবে 10-মিনিটের উইন্ডোতে ফ্লাই ওভারে একত্রিত বৈশিষ্ট্যগুলি গণনা করি এবং পরবর্তী অনলাইন অনুমানের জন্য ফিচার স্টোরে সেগুলিকে প্রবেশ করিয়ে নিই।
আমাদের ব্যবহারের ক্ষেত্রে, আমরা একটি উৎস MSK বিষয়ের লাইভ ক্রেডিট কার্ড লেনদেনগুলি গ্রহণ করি এবং একটি গন্তব্য MSK বিষয়ের সমষ্টিগত বৈশিষ্ট্যগুলি তৈরি করতে Apache Flink অ্যাপ্লিকেশনের জন্য একটি Kinesis ডেটা বিশ্লেষণ ব্যবহার করি। অ্যাপ্লিকেশন ব্যবহার করে লেখা হয় Apache Flink SQL. ফ্লিঙ্ক এসকিউএল স্ট্যান্ডার্ড এসকিউএল ব্যবহার করে স্ট্রিমিং অ্যাপ্লিকেশন বিকাশ করা সহজ করে তোলে। আপনি যদি কখনও ANSI-SQL 2011 অনুগত রেখে ডাটাবেস বা SQL-এর মতো সিস্টেমের সাথে কাজ করে থাকেন তবে Flink শেখা সহজ। এসকিউএল ছাড়াও, আমরা জাভা এবং স্কালা অ্যাপ্লিকেশন তৈরি করতে পারি আমাজন কাইনেসিস ডেটা অ্যানালিটিক্স Apache Flink এর উপর ভিত্তি করে ওপেন সোর্স লাইব্রেরি ব্যবহার করে। তারপরে আমরা গন্তব্য MSK বিষয় পড়ার জন্য একটি Lambda ফাংশন ব্যবহার করি এবং অনুমানের জন্য একটি SageMaker বৈশিষ্ট্য গোষ্ঠীতে সমষ্টিগত বৈশিষ্ট্যগুলি গ্রহণ করি। Flink এর SQL API ব্যবহার করে Apache Flink অ্যাপ্লিকেশন তৈরি করা সহজ। আমরা ফ্লিঙ্ক এসকিউএল ব্যবহার করি উৎস MSK বিষয়ের স্ট্রিমিং ডেটা একত্রিত করতে এবং এটিকে একটি গন্তব্য MSK টপিকে সংরক্ষণ করি।
10-মিনিটের উইন্ডোতে ফিরে তাকানোর জন্য মোট গণনা এবং গড় পরিমাণ তৈরি করতে, আমরা ইনপুট বিষয়ে নিম্নলিখিত ফ্লিঙ্ক এসকিউএল কোয়েরি ব্যবহার করি এবং ফলাফলগুলিকে গন্তব্য বিষয়ে পাইপ করি:
cc_num | পরিমাণ | DATETIME | num_trans_last_10m | avg_amt_last_10m |
… 1248 | 50.00 | নভেম্বর-০১,২২:০১:০০ | 1 | 74.99 |
… 9843 | 99.50 | নভেম্বর-০১,২২:০১:০০ | 1 | 99.50 |
… 7403 | 100.00 | নভেম্বর-০১,২২:০১:০০ | 1 | 100.00 |
… 1248 | 200.00 | নভেম্বর-০১,২২:০১:০০ | 2 | 125.00 |
… 0732 | 26.99 | Nov01, 22:04:15 | 1 | 26.99 |
… 1248 | 50.00 | নভেম্বর-০১,২২:০১:০০ | 3 | 100.00 |
… 1248 | 500.00 | নভেম্বর-০১,২২:০১:০০ | 4 | 200.00 |
এই উদাহরণে, লক্ষ্য করুন যে চূড়ান্ত সারিতে ক্রেডিট কার্ড থেকে শেষ 10 মিনিটে 1248-এ শেষ হওয়া চারটি লেনদেনের গণনা রয়েছে এবং একটি সংশ্লিষ্ট গড় লেনদেনের পরিমাণ $200.00। এসকিউএল ক্যোয়ারী আমাদের প্রশিক্ষণ ডেটাসেট তৈরি করতে ব্যবহৃত একটির সাথে সামঞ্জস্যপূর্ণ, যা প্রশিক্ষণ এবং অনুমান তির্যক এড়াতে সহায়তা করে।
Apache Flink অ্যাগ্রিগেশন অ্যাপের জন্য Kinesis ডেটা অ্যানালিটিক্সে লেনদেন স্ট্রীম করার সময়, অ্যাপটি আমাদের Lambda ফাংশনে সমষ্টিগত ফলাফল পাঠায়, যেমনটি নিচের চিত্রে দেখানো হয়েছে। Lambda ফাংশন এই বৈশিষ্ট্যগুলি গ্রহণ করে এবং পপুলেট করে cc-agg-fg
বৈশিষ্ট্য গ্রুপ।
আমরা PutRecord API এ একটি সাধারণ কল ব্যবহার করে Lambda থেকে বৈশিষ্ট্য স্টোরে সাম্প্রতিক বৈশিষ্ট্যের মানগুলি পাঠাই। সমষ্টিগত বৈশিষ্ট্যগুলি সংরক্ষণের জন্য পাইথন কোডের মূল অংশটি নিম্নরূপ:
আমরা ইভেন্টের সময় হিসাবে বর্তমান সময় সহ নামযুক্ত মান জোড়ার তালিকা হিসাবে রেকর্ডটি প্রস্তুত করি। ফিচার স্টোর API নিশ্চিত করে যে এই নতুন রেকর্ডটি সেই স্কিমা অনুসরণ করে যা আমরা ফিচার গ্রুপ তৈরি করার সময় শনাক্ত করেছি। যদি এই প্রাথমিক কীটির জন্য একটি রেকর্ড ইতিমধ্যেই বিদ্যমান থাকে, তবে এটি এখন অনলাইন স্টোরে ওভাররাইট করা হয়েছে৷
স্ট্রিমিং পূর্বাভাস
এখন যেহেতু আমাদের কাছে স্ট্রিমিং ইনজেশন রয়েছে যা ফিচার স্টোরকে সাম্প্রতিক বৈশিষ্ট্যের মানগুলির সাথে আপ টু ডেট রাখে, আসুন আমরা কীভাবে প্রতারণার ভবিষ্যদ্বাণী করি তা দেখি।
আমরা একটি দ্বিতীয় Lambda ফাংশন তৈরি করি যা উৎস MSK বিষয়কে ট্রিগার হিসেবে ব্যবহার করে। প্রতিটি নতুন লেনদেন ইভেন্টের জন্য, Lambda ফাংশন প্রথমে ফিচার স্টোর থেকে ব্যাচ এবং স্ট্রিমিং বৈশিষ্ট্যগুলি পুনরুদ্ধার করে। ক্রেডিট কার্ডের আচরণে অসামঞ্জস্যতা সনাক্ত করতে, আমাদের মডেল সাম্প্রতিক ক্রয়ের পরিমাণ বা ক্রয়ের ফ্রিকোয়েন্সিতে স্পাইকগুলি সন্ধান করে। Lambda ফাংশন 1-সপ্তাহের সমষ্টি এবং 10-মিনিটের সমষ্টির মধ্যে সহজ অনুপাত গণনা করে। এটি তারপরে সেজমেকার মডেলের শেষ পয়েন্টে এই অনুপাতগুলি ব্যবহার করে জালিয়াতির পূর্বাভাস তৈরি করে, যেমনটি নিম্নলিখিত চিত্রটিতে দেখানো হয়েছে।
SageMaker মডেল এন্ডপয়েন্টে কল করার আগে আমরা ফিচার স্টোর থেকে চাহিদা অনুযায়ী বৈশিষ্ট্যের মান পুনরুদ্ধার করতে নিম্নলিখিত কোড ব্যবহার করি:
SageMaker এছাড়াও একটি সহ একাধিক বৈশিষ্ট্য রেকর্ড পুনরুদ্ধার সমর্থন করে একক কল, এমনকি যদি তারা বিভিন্ন বৈশিষ্ট্য গ্রুপ থেকে হয়.
পরিশেষে, মডেল ইনপুট বৈশিষ্ট্য ভেক্টর একত্রিত করার সাথে, আমরা মডেলের শেষ পয়েন্টটিকে ভবিষ্যদ্বাণী করতে কল করি যে একটি নির্দিষ্ট ক্রেডিট কার্ড লেনদেন প্রতারণামূলক কিনা। সেজমেকার একটি একক কলের মাধ্যমে একাধিক বৈশিষ্ট্য রেকর্ড পুনরুদ্ধার করতেও সমর্থন করে, এমনকি যদি সেগুলি বিভিন্ন বৈশিষ্ট্য গোষ্ঠী থেকে হয়।
sagemaker_runtime = boto3.client(service_name='runtime.sagemaker')
request_body = ','.join(features)
response = sagemaker_runtime.invoke_endpoint( EndpointName=ENDPOINT_NAME, ContentType='text/csv', Body=request_body)
probability = json.loads(response['Body'].read().decode('utf-8'))
এই উদাহরণে, মডেলটি 98% এর সম্ভাব্যতা নিয়ে ফিরে এসেছে যে নির্দিষ্ট লেনদেনটি প্রতারণামূলক ছিল এবং এটি সেই ক্রেডিট কার্ডে সাম্প্রতিক 10 মিনিটের লেনদেনের উপর ভিত্তি করে কাছাকাছি-রিয়েল-টাইম সমষ্টিগত ইনপুট বৈশিষ্ট্যগুলি ব্যবহার করতে সক্ষম হয়েছিল৷
শেষ থেকে শেষ সমাধান পরীক্ষা করুন
আমাদের সমাধানের সম্পূর্ণ এন্ড-টু-এন্ড ওয়ার্কফ্লো প্রদর্শনের জন্য, আমরা কেবল আমাদের MSK সোর্স বিষয়ে ক্রেডিট কার্ড লেনদেন পাঠাই। Apache Flink এগ্রিগেশনের জন্য আমাদের স্বয়ংক্রিয় Kinesis ডেটা অ্যানালিটিক্স সেখান থেকে দায়িত্ব নেয়, একটি স্লাইডিং 10-মিনিট লুকব্যাক উইন্ডো সহ ফিচার স্টোরে লেনদেনের সংখ্যা এবং পরিমাণের কাছাকাছি-রিয়েল-টাইম ভিউ বজায় রাখে। এই বৈশিষ্ট্যগুলিকে 1-সপ্তাহের সমষ্টিগত বৈশিষ্ট্যগুলির সাথে একত্রিত করা হয়েছে যা ইতিমধ্যেই ব্যাচের বৈশিষ্ট্য স্টোরে প্রবেশ করানো হয়েছে, যা আমাদের প্রতিটি লেনদেনে জালিয়াতির পূর্বাভাস দিতে দেয়৷
আমরা তিনটি ভিন্ন ক্রেডিট কার্ড থেকে একটি একক লেনদেন পাঠাই। তারপরে আমরা সেকেন্ডের মধ্যে অনেকগুলি ব্যাক-টু-ব্যাক লেনদেন পাঠিয়ে একটি চতুর্থ ক্রেডিট কার্ডে একটি জালিয়াতি আক্রমণ অনুকরণ করি। আমাদের Lambda ফাংশন থেকে আউটপুট নিম্নলিখিত স্ক্রিনশট দেখানো হয়েছে. প্রত্যাশিত হিসাবে, প্রথম তিনটি এক-বন্ধ লেনদেন হিসাবে ভবিষ্যদ্বাণী করা হয় NOT FRAUD
. 10টি প্রতারণামূলক লেনদেনের মধ্যে, প্রথমটি হিসাবে ভবিষ্যদ্বাণী করা হয়েছে৷ NOT FRAUD
, এবং বাকি সব সঠিকভাবে হিসাবে চিহ্নিত করা হয় FRAUD
. লক্ষ্য করুন কিভাবে সামগ্রিক বৈশিষ্ট্য বর্তমান রাখা হয়, আরো সঠিক ভবিষ্যদ্বাণী চালাতে সাহায্য করে।
উপসংহার
আমরা দেখিয়েছি যে কীভাবে ফিচার স্টোর স্ট্রিমিং এগ্রিগেশন এবং কম লেটেন্সি ইনফারেন্সের প্রয়োজন এমন জটিল অপারেশনাল ওয়ার্কফ্লোগুলির সমাধান আর্কিটেকচারে একটি মুখ্য ভূমিকা পালন করতে পারে। একটি এন্টারপ্রাইজ-প্রস্তুত বৈশিষ্ট্য স্টোরের জায়গায়, আপনি বৈশিষ্ট্য গোষ্ঠীগুলিকে ফিড করতে ব্যাচ ইনজেশন এবং স্ট্রিমিং ইনজেশন উভয়ই ব্যবহার করতে পারেন এবং উল্লেখযোগ্য ব্যবসায়িক মূল্যের জন্য অনলাইন ভবিষ্যদ্বাণী করার জন্য চাহিদা অনুযায়ী বৈশিষ্ট্যের মানগুলি অ্যাক্সেস করতে পারেন। ML বৈশিষ্ট্যগুলি এখন ডেটা বিজ্ঞানীদের অনেক দল এবং হাজার হাজার ML মডেল জুড়ে স্কেলে ভাগ করা যেতে পারে, ডেটা সামঞ্জস্যতা, মডেলের নির্ভুলতা এবং ডেটা বিজ্ঞানী উত্পাদনশীলতা উন্নত করে৷ বৈশিষ্ট্য স্টোর এখন উপলব্ধ, এবং আপনি এটি ব্যবহার করে দেখতে পারেন সম্পূর্ণ উদাহরণ. আপনি কি ভাবছেন আমাদের জানান.
যারা অবদান রেখেছেন তাদের সবাইকে বিশেষ ধন্যবাদ পূর্ববর্তী ব্লগ পোস্ট অনুরূপ স্থাপত্য সহ: পল হারগিস, জেমস লিওনি এবং অরুণপ্রসাথ শঙ্কর।
লেখক সম্পর্কে
মার্ক রায় AWS-এর জন্য একজন প্রধান মেশিন লার্নিং আর্কিটেক্ট, গ্রাহকদের AI/ML সমাধান ডিজাইন ও তৈরি করতে সাহায্য করে। ফিচার স্টোর, কম্পিউটার ভিশন, ডিপ লার্নিং, এবং এন্টারপ্রাইজ জুড়ে এমএল স্কেল করার প্রাথমিক আগ্রহ সহ মার্কের কাজ এমএল ব্যবহারের ক্ষেত্রের বিস্তৃত পরিসরকে কভার করে। তিনি বীমা, আর্থিক পরিষেবা, মিডিয়া এবং বিনোদন, স্বাস্থ্যসেবা, ইউটিলিটি এবং উত্পাদন সহ অনেক শিল্পে সংস্থাগুলিকে সহায়তা করেছেন। মার্কের ছয়টি AWS সার্টিফিকেশন রয়েছে, যার মধ্যে ML স্পেশালিটি সার্টিফিকেশন রয়েছে। AWS-এ যোগদানের আগে, মার্ক 25 বছরেরও বেশি সময় ধরে একজন স্থপতি, বিকাশকারী এবং প্রযুক্তি নেতা ছিলেন, যার মধ্যে 19 বছরের আর্থিক পরিষেবা রয়েছে।
রাজ রামসুব্বু একজন সিনিয়র অ্যানালিটিক্স স্পেশালিস্ট সলিউশন আর্কিটেক্ট যিনি বিগ ডেটা এবং অ্যানালিটিক্স এবং অ্যামাজন ওয়েব পরিষেবাগুলির সাথে AI/ML-এর উপর দৃষ্টি নিবদ্ধ করেন৷ তিনি গ্রাহকদের আর্কিটেক্ট করতে এবং AWS-এ অত্যন্ত মাপযোগ্য, পারফরম্যান্ট এবং সুরক্ষিত ক্লাউড-ভিত্তিক সমাধান তৈরি করতে সহায়তা করেন। রাজ AWS-এ যোগদানের 18 বছরেরও বেশি সময় ধরে ডেটা ইঞ্জিনিয়ারিং, বিগ ডেটা অ্যানালিটিক্স, ব্যবসায়িক বুদ্ধিমত্তা এবং ডেটা সায়েন্স সমাধান তৈরিতে প্রযুক্তিগত দক্ষতা এবং নেতৃত্ব প্রদান করেছিলেন। তিনি স্বাস্থ্যসেবা, চিকিৎসা ডিভাইস, জীবন বিজ্ঞান, খুচরা, সম্পদ ব্যবস্থাপনা, গাড়ি বীমা, আবাসিক REIT, কৃষি, শিরোনাম বীমা, সাপ্লাই চেইন, ডকুমেন্ট ম্যানেজমেন্ট এবং রিয়েল এস্টেটের মতো বিভিন্ন শিল্প উল্লম্বে গ্রাহকদের সহায়তা করেছেন।
প্রভাকর চন্দ্রশেখরন AWS এন্টারপ্রাইজ সাপোর্ট সহ একজন সিনিয়র টেকনিক্যাল অ্যাকাউন্ট ম্যানেজার। প্রভাকর গ্রাহকদের ক্লাউডে অত্যাধুনিক AI/ML সমাধান তৈরি করতে সাহায্য করে উপভোগ করেন। এছাড়াও তিনি এন্টারপ্রাইজ গ্রাহকদের সাথে কাজ করে সক্রিয় নির্দেশিকা এবং অপারেশনাল সহায়তা প্রদান করে, AWS ব্যবহার করার সময় তাদের সমাধানের মান উন্নত করতে সহায়তা করে। প্রভাকরের ছয়টি AWS এবং ছয়টি অন্যান্য পেশাদার সার্টিফিকেশন রয়েছে। 20 বছরেরও বেশি পেশাদার অভিজ্ঞতার সাথে, প্রভাকর AWS-এ যোগদানের আগে একজন ডেটা ইঞ্জিনিয়ার এবং আর্থিক পরিষেবার ক্ষেত্রে একটি প্রোগ্রাম লিডার ছিলেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- অ্যাড্রিয়েন অ্যাশলির সাথে ভবিষ্যত মিন্টিং। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/use-streaming-ingestion-with-amazon-sagemaker-feature-store-and-amazon-msk-to-make-ml-backed-decisions-in-near-real-time/
- : আছে
- : হয়
- $ ইউপি
- 000
- 1
- 10
- 100
- 11
- 20 বছর
- 2011
- 7
- 8
- a
- সক্ষম
- সম্পর্কে
- প্রবেশ
- হিসাব
- সঠিকতা
- সঠিক
- দিয়ে
- কার্যকলাপ
- কাজ
- Ad
- যোগ
- ঠিকানা
- প্রতিনিধি
- মোট পরিমাণ
- কৃষি
- এআই / এমএল
- বিমানবন্দর
- সব
- ইতিমধ্যে
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- অ্যামাজন ওয়েব সার্ভিসেস
- পরিমাণ
- পরিমাণে
- বৈশ্লেষিক ন্যায়
- এবং
- অন্য
- কোন
- এ্যাপাচি
- পৃথক্
- API
- অ্যাপ্লিকেশন
- আবেদন
- অ্যাপ্লিকেশন
- অভিগমন
- স্থাপত্য
- রয়েছি
- AS
- দৃষ্টিভঙ্গি
- একত্র
- সম্পদ
- সম্পদ ব্যবস্থাপনা
- সহায়তা
- At
- আক্রমণ
- আক্রমন
- অটোমেটেড
- স্বয়ংক্রিয়ভাবে
- সহজলভ্য
- গড়
- ডেস্কটপ AWS
- পিছনে
- সাহায্যপ্রাপ্ত
- ভিত্তি
- ভিত্তি
- BE
- কারণ
- হয়ে
- আগে
- সুবিধা
- সর্বোত্তম
- উত্তম
- মধ্যে
- বিশাল
- বড় ডেটা
- অবরুদ্ধ
- রোধক
- ব্লগ
- শরীর
- কেনা
- নির্মাণ করা
- ভবন
- নির্মিত
- ব্যবসায়
- ব্যবসায়িক বুদ্ধি
- কেনা
- by
- গণনা করা
- হিসাব করে
- গণনার
- কল
- কল সেন্টার
- নামক
- কলিং
- CAN
- ক্ষমতা
- গাড়ী
- কার্ড
- কার্ড
- কেস
- মামলা
- কেন্দ্র
- মধ্য
- কিছু
- সাক্ষ্যদান
- সার্টিফিকেশন
- চেন
- চ্যালেঞ্জ
- সুযোগ
- পরিবর্তন
- বেছে নিন
- শ্রেণীভুক্ত করা
- মেঘ
- কোড
- কোডিং
- মিলিত
- আসছে
- কোম্পানি
- সম্পূর্ণ
- জটিল
- জটিলতা
- অনুবর্তী
- জটিল
- উপাদান
- ব্যাপক
- গনা
- কম্পিউটার
- কম্পিউটার ভিশন
- কম্পিউটিং
- সঙ্গত
- ধারণ
- প্রসঙ্গ
- একটানা
- অবদান রেখেছে
- মূল
- অনুরূপ
- মূল্য
- খরচ বাঁচানো
- পারা
- দম্পতি
- আচ্ছাদন
- কভার
- সৃষ্টি
- নির্মিত
- সৃষ্টি
- তৈরি করা হচ্ছে
- সৃষ্টি
- ধার
- ক্রেডিটকার্ড
- ক্রেডিট কার্ড
- সংকটপূর্ণ
- কঠোর
- বর্তমান
- গ্রাহকদের
- কাটিং-এজ
- অন্ধকার
- ডার্ক ওয়েব
- উপাত্ত
- ডেটা বিশ্লেষণ
- তথ্য বিজ্ঞান
- তথ্য বিজ্ঞানী
- ডেটাবেস
- ডেটাসেট
- তারিখ
- দিন
- সিদ্ধান্ত নেন
- সিদ্ধান্ত
- গভীর
- গভীর জ্ঞানার্জন
- প্রদান করা
- বিতরণ
- চাহিদা
- প্রদর্শন
- প্রমান
- মোতায়েন
- বর্ণনা করা
- নকশা
- ফন্দিবাজ
- আকাঙ্ক্ষিত
- গন্তব্য
- বিস্তারিত
- বিস্তারিত
- সনাক্তকরণ
- বিকাশ
- বিকাশকারী
- উন্নয়ন
- যন্ত্র
- ডিভাইস
- পার্থক্য
- বিভিন্ন
- সরাসরি
- আবিষ্কার
- ডিস্ট্রিবিউশন
- বিভক্ত
- দলিল
- নথি ব্যবস্থাপনা
- ডলার
- Dont
- ডজন
- ড্রাইভ
- চালক
- সময়
- পরিবর্তনশীল
- প্রতি
- পূর্বে
- সহজে
- কার্যকর
- সক্ষম করা
- সম্ভব
- সক্রিয়
- সর্বশেষ সীমা
- শেষপ্রান্ত
- ইঞ্জিন
- প্রকৌশলী
- প্রকৌশল
- প্রকৌশলী
- প্রচুর
- যথেষ্ট
- সমৃদ্ধ
- নিশ্চিত
- নিশ্চিত
- উদ্যোগ
- উদ্যোগ
- বিনোদন
- এস্টেট
- এমন কি
- ঘটনা
- কখনো
- সবাই
- উদাহরণ
- প্রত্যাশিত
- অভিজ্ঞতা
- অভিজ্ঞতা
- ল্যাপারোস্কোপিক পদ্ধতি
- অন্বেষণ করুণ
- অতিরিক্ত
- নির্যাস
- নকল
- ফ্যাশন
- দ্রুত
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- চূড়ান্ত
- আর্থিক
- অর্থনৈতিক সেবা সমূহ
- সংস্থাগুলো
- প্রথম
- নমনীয়তা
- কেন্দ্রবিন্দু
- দৃষ্টি নিবদ্ধ করা
- অনুসরণ
- অনুসরণ
- জন্য
- ফর্ম
- চার
- চতুর্থ
- ফ্রেম
- ফ্রেমওয়ার্ক
- প্রতারণা
- জালিয়াতি সনাক্তকরণ
- জালিয়াত
- প্রতারণাপূর্ণ
- প্রতারণামূলক কার্যকলাপ
- ফ্রিকোয়েন্সি
- থেকে
- সম্পূর্ণ
- সম্পূর্ণরূপে
- ক্রিয়া
- তদ্ব্যতীত
- উত্পাদন করা
- পাওয়া
- দাও
- প্রদত্ত
- দান
- ভাল
- মহান
- অতিশয়
- গ্রুপ
- গ্রুপের
- বৃদ্ধি
- পথপ্রদর্শন
- হ্যাক
- হ্যান্ডলগুলি
- ঘটা
- আছে
- জমিদারি
- he
- স্বাস্থ্যসেবা
- সাহায্য
- সাহায্য
- সাহায্য
- সাহায্য
- উচ্চ
- অত্যন্ত
- ঐতিহাসিক
- ইতিহাস
- ঝুলিতে
- ঘন্টার
- কিভাবে
- এইচটিএমএল
- HTTP
- HTTPS দ্বারা
- শত শত
- ID
- আদর্শ
- চিহ্নিত
- আইডেন্টিফায়ার
- সনাক্ত করা
- বাস্তবায়িত
- গুরুত্বপূর্ণ
- উন্নত করা
- উন্নতি
- উন্নতি
- in
- অন্তর্ভুক্ত করা
- সুদ্ধ
- ইনকামিং
- ক্রমবর্ধমানভাবে
- স্বাধীন
- স্বাধীনভাবে
- স্বতন্ত্র
- শিল্প
- শিল্প
- তথ্য
- পরিকাঠামো
- ইনপুট
- পরিবর্তে
- বীমা
- বুদ্ধিমত্তা
- ইচ্ছাকৃতভাবে
- স্বার্থ
- পরিচয় করিয়ে দেয়
- পূজা
- জড়িত
- IT
- এর
- জাভা
- কাজ
- যোগদান
- যোগদান করেছে
- JPG
- JSON
- রাখা
- পালন
- চাবি
- রকম
- জানা
- পরিচিত
- জমি
- বড়
- গত
- অদৃশ্যতা
- সর্বশেষ
- নেতৃত্ব
- নেতা
- নেতৃত্ব
- নেতৃত্ব
- লিকস
- শিখতে
- শিক্ষা
- যাক
- লেট
- উচ্চতা
- লাইব্রেরি
- লাইব্রেরি
- জীবন
- জীবন বিজ্ঞান
- মত
- সীমিত
- তালিকা
- পাখি
- জীবিত
- যৌক্তিক
- দেখুন
- খুঁজছি
- সৌন্দর্য
- মেশিন
- মেশিন লার্নিং
- বজায় রাখা
- নিয়ন্ত্রণের
- করা
- তৈরি করে
- মেকিং
- পরিচালিত
- ব্যবস্থাপনা
- পরিচালক
- উত্পাদন
- অনেক
- ছাপ
- চিহ্ন
- বাজার
- ম্যাচ
- মে..
- অর্থপূর্ণ
- মিডিয়া
- চিকিৎসা
- বণিক
- মিলিয়ন
- লক্ষ লক্ষ
- মন
- মিনিট
- মিনিট
- ML
- মডেল
- মডেল
- অধিক
- সেতু
- বহু
- নামে
- প্রয়োজন
- চাহিদা
- নতুন
- পরবর্তী
- সাধারণ
- নভেম্বর
- সংখ্যা
- সংখ্যার
- of
- অর্পণ
- অফার
- অফলাইন
- on
- ONE
- নিরন্তর
- অনলাইন
- ওপেন সোর্স
- কর্মক্ষম
- অপ্টিমিজ
- ক্রম
- সংগঠন
- সংগঠিত
- মূল
- অন্যান্য
- আমাদের
- আউটপুট
- শেষ
- সামগ্রিক
- নিজের
- জোড়া
- সমান্তরাল
- অংশ
- গত
- প্যাটার্ন
- নিদর্শন
- পল
- প্রদান
- সম্পাদন করা
- কর্মক্ষমতা
- কাল
- বাছাই
- টুকরা
- টুকরা
- নল
- পাইপলাইন
- জায়গা
- স্থাপন
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- খেলা
- বিন্দু
- জনপ্রিয়
- সম্ভব
- পোস্ট
- ভবিষ্যদ্বাণী করা
- পূর্বাভাস
- ভবিষ্যদ্বাণী
- ভবিষ্যতবাণী
- প্রস্তুত করা
- প্রস্তুত
- আগে
- মূল্য
- মূল্য
- প্রাথমিক
- অধ্যক্ষ
- পূর্বে
- প্ররোচক
- সমস্যা
- প্রক্রিয়াজাতকরণ
- উৎপাদন করা
- পণ্য
- প্রমোদ
- পণ্য
- পেশাদারী
- প্রোফাইলিং
- কার্যক্রম
- অভিক্ষিপ্ত
- মালিকানা
- প্রদান
- প্রদত্ত
- উপলব্ধ
- প্রদানের
- প্রকাশ্যে
- ক্রয়
- কেনাকাটা
- করা
- স্থাপন
- পাইথন
- গুণ
- দ্রুত
- পরিসর
- দ্রুত
- বরং
- কাঁচা
- পড়া
- বাস্তব
- আবাসন
- বাস্তব জগতে
- প্রকৃত সময়
- বাস্তবতা
- গৃহীত
- গ্রহণ
- সাম্প্রতিক
- সুপারিশ
- নথি
- রেকর্ড
- অঞ্চল
- সংশ্লিষ্ট
- প্রাসঙ্গিক
- অবশিষ্ট
- অপসারণ
- সংগ্রহস্থলের
- অনুরোধ
- প্রয়োজন
- প্রয়োজনীয়
- আবাসিক
- Resources
- প্রতিক্রিয়া
- প্রতিক্রিয়া
- দায়িত্ব
- দায়ী
- বিশ্রাম
- ফল
- ফলে এবং
- ফলাফল
- খুচরা
- পুনঃব্যবহারের
- অশ্বারোহণ
- শক্তসমর্থ
- ভূমিকা
- সারিটি
- ঋষি নির্মাতা
- বিক্রয়
- একই
- জমা
- মাপযোগ্য
- স্কেল
- দাঁড়িপাল্লা
- আরোহী
- দৃশ্যকল্প
- বিজ্ঞান
- বিজ্ঞানী
- বিজ্ঞানীরা
- স্কোরিং
- সার্চ
- দ্বিতীয়
- সেকেন্ড
- বিভাগে
- নিরাপদ
- নিরাপদে
- নির্বাচন
- পাঠানোর
- জ্যেষ্ঠ
- সংবেদনশীল
- আলাদা
- ক্রম
- সেবা
- সেবা
- সেশন
- সেট
- ভাগ
- শেয়ারিং
- সংক্ষিপ্ত
- প্রদর্শনী
- প্রদর্শিত
- শো
- সংকেত
- সংকেত
- গুরুত্বপূর্ণ
- উল্লেখযোগ্যভাবে
- অনুরূপ
- সহজ
- কেবল
- একক
- ছয়
- নৈকতলীয়
- সহচরী
- So
- সমাধান
- সলিউশন
- কিছু
- কিছু
- উৎস
- সোর্স
- স্থান
- স্ফুলিঙ্গ
- বিশেষজ্ঞ
- বিশিষ্টতা
- নির্দিষ্ট
- গতি
- ব্যয় করা
- খরচ
- অতিবাহিত
- স্পাইক
- অকুস্থল
- বিস্তার
- স্ট্যাক
- মান
- শুরু হচ্ছে
- রাষ্ট্র
- ধাপ
- অপহৃত
- স্টোরেজ
- দোকান
- দোকান
- সংরক্ষণ
- অকপট
- প্রবাহ
- স্ট্রীম
- স্ট্রিমিং
- স্ট্রিম
- এমন
- সরবরাহ
- সরবরাহ শৃঙ্খল
- সমর্থন
- সমর্থন
- সন্দেহজনক
- পদ্ধতি
- টেবিল
- লাগে
- দল
- কারিগরী
- প্রযুক্তিঃ
- টেমপ্লেট
- ধন্যবাদ
- যে
- সার্জারির
- উৎস
- রাষ্ট্র
- তাদের
- তাহাদিগকে
- নিজেদের
- এইগুলো
- হাজার হাজার
- তিন
- দ্বারা
- থ্রুপুট
- সময়
- বার
- শিরনাম
- থেকে
- বিষয়
- টপিক
- পথ
- রেলগাড়ি
- প্রশিক্ষণ
- লেনদেন
- লেনদেন
- রূপান্তরের
- রুপান্তরিত
- ট্রিগার
- টিপিক্যাল
- সাধারণত
- অনন্য
- আলোচ্য সময় পর্যন্ত
- আপডেট
- আপডেট
- us
- ব্যবহার
- ব্যবহার ক্ষেত্রে
- ব্যবহৃত
- ইউটিলিটি
- মূল্য
- মানগুলি
- বৈচিত্র্য
- বিভিন্ন
- ভেলোসিটি
- বিক্রেতারা
- সংস্করণ
- উল্লম্ব
- চেক
- দৃষ্টি
- vs
- অপব্যয়
- ওয়েব
- ওয়েব সার্ভিস
- সপ্তাহান্তিক কাল
- সাপ্তাহিক
- আমরা একটি
- কি
- যে
- হু
- ব্যাপক
- প্রশস্ত পরিসর
- ইচ্ছা
- জানালা
- সঙ্গে
- ছাড়া
- ভাবছি
- হয়া যাই ?
- কাজ করছে
- কর্মপ্রবাহ
- কাজ
- would
- লিখিত
- এক্সজিবিস্ট
- বছর
- আপনি
- আপনার
- নিজেকে
- zephyrnet