অ্যামাজন সেজমেকার ডেটা র্যাংলার একটি একক ভিজ্যুয়াল ইন্টারফেস যা কোনো কোড না লিখেই মেশিন লার্নিং (ML) ওয়ার্কফ্লোতে ডেটা নির্বাচন এবং পরিষ্কার, বৈশিষ্ট্য তৈরি এবং স্বয়ংক্রিয়ভাবে ডেটা প্রস্তুতির ক্ষমতা সহ ডেটা প্রস্তুত করতে এবং ফিচার ইঞ্জিনিয়ারিং সম্পাদনের জন্য প্রয়োজনীয় সময়কে কয়েক সপ্তাহ থেকে মিনিটে কমিয়ে দেয়।
সেজমেকার ডেটা র্যাংলার সমর্থন করে তুষারকণা, যারা ML করতে চান তাদের জন্য একটি জনপ্রিয় ডেটা উৎস। গ্রাহক অভিজ্ঞতা উন্নত করার জন্য আমরা SageMaker Data Wrangler থেকে Snowflake সরাসরি সংযোগ চালু করি। এই বৈশিষ্ট্যটি চালু করার আগে, অ্যাডমিনিস্ট্রেটরদের ডাটা র্যাংলারে ML-এর জন্য বৈশিষ্ট্য তৈরি করতে স্নোফ্লেকের সাথে সংযোগ স্থাপনের জন্য প্রাথমিক স্টোরেজ ইন্টিগ্রেশন সেট আপ করতে হবে। এই বিধান অন্তর্ভুক্ত আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি, এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) অ্যাক্সেসের অনুমতি, স্বতন্ত্র ব্যবহারকারীদের জন্য স্নোফ্লেক স্টোরেজ ইন্টিগ্রেশন, এবং Amazon S3-এ ডেটা কপি পরিচালনা বা পরিষ্কার করার জন্য একটি চলমান প্রক্রিয়া। কঠোর ডেটা অ্যাক্সেস নিয়ন্ত্রণ এবং বিপুল সংখ্যক ব্যবহারকারীর সাথে গ্রাহকদের জন্য এই প্রক্রিয়াটি মাপযোগ্য নয়।
এই পোস্টে, আমরা দেখাই কিভাবে SageMaker Data Wrangler-এ Snowflake এর সরাসরি সংযোগ প্রশাসকের অভিজ্ঞতা এবং ডেটা বিজ্ঞানীর ML যাত্রা ডেটা থেকে ব্যবসার অন্তর্দৃষ্টিতে সহজ করে।
সমাধান ওভারভিউ
এই সমাধানে, আমরা ML এবং এর জন্য ডেটা প্রস্তুতির গতি বাড়ানোর জন্য SageMaker Data Wrangler ব্যবহার করি অ্যামাজন সেজমেকার অটোপাইলট আপনার ডেটার উপর ভিত্তি করে এমএল মডেলগুলি স্বয়ংক্রিয়ভাবে তৈরি, প্রশিক্ষণ এবং সূক্ষ্ম-টিউন করতে। উভয় পরিষেবাই বিশেষভাবে উৎপাদনশীলতা বাড়াতে এবং এমএল অনুশীলনকারীদের জন্য সময় কমানোর জন্য ডিজাইন করা হয়েছে। আমরা ML-এর জন্য অনুসন্ধান এবং বৈশিষ্ট্যগুলি তৈরি করার জন্য সরাসরি সংযোগ সহ SageMaker Data Wrangler থেকে Snowflake পর্যন্ত সরলীকৃত ডেটা অ্যাক্সেস প্রদর্শন করি।
Snowflake, SageMaker Data Wrangler, এবং SageMaker Autopilot-এর সাথে লো-কোড ML প্রক্রিয়ার একটি ওভারভিউয়ের জন্য নীচের চিত্রটি পড়ুন।
কর্মপ্রবাহে নিম্নলিখিত পদক্ষেপগুলি অন্তর্ভুক্ত রয়েছে:
- আপনার ডেটা প্রস্তুতি এবং ফিচার ইঞ্জিনিয়ারিং কাজগুলির জন্য SageMaker ডেটা র্যাংলারে নেভিগেট করুন।
- SageMaker ডেটা র্যাংলারের সাথে স্নোফ্লেক সংযোগ সেট আপ করুন।
- সেজমেকার ডেটা র্যাংলারে আপনার স্নোফ্লেক টেবিলগুলি অন্বেষণ করুন, একটি ML ডেটাসেট তৈরি করুন এবং বৈশিষ্ট্য প্রকৌশল সম্পাদন করুন৷
- সেজমেকার ডেটা র্যাংলার এবং সেজমেকার অটোপাইলট ব্যবহার করে মডেলগুলিকে প্রশিক্ষণ দিন এবং পরীক্ষা করুন।
- ভবিষ্যদ্বাণীর জন্য একটি রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্টে সেরা মডেলটি লোড করুন।
- রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্ট চালু করতে একটি পাইথন নোটবুক ব্যবহার করুন।
পূর্বশর্ত
এই পোস্টের জন্য, প্রশাসকের নিম্নলিখিত পূর্বশর্ত প্রয়োজন:
ডেটা বিজ্ঞানীদের নিম্নলিখিত পূর্বশর্ত থাকা উচিত
অবশেষে, আপনার স্নোফ্লেকের জন্য আপনার ডেটা প্রস্তুত করা উচিত
- আমরা ক্রেডিট কার্ড থেকে লেনদেনের ডেটা ব্যবহার করি Kaggle প্রতারণামূলক ক্রেডিট কার্ড লেনদেন শনাক্ত করার জন্য ML মডেল তৈরি করতে, যাতে গ্রাহকরা যে আইটেমগুলি ক্রয় করেননি তার জন্য চার্জ করা হয় না। ডেটাসেটে ইউরোপীয় কার্ডধারীদের দ্বারা করা সেপ্টেম্বর 2013-এ ক্রেডিট কার্ডের লেনদেন অন্তর্ভুক্ত রয়েছে।
- আপনার ব্যবহার করা উচিত স্নোএসকিউএল ক্লায়েন্ট এবং এটি আপনার স্থানীয় মেশিনে ইনস্টল করুন, যাতে আপনি একটি স্নোফ্লেক টেবিলে ডেটাসেট আপলোড করতে এটি ব্যবহার করতে পারেন।
নিচের ধাপগুলো দেখায় কিভাবে স্নোফ্লেক ডাটাবেসে ডেটাসেট প্রস্তুত ও লোড করা যায়। এটি একটি এককালীন সেটআপ।
স্নোফ্লেক টেবিল এবং ডেটা প্রস্তুতি
এই এক-কালীন সেটআপের জন্য নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- প্রথমত, প্রশাসক হিসাবে, একটি স্নোফ্লেক ভার্চুয়াল গুদাম, ব্যবহারকারী এবং ভূমিকা তৈরি করুন এবং অন্যান্য ব্যবহারকারীদের অ্যাক্সেস মঞ্জুর করুন যেমন ডেটা বিজ্ঞানীদের তাদের এমএল ব্যবহারের ক্ষেত্রে একটি ডাটাবেস এবং স্টেজ ডেটা তৈরি করতে:
- ডেটা সায়েন্টিস্ট হিসাবে, আসুন এখন একটি ডাটাবেস তৈরি করি এবং সেজমেকার ডেটা র্যাংলার থেকে ডেটা অ্যাক্সেস করতে স্নোফ্লেক ডাটাবেসে ক্রেডিট কার্ডের লেনদেন আমদানি করি। দৃষ্টান্তের উদ্দেশ্যে, আমরা নামে একটি স্নোফ্লেক ডাটাবেস তৈরি করি
SF_FIN_TRANSACTION
: - আপনার স্থানীয় মেশিনে ডেটাসেট CSV ফাইলটি ডাউনলোড করুন এবং ডেটাবেস টেবিলে ডেটা লোড করার জন্য একটি পর্যায় তৈরি করুন। তৈরি পর্যায়ে ডেটা আমদানি করার জন্য PUT কমান্ড চালানোর আগে ডাউনলোড করা ডেটাসেট অবস্থানে নির্দেশ করতে ফাইল পাথ আপডেট করুন:
- নামের একটি টেবিল তৈরি করুন
credit_card_transactions
: - স্টেজ থেকে তৈরি টেবিলে ডেটা আমদানি করুন:
সেজমেকার ডেটা র্যাংলার এবং স্নোফ্লেক সংযোগ সেট আপ করুন
আমরা সেজমেকার ডেটা র্যাংলারের সাথে ব্যবহারের জন্য ডেটাসেট প্রস্তুত করার পরে, আসুন আমরা সেজমেকার ডেটা র্যাংলারের সাথে সংযোগ করতে একটি নতুন স্নোফ্লেক সংযোগ তৈরি করি sf_fin_transaction
Snowflake মধ্যে ডাটাবেস এবং প্রশ্ন credit_card_transaction
টেবিল:
- বেছে নিন তুষারকণা সেজমেকার ডেটা র্যাংলারে সংযোগ পাতা.
- আপনার সংযোগ সনাক্ত করতে একটি নাম প্রদান করুন.
- স্নোফ্লেক ডাটাবেসের সাথে সংযোগ করতে আপনার প্রমাণীকরণ পদ্ধতি নির্বাচন করুন:
- মৌলিক প্রমাণীকরণ ব্যবহার করলে, আপনার স্নোফ্লেক অ্যাডমিনিস্ট্রেটর দ্বারা ভাগ করা ব্যবহারকারীর নাম এবং পাসওয়ার্ড প্রদান করুন। এই পোস্টের জন্য, আমরা আগের ধাপে তৈরি করা ব্যবহারকারীর শংসাপত্রগুলি ব্যবহার করে স্নোফ্লেকের সাথে সংযোগ করতে মৌলিক প্রমাণীকরণ ব্যবহার করি।
- আপনি যদি OAuth ব্যবহার করেন, তাহলে আপনার পরিচয় প্রদানকারীর শংসাপত্রগুলি প্রদান করুন৷
SageMaker Data Wrangler ডিফল্টভাবে S3 বালতিতে কোনো ডেটা কপি তৈরি না করেই সরাসরি Snowflake থেকে আপনার ডেটা জিজ্ঞাসা করে। SageMaker Data Wrangler-এর নতুন ব্যবহারযোগ্যতা বর্ধিতকরণ Apache Spark ব্যবহার করে Snowflake-এর সাথে একীভূত হয়ে আপনার ML যাত্রার জন্য একটি ডেটাসেট তৈরি করতে এবং নির্বিঘ্নে তৈরি করতে।
এখন পর্যন্ত, আমরা স্নোফ্লেকের উপর ডাটাবেস তৈরি করেছি, স্নোফ্লেক টেবিলে CSV ফাইল আমদানি করেছি, স্নোফ্লেক শংসাপত্র তৈরি করেছি এবং স্নোফ্লেকের সাথে সংযোগ করতে সেজমেকার ডেটা র্যাংলারে একটি সংযোগকারী তৈরি করেছি। কনফিগার করা স্নোফ্লেক সংযোগ যাচাই করতে, তৈরি করা স্নোফ্লেক টেবিলে নিম্নলিখিত প্রশ্নটি চালান:
মনে রাখবেন যে স্টোরেজ ইন্টিগ্রেশন বিকল্পটি আগে প্রয়োজন ছিল এখন উন্নত সেটিংসে ঐচ্ছিক।
স্নোফ্লেক ডেটা অন্বেষণ করুন
আপনি ক্যোয়ারী ফলাফল যাচাই করার পরে, নির্বাচন করুন আমদানি ডেটাসেট হিসাবে ক্যোয়ারী ফলাফল সংরক্ষণ করতে। আমরা অনুসন্ধানমূলক ডেটা বিশ্লেষণ এবং বৈশিষ্ট্য প্রকৌশলের জন্য এই নিষ্কাশিত ডেটাসেটটি ব্যবহার করি।
আপনি SageMaker Data Wrangler UI-তে Snowflake থেকে ডেটার নমুনা বেছে নিতে পারেন। আরেকটি বিকল্প হল সেজমেকার ডেটা র্যাংলার প্রসেসিং কাজগুলি ব্যবহার করে আপনার এমএল মডেল প্রশিক্ষণ ব্যবহারের ক্ষেত্রে সম্পূর্ণ ডেটা ডাউনলোড করা।
সেজমেকার ডেটা র্যাংলারে অনুসন্ধানমূলক ডেটা বিশ্লেষণ সম্পাদন করুন
ডেটা র্যাংলারের মধ্যে থাকা ডেটাকে প্রশিক্ষিত করার আগে ইঞ্জিনিয়ার করা দরকার। এই বিভাগে, আমরা সেজমেকার ডেটা র্যাংলারের অন্তর্নির্মিত ক্ষমতাগুলি ব্যবহার করে স্নোফ্লেকের ডেটাতে কীভাবে বৈশিষ্ট্য প্রকৌশল সম্পাদন করতে হয় তা প্রদর্শন করি।
প্রথমত, এর ব্যবহার করা যাক Data Quality and Insights Report
SageMaker Data Wrangler-এর মধ্যে বৈশিষ্ট্য স্বয়ংক্রিয়ভাবে ডেটা গুণমান যাচাই করতে এবং Snowflake থেকে ডেটাতে অস্বাভাবিকতা সনাক্ত করতে রিপোর্ট তৈরি করতে।
আপনি আপনার ডেটা পরিষ্কার এবং প্রক্রিয়া করতে সাহায্য করতে প্রতিবেদনটি ব্যবহার করতে পারেন। এটি আপনাকে তথ্য দেয় যেমন অনুপস্থিত মানের সংখ্যা এবং বহিরাগতদের সংখ্যা। যদি আপনার ডেটাতে সমস্যা থাকে, যেমন লক্ষ্য ফাঁস বা ভারসাম্যহীনতা, তাহলে অন্তর্দৃষ্টি রিপোর্ট সেই সমস্যাগুলি আপনার নজরে আনতে পারে। প্রতিবেদনের বিশদ বিবরণ বুঝতে, পড়ুন অ্যামাজন সেজমেকার ডেটা র্যাংলারে ডেটা গুণমান এবং অন্তর্দৃষ্টি সহ ডেটা প্রস্তুতি ত্বরান্বিত করুন.
আপনি SageMaker ডেটা র্যাংলার দ্বারা প্রয়োগ করা ডেটা টাইপ ম্যাচিং পরীক্ষা করার পরে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- পাশের প্লাস চিহ্নটি বেছে নিন তথ্যের ধরণ এবং নির্বাচন করুন বিশ্লেষণ যোগ করুন.
- জন্য বিশ্লেষণের ধরণনির্বাচন ডেটা গুণমান এবং অন্তর্দৃষ্টি রিপোর্ট.
- বেছে নিন সৃষ্টি.
- উচ্চ-অগ্রাধিকার সতর্কতাগুলি পরীক্ষা করতে ডেটা গুণমান এবং অন্তর্দৃষ্টি প্রতিবেদনের বিশদ বিবরণ পড়ুন৷
আপনি আপনার ML যাত্রার সাথে এগিয়ে যাওয়ার আগে রিপোর্ট করা সতর্কতাগুলি সমাধান করতে বেছে নিতে পারেন।
লক্ষ্য কলাম Class
ভবিষ্যদ্বাণী করা একটি স্ট্রিং হিসাবে শ্রেণীবদ্ধ করা হয়. প্রথমত, বাসি খালি অক্ষরগুলি সরাতে একটি রূপান্তর প্রয়োগ করা যাক।
- বেছে নিন ধাপ যোগ করুন এবং নির্বাচন করুন ফর্ম্যাট স্ট্রিং.
- রূপান্তরের তালিকায়, নির্বাচন করুন স্ট্রিপ বাম এবং ডান.
- অপসারণ এবং চয়ন করতে অক্ষর লিখুন বিজ্ঞাপন.
পরবর্তী, আমরা লক্ষ্য কলাম রূপান্তর Class
স্ট্রিং ডেটা টাইপ থেকে বুলিয়ানে কারণ লেনদেনটি হয় বৈধ বা প্রতারণামূলক।
- বেছে নিন ধাপ যোগ করুন.
- বেছে নিন প্রকার হিসাবে কলাম পার্স করুন.
- কলামের জন্য, নির্বাচন করুন
Class
. - জন্য থেকেনির্বাচন স্ট্রিং.
- জন্য থেকেনির্বাচন বুলিয়ান.
- বেছে নিন বিজ্ঞাপন.
টার্গেট কলাম ট্রান্সফর্মেশনের পর, আমরা ফিচার কলামের সংখ্যা কমিয়ে দিই, কারণ মূল ডেটাসেটে 30 টির বেশি ফিচার আছে। বৈশিষ্ট্যের গুরুত্বের উপর ভিত্তি করে মাত্রা কমাতে আমরা প্রিন্সিপাল কম্পোনেন্ট অ্যানালাইসিস (PCA) ব্যবহার করি। PCA এবং মাত্রিকতা হ্রাস সম্পর্কে আরও বুঝতে, পড়ুন প্রিন্সিপাল কম্পোনেন্ট অ্যানালাইসিস (PCA) অ্যালগরিদম.
- বেছে নিন ধাপ যোগ করুন.
- বেছে নিন মাত্রা হ্রাস.
- জন্য রুপান্তরনির্বাচন প্রধান উপাদান বিশ্লেষণ.
- জন্য ইনপুট কলাম, টার্গেট কলাম ছাড়া সব কলাম বেছে নিন
Class
. - পাশের প্লাস চিহ্নটি বেছে নিন তথ্য প্রবাহ এবং নির্বাচন করুন বিশ্লেষণ যোগ করুন।
- জন্য বিশ্লেষণের ধরণনির্বাচন দ্রুত মডেল.
- জন্য বিশ্লেষণের নাম, একটি নাম লিখুন।
- জন্য লেবেলনির্বাচন
Class
. - বেছে নিন চালান.
PCA ফলাফলের উপর ভিত্তি করে, আপনি মডেল তৈরির জন্য কোন বৈশিষ্ট্যগুলি ব্যবহার করবেন তা নির্ধারণ করতে পারেন। নিম্নলিখিত স্ক্রিনশটে, গ্রাফটি লক্ষ্য শ্রেণির ভবিষ্যদ্বাণী করার জন্য সর্বোচ্চ থেকে সর্বনিম্ন গুরুত্বের উপর ভিত্তি করে নির্দেশিত বৈশিষ্ট্যগুলি (বা মাত্রা) দেখায়, যা এই ডেটাসেটে লেনদেন জালিয়াতি বা বৈধ কিনা।
আপনি এই বিশ্লেষণের উপর ভিত্তি করে বৈশিষ্ট্যের সংখ্যা কমাতে বেছে নিতে পারেন, কিন্তু এই পোস্টের জন্য, আমরা ডিফল্টগুলিকে যেমন আছে তেমনই রেখে দিই।
এটি আমাদের বৈশিষ্ট্য প্রকৌশল প্রক্রিয়ার সমাপ্তি ঘটায়, যদিও আপনি দ্রুত মডেল চালানো বেছে নিতে পারেন এবং আরও অপ্টিমাইজেশন করার আগে ডেটা বোঝার জন্য আবার একটি ডেটা গুণমান এবং অন্তর্দৃষ্টি প্রতিবেদন তৈরি করতে পারেন৷
ডেটা রপ্তানি করুন এবং মডেলকে প্রশিক্ষণ দিন
পরবর্তী ধাপে, আমরা আপনার ডেটার উপর ভিত্তি করে সেরা ML মডেলগুলি স্বয়ংক্রিয়ভাবে তৈরি, প্রশিক্ষণ এবং টিউন করতে SageMaker Autopilot ব্যবহার করি৷ সেজমেকার অটোপাইলটের সাথে, আপনি এখনও আপনার ডেটা এবং মডেলের সম্পূর্ণ নিয়ন্ত্রণ এবং দৃশ্যমানতা বজায় রাখেন।
এখন যেহেতু আমরা অন্বেষণ এবং বৈশিষ্ট্য প্রকৌশল সম্পন্ন করেছি, আসুন ডেটাসেটের একটি মডেলকে প্রশিক্ষণ দিই এবং সেজমেকার অটোপাইলট ব্যবহার করে এমএল মডেলকে প্রশিক্ষণ দেওয়ার জন্য ডেটা রপ্তানি করি।
- উপরে প্রশিক্ষণ ট্যাব, চয়ন করুন রপ্তানি এবং ট্রেন.
আমরা রপ্তানির অগ্রগতি পর্যবেক্ষণ করতে পারি যখন আমরা এটি সম্পূর্ণ হওয়ার জন্য অপেক্ষা করি।
আসুন আমরা যে টার্গেটটি ভবিষ্যদ্বাণী করতে চাই এবং সমস্যার ধরন তা নির্দিষ্ট করে একটি স্বয়ংক্রিয় প্রশিক্ষণের কাজ চালানোর জন্য SageMaker অটোপাইলটকে কনফিগার করি। এই ক্ষেত্রে, যেহেতু আমরা লেনদেনটি জালিয়াতি বা বৈধ কিনা তা অনুমান করার জন্য ডেটাসেটকে প্রশিক্ষণ দিচ্ছি, আমরা বাইনারি শ্রেণীবিভাগ ব্যবহার করি।
- আপনার পরীক্ষার জন্য একটি নাম লিখুন, S3 অবস্থান ডেটা প্রদান করুন এবং চয়ন করুন৷ পরবর্তী: লক্ষ্য এবং বৈশিষ্ট্য.
- জন্য লক্ষ্যনির্বাচন
Class
অনুমান করার কলাম হিসাবে। - বেছে নিন পরবর্তী: প্রশিক্ষণ পদ্ধতি.
আসুন SageMaker Autopilot কে ডেটাসেটের উপর ভিত্তি করে প্রশিক্ষণের পদ্ধতি নির্ধারণ করার অনুমতি দিন।
- জন্য প্রশিক্ষণ পদ্ধতি এবং অ্যালগরিদম, নির্বাচন করুন অটো.
সেজমেকার অটোপাইলট দ্বারা সমর্থিত প্রশিক্ষণ মোড সম্পর্কে আরও বুঝতে, পড়ুন প্রশিক্ষণ মোড এবং অ্যালগরিদম সমর্থন।
- বেছে নিন পরবর্তী: স্থাপনা এবং উন্নত সেটিংস.
- জন্য স্থাপনার বিকল্পনির্বাচন ডেটা র্যাংলার থেকে ট্রান্সফর্ম সহ সেরা মডেল স্বয়ংক্রিয়ভাবে স্থাপন করুন, যা পরীক্ষা সম্পূর্ণ হওয়ার পরে অনুমানের জন্য সেরা মডেল লোড করে।
- আপনার শেষ পয়েন্টের জন্য একটি নাম লিখুন।
- জন্য মেশিন লার্নিং সমস্যার ধরন নির্বাচন করুননির্বাচন বাইনারি শ্রেণীবিভাগ.
- জন্য আপত্তি মেট্রিকনির্বাচন F1.
- বেছে নিন পরবর্তী: পর্যালোচনা করুন এবং তৈরি করুন.
- বেছে নিন পরীক্ষা তৈরি করুন.
এটি একটি সেজমেকার অটোপাইলট কাজ শুরু করে যা প্রশিক্ষণ কাজের একটি সেট তৈরি করে যা উদ্দেশ্য মেট্রিককে অপ্টিমাইজ করতে হাইপারপ্যারামিটারের সমন্বয় ব্যবহার করে।
SageMaker Autopilot মডেল তৈরি এবং সেরা ML মডেলের মূল্যায়ন শেষ করার জন্য অপেক্ষা করুন।
সেরা মডেল পরীক্ষা করতে একটি রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্ট চালু করুন
সেজমেকার অটোপাইলট সেরা মডেল নির্ধারণ করতে পরীক্ষা চালায় যা ক্রেডিট কার্ডের লেনদেনকে বৈধ বা জালিয়াতি হিসাবে শ্রেণীবদ্ধ করতে পারে।
যখন সেজমেকার অটোপাইলট পরীক্ষাটি সম্পূর্ণ করে, তখন আমরা মূল্যায়ন মেট্রিক্স সহ প্রশিক্ষণের ফলাফল দেখতে পারি এবং সেজমেকার অটোপাইলট কাজের বিবরণ পৃষ্ঠা থেকে সেরা মডেলটি অন্বেষণ করতে পারি।
- সেরা মডেল নির্বাচন করুন এবং চয়ন করুন মডেল স্থাপন.
SageMaker Autopilot-এর মাধ্যমে তৈরি সেরা মডেল পরীক্ষা করতে আমরা একটি রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্ট ব্যবহার করি।
- নির্বাচন করা রিয়েল-টাইম ভবিষ্যদ্বাণী করুন.
যখন শেষ পয়েন্ট পাওয়া যায়, আমরা পেলোড পাস করতে পারি এবং অনুমান ফলাফল পেতে পারি।
ইনফারেন্স এন্ডপয়েন্ট ব্যবহার করতে একটি পাইথন নোটবুক চালু করা যাক।
- সেজমেকার স্টুডিও কনসোলে, নেভিগেশন প্যানে ফোল্ডার আইকনটি নির্বাচন করুন এবং নির্বাচন করুন নোটবুক তৈরি করুন.
- নিয়োজিত রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্ট চালু করতে নিম্নলিখিত পাইথন কোড ব্যবহার করুন:
আউটপুট হিসাবে ফলাফল দেখায় false
, যা বোঝায় নমুনা বৈশিষ্ট্য ডেটা জালিয়াতি নয়।
পরিষ্কার কর
এই টিউটোরিয়ালটি শেষ করার পরে আপনাকে চার্জ করতে হবে না তা নিশ্চিত করতে, SageMaker Data Wrangler অ্যাপ্লিকেশন বন্ধ করুন এবং নোটবুক উদাহরণ বন্ধ করুন অনুমান সম্পাদন করতে ব্যবহৃত হয়। আপনারও উচিত অনুমান শেষ পয়েন্ট মুছুন আপনি অতিরিক্ত চার্জ রোধ করতে SageMaker Autopilot ব্যবহার করে তৈরি করেছেন।
উপসংহার
এই পোস্টে, আমরা প্রদর্শন করেছি কিভাবে প্রক্রিয়াতে কোনো মধ্যবর্তী কপি তৈরি না করে সরাসরি স্নোফ্লেক থেকে আপনার ডেটা আনতে হয়। আপনি সরাসরি Snowflake থেকে SageMaker Data Wrangler-এ আপনার সম্পূর্ণ ডেটাসেট নমুনা বা লোড করতে পারেন। তারপরে আপনি ডেটা অন্বেষণ করতে পারেন, ডেটা পরিষ্কার করতে পারেন এবং সেজমেকার ডেটা র্যাংলারের ভিজ্যুয়াল ইন্টারফেস ব্যবহার করে বৈশিষ্ট্যযুক্ত প্রকৌশল সম্পাদন করতে পারেন।
আপনি কীভাবে সেজমেকার ডেটা র্যাংলার ইউজার ইন্টারফেস থেকে সরাসরি সেজমেকার অটোপাইলটের সাথে একটি মডেলকে সহজে প্রশিক্ষণ এবং টিউন করতে পারেন তাও আমরা হাইলাইট করেছি। SageMaker Data Wrangler এবং SageMaker অটোপাইলট ইন্টিগ্রেশনের মাধ্যমে, আমরা কোনো কোড না লিখেই ফিচার ইঞ্জিনিয়ারিং শেষ করার পর দ্রুত একটি মডেল তৈরি করতে পারি। তারপরে আমরা রিয়েল-টাইম এন্ডপয়েন্ট ব্যবহার করে অনুমান চালানোর জন্য সেজমেকার অটোপাইলটের সেরা মডেলটি উল্লেখ করেছি।
SageMaker ব্যবহার করে আপনার ডেটা দিয়ে সহজেই ML মডেল তৈরি করতে SageMaker Data Wrangler-এর সাথে নতুন Snowflake সরাসরি ইন্টিগ্রেশন ব্যবহার করে দেখুন।
লেখক সম্পর্কে
হরিহরন সুরেশ AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট। তিনি ডাটাবেস, মেশিন লার্নিং এবং উদ্ভাবনী সমাধান ডিজাইন করার বিষয়ে উত্সাহী। AWS-এ যোগ দেওয়ার আগে, হরিহরন একজন পণ্য স্থপতি, কোর ব্যাঙ্কিং বাস্তবায়ন বিশেষজ্ঞ এবং বিকাশকারী ছিলেন এবং 11 বছরেরও বেশি সময় ধরে BFSI সংস্থাগুলির সাথে কাজ করেছিলেন। প্রযুক্তির বাইরে, তিনি প্যারাগ্লাইডিং এবং সাইক্লিং উপভোগ করেন।
অপরাজিতা বৈদ্যনাথন AWS-এর একজন প্রধান এন্টারপ্রাইজ সলিউশন আর্কিটেক্ট। তিনি এন্টারপ্রাইজ গ্রাহকদের AWS ক্লাউডে তাদের কাজের চাপকে স্থানান্তরিত এবং আধুনিকীকরণে সহায়তা করেন। তিনি একজন ক্লাউড আর্কিটেক্ট যার 23+ বছরের এন্টারপ্রাইজ, বড় আকারের এবং বিতরণ করা সফ্টওয়্যার সিস্টেম ডিজাইন এবং বিকাশের অভিজ্ঞতা রয়েছে। তিনি ডেটা এবং ফিচার ইঞ্জিনিয়ারিং ডোমেনে ফোকাস সহ মেশিন লার্নিং এবং ডেটা অ্যানালিটিক্সে বিশেষজ্ঞ। তিনি একজন উচ্চাকাঙ্ক্ষী ম্যারাথন দৌড়বিদ এবং তার শখের মধ্যে রয়েছে হাইকিং, বাইক চালানো এবং তার স্ত্রী এবং দুই ছেলের সাথে সময় কাটানো।
টিম গান AWS SageMaker-এর একজন সফ্টওয়্যার ডেভেলপমেন্ট ইঞ্জিনিয়ার, সফ্টওয়্যার ডেভেলপার, পরামর্শক এবং প্রযুক্তি নেতা হিসাবে 10+ বছরের অভিজ্ঞতার সাথে তিনি মাপযোগ্য এবং নির্ভরযোগ্য পণ্য সরবরাহ করার এবং জটিল সমস্যাগুলি সমাধান করার ক্ষমতা প্রদর্শন করেছেন। তার অবসর সময়ে, তিনি প্রকৃতি উপভোগ করেন, আউটডোর দৌড়, হাইকিং এবং ইত্যাদি।
বসকো আলবুকার্ক AWS-এর একজন সিনিয়র পার্টনার সলিউশন আর্কিটেক্ট এবং এন্টারপ্রাইজ ডাটাবেস বিক্রেতা এবং ক্লাউড প্রোভাইডারদের থেকে ডাটাবেস এবং অ্যানালিটিক্স পণ্যগুলির সাথে কাজ করার 20 বছরের বেশি অভিজ্ঞতা রয়েছে৷ তিনি বৃহৎ প্রযুক্তি কোম্পানিগুলিকে ডেটা অ্যানালিটিক্স সলিউশন ডিজাইন করতে সাহায্য করেছেন এবং ডেটা অ্যানালিটিক্স প্ল্যাটফর্ম এবং ডেটা প্রোডাক্ট ডিজাইন ও বাস্তবায়নে ইঞ্জিনিয়ারিং দলগুলির নেতৃত্ব দিয়েছেন৷
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। মোটরগাড়ি / ইভি, কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- ব্লকঅফসেট। পরিবেশগত অফসেট মালিকানার আধুনিকীকরণ। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/accelerate-time-to-business-insights-with-the-amazon-sagemaker-data-wrangler-direct-connection-to-snowflake/
- : আছে
- : হয়
- :না
- $ ইউপি
- 1
- 10
- 100
- 11
- 12
- 14
- 15%
- 20
- 20 বছর
- 2013
- 27
- 30
- 40
- 500
- 7
- 9
- a
- ক্ষমতা
- সম্পর্কে
- দ্রুততর করা
- প্রবেশ
- হিসাব
- অতিরিক্ত
- অ্যাডমিনিস্ট্রেটররা
- অগ্রসর
- পর
- আবার
- এআই / এমএল
- সব
- অনুমতি
- এছাড়াও
- যদিও
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- অ্যামাজন সেজমেকার ডেটা র্যাংলার
- অ্যামাজন ওয়েব সার্ভিসেস
- পরিমাণ
- an
- বিশ্লেষণ
- বৈশ্লেষিক ন্যায়
- এবং
- অন্য
- কোন
- এ্যাপাচি
- API
- ফলিত
- প্রয়োগ করা
- রয়েছি
- AS
- উচ্চাকাঙ্ক্ষী
- At
- মনোযোগ
- প্রমাণীকরণ
- স্বয়ংক্রিয় পদ্ধতি প্রয়োগ করা
- অটোমেটেড
- স্বয়ংক্রিয়ভাবে
- সহজলভ্য
- ডেস্কটপ AWS
- ব্যাংকিং
- ভিত্তি
- মৌলিক
- BE
- কারণ
- আগে
- নিচে
- সর্বোত্তম
- বিএফএসআই
- শরীর
- উভয়
- আনা
- নির্মাণ করা
- ভবন
- বিল্ট-ইন
- ব্যবসায়
- কিন্তু
- by
- CAN
- ক্ষমতা
- গ্রেপ্তার
- কার্ড
- কেস
- মামলা
- অক্ষর
- অভিযুক্ত
- চার্জ
- চেক
- বেছে নিন
- শ্রেণী
- শ্রেণীবিন্যাস
- শ্রেণীবদ্ধ
- শ্রেণীভুক্ত করা
- মক্কেল
- মেঘ
- কোড
- স্তম্ভ
- কলাম
- সমন্বয়
- কোম্পানি
- সম্পূর্ণ
- সম্পন্ন হয়েছে
- সমাপ্ত
- পরিপূরক
- জটিল
- উপাদান
- কনফিগার
- সংযোগ করা
- সংযোগ
- কনসোল
- পরামর্শকারী
- অবিরত
- নিয়ন্ত্রণ
- রূপান্তর
- মূল
- কোর ব্যাংকিং
- সৃষ্টি
- নির্মিত
- সৃষ্টি
- তৈরি করা হচ্ছে
- পরিচয়পত্র
- ধার
- ক্রেডিটকার্ড
- ক্রেতা
- গ্রাহক অভিজ্ঞতা
- গ্রাহকদের
- উপাত্ত
- তথ্য এক্সেস
- তথ্য বিশ্লেষণ
- ডেটা বিশ্লেষণ
- ডেটা প্রস্তুতি
- তথ্য বিজ্ঞানী
- ডেটাবেস
- ডাটাবেস
- সিদ্ধান্ত নেন
- ডিফল্ট
- অক্ষমতা
- প্রদান করা
- প্রদর্শন
- প্রদর্শিত
- স্থাপন
- মোতায়েন
- বিস্তৃতি
- বিবরণ
- নকশা
- পরিকল্পিত
- ফন্দিবাজ
- বিস্তারিত
- নির্ধারণ
- বিকাশকারী
- উন্নয়নশীল
- উন্নয়ন
- মাত্রা
- সরাসরি
- সরাসরি
- বণ্টিত
- ডোমেইন
- Dont
- নিচে
- ডাউনলোড
- সহজে
- পারেন
- শেষপ্রান্ত
- প্রকৌশলী
- প্রকৌশল
- প্রবেশ করান
- উদ্যোগ
- ইত্যাদি
- ইউরোপিয়ান
- মূল্যায়ন
- ছাড়া
- বিদ্যমান
- অভিজ্ঞতা
- পরীক্ষা
- পরীক্ষা-নিরীক্ষা
- অন্বেষণ
- অনুসন্ধানের ডেটা বিশ্লেষণ
- অন্বেষণ করুণ
- রপ্তানি
- এ পর্যন্ত
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- সমন্বিত
- ফাইল
- আর্থিক
- শেষ
- প্রথম
- ভাসা
- কেন্দ্রবিন্দু
- অনুসরণ
- জন্য
- বিন্যাস
- প্রতারণাপূর্ণ
- থেকে
- সম্পূর্ণ
- অধিকতর
- উত্পাদন করা
- পাওয়া
- দেয়
- প্রদান
- চিত্রলেখ
- আছে
- he
- সাহায্য
- সাহায্য
- সর্বোচ্চ
- হাইলাইট করা
- তার
- কিভাবে
- কিভাবে
- এইচটিএমএল
- HTTP
- HTTPS দ্বারা
- আইকন
- সনাক্ত করা
- পরিচয়
- if
- অমিল
- বাস্তবায়ন
- বাস্তবায়ন
- আমদানি
- গুরুত্ব
- আমদানি
- আমদানি
- উন্নত করা
- in
- অন্তর্ভুক্ত করা
- অন্তর্ভুক্ত
- বৃদ্ধি
- স্বতন্ত্র
- তথ্য
- প্রারম্ভিক
- উদ্ভাবনী
- অর্ন্তদৃষ্টি
- ইনস্টল
- সম্পূর্ণ
- ইন্টিগ্রেশন
- ইন্টারফেস
- অভ্যন্তরীণ
- মধ্যে
- সমস্যা
- IT
- আইটেম
- কাজ
- জবস
- যোগদান
- যাত্রা
- JPG
- JSON
- বড়
- বড় আকারের
- শুরু করা
- চালু
- নেতা
- শিক্ষা
- ত্যাগ
- বরফ
- বাম
- বৈধ
- দিন
- লাইব্রেরি
- LIMIT টি
- তালিকা
- বোঝা
- লোড
- স্থানীয়
- অবস্থান
- অধম
- মেশিন
- মেশিন লার্নিং
- প্রণীত
- বজায় রাখা
- করা
- পরিচালনা করা
- সহ্যশক্তির পরীক্ষা
- ম্যাচিং
- মে..
- পদ্ধতি
- পদ্ধতি
- ছন্দোময়
- ছন্দোবিজ্ঞান
- মাইগ্রেট
- মিনিট
- অনুপস্থিত
- ML
- মডেল
- মডেল
- আধুনিকীকরণ
- মোড
- মনিটর
- অধিক
- নাম
- নামে
- প্রকৃতি
- ন্যাভিগেশন
- চাহিদা
- নতুন
- পরবর্তী
- নোটবই
- এখন
- সংখ্যা
- শপথ
- লক্ষ্য
- উদ্দেশ্য
- of
- on
- নিরন্তর
- অপ্টিমিজ
- পছন্দ
- or
- ক্রম
- সংগঠন
- মূল
- OS
- অন্যান্য
- আমাদের
- বাইরে
- আউটপুট
- বাহিরে
- শেষ
- ওভারভিউ
- পৃষ্ঠা
- শার্সি
- হাসপাতাল
- পাস
- কামুক
- পাসওয়ার্ড
- পথ
- সম্পাদন করা
- করণ
- অনুমতি
- প্ল্যাটফর্ম
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- যোগ
- বিন্দু
- জনপ্রিয়
- পোস্ট
- ভবিষ্যদ্বাণী করা
- পূর্বাভাস
- ভবিষ্যতবাণী
- প্রস্তুতি
- প্রস্তুত করা
- পূর্বশর্ত
- প্রতিরোধ
- আগে
- অধ্যক্ষ
- প্রিন্ট
- পূর্বে
- সমস্যা
- সমস্যা
- প্রক্রিয়া
- প্রক্রিয়াজাতকরণ
- পণ্য
- প্রমোদ
- পণ্য
- উন্নতি
- প্রদান
- প্রদানকারী
- প্রদানকারীর
- প্রকাশ্য
- ক্রয়
- উদ্দেশ্য
- করা
- পাইথন
- গুণ
- প্রশ্নের
- দ্রুত
- দ্রুত
- প্রকৃত সময়
- হ্রাস করা
- হ্রাস
- হ্রাস
- বিশ্বাসযোগ্য
- অপসারণ
- প্রতিস্থাপন করা
- রিপোর্ট
- রিপোর্ট
- প্রতিবেদন
- অনুরোধ
- প্রয়োজনীয়
- প্রতিক্রিয়া
- ফল
- ফলাফল
- এখানে ক্লিক করুন
- অশ্বচালনা
- ভূমিকা
- চালান
- চর
- দৌড়
- s
- ঋষি নির্মাতা
- সংরক্ষণ করুন
- মাপযোগ্য
- বিজ্ঞানী
- বিজ্ঞানীরা
- নির্বিঘ্নে
- অধ্যায়
- পাঠান
- জ্যেষ্ঠ
- সেপ্টেম্বর
- সেবা
- সেট
- সেটিংস
- সেটআপ
- ভাগ
- উচিত
- প্রদর্শনী
- শো
- চিহ্ন
- সহজ
- সরলীকৃত
- একক
- So
- সফটওয়্যার
- সফটওয়্যার উন্নয়ন
- সমাধান
- সলিউশন
- সমাধান
- গান
- উৎস
- স্ফুলিঙ্গ
- বিশেষজ্ঞ
- বিশেষ
- বিশেষভাবে
- স্পীড
- খরচ
- পর্যায়
- শুরু
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- এখনো
- স্টোরেজ
- দোকান
- যথাযথ
- স্ট্রিং
- চিত্রশালা
- জমা
- সফল
- সফলভাবে
- এমন
- সমর্থন
- সমর্থিত
- সমর্থন
- সিস্টেম
- টেবিল
- লক্ষ্য
- কাজ
- দল
- প্রযুক্তি
- প্রযুক্তিঃ
- প্রযুক্তি সংস্থাগুলি
- পরীক্ষা
- যে
- সার্জারির
- গ্রাফ
- তাদের
- তারপর
- সেখানে।
- তারা
- এই
- সেগুলো
- দ্বারা
- সময়
- থেকে
- আজ
- রেলগাড়ি
- প্রশিক্ষিত
- প্রশিক্ষণ
- লেনদেন
- লেনদেন
- রুপান্তর
- রূপান্তরগুলির
- সত্য
- অভিভাবকসংবঁধীয়
- দুই
- আদর্শ
- ui
- বোঝা
- আপডেট
- us
- ব্যবহারযোগ্যতা
- ব্যবহার
- ব্যবহৃত
- ব্যবহারকারী
- ব্যবহারকারী ইন্টারফেস
- ব্যবহারকারী
- ব্যবহারসমূহ
- ব্যবহার
- v1
- যাচাই করুন
- মূল্য
- মানগুলি
- বিক্রেতারা
- যাচাই
- চেক
- ভার্চুয়াল
- দৃষ্টিপাত
- অপেক্ষা করুন
- প্রয়োজন
- ছিল
- we
- ওয়েব
- ওয়েব সার্ভিস
- সপ্তাহ
- ছিল
- কিনা
- যে
- যখন
- হু
- স্ত্রী
- সঙ্গে
- মধ্যে
- ছাড়া
- হয়া যাই ?
- কাজ করছে
- কর্মপ্রবাহ
- কর্মপ্রবাহ
- কাজ
- লেখা
- বছর
- আপনি
- আপনার
- zephyrnet