Amazon SageMaker Data Wrangler এবং Amazon SageMaker Autopilot – Part 2 PlatoBlockchain Data Intelligence-এর সাথে ইউনিফাইড ডেটা প্রস্তুতি, মডেল প্রশিক্ষণ এবং স্থাপনা। উল্লম্ব অনুসন্ধান. আ.

অ্যামাজন সেজমেকার ডেটা র্যাংলার এবং অ্যামাজন সেজমেকার অটোপাইলটের সাথে ইউনিফাইড ডেটা প্রস্তুতি, মডেল প্রশিক্ষণ এবং স্থাপনা – পার্ট 2

ডেটার গুণমান এবং জটিলতার উপর নির্ভর করে, ডেটা বিজ্ঞানীরা তাদের সময় 45-80% ডেটা প্রস্তুতির কাজে ব্যয় করেন। এটি বোঝায় যে ডেটা প্রস্তুতি এবং পরিষ্কার করা প্রকৃত ডেটা বিজ্ঞানের কাজ থেকে মূল্যবান সময় নেয়। একটি মেশিন লার্নিং (ML) মডেল প্রস্তুতকৃত ডেটার সাথে প্রশিক্ষিত এবং স্থাপনার জন্য প্রস্তুত হওয়ার পরে, ডেটা বিজ্ঞানীদের প্রায়ই ML অনুমানের জন্য ডেটা প্রস্তুত করার জন্য ব্যবহৃত ডেটা রূপান্তরগুলি পুনরায় লিখতে হবে। এটি একটি দরকারী মডেল স্থাপন করতে যে সময় নেয় তা প্রসারিত করতে পারে যা এর কাঁচা আকার এবং ফর্ম থেকে ডেটা অনুমান এবং স্কোর করতে পারে।

এই সিরিজের ১ম অংশে, আমরা দেখিয়েছি কিভাবে ডেটা র‍্যাংলার একটি সক্ষম করে ইউনিফাইড ডেটা প্রস্তুতি এবং মডেল প্রশিক্ষণ সঙ্গে অভিজ্ঞতা অ্যামাজন সেজমেকার অটোপাইলট মাত্র কয়েক ক্লিকে। এই সিরিজের এই দ্বিতীয় এবং শেষ অংশে, আমরা এমন একটি বৈশিষ্ট্যের উপর ফোকাস করি যা অন্তর্ভুক্ত এবং পুনরায় ব্যবহার করে অ্যামাজন সেজমেকার ডেটা র্যাংলার রূপান্তর, যেমন অনুপস্থিত মান imputers, অর্ডিনাল বা এক-হট এনকোডার, এবং আরো, ML অনুমানের জন্য অটোপাইলট মডেল সহ। এই বৈশিষ্ট্যটি অনুমানের সময় ডেটা র্যাংলার বৈশিষ্ট্যের রূপান্তরগুলির পুনঃব্যবহারের সাথে কাঁচা ডেটার স্বয়ংক্রিয় প্রিপ্রসেসিং সক্ষম করে, একটি প্রশিক্ষিত মডেলকে উত্পাদনে স্থাপন করার জন্য প্রয়োজনীয় সময়কে আরও কমিয়ে দেয়।

সমাধান ওভারভিউ

ডেটা র্যাংলার ML-এর জন্য ডেটা একত্রিত করতে এবং প্রস্তুত করার সময়কে সপ্তাহ থেকে মিনিটে কমিয়ে দেয় এবং অটোপাইলট স্বয়ংক্রিয়ভাবে আপনার ডেটার উপর ভিত্তি করে সেরা ML মডেলগুলি তৈরি করে, প্রশিক্ষণ দেয় এবং সুর করে৷ অটোপাইলটের সাথে, আপনি এখনও আপনার ডেটা এবং মডেলের সম্পূর্ণ নিয়ন্ত্রণ এবং দৃশ্যমানতা বজায় রাখেন। উভয় পরিষেবাই এমএল অনুশীলনকারীদের আরও বেশি উত্পাদনশীল করে তোলার জন্য এবং মূল্যের সময়কে ত্বরান্বিত করতে উদ্দেশ্য-নির্মিত।

নিম্নলিখিত চিত্রটি আমাদের সমাধান আর্কিটেকচারের চিত্র তুলে ধরেছে।

পূর্বশর্ত

কারণ এই পোস্টটি দুই-অংশের সিরিজের দ্বিতীয়, নিশ্চিত করুন যে আপনি সফলভাবে পড়েছেন এবং প্রয়োগ করেছেন পার্ট 1 চালিয়ে যাওয়ার আগে।

মডেল রপ্তানি এবং প্রশিক্ষণ

পার্ট 1-এ, ML-এর জন্য ডেটা প্রস্তুতির পরে, আমরা আলোচনা করেছি যে আপনি কীভাবে ডেটাসেট বিশ্লেষণ করতে এবং অটোপাইলটে উচ্চ-মানের ML মডেল তৈরি করতে ডেটা র্যাংলারের সমন্বিত অভিজ্ঞতা ব্যবহার করতে পারেন।

এইবার, আমরা একই প্রশিক্ষণ ডেটাসেটের বিপরীতে একটি মডেলকে প্রশিক্ষণ দেওয়ার জন্য আবার অটোপাইলট ইন্টিগ্রেশন ব্যবহার করি, কিন্তু বাল্ক ইনফারেন্স করার পরিবর্তে, আমরা একটির বিরুদ্ধে রিয়েল-টাইম ইনফারেন্স সম্পাদন করি আমাজন সেজমেকার অনুমান শেষ বিন্দু যা আমাদের জন্য স্বয়ংক্রিয়ভাবে তৈরি হয়।

স্বয়ংক্রিয় এন্ডপয়েন্ট স্থাপনার দ্বারা প্রদত্ত সুবিধার পাশাপাশি, আমরা প্রদর্শন করি যে আপনি কীভাবে সেজমেকার সিরিয়াল ইনফারেন্স পাইপলাইন হিসাবে রূপান্তরিত সমস্ত ডেটা র্যাংলার বৈশিষ্ট্যের সাথে স্থাপন করতে পারেন। এটি অনুমান করার সময় ডেটা র্যাংলার বৈশিষ্ট্যের রূপান্তরগুলির পুনঃব্যবহারের সাথে কাঁচা ডেটার স্বয়ংক্রিয় প্রিপ্রসেসিং সক্ষম করে।

মনে রাখবেন যে এই বৈশিষ্ট্যটি বর্তমানে শুধুমাত্র ডেটা র‍্যাংলার প্রবাহের জন্য সমর্থিত যা যোগদান, গোষ্ঠী অনুসারে, সংযোজন এবং টাইম সিরিজ রূপান্তর ব্যবহার করে না।

Data Wrangler ডেটা ফ্লো UI থেকে সরাসরি একটি মডেলকে প্রশিক্ষণ দিতে আমরা Autopilot-এর সাথে নতুন Data Wrangler ইন্টিগ্রেশন ব্যবহার করতে পারি।

  1. এর পাশে প্লাস চিহ্নটি নির্বাচন করুন স্কেল মান নোড, এবং চয়ন করুন ট্রেন মডেল.
  2. জন্য Amazon S3 অবস্থান, উল্লেখ আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) অবস্থান যেখানে SageMaker আপনার ডেটা রপ্তানি করে।
    যদি ডিফল্টরূপে রুট বাকেট পাথের সাথে উপস্থাপিত হয়, ডেটা র‍্যাংলার এটির অধীনে একটি অনন্য এক্সপোর্ট সাব-ডিরেক্টরি তৈরি করে—আপনি না চাইলে এই ডিফল্ট রুট পাথটি পরিবর্তন করতে হবে না। অটোপাইলট এই অবস্থানটি ব্যবহার করে একটি মডেলকে স্বয়ংক্রিয়ভাবে প্রশিক্ষণ দেয়, আপনাকে বাঁচায়। ডেটা র‍্যাংলার প্রবাহের আউটপুট অবস্থান সংজ্ঞায়িত করার সময় এবং তারপর অটোপাইলট প্রশিক্ষণ ডেটার ইনপুট অবস্থান সংজ্ঞায়িত করার সময়। এটি আরও নির্বিঘ্ন অভিজ্ঞতার জন্য তৈরি করে।
  3. বেছে নিন রপ্তানি এবং ট্রেন Amazon S3 এ রূপান্তরিত ডেটা রপ্তানি করতে।
    Amazon SageMaker Data Wrangler এবং Amazon SageMaker Autopilot – Part 2 PlatoBlockchain Data Intelligence-এর সাথে ইউনিফাইড ডেটা প্রস্তুতি, মডেল প্রশিক্ষণ এবং স্থাপনা। উল্লম্ব অনুসন্ধান. আ.
    রপ্তানি সফল হলে, আপনাকে পুনঃনির্দেশিত করা হবে একটি অটোপাইলট পরীক্ষা তৈরি করুন পৃষ্ঠা, সঙ্গে তথ্য অন্তর্ভুক্তী আপনার জন্য S3 অবস্থান ইতিমধ্যেই পূরণ করা হয়েছে (এটি পূর্ববর্তী পৃষ্ঠার ফলাফল থেকে জনবহুল ছিল)।
  4. জন্য পরীক্ষার নাম, একটি নাম লিখুন (বা ডিফল্ট নাম রাখুন)।
  5. জন্য লক্ষ্যনির্বাচন ফলাফল কলাম হিসাবে আপনি ভবিষ্যদ্বাণী করতে চান.
  6. বেছে নিন পরবর্তী: প্রশিক্ষণ পদ্ধতি.
    Amazon SageMaker Data Wrangler এবং Amazon SageMaker Autopilot – Part 2 PlatoBlockchain Data Intelligence-এর সাথে ইউনিফাইড ডেটা প্রস্তুতি, মডেল প্রশিক্ষণ এবং স্থাপনা। উল্লম্ব অনুসন্ধান. আ.

পোস্টে যেমন বিস্তারিত আছে অ্যামাজন সেজমেকার অটোপাইলট অটোগ্লুওন দ্বারা চালিত নতুন এনসেম্বল ট্রেনিং মোডের সাথে আট গুণ দ্রুততর, আপনি হয় অটোপাইলটকে ডেটাসেটের আকারের উপর ভিত্তি করে স্বয়ংক্রিয়ভাবে প্রশিক্ষণ মোড নির্বাচন করতে দিতে পারেন, অথবা এনসেম্বলিং বা হাইপারপ্যারামিটার অপ্টিমাইজেশান (HPO) এর জন্য ম্যানুয়ালি প্রশিক্ষণ মোড নির্বাচন করতে পারেন৷

প্রতিটি বিকল্পের বিশদ বিবরণ নিম্নরূপ:

  • অটো - অটোপাইলট স্বয়ংক্রিয়ভাবে আপনার ডেটাসেটের আকারের উপর ভিত্তি করে এনসেম্বলিং বা HPO মোড বেছে নেয়। যদি আপনার ডেটাসেট 100 MB-এর থেকে বড় হয়, অটোপাইলট HPO বেছে নেয়; অন্যথায় এটি ensembling চয়ন.
  • জমা হচ্ছে - অটোপাইলট ব্যবহার করে অটোগ্লুওন বেশ কয়েকটি বেস মডেলকে প্রশিক্ষণ দেওয়ার জন্য এনসেম্বলিং কৌশল এবং মডেল স্ট্যাকিং ব্যবহার করে একটি সর্বোত্তম ভবিষ্যদ্বাণীমূলক মডেলে তাদের ভবিষ্যদ্বাণীগুলিকে একত্রিত করে।
  • হাইপারপ্যারামিটার অপ্টিমাইজেশান - অটোপাইলট বায়েসিয়ান অপ্টিমাইজেশান টেকনিক ব্যবহার করে হাইপারপ্যারামিটার টিউন করে এবং আপনার ডেটাসেটে প্রশিক্ষণের কাজ চালানোর মাধ্যমে একটি মডেলের সেরা সংস্করণ খুঁজে পায়। HPO আপনার ডেটাসেটের সাথে সবচেয়ে প্রাসঙ্গিক অ্যালগরিদমগুলি নির্বাচন করে এবং মডেলগুলি টিউন করার জন্য হাইপারপ্যারামিটারের সর্বোত্তম পরিসর বেছে নেয়৷ আমাদের উদাহরণের জন্য, আমরা এর ডিফল্ট নির্বাচন ছেড়ে দিই অটো.
  1. বেছে নিন পরবর্তী: স্থাপনা এবং উন্নত সেটিংস অবিরত রাখতে.
    Amazon SageMaker Data Wrangler এবং Amazon SageMaker Autopilot – Part 2 PlatoBlockchain Data Intelligence-এর সাথে ইউনিফাইড ডেটা প্রস্তুতি, মডেল প্রশিক্ষণ এবং স্থাপনা। উল্লম্ব অনুসন্ধান. আ.
  2. উপরে স্থাপনা এবং উন্নত সেটিংস পৃষ্ঠায়, একটি স্থাপনার বিকল্প নির্বাচন করুন।
    আরো বিস্তারিতভাবে স্থাপনার বিকল্পগুলি বোঝা গুরুত্বপূর্ণ; আমরা যা বেছে নেব তা প্রভাবিত করবে ডেটা র‍্যাংলারে আমরা আগে যে রূপান্তরগুলি করেছি তা অনুমান পাইপলাইনে অন্তর্ভুক্ত করা হবে কিনা:
    • ডেটা র্যাংলার থেকে ট্রান্সফর্ম সহ সেরা মডেল স্বয়ংক্রিয়ভাবে স্থাপন করুন – এই স্থাপনার বিকল্পের সাহায্যে, আপনি যখন ডেটা র‍্যাংলারে ডেটা প্রস্তুত করেন এবং অটোপাইলটকে আহ্বান করে একটি মডেলকে প্রশিক্ষণ দেন, তখন প্রশিক্ষিত মডেলটিকে সমস্ত ডেটা র‍্যাংলার বৈশিষ্ট্যের পাশাপাশি স্থাপন করা হয় সেজমেকার সিরিয়াল ইনফারেন্স পাইপলাইন. এটি অনুমান করার সময় ডেটা র্যাংলার বৈশিষ্ট্যের রূপান্তরগুলির পুনঃব্যবহারের সাথে কাঁচা ডেটার স্বয়ংক্রিয় প্রিপ্রসেসিং সক্ষম করে। মনে রাখবেন যে ইনফারেন্স এন্ডপয়েন্ট আপনার ডেটার বিন্যাসটি ডেটা র্যাংলার ফ্লোতে আমদানি করার সময় একই বিন্যাসে হওয়ার প্রত্যাশা করে।
    • ডেটা র্যাংলার থেকে রূপান্তর ছাড়াই সেরা মডেল স্বয়ংক্রিয়ভাবে স্থাপন করুন - এই বিকল্পটি একটি রিয়েল-টাইম এন্ডপয়েন্ট স্থাপন করে যা ডেটা র‍্যাংলার ট্রান্সফর্ম ব্যবহার করে না। এই ক্ষেত্রে, অনুমান করার আগে আপনাকে আপনার ডেটা র্যাংলার প্রবাহে সংজ্ঞায়িত রূপান্তরগুলি প্রয়োগ করতে হবে।
    • সেরা মডেল স্বয়ংক্রিয়ভাবে স্থাপন করবেন না - আপনি যখন কোনো অনুমান শেষ পয়েন্ট তৈরি করতে চান না তখন আপনার এই বিকল্পটি ব্যবহার করা উচিত। আপনি যদি পরবর্তীতে ব্যবহারের জন্য একটি সেরা মডেল তৈরি করতে চান, যেমন স্থানীয়ভাবে বাল্ক ইনফারেন্স চালানোর জন্য এটি কার্যকর। (এটি আমরা সিরিজের পার্ট 1 এ নির্বাচিত স্থাপনার বিকল্প।) মনে রাখবেন যে আপনি যখন এই বিকল্পটি নির্বাচন করেন, তৈরি করা মডেলটি (SageMaker SDK-এর মাধ্যমে অটোপাইলটের সেরা প্রার্থী থেকে) ডেটা র্যাংলার বৈশিষ্ট্যটি একটি SageMaker সিরিয়াল ইনফারেন্স পাইপলাইন হিসাবে রূপান্তরিত করে।

    এই পোস্টের জন্য, আমরা ডেটা র্যাংলার থেকে ট্রান্সফর্ম সহ সেরা মডেল স্বয়ংক্রিয়ভাবে স্থাপন করুন বিকল্প।

  3. জন্য স্থাপনার বিকল্প, নির্বাচন করুন ডেটা র্যাংলার থেকে ট্রান্সফর্ম সহ সেরা মডেল স্বয়ংক্রিয়ভাবে স্থাপন করুন.
  4. অন্যান্য সেটিংস ডিফল্ট হিসাবে ছেড়ে দিন।
  5. বেছে নিন পরবর্তী: পর্যালোচনা করুন এবং তৈরি করুন অবিরত রাখতে.
    উপরে পর্যালোচনা করুন এবং তৈরি করুন পৃষ্ঠায়, আমরা আমাদের অটোপাইলট পরীক্ষার জন্য নির্বাচিত সেটিংসের একটি সারাংশ দেখতে পাই।
  6. বেছে নিন পরীক্ষা তৈরি করুন মডেল তৈরির প্রক্রিয়া শুরু করতে।
    Amazon SageMaker Data Wrangler এবং Amazon SageMaker Autopilot – Part 2 PlatoBlockchain Data Intelligence-এর সাথে ইউনিফাইড ডেটা প্রস্তুতি, মডেল প্রশিক্ষণ এবং স্থাপনা। উল্লম্ব অনুসন্ধান. আ.

আপনাকে অটোপাইলট কাজের বিবরণ পৃষ্ঠায় পুনঃনির্দেশিত করা হয়েছে। মডেলদের উপর দেখান মডেল ট্যাব যেমন তারা তৈরি হয়। প্রক্রিয়াটি সম্পূর্ণ হয়েছে তা নিশ্চিত করতে, এ যান চাকুরির প্রোফাইল ট্যাব এবং একটি সন্ধান করুন Completed জন্য মান অবস্থা ক্ষেত্র।

আপনি যেকোনো সময় থেকে এই অটোপাইলট কাজের বিবরণ পৃষ্ঠায় ফিরে যেতে পারেন অ্যামাজন সেজমেকার স্টুডিও:

  1. বেছে নিন পরীক্ষা এবং ট্রায়াল উপরে সেজমেকার সম্পদ ড্রপ ডাউন মেনু
  2. আপনার তৈরি অটোপাইলট কাজের নাম নির্বাচন করুন।
  3. পরীক্ষাটি বেছে নিন (ডান-ক্লিক করুন) এবং বেছে নিন অটোএমএল কাজের বর্ণনা করুন.

প্রশিক্ষণ এবং স্থাপনা দেখুন

যখন অটোপাইলট পরীক্ষা শেষ করে, তখন আমরা প্রশিক্ষণের ফলাফল দেখতে পারি এবং অটোপাইলট কাজের বিবরণ পৃষ্ঠা থেকে সেরা মডেলটি অন্বেষণ করতে পারি।

লেবেলযুক্ত মডেলটি বেছে নিন (ডান-ক্লিক করুন) সেরা মডেল, এবং চয়ন করুন মডেল বিবরণ খুলুন.

Amazon SageMaker Data Wrangler এবং Amazon SageMaker Autopilot – Part 2 PlatoBlockchain Data Intelligence-এর সাথে ইউনিফাইড ডেটা প্রস্তুতি, মডেল প্রশিক্ষণ এবং স্থাপনা। উল্লম্ব অনুসন্ধান. আ.

সার্জারির সম্পাদন ট্যাবটি একটি বিভ্রান্তি ম্যাট্রিক্স, নির্ভুলতা/রিকল বক্ররেখা (AUCPR) এবং রিসিভার অপারেটিং চরিত্রগত বক্ররেখা (ROC) এর অধীনে এলাকা সহ বেশ কয়েকটি মডেল পরিমাপ পরীক্ষা প্রদর্শন করে। এগুলি মডেলের সামগ্রিক বৈধতা কর্মক্ষমতা চিত্রিত করে, কিন্তু মডেলটি ভালভাবে সাধারণীকরণ করবে কিনা তা তারা আমাদের জানায় না। মডেলটি কতটা সঠিকভাবে ভবিষ্যদ্বাণী করে তা দেখতে আমাদের এখনও অদেখা পরীক্ষার ডেটার উপর মূল্যায়ন চালাতে হবে (এই উদাহরণের জন্য, আমরা ভবিষ্যদ্বাণী করি যে একজন ব্যক্তির ডায়াবেটিস আছে কিনা)।

রিয়েল-টাইম এন্ডপয়েন্টের বিপরীতে অনুমান সম্পাদন করুন

মডেল পারফরম্যান্স মূল্যায়ন করতে রিয়েল-টাইম ইনফারেন্স সম্পাদন করতে একটি নতুন সেজমেকার নোটবুক তৈরি করুন। বৈধতার জন্য রিয়েল-টাইম ইনফারেন্স চালানোর জন্য একটি নোটবুকে নিম্নলিখিত কোডটি লিখুন:

import boto3

### Define required boto3 clients

sm_client = boto3.client(service_name="sagemaker")
runtime_sm_client = boto3.client(service_name="sagemaker-runtime")

### Define endpoint name

endpoint_name = ""

### Define input data

payload_str = '5,166.0,72.0,19.0,175.0,25.8,0.587,51'
payload = payload_str.encode()
response = runtime_sm_client.invoke_endpoint(
    EndpointName=endpoint_name,
    ContentType="text/csv",
    Body=payload,
)

response["Body"].read()

আপনি আপনার নোটবুকে চালানোর জন্য কোড সেট আপ করার পরে, আপনাকে দুটি ভেরিয়েবল কনফিগার করতে হবে:

  • endpoint_name
  • payload_str

endpoint_name কনফিগার করুন

endpoint_name রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্টের নাম উপস্থাপন করে যেটি আমাদের জন্য স্বয়ংক্রিয়ভাবে তৈরি করা হয়েছে। আমরা এটি সেট করার আগে, আমাদের এটির নাম খুঁজে বের করতে হবে।

  1. বেছে নিন সমাপ্তি উপরে সেজমেকার সম্পদ ড্রপ ডাউন মেনু
  2. অটোপাইলট কাজের নামের সাথে একটি এলোমেলো স্ট্রিং যুক্ত করে তৈরি করা শেষ পয়েন্টের নামটি সনাক্ত করুন।
  3. পরীক্ষাটি বেছে নিন (ডান-ক্লিক করুন) এবং বেছে নিন এন্ডপয়েন্ট বর্ণনা করুন.
    Amazon SageMaker Data Wrangler এবং Amazon SageMaker Autopilot – Part 2 PlatoBlockchain Data Intelligence-এর সাথে ইউনিফাইড ডেটা প্রস্তুতি, মডেল প্রশিক্ষণ এবং স্থাপনা। উল্লম্ব অনুসন্ধান. আ.
    সার্জারির এন্ডপয়েন্ট বিশদ বিবরণ পৃষ্ঠা প্রদর্শিত হবে।
  4. সম্পূর্ণ শেষ পয়েন্টের নাম হাইলাইট করুন এবং টিপুন CTRL + C ক্লিপবোর্ডে কপি করতে।
    Amazon SageMaker Data Wrangler এবং Amazon SageMaker Autopilot – Part 2 PlatoBlockchain Data Intelligence-এর সাথে ইউনিফাইড ডেটা প্রস্তুতি, মডেল প্রশিক্ষণ এবং স্থাপনা। উল্লম্ব অনুসন্ধান. আ.
  5. এই মানটি লিখুন (নিশ্চিত করুন যে এটি উদ্ধৃত হয়েছে) endpoint_name অনুমান নোটবুকে।
    Amazon SageMaker Data Wrangler এবং Amazon SageMaker Autopilot – Part 2 PlatoBlockchain Data Intelligence-এর সাথে ইউনিফাইড ডেটা প্রস্তুতি, মডেল প্রশিক্ষণ এবং স্থাপনা। উল্লম্ব অনুসন্ধান. আ.

payload_str কনফিগার করুন

নোটবুকটি একটি ডিফল্ট পেলোড স্ট্রিং সহ আসে payload_str যেটি আপনি আপনার এন্ডপয়েন্ট পরীক্ষা করতে ব্যবহার করতে পারেন, কিন্তু আপনার পরীক্ষার ডেটাসেটের মতো বিভিন্ন মান নিয়ে পরীক্ষা করতে নির্দ্বিধায়৷

পরীক্ষার ডেটাসেট থেকে মানগুলি বের করতে, নির্দেশাবলী অনুসরণ করুন পার্ট 1 পরীক্ষা ডেটাসেট Amazon S3 এ রপ্তানি করতে। তারপরে Amazon S3 কনসোলে, আপনি এটি ডাউনলোড করতে পারেন এবং Amazon S3 থেকে ফাইলটি ব্যবহার করার জন্য সারিগুলি নির্বাচন করতে পারেন৷

আপনার পরীক্ষার ডেটাসেটের প্রতিটি সারিতে নয়টি কলাম রয়েছে, যার শেষ কলামটি হল outcome মান এই নোটবুক কোডের জন্য, নিশ্চিত করুন যে আপনি শুধুমাত্র একটি ডেটা সারি ব্যবহার করছেন (কখনও CSV হেডার নয়) payload_str. এছাড়াও আপনি শুধুমাত্র একটি পাঠান নিশ্চিত করুন payload_str আটটি কলাম সহ, যেখানে আপনি ফলাফলের মান মুছে ফেলেছেন।

উদাহরণস্বরূপ, যদি আপনার পরীক্ষার ডেটাসেট ফাইলগুলি নিম্নলিখিত কোডের মতো দেখায় এবং আমরা প্রথম সারির রিয়েল-টাইম ইনফারেন্স করতে চাই:

Pregnancies,Glucose,BloodPressure,SkinThickness,Insulin,BMI,DiabetesPedigreeFunction,Age,Outcome 
10,115,0,0,0,35.3,0.134,29,0 
10,168,74,0,0,38.0,0.537,34,1 
1,103,30,38,83,43.3,0.183,33,0

শেষ ঘন্টা payload_str থেকে 10,115,0,0,0,35.3,0.134,29. নোট করুন কিভাবে আমরা বাদ দিয়েছি outcome মান 0 শেষে.

যদি ঘটনাক্রমে আপনার ডেটাসেটের লক্ষ্য মানটি প্রথম বা শেষ মান না হয়, তাহলে কমা কাঠামো অক্ষত রেখে মানটি সরিয়ে দিন। উদাহরণস্বরূপ, ধরে নিন আমরা বারের পূর্বাভাস দিচ্ছি, এবং আমাদের ডেটাসেটটি নিম্নলিখিত কোডের মতো দেখাচ্ছে:

foo,bar,foobar
85,17,20

এই ক্ষেত্রে, আমরা সেট payload_str থেকে 85,,20.

যখন নোটবুকটি সঠিকভাবে কনফিগার করা হয় payload_str এবং endpoint_name মান, আপনি ফর্ম্যাটে একটি CSV প্রতিক্রিয়া ফিরে পাবেন outcome (0 বা 1), confidence (0-1).

পরিষ্কার আপ

এই টিউটোরিয়ালটি শেষ করার পরে আপনি টিউটোরিয়াল-সম্পর্কিত চার্জগুলি বহন করবেন না তা নিশ্চিত করতে, ডেটা র্যাংলার অ্যাপটি বন্ধ করতে ভুলবেন না (https://docs.aws.amazon.com/sagemaker/latest/dg/data-wrangler-shut-down.html), সেইসাথে সমস্ত নোটবুক দৃষ্টান্ত অনুমান কার্য সম্পাদন করতে ব্যবহৃত হয়। অতিরিক্ত চার্জ প্রতিরোধ করার জন্য অটো পাইলট স্থাপনার মাধ্যমে তৈরি করা অনুমান শেষ পয়েন্টগুলি মুছে ফেলা উচিত।

উপসংহার

এই পোস্টে, আমরা দেখিয়েছি কিভাবে ডেটা র‍্যাংলার এবং অটোপাইলট ব্যবহার করে আপনার ডেটা প্রসেসিং, ফিচারিং ইঞ্জিনিয়ারিং এবং মডেল বিল্ডিংকে একীভূত করতে হয়। সিরিজের পার্ট 1-এ বিল্ডিং, আমরা হাইলাইট করেছি কিভাবে আপনি সহজেই ডেটা র্যাংলার ইউজার ইন্টারফেস থেকে অটোপাইলটের মাধ্যমে একটি রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্টে একটি মডেলকে প্রশিক্ষণ, সুর এবং স্থাপন করতে পারেন। স্বয়ংক্রিয় এন্ডপয়েন্ট ডিপ্লয়মেন্ট দ্বারা প্রদত্ত সুবিধার পাশাপাশি, আমরা দেখিয়েছি যে আপনি কীভাবে ডেটা র্যাংলার বৈশিষ্ট্যগুলিকে সেজমেকার সিরিয়াল ইনফরেন্স পাইপলাইন হিসাবে ট্রান্সফর্মের সমস্ত ডেটা র্যাংলার বৈশিষ্ট্যের পুনঃব্যবহারের সাথে, কাঁচা ডেটার স্বয়ংক্রিয় প্রিপ্রসেসিংয়ের জন্য প্রদান করতে পারেন। অনুমানের সময়।

লো-কোড এবং অটোএমএল সমাধান যেমন ডেটা র‍্যাংলার এবং অটোপাইলট শক্তিশালী এমএল মডেল তৈরি করতে গভীর কোডিং জ্ঞান থাকা প্রয়োজনকে সরিয়ে দেয়। ডেটা র্যাংলার ব্যবহার করা শুরু করুন অটোপাইলট ব্যবহার করে এমএল মডেল তৈরি করা কতটা সহজ তা আজ অনুভব করুন।


লেখক সম্পর্কে

Amazon SageMaker Data Wrangler এবং Amazon SageMaker Autopilot – Part 2 PlatoBlockchain Data Intelligence-এর সাথে ইউনিফাইড ডেটা প্রস্তুতি, মডেল প্রশিক্ষণ এবং স্থাপনা। উল্লম্ব অনুসন্ধান. আ.গেরেমি কোহেন তিনি AWS-এর সাথে একজন সলিউশন আর্কিটেক্ট যেখানে তিনি গ্রাহকদের অত্যাধুনিক, ক্লাউড-ভিত্তিক সমাধান তৈরি করতে সাহায্য করেন। তার অবসর সময়ে, তিনি সৈকতে ছোট হাঁটা উপভোগ করেন, তার পরিবারের সাথে উপসাগর এলাকা ঘুরে দেখেন, বাড়ির চারপাশে জিনিসপত্র ঠিক করেন, বাড়ির চারপাশের জিনিস ভাঙেন এবং BBQing করেন।

Amazon SageMaker Data Wrangler এবং Amazon SageMaker Autopilot – Part 2 PlatoBlockchain Data Intelligence-এর সাথে ইউনিফাইড ডেটা প্রস্তুতি, মডেল প্রশিক্ষণ এবং স্থাপনা। উল্লম্ব অনুসন্ধান. আ.প্রদীপ রেড্ডি সেজমেকার লো/নো কোড এমএল টিমের একজন সিনিয়র প্রোডাক্ট ম্যানেজার, যার মধ্যে রয়েছে সেজমেকার অটোপাইলট, সেজমেকার অটোমেটিক মডেল টিউনার। কাজের বাইরে, প্রদীপ রাস্পবেরি পাই এবং অন্যান্য হোম অটোমেশন প্রযুক্তির মতো পাম আকারের কম্পিউটারের সাথে পড়া, দৌড়ানো এবং গিকিং করা উপভোগ করে।

Amazon SageMaker Data Wrangler এবং Amazon SageMaker Autopilot – Part 2 PlatoBlockchain Data Intelligence-এর সাথে ইউনিফাইড ডেটা প্রস্তুতি, মডেল প্রশিক্ষণ এবং স্থাপনা। উল্লম্ব অনুসন্ধান. আ.ডঃ জন হি অ্যামাজন এআই-এর একজন সিনিয়র সফ্টওয়্যার ডেভেলপমেন্ট ইঞ্জিনিয়ার, যেখানে তিনি মেশিন লার্নিং এবং ডিস্ট্রিবিউটেড কম্পিউটিং-এ ফোকাস করেন। তিনি সিএমইউ থেকে পিএইচডি ডিগ্রি নিয়েছেন।

সময় স্ট্যাম্প:

থেকে আরো এডাব্লুএস মেশিন লার্নিং

রিয়েল-টাইম সহযোগিতার জন্য সেজমেকার স্টুডিওতে শেয়ার্ড স্পেস ব্যবহার করে মেশিন লার্নিং ডেভেলপমেন্ট সংগঠিত করুন

উত্স নোড: 1769672
সময় স্ট্যাম্প: ডিসেম্বর 1, 2022