ডেটা প্রস্তুতি যে কোনও ডেটা-চালিত প্রকল্পের একটি গুরুত্বপূর্ণ পদক্ষেপ, এবং সঠিক সরঞ্জামগুলি অপারেশনাল দক্ষতাকে ব্যাপকভাবে বাড়িয়ে তুলতে পারে। অ্যামাজন সেজমেকার ডেটা র্যাংলার মেশিন লার্নিং (ML) এর জন্য ট্যাবুলার এবং ইমেজ ডেটা একত্রিত করতে এবং প্রস্তুত করতে যে সময় লাগে তা কয়েক সপ্তাহ থেকে মিনিটে কমিয়ে দেয়। সেজমেকার ডেটা র্যাংলারের সাহায্যে, আপনি ডেটা প্রস্তুতি এবং বৈশিষ্ট্য প্রকৌশলের প্রক্রিয়াটিকে সহজ করতে পারেন এবং ডেটা নির্বাচন, পরিষ্কারকরণ, অন্বেষণ এবং একটি একক ভিজ্যুয়াল ইন্টারফেস থেকে ভিজ্যুয়ালাইজেশন সহ ডেটা প্রস্তুতির কর্মপ্রবাহের প্রতিটি ধাপ সম্পূর্ণ করতে পারেন।
এই পোস্টে, আমরা সেজমেকার ডেটা র্যাংলারের সর্বশেষ বৈশিষ্ট্যগুলি অন্বেষণ করি যা বিশেষভাবে অপারেশনাল অভিজ্ঞতা উন্নত করার জন্য ডিজাইন করা হয়েছে। আমরা সমর্থন মধ্যে delve সহজ স্টোরেজ পরিষেবা (Amazon S3) স্পষ্ট ফাইল, একটি ইন্টারেক্টিভ ডেটা প্রবাহে অনুমান আর্টিফ্যাক্ট, এবং এর সাথে বিরামবিহীন ইন্টিগ্রেশন JSON (জাভাস্ক্রিপ্ট অবজেক্ট নোটেশন) অনুমানের জন্য বিন্যাস, হাইলাইট করে যে এই বর্ধনগুলি কীভাবে ডেটা প্রস্তুতিকে সহজ এবং আরও দক্ষ করে তোলে।
নতুন বৈশিষ্ট্য প্রবর্তন
এই বিভাগে, আমরা সর্বোত্তম ডেটা প্রস্তুতির জন্য সেজমেকার ডেটা র্যাংলারের নতুন বৈশিষ্ট্যগুলি নিয়ে আলোচনা করি।
ML অনুমানের জন্য SageMaker Autopilot এর সাথে S3 ম্যানিফেস্ট ফাইল সমর্থন
সেজমেকার ডেটা র্যাংলার একটি সক্ষম করে ইউনিফাইড ডেটা প্রস্তুতি এবং মডেল প্রশিক্ষণ সঙ্গে অভিজ্ঞতা অ্যামাজন সেজমেকার অটোপাইলট মাত্র কয়েক ক্লিকে। আপনি আপনার ডেটা প্রবাহে রূপান্তরিত ডেটাতে স্বয়ংক্রিয়ভাবে প্রশিক্ষণ, সুর এবং মডেল স্থাপন করতে SageMaker অটোপাইলট ব্যবহার করতে পারেন।
এই অভিজ্ঞতা এখন S3 ম্যানিফেস্ট ফাইল সমর্থনের সাথে আরও সরলীকৃত হয়েছে। একটি S3 ম্যানিফেস্ট ফাইল একটি পাঠ্য ফাইল যা একটি S3 বালতিতে সংরক্ষিত বস্তু (ফাইল) তালিকাভুক্ত করে। যদি সেজমেকার ডেটা র্যাংলারে আপনার এক্সপোর্ট করা ডেটাসেটটি বেশ বড় হয় এবং অ্যামাজন S3-তে একাধিক-অংশের ডেটা ফাইলে বিভক্ত হয়, এখন সেজমেকার ডেটা র্যাংলার স্বয়ংক্রিয়ভাবে S3-এ এই সমস্ত ডেটা ফাইলের প্রতিনিধিত্ব করে একটি ম্যানিফেস্ট ফাইল তৈরি করবে। এই তৈরি করা ম্যানিফেস্ট ফাইলটি এখন সেজমেকার ডেটা র্যাংলারের সেজমেকার অটোপাইলট UI এর সাথে প্রশিক্ষণের জন্য সমস্ত বিভাজিত ডেটা বাছাই করতে ব্যবহার করা যেতে পারে।
এই বৈশিষ্ট্যটি চালু করার আগে, SageMaker Data Wrangler থেকে প্রস্তুত ডেটার উপর প্রশিক্ষিত SageMaker অটোপাইলট মডেলগুলি ব্যবহার করার সময়, আপনি শুধুমাত্র একটি ডেটা ফাইল বেছে নিতে পারেন, যা সমগ্র ডেটাসেটের প্রতিনিধিত্ব নাও করতে পারে, বিশেষ করে যদি ডেটাসেটটি খুব বড় হয়। এই নতুন ম্যানিফেস্ট ফাইলের অভিজ্ঞতার সাথে, আপনি আপনার ডেটাসেটের একটি উপসেটে সীমাবদ্ধ নন। আপনি ম্যানিফেস্ট ফাইল ব্যবহার করে আপনার সমস্ত ডেটা উপস্থাপন করে সেজমেকার অটোপাইলট সহ একটি ML মডেল তৈরি করতে পারেন এবং আপনার ML অনুমান এবং উত্পাদন স্থাপনার জন্য এটি ব্যবহার করতে পারেন। এই বৈশিষ্ট্যটি সেজমেকার অটোপাইলটের সাথে প্রশিক্ষণ এমএল মডেলগুলিকে সরল করে এবং ডেটা প্রসেসিং ওয়ার্কফ্লোগুলিকে স্ট্রিমলাইন করে অপারেশনাল দক্ষতা বাড়ায়।
উত্পন্ন শিল্পকর্মে অনুমান প্রবাহের জন্য সমর্থন যোগ করা হয়েছে
গ্রাহকরা তাদের মডেল প্রশিক্ষণ ডেটাতে যে ডেটা ট্রান্সফরমেশনগুলি প্রয়োগ করেছেন, যেমন ওয়ান-হট এনকোডিং, PCA, এবং অনুপস্থিত মানগুলিকে অভিযুক্ত করতে চান এবং সেই ডেটা রূপান্তরগুলিকে রিয়েল-টাইম ইনফারেন্স বা উত্পাদনে ব্যাচ ইনফারেন্সে প্রয়োগ করতে চান৷ এটি করার জন্য, আপনার অবশ্যই একটি সেজমেকার ডেটা র্যাংলার ইনফারেন্স আর্টিফ্যাক্ট থাকতে হবে, যা একটি সেজমেকার মডেল ব্যবহার করে।
পূর্বে, SageMaker অটোপাইলট প্রশিক্ষণে রপ্তানি করার সময় বা একটি অনুমান পাইপলাইন নোটবুক রপ্তানি করার সময় শুধুমাত্র UI থেকে অনুমান আর্টিফ্যাক্ট তৈরি করা যেত। আপনি যদি আপনার সেজমেকার ডেটা র্যাংলার প্রবাহের বাইরে নিয়ে যেতে চান তবে এটি নমনীয়তা প্রদান করে না অ্যামাজন সেজমেকার স্টুডিও পরিবেশ এখন, আপনি একটি সেজমেকার ডেটা র্যাংলার প্রসেসিং কাজের মাধ্যমে যেকোনো সামঞ্জস্যপূর্ণ ফ্লো ফাইলের জন্য একটি অনুমান আর্টিফ্যাক্ট তৈরি করতে পারেন। এটি কোড-প্রথম MLOps ব্যক্তিদের জন্য SageMaker Data Wrangler ফ্লো সহ প্রোগ্রামেটিক, এন্ড-টু-এন্ড MLOps সক্ষম করে, সেইসাথে UI থেকে একটি কাজ তৈরি করে একটি অনুমান আর্টিফ্যাক্ট পেতে একটি স্বজ্ঞাত, নো-কোড পাথ।
স্ট্রীমলাইনিং ডেটা প্রস্তুতি
JSON আধুনিক ডেটা ইকোসিস্টেমে ডেটা আদান-প্রদানের জন্য ব্যাপকভাবে গৃহীত ফর্ম্যাটে পরিণত হয়েছে। JSON ফর্ম্যাটের সাথে SageMaker ডেটা র্যাংলারের একীকরণ আপনাকে রূপান্তর এবং পরিষ্কারের জন্য JSON ডেটা নির্বিঘ্নে পরিচালনা করতে দেয়। JSON-এর জন্য স্থানীয় সমর্থন প্রদান করে, SageMaker Data Wrangler স্ট্রাকচার্ড এবং সেমি-স্ট্রাকচার্ড ডেটার সাথে কাজ করার প্রক্রিয়াকে সহজ করে, আপনাকে মূল্যবান অন্তর্দৃষ্টি বের করতে এবং দক্ষতার সাথে ডেটা প্রস্তুত করতে সক্ষম করে। সেজমেকার ডেটা র্যাংলার এখন ব্যাচ এবং রিয়েল-টাইম ইনফারেন্স এন্ডপয়েন্ট স্থাপনার উভয়ের জন্য JSON ফর্ম্যাটকে সমর্থন করে।
সমাধান ওভারভিউ
আমাদের ব্যবহারের ক্ষেত্রে, আমরা নমুনা ব্যবহার করি আমাজন গ্রাহক পর্যালোচনা ডেটাসেট সেজমেকার অটোপাইলট ব্যবহার করে সেজমেকার ডেটা র্যাংলার একটি নতুন এমএল মডেল তৈরি করার অপারেশনাল প্রচেষ্টাকে কীভাবে সহজ করতে পারে তা দেখানোর জন্য। Amazon গ্রাহক পর্যালোচনা ডেটাসেটে Amazon থেকে পণ্য পর্যালোচনা এবং মেটাডেটা রয়েছে, যার মধ্যে মে 142.8 থেকে জুলাই 1996 পর্যন্ত 2014 মিলিয়ন পর্যালোচনা রয়েছে৷
একটি উচ্চ স্তরে, আমরা এই বৃহৎ ডেটাসেটটি পরিচালনা করতে এবং নিম্নলিখিত ক্রিয়াগুলি সম্পাদন করতে সেজমেকার ডেটা র্যাংলার ব্যবহার করি:
- শুধুমাত্র একটি নমুনা নয়, সমস্ত ডেটাসেট ব্যবহার করে SageMaker Autopilot-এ একটি ML মডেল তৈরি করুন৷
- SageMaker Data Wrangler দ্বারা উত্পন্ন অনুমান আর্টিফ্যাক্ট সহ একটি রিয়েল-টাইম ইনফারেন্স পাইপলাইন তৈরি করুন এবং ইনপুট এবং আউটপুটের জন্য JSON ফর্ম্যাটিং ব্যবহার করুন৷
সেজমেকার অটোপাইলটের সাথে S3 ম্যানিফেস্ট ফাইল সমর্থন
SageMaker ডেটা র্যাংলার ব্যবহার করে একটি SageMaker অটোপাইলট পরীক্ষা তৈরি করার সময়, আপনি আগে শুধুমাত্র একটি CSV বা Parquet ফাইল নির্দিষ্ট করতে পারেন। এখন আপনি একটি S3 ম্যানিফেস্ট ফাইলও ব্যবহার করতে পারেন, যা আপনাকে সেজমেকার অটোপাইলট পরীক্ষার জন্য প্রচুর পরিমাণে ডেটা ব্যবহার করার অনুমতি দেয়। সেজমেকার ডেটা র্যাংলার স্বয়ংক্রিয়ভাবে ইনপুট ডেটা ফাইলগুলিকে কয়েকটি ছোট ফাইলে বিভাজন করবে এবং একটি ম্যানিফেস্ট তৈরি করবে যা একটি সেজমেকার অটোপাইলট পরীক্ষায় ব্যবহার করা যেতে পারে ইন্টারেক্টিভ সেশন থেকে সমস্ত ডেটা টেনে আনতে, শুধুমাত্র একটি ছোট নমুনা নয়।
নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- সেজমেকার ডেটা র্যাংলারে একটি CSV ফাইল থেকে Amazon গ্রাহক পর্যালোচনা ডেটা আমদানি করুন। ডেটা আমদানি করার সময় নমুনা নিষ্ক্রিয় করতে ভুলবেন না।
- ডেটা স্বাভাবিক করে এমন রূপান্তরগুলি নির্দিষ্ট করুন। এই উদাহরণের জন্য, প্রতীকগুলি সরান এবং সেজমেকার ডেটা র্যাংলারের অন্তর্নির্মিত রূপান্তরগুলি ব্যবহার করে সবকিছুকে ছোট হাতের অক্ষরে রূপান্তর করুন।
- বেছে নিন ট্রেন মডেল প্রশিক্ষণ শুরু করতে।
সেজমেকার অটোপাইলটের সাথে একটি মডেলকে প্রশিক্ষণ দিতে, সেজমেকার স্বয়ংক্রিয়ভাবে একটি S3 বালতিতে ডেটা রপ্তানি করে। এই ধরনের বড় ডেটাসেটের জন্য, এটি স্বয়ংক্রিয়ভাবে ফাইলটিকে ছোট ফাইলে বিভক্ত করবে এবং একটি ম্যানিফেস্ট তৈরি করবে যাতে ছোট ফাইলগুলির অবস্থান অন্তর্ভুক্ত থাকে।
- প্রথমে, আপনার ইনপুট ডেটা নির্বাচন করুন।
এর আগে, সেজমেকার ডেটা র্যাংলারের কাছে সেজমেকার অটোপাইলটের সাথে ব্যবহার করার জন্য একটি ম্যানিফেস্ট ফাইল তৈরি করার বিকল্প ছিল না। আজ, ম্যানিফেস্ট ফাইল সমর্থন প্রকাশের সাথে, সেজমেকার ডেটা র্যাংলার স্বয়ংক্রিয়ভাবে একটি ম্যানিফেস্ট ফাইল অ্যামাজন S3-তে রপ্তানি করবে, ম্যানিফেস্ট ফাইল S3 অবস্থানের সাথে সেজমেকার অটোপাইলট প্রশিক্ষণের S3 অবস্থানটি প্রি-ফিল করবে, এবং ম্যানিফেস্ট ফাইল বিকল্পটি টগল করবে। হাঁ. ম্যানিফেস্ট ফাইল তৈরি বা ব্যবহার করার জন্য কোন কাজের প্রয়োজন নেই।
- ভবিষ্যদ্বাণী করার জন্য মডেলের লক্ষ্য নির্বাচন করে আপনার পরীক্ষা কনফিগার করুন।
- পরবর্তী, একটি প্রশিক্ষণ পদ্ধতি নির্বাচন করুন। এই ক্ষেত্রে, আমরা নির্বাচন করি অটো এবং SageMaker অটোপাইলটকে ডেটাসেটের আকারের উপর ভিত্তি করে সেরা প্রশিক্ষণ পদ্ধতির সিদ্ধান্ত নিতে দিন।
- স্থাপনার সেটিংস নির্দিষ্ট করুন।
- অবশেষে, কাজের কনফিগারেশন পর্যালোচনা করুন এবং প্রশিক্ষণের জন্য সেজমেকার অটোপাইলট পরীক্ষা জমা দিন। যখন সেজমেকার অটোপাইলট পরীক্ষাটি সম্পূর্ণ করে, আপনি প্রশিক্ষণের ফলাফল দেখতে এবং সেরা মডেলটি অন্বেষণ করতে পারেন।
ম্যানিফেস্ট ফাইলগুলির জন্য সমর্থন করার জন্য ধন্যবাদ, আপনি SageMaker অটোপাইলট পরীক্ষার জন্য আপনার সম্পূর্ণ ডেটাসেট ব্যবহার করতে পারেন, শুধুমাত্র আপনার ডেটার একটি উপসেট নয়।
সেজমেকার ডেটা র্যাংলারের সাথে সেজমেকার অটোপাইলট ব্যবহার করার বিষয়ে আরও তথ্যের জন্য, দেখুন Amazon SageMaker Data Wrangler এবং Amazon SageMaker Autopilot এর সাথে ইউনিফাইড ডেটা প্রস্তুতি এবং মডেল প্রশিক্ষণ।
সেজমেকার প্রসেসিং জব থেকে ইনফারেন্স আর্টিফ্যাক্ট তৈরি করুন
এখন, আসুন দেখি কিভাবে আমরা সেজমেকার ডেটা র্যাংলার ইউআই এবং সেজমেকার ডেটা র্যাংলার নোটবুক উভয়ের মাধ্যমেই অনুমান আর্টিফ্যাক্ট তৈরি করতে পারি।
সেজমেকার ডেটা র্যাংলার UI
আমাদের ব্যবহারের ক্ষেত্রে, আমরা UI এর মাধ্যমে আমাদের ডেটা প্রক্রিয়া করতে চাই এবং তারপরে SageMaker কনসোলের মাধ্যমে একটি মডেলকে প্রশিক্ষণ ও স্থাপন করতে ফলস্বরূপ ডেটা ব্যবহার করতে চাই। নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- পূর্ববর্তী বিভাগে আপনার তৈরি করা ডেটা ফ্লো খুলুন।
- শেষ রূপান্তরের পাশে প্লাস চিহ্নটি নির্বাচন করুন, নির্বাচন করুন গন্তব্য যোগ করুন, এবং চয়ন করুন আমাজন S3. এখানে প্রক্রিয়াকৃত তথ্য সংরক্ষণ করা হবে।
- বেছে নিন চাকরি তৈরি করুন.
- নির্বাচন করা অনুমান আর্টিফ্যাক্ট তৈরি করুন একটি অনুমান আর্টিফ্যাক্ট তৈরি করতে অনুমান পরামিতি বিভাগে।
- ইনফারেন্স আর্টিফ্যাক্ট নামের জন্য, আপনার ইনফারেন্স আর্টিফ্যাক্টের নাম লিখুন (ফাইল এক্সটেনশন হিসাবে .tar.gz সহ)।
- ইনফারেন্স আউটপুট নোডের জন্য, আপনার প্রশিক্ষণ ডেটাতে প্রয়োগ করা রূপান্তরগুলির সাথে সম্পর্কিত গন্তব্য নোডটি প্রবেশ করান।
- বেছে নিন কাজ কনফিগার করুন.
- অধীনে কাজের কনফিগারেশন, এর জন্য একটি পথ লিখুন ফ্লো ফাইল S3 অবস্থান. একটি ফোল্ডার বলা হয়
data_wrangler_flows
এই অবস্থানের অধীনে তৈরি করা হবে, এবং অনুমান আর্টিফ্যাক্ট এই ফোল্ডারে আপলোড করা হবে। আপলোড অবস্থান পরিবর্তন করতে, একটি ভিন্ন S3 অবস্থান সেট করুন৷ - অন্য সব বিকল্পের জন্য ডিফল্ট ছেড়ে দিন এবং নির্বাচন করুন সৃষ্টি প্রক্রিয়াকরণ কাজ তৈরি করতে.
প্রসেসিং কাজ তৈরি করবে একটিtarball (.tar.gz)
একটি নতুন যোগ করা অনুমান বিভাগ সহ একটি পরিবর্তিত ডেটা ফ্লো ফাইল রয়েছে যা আপনাকে অনুমানের জন্য এটি ব্যবহার করতে দেয়। আপনার অনুমান সমাধানটি স্থাপন করার সময় একটি সেজমেকার মডেলকে আর্টিফ্যাক্ট সরবরাহ করতে অনুমান আর্টিফ্যাক্টের S3 ইউনিফর্ম রিসোর্স আইডেন্টিফায়ার (URI) প্রয়োজন। ইউআরআই ফর্মে থাকবে{Flow file S3 location}/data_wrangler_flows/{inference artifact name}.tar.gz
. - আপনি যদি আগে এই মানগুলি নোট না করে থাকেন তবে আপনি প্রাসঙ্গিক বিবরণ খুঁজে পেতে প্রক্রিয়াকরণ কাজের লিঙ্কটি বেছে নিতে পারেন। আমাদের উদাহরণে, URI হল
s3://sagemaker-us-east-1-43257985977/data_wrangler_flows/example-2023-05-30T12-20-18.tar.gz.
- এর মান কপি করুন চিত্র প্রক্রিয়াকরণ; আমাদের মডেল তৈরি করার সময় আমাদের এই URI প্রয়োজন।
- আমরা এখন SageMaker কনসোলে একটি SageMaker মডেল তৈরি করতে এই URI ব্যবহার করতে পারি, যা আমরা পরে একটি এন্ডপয়েন্ট বা ব্যাচ ট্রান্সফর্ম কাজে স্থাপন করতে পারি।
- অধীনে মডেল সেটিংসএকটি মডেলের নাম লিখুন এবং আপনার IAM ভূমিকা উল্লেখ করুন।
- জন্য ধারক ইনপুট বিকল্প, নির্বাচন করুন মডেল আর্টিফ্যাক্ট এবং অনুমান চিত্র অবস্থান প্রদান.
- জন্য অনুমান কোড ইমেজ অবস্থান, প্রসেসিং ইমেজ URI লিখুন।
- জন্য মডেল শিল্পকর্মের অবস্থান, অনুমান আর্টিফ্যাক্ট URI লিখুন।
- অতিরিক্তভাবে, যদি আপনার ডেটাতে একটি টার্গেট কলাম থাকে যা একটি প্রশিক্ষিত এমএল মডেল দ্বারা ভবিষ্যদ্বাণী করা হবে, নীচে সেই কলামের নাম উল্লেখ করুন পরিবেশ পরিবর্তনশীল, সঙ্গে
INFERENCE_TARGET_COLUMN_NAME
as চাবি এবং কলামের নাম হিসাবে মূল্য. - বেছে নিয়ে আপনার মডেল তৈরি করা শেষ করুন মডেল তৈরি করুন.
আমাদের কাছে এখন একটি মডেল রয়েছে যা আমরা একটি এন্ডপয়েন্ট বা ব্যাচ ট্রান্সফর্ম কাজে স্থাপন করতে পারি।
সেজমেকার ডেটা র্যাংলার নোটবুক
একটি প্রসেসিং কাজ থেকে অনুমান আর্টিফ্যাক্ট তৈরি করার জন্য একটি কোড-প্রথম পদ্ধতির জন্য, আমরা বেছে নিয়ে উদাহরণ কোডটি খুঁজে পেতে পারি রপ্তানি করা নোড মেনুতে এবং যে কোনও একটি বেছে নেওয়া আমাজন S3, সেজমেকার পাইপলাইন, বা সেজমেকার ইনফারেন্স পাইপলাইন. আমরা পছন্দ করি সেজমেকার ইনফারেন্স পাইপলাইন এই উদাহরণে।
এই নোটবুকে, শিরোনাম একটি বিভাগ আছে প্রসেসর তৈরি করুন (এটি SageMaker Pipelines নোটবুকে অভিন্ন, কিন্তু Amazon S3 নোটবুকে, সমতুল্য কোড থাকবে কাজের কনফিগারেশন অধ্যায়). এই বিভাগের নীচে আমাদের অনুমান আর্টিফ্যাক্টের জন্য একটি কনফিগারেশন বলা হয়েছে inference_params
. এটিতে একই তথ্য রয়েছে যা আমরা UI-তে দেখেছি, যথা অনুমান আর্টিফ্যাক্ট নাম এবং অনুমান আউটপুট নোড। এই মানগুলি পূর্বনির্ধারিত করা হবে তবে সংশোধন করা যেতে পারে। এছাড়াও একটি পরামিতি বলা হয় use_inference_params
, যা সেট করা প্রয়োজন True
প্রসেসিং কাজে এই কনফিগারেশন ব্যবহার করতে।
আরও নিচে শিরোনাম একটি অধ্যায় আছে পাইপলাইন ধাপ সংজ্ঞায়িত করুন, যেখানে inference_params
কনফিগারেশনটি কাজের আর্গুমেন্টের একটি তালিকায় যুক্ত করা হয় এবং সেজমেকার ডেটা র্যাংলার প্রক্রিয়াকরণ ধাপের সংজ্ঞায় চলে যায়। Amazon S3 নোটবুকে, job_arguments
অবিলম্বে পরে সংজ্ঞায়িত করা হয় কাজের কনফিগারেশন অধ্যায়.
এই সাধারণ কনফিগারেশনগুলির সাথে, এই নোটবুক দ্বারা তৈরি প্রক্রিয়াকরণ কাজটি আমাদের ফ্লো ফাইলের মতো একই S3 অবস্থানে একটি অনুমান আর্টিফ্যাক্ট তৈরি করবে (আমাদের নোটবুকে আগে সংজ্ঞায়িত করা হয়েছে)। আমরা প্রোগ্রামগতভাবে এই S3 অবস্থান নির্ধারণ করতে পারি এবং ব্যবহার করে একটি SageMaker মডেল তৈরি করতে এই শিল্পকর্মটি ব্যবহার করতে পারি সেজমেকার পাইথন এসডিকে, যা সেজমেকার ইনফারেন্স পাইপলাইন নোটবুকে প্রদর্শিত হয়।
একই পদ্ধতি যেকোন পাইথন কোডে প্রয়োগ করা যেতে পারে যা একটি সেজমেকার ডেটা র্যাংলার প্রসেসিং কাজ তৈরি করে।
অনুমানের সময় ইনপুট এবং আউটপুটের জন্য JSON ফাইল ফর্ম্যাট সমর্থন
ওয়েবসাইট এবং অ্যাপ্লিকেশনগুলির জন্য API-এর জন্য অনুরোধ/প্রতিক্রিয়া হিসাবে JSON ব্যবহার করা খুব সাধারণ যাতে তথ্যগুলি বিভিন্ন প্রোগ্রামিং ভাষার দ্বারা পার্স করা সহজ হয়৷
পূর্বে, আপনার একটি প্রশিক্ষিত মডেল থাকার পরে, আপনি শুধুমাত্র একটি সেজমেকার ডেটা র্যাংলার ইনফরেন্স পাইপলাইনে একটি ইনপুট ফর্ম্যাট হিসাবে CSV এর মাধ্যমে এটির সাথে ইন্টারঅ্যাক্ট করতে পারেন। আজ, আপনি একটি ইনপুট এবং আউটপুট ফর্ম্যাট হিসাবে JSON ব্যবহার করতে পারেন, SageMaker ডেটা র্যাংলার ইনফারেন্স কন্টেনারগুলির সাথে ইন্টারঅ্যাক্ট করার সময় আরও নমনীয়তা প্রদান করে৷
ইনফরেন্স পাইপলাইন নোটবুকে ইনপুট এবং আউটপুটের জন্য JSON ব্যবহার শুরু করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- একটি পেলোড সংজ্ঞায়িত করুন।
প্রতিটি পেলোডের জন্য, মডেলটি একটি কী নামের উদাহরণের প্রত্যাশা করছে। মান হল বস্তুর একটি তালিকা, প্রতিটি তার নিজস্ব ডেটা পয়েন্ট। বস্তুর জন্য বৈশিষ্ট্য নামক একটি কী প্রয়োজন, এবং মানগুলি একটি একক ডেটা পয়েন্টের বৈশিষ্ট্য হওয়া উচিত যা মডেলে জমা দেওয়ার উদ্দেশ্যে। একক অনুরোধে একাধিক ডেটা পয়েন্ট জমা দেওয়া যেতে পারে, প্রতি অনুরোধের মোট আকার 6 MB পর্যন্ত।
নিম্নলিখিত কোডটি দেখুন:
- উল্লেখ
ContentType
asapplication/json
. - মডেলে ডেটা প্রদান করুন এবং JSON বিন্যাসে অনুমান গ্রহণ করুন।
দেখ অনুমানের জন্য সাধারণ ডেটা বিন্যাস নমুনা ইনপুট এবং আউটপুট JSON উদাহরণের জন্য।
পরিষ্কার কর
আপনি যখন সেজমেকার ডেটা র্যাংলার ব্যবহার করা শেষ করেন, তখন আমরা সুপারিশ করি যে আপনি অতিরিক্ত চার্জ এড়াতে এটি চালু হওয়া দৃষ্টান্তটি বন্ধ করে দিন। সেজমেকার ডেটা র্যাংলার অ্যাপ এবং সংশ্লিষ্ট দৃষ্টান্ত কীভাবে বন্ধ করতে হয় তার নির্দেশাবলীর জন্য, দেখুন ডাটা র্যাংলার বন্ধ করুন.
উপসংহার
S3 ম্যানিফেস্ট ফাইলের জন্য সমর্থন, অনুমান ক্ষমতা এবং JSON ফর্ম্যাট ইন্টিগ্রেশন সহ সেজমেকার ডেটা র্যাংলারের নতুন বৈশিষ্ট্যগুলি ডেটা প্রস্তুতির অপারেশনাল অভিজ্ঞতাকে রূপান্তরিত করে। এই উন্নতিগুলি ডেটা আমদানিকে স্ট্রীমলাইন করে, ডেটা ট্রান্সফর্মেশন স্বয়ংক্রিয় করে এবং JSON ডেটার সাথে কাজ সহজ করে। এই বৈশিষ্ট্যগুলির সাহায্যে, আপনি আপনার অপারেশনাল দক্ষতা বাড়াতে পারেন, ম্যানুয়াল প্রচেষ্টা কমাতে পারেন এবং সহজেই আপনার ডেটা থেকে মূল্যবান অন্তর্দৃষ্টি বের করতে পারেন। সেজমেকার ডেটা র্যাংলারের নতুন বৈশিষ্ট্যগুলির শক্তিকে আলিঙ্গন করুন এবং আপনার ডেটা প্রস্তুতির কর্মপ্রবাহের সম্পূর্ণ সম্ভাবনা আনলক করুন৷
সেজমেকার ডেটা র্যাংলারের সাথে শুরু করতে, এর সর্বশেষ তথ্য দেখুন সেজমেকার ডেটা র্যাংলার পণ্য পৃষ্ঠা.
লেখক সম্পর্কে
মুনীশ ডাবরা Amazon Web Services (AWS) এর একজন প্রধান সমাধান স্থপতি। তার বর্তমান ফোকাসের ক্ষেত্রগুলি হল AI/ML এবং পর্যবেক্ষণযোগ্যতা। স্কেলেবল ডিস্ট্রিবিউটেড সিস্টেম ডিজাইন এবং নির্মাণে তার একটি শক্তিশালী পটভূমি রয়েছে। তিনি গ্রাহকদের AWS-এ তাদের ব্যবসার উদ্ভাবন এবং রূপান্তর করতে সাহায্য করতে উপভোগ করেন। লিঙ্কডইন: /এমডাব্রা
প্যাট্রিক লিন অ্যামাজন সেজমেকার ডেটা র্যাংলারের সাথে একজন সফটওয়্যার ডেভেলপমেন্ট ইঞ্জিনিয়ার। তিনি Amazon SageMaker Data Wrangler কে উৎপাদনকৃত ML কর্মপ্রবাহের জন্য এক নম্বর ডেটা প্রস্তুতির টুল তৈরি করতে প্রতিশ্রুতিবদ্ধ। কাজের বাইরে, আপনি তাকে পড়তে, গান শুনতে, বন্ধুদের সাথে কথোপকথন করতে এবং তার চার্চে পরিবেশন করতে দেখতে পারেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। মোটরগাড়ি / ইভি, কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- ব্লকঅফসেট। পরিবেশগত অফসেট মালিকানার আধুনিকীকরণ। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/optimize-data-preparation-with-new-features-in-aws-sagemaker-data-wrangler/
- : আছে
- : হয়
- :না
- :কোথায়
- $ ইউপি
- 100
- 1996
- 2014
- 7
- 8
- 9
- a
- স্টক
- যোগ
- অতিরিক্ত
- উপরন্তু
- গৃহীত
- পর
- এআই / এমএল
- সব
- অনুমতি
- অনুমতি
- এছাড়াও
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- অ্যামাজন সেজমেকার অটোপাইলট
- অ্যামাজন সেজমেকার ডেটা র্যাংলার
- অ্যামাজন ওয়েব সার্ভিসেস
- আমাজন ওয়েব সার্ভিসেস (এডব্লিউএস)
- পরিমাণে
- an
- এবং
- কোন
- API গুলি
- অ্যাপ্লিকেশন
- অ্যাপ্লিকেশন
- ফলিত
- প্রয়োগ করা
- অভিগমন
- রয়েছি
- এলাকার
- আর্গুমেন্ট
- AS
- যুক্ত
- At
- স্বয়ংক্রিয় পদ্ধতি প্রয়োগ করা
- স্বয়ংক্রিয়ভাবে
- এড়াতে
- ডেস্কটপ AWS
- পটভূমি
- ভিত্তি
- BE
- পরিণত
- হচ্ছে
- সর্বোত্তম
- বিশাল
- উভয়
- পাদ
- বিরতি
- নির্মাণ করা
- ভবন
- বিল্ট-ইন
- ব্যবসায়
- কিন্তু
- by
- নামক
- CAN
- ক্ষমতা
- কেস
- পরিবর্তন
- চার্জ
- চেক
- বেছে নিন
- নির্বাচন
- গির্জা
- পরিস্কার করা
- কোড
- স্তম্ভ
- প্রতিজ্ঞাবদ্ধ
- সাধারণ
- উপযুক্ত
- সম্পূর্ণ
- সমাপ্ত
- কনফিগারেশন
- কনসোল
- ক্ষয়প্রাপ্ত
- কন্টেনারগুলি
- ধারণ
- কথোপকথন
- অনুরূপ
- পারা
- সৃষ্টি
- নির্মিত
- সৃষ্টি
- তৈরি করা হচ্ছে
- সংকটপূর্ণ
- বর্তমান
- ক্রেতা
- গ্রাহকদের
- উপাত্ত
- তথ্য বিনিময়
- ডেটা পয়েন্ট
- ডেটা প্রস্তুতি
- তথ্য প্রক্রিয়াজাতকরণ
- তথ্য চালিত
- ডেটাসেট
- দিন
- সিদ্ধান্ত নেন
- অক্ষমতা
- সংজ্ঞায়িত
- সংজ্ঞা
- উপত্যকা
- প্রদর্শিত
- স্থাপন
- মোতায়েন
- বিস্তৃতি
- পরিকল্পিত
- ফন্দিবাজ
- গন্তব্য
- বিস্তারিত
- নির্ধারণ
- উন্নয়ন
- বিভিন্ন
- আলোচনা করা
- বণ্টিত
- বিতরণ সিস্টেম
- do
- নিচে
- সময়
- প্রতি
- পূর্বে
- আরাম
- সহজ
- সহজ
- ইকোসিস্টেম
- দক্ষতা
- দক্ষ
- দক্ষতার
- প্রচেষ্টা
- পারেন
- আলিঙ্গন
- সম্ভব
- সক্রিয়
- সর্বশেষ সীমা
- শেষপ্রান্ত
- প্রকৌশলী
- প্রকৌশল
- উন্নত করা
- উন্নত বৈশিষ্ট্য
- বাড়ায়
- প্রবেশ করান
- সমগ্র
- পরিবেশ
- সমতুল্য
- বিশেষত
- কখনো
- প্রতি
- প্রতিদিন
- সব
- উদাহরণ
- উদাহরণ
- বিনিময়
- আশা করা
- অভিজ্ঞতা
- পরীক্ষা
- পরীক্ষা-নিরীক্ষা
- অন্বেষণ
- অন্বেষণ করুণ
- রপ্তানি
- রপ্তানির
- প্রসার
- নির্যাস
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- কয়েক
- ফাইল
- নথি পত্র
- আবিষ্কার
- নমনীয়তা
- প্রবাহ
- প্রবাহ
- কেন্দ্রবিন্দু
- অনুসরণ করা
- অনুসরণ
- জন্য
- ফর্ম
- বিন্যাস
- বন্ধুদের
- থেকে
- সম্পূর্ণ
- অধিকতর
- উত্পাদন করা
- উত্পন্ন
- পাওয়া
- অতিশয়
- ছিল
- হাতল
- আছে
- জমিদারি
- he
- সাহায্য
- উচ্চ
- হাইলাইট
- তাকে
- তার
- কিভাবে
- কিভাবে
- এইচটিএমএল
- HTTPS দ্বারা
- i
- অভিন্ন
- আইডেন্টিফায়ার
- if
- ভাবমূর্তি
- অবিলম্বে
- আমদানি
- আমদানি
- উন্নত করা
- in
- অন্তর্ভুক্ত
- সুদ্ধ
- তথ্য
- পরিবর্তন করা
- ইনপুট
- অর্ন্তদৃষ্টি
- উদাহরণ
- নির্দেশাবলী
- ইন্টিগ্রেশন
- অভিপ্রেত
- গর্ভনাটিকা
- আলাপচারিতার
- ইন্টারেক্টিভ
- ইন্টারফেস
- মধ্যে
- স্বজ্ঞাত
- IT
- এর
- জাভাস্ক্রিপ্ট
- কাজ
- JPG
- JSON
- জুলাই
- মাত্র
- চাবি
- ভাষাসমূহ
- বড়
- গত
- পরে
- সর্বশেষ
- শুরু করা
- শিক্ষা
- দিন
- উচ্চতা
- মত
- সীমিত
- LINK
- লিঙ্কডইন
- তালিকা
- শ্রবণ
- পাখি
- অবস্থান
- দেখুন
- মেশিন
- মেশিন লার্নিং
- করা
- মেকিং
- পরিচালনা করা
- ম্যানুয়াল
- মে..
- মেনু
- মেটাডাটা
- পদ্ধতি
- হতে পারে
- মিলিয়ন
- মিনিট
- অনুপস্থিত
- ML
- এমএলওএস
- মডেল
- মডেল
- আধুনিক
- পরিবর্তিত
- অধিক
- আরো দক্ষ
- বহু
- সঙ্গীত
- অবশ্যই
- নাম
- নামে
- যথা
- স্থানীয়
- প্রয়োজনীয়
- প্রয়োজন
- চাহিদা
- নতুন
- নতুন বৈশিষ্ট
- সদ্য
- পরবর্তী
- না।
- নোড
- নোটবই
- এখন
- সংখ্যা
- লক্ষ্য
- বস্তু
- of
- on
- ONE
- কেবল
- কর্মক্ষম
- অনুকূল
- অপ্টিমিজ
- পছন্দ
- অপশন সমূহ
- or
- অন্যান্য
- আমাদের
- বাইরে
- আউটপুট
- বাহিরে
- নিজের
- স্থিতিমাপ
- পরামিতি
- গৃহীত
- পথ
- প্রতি
- সম্পাদন করা
- বাছাই
- পাইপলাইন
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- যোগ
- বিন্দু
- পয়েন্ট
- পোস্ট
- সম্ভাব্য
- ক্ষমতা
- ভবিষ্যদ্বাণী করা
- পূর্বাভাস
- প্রস্তুতি
- প্রস্তুত করা
- প্রস্তুত
- চমত্কার
- পূর্বে
- অধ্যক্ষ
- প্রক্রিয়া
- প্রক্রিয়াকৃত
- প্রক্রিয়াজাতকরণ
- পণ্য
- পণ্য পর্যালোচনা
- উত্পাদনের
- কর্মসূচি
- প্রোগ্রামিং
- প্রোগ্রামিং ভাষা
- প্রকল্প
- প্রদান
- প্রদানের
- পাইথন
- পড়া
- প্রকৃত সময়
- গ্রহণ করা
- সুপারিশ করা
- হ্রাস করা
- হ্রাস
- মুক্তি
- প্রাসঙ্গিক
- অপসারণ
- চিত্রিত করা
- প্রতিনিধিত্বমূলক
- অনুরোধ
- প্রয়োজন
- সংস্থান
- ফলে এবং
- ফলাফল
- এখানে ক্লিক করুন
- পর্যালোচনা
- অধিকার
- ভূমিকা
- রান
- s
- ঋষি নির্মাতা
- সেজমেকার ইনফারেন্স
- সেজমেকার পাইপলাইন
- একই
- করাত
- মাপযোগ্য
- নির্বিঘ্ন
- নির্বিঘ্নে
- অধ্যায়
- দেখ
- নির্বাচন
- নির্বাচন
- সেবা
- ভজনা
- সেশন
- সেট
- সেটিংস
- বিভিন্ন
- উচিত
- প্রদর্শনী
- বন্ধ করুন
- চিহ্ন
- সহজ
- সরলীকৃত
- সহজতর করা
- সরলীকরণ
- একক
- আয়তন
- ছোট
- ক্ষুদ্রতর
- So
- সফটওয়্যার
- সফটওয়্যার উন্নয়ন
- সমাধান
- সলিউশন
- বিস্তৃত
- বিশেষভাবে
- বিভক্ত করা
- শুরু
- শুরু
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- স্টোরেজ
- সঞ্চিত
- স্ট্রিমলাইন
- streamlining
- শক্তিশালী
- কাঠামোবদ্ধ
- জমা
- পেশ
- এমন
- সমর্থন
- সমর্থন
- নিশ্চিত
- সিস্টেম
- গ্রহণ করা
- লাগে
- লক্ষ্য
- যে
- সার্জারির
- তথ্য
- তাদের
- তারপর
- সেখানে।
- এইগুলো
- এই
- সেগুলো
- দ্বারা
- সময়
- খেতাবধারী
- থেকে
- আজ
- অত্যধিক
- টুল
- সরঞ্জাম
- মোট
- রেলগাড়ি
- প্রশিক্ষিত
- প্রশিক্ষণ
- রুপান্তর
- রুপান্তর
- রূপান্তরের
- রুপান্তরিত
- রূপান্তরগুলির
- দ্বিগুণ
- ui
- অধীনে
- আনলক
- আপলোড করা
- ব্যবহার
- ব্যবহার ক্ষেত্রে
- ব্যবহৃত
- ব্যবহার
- দামি
- মূল্য
- মানগুলি
- খুব
- মাধ্যমে
- চেক
- কল্পনা
- প্রয়োজন
- চেয়েছিলেন
- we
- ওয়েব
- ওয়েব সার্ভিস
- ওয়েবসাইট
- সপ্তাহ
- আমরা একটি
- কখন
- যে
- ব্যাপকভাবে
- ইচ্ছা
- সঙ্গে
- হয়া যাই ?
- কর্মপ্রবাহ
- কর্মপ্রবাহ
- কাজ
- আপনি
- আপনার
- zephyrnet