প্যারামিটারাইজড ডেটাসেট এবং নির্ধারিত কাজের সাথে আপনার Amazon SageMaker Data Wrangler ওয়ার্কলোডের আরও নিয়ন্ত্রণ পান

ডেটা প্রতিটি ক্ষেত্র এবং প্রতিটি ব্যবসাকে রূপান্তরিত করছে। যাইহোক, বেশির ভাগ কোম্পানি ট্র্যাক রাখতে পারে তার চেয়ে দ্রুত ক্রমবর্ধমান ডেটার সাথে, ডেটা সংগ্রহ করা এবং সেই ডেটা থেকে মূল্য অর্জন করা একটি চ্যালেঞ্জিং কাজ। ক আধুনিক তথ্য কৌশল আপনাকে ডেটা দিয়ে আরও ভাল ব্যবসায়িক ফলাফল তৈরি করতে সাহায্য করতে পারে। AWS এর জন্য পরিষেবার সবচেয়ে সম্পূর্ণ সেট প্রদান করে শেষ থেকে শেষ ডেটা যাত্রা তোমাকে সাহায্যর জন্য আপনার ডেটা থেকে মান আনলক করুন এবং এটি অন্তর্দৃষ্টিতে পরিণত করুন।

ডেটা বিজ্ঞানীরা মেশিন লার্নিং (এমএল) প্রকল্পগুলির জন্য ডেটা প্রস্তুত করতে তাদের 80% পর্যন্ত সময় ব্যয় করতে পারেন। এই প্রস্তুতির প্রক্রিয়াটি মূলত আলাদা এবং ক্লান্তিকর কাজ, এবং এতে একাধিক প্রোগ্রামিং API এবং কাস্টম লাইব্রেরি জড়িত থাকতে পারে। অ্যামাজন সেজমেকার ডেটা র্যাংলার ডেটা সায়েন্টিস্ট এবং ডেটা ইঞ্জিনিয়ারদের একটি ভিজ্যুয়াল ইন্টারফেসের মাধ্যমে ট্যাবুলার এবং টাইম সিরিজ ডেটা প্রস্তুতি এবং ফিচার ইঞ্জিনিয়ারিংকে সহজ এবং ত্বরান্বিত করতে সহায়তা করে। আপনি একাধিক ডেটা উত্স থেকে ডেটা আমদানি করতে পারেন, যেমন আমাজন সিম্পল স্টোরেজ সার্ভিস (অ্যামাজন এস 3), অ্যামাজন অ্যাথেনা, আমাজন রেডশিফ্ট, বা এমনকি তৃতীয় পক্ষের সমাধান যেমন তুষারকণা or ডেটাব্রিক্স, এবং 300 টিরও বেশি অন্তর্নির্মিত ডেটা রূপান্তর এবং কোড স্নিপেটগুলির একটি লাইব্রেরি সহ আপনার ডেটা প্রক্রিয়া করুন, যাতে আপনি কোনও কোড না লিখে দ্রুত স্বাভাবিককরণ, রূপান্তর এবং বৈশিষ্ট্যগুলিকে একত্রিত করতে পারেন৷ এছাড়াও আপনি PySpark, SQL, বা Pandas-এ আপনার কাস্টম রূপান্তর আনতে পারেন।

এই পোস্টটি দেখায় যে আপনি কীভাবে আপনার ডেটা প্রস্তুতির কাজগুলি স্বয়ংক্রিয়ভাবে চালানোর জন্য নির্ধারিত করতে পারেন। আমরা প্যারামিটারাইজড ডেটাসেটের নতুন ডেটা র্যাংলার ক্ষমতাও অন্বেষণ করি, যা আপনাকে প্যারামিটারাইজড ইউআরআই-এর মাধ্যমে ডেটা ফ্লোতে অন্তর্ভুক্ত করা ফাইলগুলিকে নির্দিষ্ট করতে দেয়।

সমাধান ওভারভিউ

ডেটা র‍্যাংলার এখন প্যারামিটারাইজড ইউআরআই ব্যবহার করে ডেটা আমদানি সমর্থন করে। এটি আরও নমনীয়তার জন্য অনুমতি দেয় কারণ আপনি এখন নির্দিষ্ট পরামিতিগুলির সাথে মিলে যাওয়া সমস্ত ডেটাসেট আমদানি করতে পারেন, যা URI-তে স্ট্রিং, নম্বর, তারিখ সময় এবং প্যাটার্ন হতে পারে৷ উপরন্তু, আপনি এখন একটি সময়সূচীতে আপনার ডেটা র্যাংলার রূপান্তর কাজগুলি ট্রিগার করতে পারেন।

এই পোস্টে, আমরা টাইটানিক ডেটাসেটের সাথে একটি নমুনা প্রবাহ তৈরি করেছি যাতে আপনি কীভাবে এই দুটি নতুন ডেটা র্যাংলারের বৈশিষ্ট্যগুলি নিয়ে পরীক্ষা শুরু করতে পারেন। ডেটাসেট ডাউনলোড করতে, পড়ুন টাইটানিক - দুর্যোগ থেকে মেশিন লার্নিং.

পূর্বশর্ত

এই পোস্টে বর্ণিত সমস্ত বৈশিষ্ট্য পেতে, আপনাকে ডেটা র্যাংলারের সর্বশেষ কার্নেল সংস্করণটি চালাতে হবে। আরো তথ্যের জন্য, পড়ুন ডেটা র্যাংলার আপডেট করুন. উপরন্তু, আপনি চলমান করা প্রয়োজন অ্যামাজন সেজমেকার স্টুডিও JupyterLab 3. বর্তমান সংস্করণ দেখতে এবং এটি আপডেট করতে, পড়ুন জুপিটারল্যাব সংস্করণ.

ফাইল কাঠামো

এই প্রদর্শনের জন্য, আমরা একটি সাধারণ ফাইল কাঠামো অনুসরণ করি যা এই পোস্টে বর্ণিত ধাপগুলি পুনরুত্পাদন করার জন্য আপনাকে অবশ্যই প্রতিলিপি করতে হবে।

1. স্টুডিওতে, একটি নতুন নোটবুক তৈরি করুন.
2. আমরা যে ফোল্ডার স্ট্রাকচার ব্যবহার করি তা তৈরি করতে নিম্নলিখিত কোড স্নিপেটটি চালান (নিশ্চিত করুন যে আপনি আপনার ফাইল ট্রিতে পছন্দসই ফোল্ডারে আছেন):

   !mkdir titanic_dataset
   !mkdir titanic_dataset/datetime_data
   !mkdir titanic_dataset/datetime_data/2021
   !mkdir titanic_dataset/datetime_data/2022
   
   !mkdir titanic_dataset/datetime_data/2021/01 titanic_dataset/datetime_data/2021/02 titanic_dataset/datetime_data/2021/03 
   !mkdir titanic_dataset/datetime_data/2021/04 titanic_dataset/datetime_data/2021/05 titanic_dataset/datetime_data/2021/06
   !mkdir titanic_dataset/datetime_data/2022/01 titanic_dataset/datetime_data/2022/02 titanic_dataset/datetime_data/2022/03 
   !mkdir titanic_dataset/datetime_data/2022/04 titanic_dataset/datetime_data/2022/05 titanic_dataset/datetime_data/2022/06
   
   !mkdir titanic_dataset/datetime_data/2021/01/01 titanic_dataset/datetime_data/2021/02/01 titanic_dataset/datetime_data/2021/03/01 
   !mkdir titanic_dataset/datetime_data/2021/04/01 titanic_dataset/datetime_data/2021/05/01 titanic_dataset/datetime_data/2021/06/01
   !mkdir titanic_dataset/datetime_data/2022/01/01 titanic_dataset/datetime_data/2022/02/01 titanic_dataset/datetime_data/2022/03/01 
   !mkdir titanic_dataset/datetime_data/2022/04/01 titanic_dataset/datetime_data/2022/05/01 titanic_dataset/datetime_data/2022/06/01
   
   !mkdir titanic_dataset/train_1 titanic_dataset/train_2 titanic_dataset/train_3 titanic_dataset/train_4 titanic_dataset/train_5
   !mkdir titanic_dataset/train titanic_dataset/test

3. কপি করুন train.csv এবং test.csv মূল টাইটানিক ডেটাসেট থেকে ফোল্ডারে ফাইল titanic_dataset/train এবং titanic_dataset/test, যথাক্রমে।
4. প্রয়োজনীয় ফাইলগুলির সাথে ফোল্ডারগুলি পূরণ করতে নিম্নলিখিত কোড স্নিপেটটি চালান:

   import os
   import math
   import pandas as pd
   batch_size = 100
   
   #Get a list of all the leaf nodes in the folder structure
   leaf_nodes = []
   
   for root, dirs, files in os.walk('titanic_dataset'):
       if not dirs:
           if root != "titanic_dataset/test" and root != "titanic_dataset/train":
               leaf_nodes.append(root)
               
   titanic_df = pd.read_csv('titanic_dataset/train/train.csv')
   
   #Create the mini batch files
   for i in range(math.ceil(titanic_df.shape[0]/batch_size)):
       batch_df = titanic_df[i*batch_size:(i+1)*batch_size]
       
       #Place a copy of each mini batch in each one of the leaf folders
       for node in leaf_nodes:
           batch_df.to_csv(node+'/part_{}.csv'.format(i), index=False)

আমরা বিভক্ত train.csv টাইটানিক ডেটাসেটের ফাইলটি নয়টি ভিন্ন ফাইলে, নামকরণ করা হয়েছে part_x, যেখানে x অংশটির সংখ্যা। পার্ট 0-এ প্রথম 100টি রেকর্ড রয়েছে, পার্ট 1 এর পরের 100টি, এবং পার্ট 8 পর্যন্ত। train এবং test ফোল্ডার, যা ধারণ করে train.csv এবং test.csv.

প্যারামিটারাইজড ডেটাসেট

ডেটা র্যাংলার ব্যবহারকারীরা এখন Amazon S3 থেকে আমদানি করা ডেটাসেটের জন্য পরামিতি নির্দিষ্ট করতে পারেন। ডেটাসেট প্যারামিটারগুলি সংস্থানগুলির URI-তে নির্দিষ্ট করা হয় এবং এর মান গতিশীলভাবে পরিবর্তন করা যেতে পারে, আমরা যে ফাইলগুলি আমদানি করতে চাই তা নির্বাচন করার জন্য আরও নমনীয়তার অনুমতি দেয়। পরামিতি চার ধরনের ডেটা হতে পারে:

• সংখ্যা - যেকোনো পূর্ণসংখ্যার মান নিতে পারে
• স্ট্রিং - যেকোনো টেক্সট স্ট্রিং এর মান নিতে পারে
• প্যাটার্ন - যেকোনো রেগুলার এক্সপ্রেশনের মান নিতে পারে
• DATETIME - সমর্থিত তারিখ/সময় বিন্যাসের যেকোনো মান নিতে পারে

এই বিভাগে, আমরা এই নতুন বৈশিষ্ট্যের একটি ওয়াকথ্রু প্রদান করি। আপনি আপনার বর্তমান প্রবাহে আপনার ডেটাসেট আমদানি করার পরে এবং শুধুমাত্র Amazon S3 থেকে আমদানি করা ডেটাসেটের জন্য এটি উপলব্ধ।

1. আপনার ডেটা প্রবাহ থেকে, আমদানি পদক্ষেপের পাশে প্লাস (+) চিহ্নটি নির্বাচন করুন এবং নির্বাচন করুন৷ ডেটাসেট সম্পাদনা করুন.
2. নতুন প্যারামিটার তৈরি করার পছন্দের (এবং সবচেয়ে সহজ) পদ্ধতি হল আপনার URI-এর একটি অংশ হাইলাইট করা এবং বেছে নেওয়া কাস্টম প্যারামিটার তৈরি করুন ড্রপ-ডাউন মেনুতে। আপনি তৈরি করতে চান প্রতিটি প্যারামিটারের জন্য আপনাকে চারটি জিনিস নির্দিষ্ট করতে হবে:
   1. নাম
   2. আদর্শ
   3. ডিফল্ট মান
   4. বিবরণ

   
   এখানে আমরা স্ট্রিং টাইপ প্যারামিটার তৈরি করেছি filename_param এর একটি ডিফল্ট মান সহ train.csv. এখন আপনি প্যারামিটারের নামটি ডবল বন্ধনীতে আবদ্ধ দেখতে পাচ্ছেন, যা আমরা পূর্বে হাইলাইট করা URI-এর অংশটিকে প্রতিস্থাপন করে। কারণ এই প্যারামিটারের জন্য নির্ধারিত মান ছিল train.csv, আমরা এখন ফাইলটি দেখতে পাচ্ছি train.csv আমদানি টেবিলে তালিকাভুক্ত।
   

3. যখন আমরা একটি রূপান্তর কাজ তৈরি করার চেষ্টা, উপর কাজ কনফিগার করুন পদক্ষেপ, আমরা এখন একটি দেখতে পরামিতি বিভাগ, যেখানে আমরা আমাদের সমস্ত সংজ্ঞায়িত প্যারামিটারের একটি তালিকা দেখতে পারি।
4. প্যারামিটার নির্বাচন করা আমাদের প্যারামিটারের মান পরিবর্তন করার বিকল্প দেয়, এই ক্ষেত্রে, ইনপুট ডেটাসেট পরিবর্তন করা সংজ্ঞায়িত প্রবাহ অনুযায়ী রূপান্তরিত হবে।
   ধরে নিই আমরা এর মান পরিবর্তন করি filename_param থেকে train.csv থেকে part_0.csv, রূপান্তর কাজ এখন লাগে part_0.csv (নাম সহ একটি ফাইল প্রদান করা হয়েছে part_0.csv একই ফোল্ডারের অধীনে বিদ্যমান) এর নতুন ইনপুট ডেটা হিসাবে।
   
5. অতিরিক্তভাবে, যদি আপনি আপনার প্রবাহকে একটি Amazon S3 গন্তব্যে (একটি Jupyter নোটবুকের মাধ্যমে) রপ্তানি করার চেষ্টা করেন, তাহলে আপনি এখন আপনার সংজ্ঞায়িত প্যারামিটার সমন্বিত একটি নতুন সেল দেখতে পাবেন।
   মনে রাখবেন যে প্যারামিটারটি তাদের ডিফল্ট মান নেয়, তবে আপনি এর মান প্রতিস্থাপন করে এটি পরিবর্তন করতে পারেন parameter_overrides অভিধান (অভিধানের কী অপরিবর্তিত রাখার সময়)।
   
   উপরন্তু, আপনি থেকে নতুন পরামিতি তৈরি করতে পারেন পরামিতি UI 'তে।
6. প্যারামিটার আইকন নির্বাচন করে এটি খুলুন ({{}}) এর পাশে অবস্থিত Go বিকল্প; উভয়ই URI পাথ মানের পাশে অবস্থিত।
   আপনার ফ্লো ফাইলে বর্তমানে বিদ্যমান সমস্ত প্যারামিটার সহ একটি টেবিল খোলে (filename_param এই মুহূর্তে).
7. আপনি পছন্দ করে আপনার প্রবাহের জন্য নতুন প্যারামিটার তৈরি করতে পারেন প্যারামিটার তৈরি করুন.
   
   আপনাকে একটি নতুন কাস্টম প্যারামিটার তৈরি করতে দেওয়ার জন্য একটি পপ-আপ উইন্ডো খোলে৷
8. এখানে, আমরা একটি নতুন তৈরি করেছি example_parameter 0 এর ডিফল্ট মান সহ সংখ্যার ধরন হিসাবে। এই নতুন তৈরি প্যারামিটারটি এখন তালিকাভুক্ত করা হয়েছে পরামিতি টেবিল প্যারামিটারের উপর ঘোরানো বিকল্পগুলি প্রদর্শন করে সম্পাদন করা, মুছে ফেলা, এবং সন্নিবেশ.
9. মধ্যে থেকে পরামিতি UI, আপনি পছন্দসই প্যারামিটার নির্বাচন করে এবং পছন্দ করে আপনার একটি প্যারামিটার URI-তে সন্নিবেশ করতে পারেন সন্নিবেশ.
   এটি আপনার URI-এর শেষে প্যারামিটার যোগ করে। আপনাকে এটিকে আপনার URI-এর মধ্যে পছন্দসই বিভাগে নিয়ে যেতে হবে।
   
10. প্যারামিটারের ডিফল্ট মান পরিবর্তন করুন, পরিবর্তনটি প্রয়োগ করুন (মডেল থেকে), নির্বাচন করুন Go, এবং নতুন সংজ্ঞায়িত প্যারামিটারের মানের উপর ভিত্তি করে নির্বাচিত ডেটাসেট ব্যবহার করে পূর্বরূপ তালিকা আপডেট করতে রিফ্রেশ আইকনটি বেছে নিন।এখন অন্যান্য পরামিতি প্রকারের অন্বেষণ করা যাক। ধরে নিন আমাদের কাছে এখন একটি ডেটাসেট একাধিক অংশে বিভক্ত হয়েছে, যেখানে প্রতিটি ফাইলের একটি অংশ নম্বর রয়েছে।
11. আমরা যদি ফাইল নম্বরটি গতিশীলভাবে পরিবর্তন করতে চাই তবে আমরা নিম্নলিখিত স্ক্রিনশটে দেখানো হিসাবে একটি নম্বর প্যারামিটার সংজ্ঞায়িত করতে পারি।মনে রাখবেন যে নির্বাচিত ফাইলটি প্যারামিটারে উল্লিখিত সংখ্যার সাথে মেলে।
    এখন দেখা যাক কিভাবে প্যাটার্ন প্যারামিটার ব্যবহার করতে হয়। ধরুন আমরা সব আমদানি করতে চাই part_1.csv অধীনে সব ফোল্ডারের ফাইল titanic-dataset/ ফোল্ডার প্যাটার্ন প্যারামিটার কোনো বৈধ রেগুলার এক্সপ্রেশন নিতে পারে; উদাহরণ হিসেবে দেখানো কিছু রেজেক্স প্যাটার্ন আছে।
12. নামক একটি প্যাটার্ন প্যারামিটার তৈরি করুন any_pattern এর অধীনে যেকোন ফোল্ডার বা ফাইলের সাথে মেলে titanic-dataset/ ডিফল্ট মান সহ ফোল্ডার .*.লক্ষ্য করুন যে ওয়াইল্ডকার্ডটি একক * (স্টারিস্ক) নয় তবে একটি বিন্দুও রয়েছে।
13. হাইলাইট করুন titanic-dataset/ পথের অংশ এবং একটি কাস্টম প্যারামিটার তৈরি করুন। এই সময় আমরা নির্বাচন প্যাটার্ন টাইপ করুন।এই প্যাটার্নটি কল করা সমস্ত ফাইল নির্বাচন করে part-1.csv নিচের যে কোনো ফোল্ডার থেকে titanic-dataset/.
    একটি প্যারামিটার একটি পথে একাধিকবার ব্যবহার করা যেতে পারে। নিম্নলিখিত উদাহরণে, আমরা আমাদের নতুন তৈরি প্যারামিটার ব্যবহার করি any_pattern আমাদের URI-তে দুইবার পার্ট ফাইলের যেকোন ফোল্ডারের সাথে মেলে titanic-dataset/.
    অবশেষে, একটি ডেটটাইম প্যারামিটার তৈরি করা যাক। ডেটটাইম প্যারামিটারগুলি উপযোগী যখন আমরা তারিখ এবং সময় দ্বারা বিভাজিত পাথগুলির সাথে কাজ করি, যেমন দ্বারা উত্পন্ন আমাজন কিনেস ডেটা ফায়ারহোজ ose (দেখুন কাইনেসিস ডেটা ফায়ারহোসে ডায়নামিক পার্টিশনিং) এই প্রদর্শনের জন্য, আমরা datetime-data ফোল্ডারের অধীনে ডেটা ব্যবহার করি।
14. আপনার পথের অংশটি নির্বাচন করুন যা একটি তারিখ/সময় এবং একটি কাস্টম প্যারামিটার তৈরি করুন। পছন্দ DATETIME পরামিতি প্রকার।
    তারিখ সময় ডেটা টাইপ নির্বাচন করার সময়, আপনাকে আরও বিশদ পূরণ করতে হবে।
15. প্রথমত, আপনাকে একটি তারিখ বিন্যাস প্রদান করতে হবে। আপনি পূর্বনির্ধারিত তারিখ/সময় বিন্যাসের যেকোনো একটি বেছে নিতে পারেন বা একটি কাস্টম তৈরি করতে পারেন।
    পূর্বনির্ধারিত তারিখ/সময় বিন্যাসের জন্য, কিংবদন্তি নির্বাচিত বিন্যাসের সাথে মিলে যাওয়া তারিখের একটি উদাহরণ প্রদান করে। এই প্রদর্শনের জন্য, আমরা বিন্যাস নির্বাচন করি yyyy/MM/dd.
16. পরবর্তী, তারিখ/সময় মানগুলির জন্য একটি সময় অঞ্চল নির্দিষ্ট করুন।
    উদাহরণস্বরূপ, বর্তমান তারিখটি একটি টাইম জোনে জানুয়ারী 1, 2022 হতে পারে তবে অন্য টাইম জোনে 2 জানুয়ারী, 2022 হতে পারে৷
17. অবশেষে, আপনি সময় পরিসীমা নির্বাচন করতে পারেন, যা আপনাকে ফাইলের পরিসীমা নির্বাচন করতে দেয় যা আপনি আপনার ডেটা প্রবাহে অন্তর্ভুক্ত করতে চান।
    আপনি আপনার সময়সীমা ঘন্টা, দিন, সপ্তাহ, মাস বা বছরের মধ্যে নির্দিষ্ট করতে পারেন। এই উদাহরণের জন্য, আমরা গত বছরের সমস্ত ফাইল পেতে চাই।
18. প্যারামিটারের একটি বিবরণ প্রদান করুন এবং নির্বাচন করুন সৃষ্টি.
    আপনি যদি বিভিন্ন সময় অঞ্চল সহ একাধিক ডেটাসেট ব্যবহার করেন তবে সময় স্বয়ংক্রিয়ভাবে রূপান্তরিত হয় না; আপনাকে প্রতিটি ফাইল বা উৎসকে একটি টাইম জোনে রূপান্তর করতে প্রিপ্রসেস করতে হবে।নির্বাচিত ফাইলগুলি গত বছরের ডেটার সাথে সম্পর্কিত ফোল্ডারগুলির অধীনে থাকা সমস্ত ফাইল৷
19. এখন যদি আমরা একটি ডেটা ট্রান্সফরমেশন কাজ তৈরি করি, আমরা আমাদের সমস্ত সংজ্ঞায়িত প্যারামিটারের একটি তালিকা দেখতে পারি, এবং আমরা তাদের ডিফল্ট মানগুলিকে ওভাররাইড করতে পারি যাতে আমাদের ট্রান্সফরমেশন কাজগুলি নির্দিষ্ট ফাইলগুলি বেছে নেয়।
    

প্রক্রিয়াকরণ কাজের সময়সূচী

আপনি এখন ডেটা ট্রান্সফরমেশন কাজগুলিকে স্বয়ংক্রিয়ভাবে চালানোর জন্য এবং আপনার রূপান্তরিত ডেটা Amazon S3 বা রপ্তানি করতে প্রক্রিয়াকরণ কাজের সময়সূচী করতে পারেন আমাজন সেজমেকার ফিচার স্টোর. আপনি আপনার প্রয়োজন অনুসারে সময় এবং পর্যায়ক্রমিকতার সাথে কাজগুলি নির্ধারণ করতে পারেন।

নির্ধারিত প্রক্রিয়াকরণ কাজ ব্যবহার অ্যামাজন ইভেন্টব্রিজ নিয়ম কাজের রান শিডিউল করতে। অতএব, একটি পূর্বশর্ত হিসাবে, আপনি নিশ্চিত করতে হবে যে এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) ভূমিকা ডেটা র্যাংলার দ্বারা ব্যবহৃত হচ্ছে, যথা আমাজন সেজমেকার মৃত্যুদন্ড কার্যকর করার ভূমিকা স্টুডিওর উদাহরণের, ইভেন্টব্রিজ নিয়ম তৈরি করার অনুমতি রয়েছে।

IAM কনফিগার করুন

আইএএম সেজমেকার এক্সিকিউশন ভূমিকার স্টুডিও উদাহরণের সাথে সম্পর্কিত নিম্নলিখিত আপডেটগুলি নিয়ে এগিয়ে যান যেখানে ডেটা র্যাংলার প্রবাহ চলছে:

1. সংযুক্ত করুন AmazonEventBridgeFullAccess পরিচালিত নীতি।
2. একটি প্রক্রিয়াকরণ কাজ তৈরি করার অনুমতি দেওয়ার জন্য একটি নীতি সংযুক্ত করুন:

   {
   	"Version": "2012-10-17",
   	"Statement": [
   		{
   			"Effect": "Allow",
   			"Action": "sagemaker:StartPipelineExecution",
   			"Resource": "arn:aws:sagemaker:Region:AWS-account-id:pipeline/data-wrangler-*"
   		}
   	]
   }

3. নিম্নলিখিত বিশ্বাস নীতি যোগ করে ভূমিকা গ্রহণ করার জন্য EventBridge অনুমতি দিন:

   {
   	"Effect": "Allow",
   	"Principal": {
   		"Service": "events.amazonaws.com"
   	},
   	"Action": "sts:AssumeRole"
   }

বিকল্পভাবে, আপনি যদি প্রসেসিং কাজ চালানোর জন্য একটি ভিন্ন ভূমিকা ব্যবহার করেন, তাহলে সেই ভূমিকায় ধাপ 2 এবং 3-এ বর্ণিত নীতিগুলি প্রয়োগ করুন৷ IAM কনফিগারেশন সম্পর্কে বিস্তারিত জানার জন্য, পড়ুন স্বয়ংক্রিয়ভাবে নতুন ডেটা প্রক্রিয়া করার জন্য একটি সময়সূচী তৈরি করুন.

একটি সময়সূচী তৈরি করুন

একটি সময়সূচী তৈরি করতে, আপনার ফ্লো ডেটা র্যাংলার ফ্লো এডিটরে খুলুন।

1. উপরে তথ্য প্রবাহ ট্যাব, চয়ন করুন চাকরি তৈরি করুন.
2. প্রয়োজনীয় ক্ষেত্রগুলি কনফিগার করুন এবং বেছে নিন পরবর্তী, 2. কাজ কনফিগার করুন.
   
3. বিস্তৃত করা সহযোগী তফসিল.
4. বেছে নিন নতুন সময়সূচী তৈরি করুন.
   
   সার্জারির নতুন সময়সূচী তৈরি করুন ডায়ালগ খোলে, যেখানে আপনি প্রসেসিং কাজের সময়সূচীর বিবরণ সংজ্ঞায়িত করেন।
   ডায়ালগ আপনাকে সময়সূচী সংজ্ঞায়িত করতে সাহায্য করার জন্য দুর্দান্ত নমনীয়তা প্রদান করে। আপনি, উদাহরণস্বরূপ, সপ্তাহের নির্দিষ্ট দিনে একটি নির্দিষ্ট সময়ে বা প্রতি X ঘন্টায় প্রক্রিয়াকরণের কাজ করতে পারেন।
   পর্যায়ক্রম মিনিটের স্তরে দানাদার হতে পারে।
5. সময়সূচীর নাম এবং পর্যায়ক্রম সংজ্ঞায়িত করুন, তারপর চয়ন করুন সৃষ্টি সময়সূচী সংরক্ষণ করতে.
6. আপনার কাছে শিডিউলিংয়ের সাথে সাথেই প্রসেসিং কাজ শুরু করার বিকল্প রয়েছে, যা ভবিষ্যতের রানের যত্ন নেয়, অথবা শুধুমাত্র সময়সূচী অনুযায়ী চালানোর জন্য কাজটি ছেড়ে দিন।
7. আপনি একই প্রক্রিয়াকরণ কাজের জন্য একটি অতিরিক্ত সময়সূচী সংজ্ঞায়িত করতে পারেন।
   
8. প্রক্রিয়াকরণ কাজের জন্য সময়সূচী শেষ করতে, নির্বাচন করুন সৃষ্টি.
   আপনি একটি "কাজের সময়সূচি সফলভাবে" বার্তা দেখতে পাবেন। অতিরিক্তভাবে, আপনি যদি শুধুমাত্র সময়সূচী অনুযায়ী চালনা করার জন্য চাকরি ছেড়ে দেওয়ার সিদ্ধান্ত নেন, তাহলে আপনি ইভেন্টব্রিজ নিয়মের একটি লিঙ্ক দেখতে পাবেন যা আপনি এইমাত্র তৈরি করেছেন।

আপনি যদি সময়সূচী লিঙ্কটি চয়ন করেন, ব্রাউজারে একটি নতুন ট্যাব খোলে, ইভেন্টব্রিজ নিয়মটি দেখায়। এই পৃষ্ঠায়, আপনি নিয়মে আরও পরিবর্তন করতে পারেন এবং এর আহ্বানের ইতিহাস ট্র্যাক করতে পারেন। আপনার নির্ধারিত প্রসেসিং কাজটি চলা থেকে বন্ধ করতে, ইভেন্টের নিয়মটি মুছুন যাতে সময়সূচীর নাম রয়েছে।

ইভেন্টব্রিজ নিয়মটি একটি সেজমেকার পাইপলাইনকে তার লক্ষ্য হিসাবে দেখায়, যা সংজ্ঞায়িত সময়সূচী অনুসারে ট্রিগার হয় এবং পাইপলাইনের অংশ হিসাবে প্রসেসিং কাজটি আহ্বান করা হয়।

সেজমেকার পাইপলাইনের রান ট্র্যাক করতে, আপনি স্টুডিওতে ফিরে যেতে পারেন, বেছে নিন সেজমেকার সম্পদ আইকন, চয়ন করুন পাইপলাইন, এবং আপনি যে পাইপলাইন নামটি ট্র্যাক করতে চান তা চয়ন করুন৷ আপনি এখন সেই পাইপলাইনের সমস্ত বর্তমান এবং অতীত রান এবং স্থিতি সহ একটি টেবিল দেখতে পারেন।

আপনি একটি নির্দিষ্ট এন্ট্রিতে ডাবল ক্লিক করে আরও বিশদ দেখতে পারেন।

পরিষ্কার কর

আপনি যখন ডেটা র‍্যাংলার ব্যবহার করছেন না, তখন অতিরিক্ত ফি খরচ এড়াতে এটি যে দৃষ্টান্তে চলে তা বন্ধ করার পরামর্শ দেওয়া হয়।

কাজ হারানো এড়াতে, ডাটা র্যাংলার বন্ধ করার আগে আপনার ডেটা প্রবাহ সংরক্ষণ করুন।

1. স্টুডিওতে আপনার ডেটা প্রবাহ সংরক্ষণ করতে, বেছে নিন ফাইল, তাহলে বেছে নাও ডেটা র্যাংলার প্রবাহ সংরক্ষণ করুন. ডেটা র্যাংলার স্বয়ংক্রিয়ভাবে প্রতি 60 সেকেন্ডে আপনার ডেটা প্রবাহ সংরক্ষণ করে।
2. ডাটা র‍্যাংলার ইনস্ট্যান্স বন্ধ করতে, স্টুডিওতে, নির্বাচন করুন চলমান দৃষ্টান্ত এবং কার্নেলগুলি.
3. অধীনে চলমান অ্যাপস, এর পাশে শাটডাউন আইকনটি নির্বাচন করুন sagemaker-data-wrangler-1.0 অ্যাপ্লিকেশান।
4. বেছে নিন সব বন্ধ করুন নিশ্চিত করতে.

ডেটা র‍্যাংলার একটি ml.m5.4x বৃহৎ উদাহরণে চলে। এই উদাহরণ থেকে অদৃশ্য হয় চলমান উদাহরণ যখন আপনি ডাটা র‍্যাংলার অ্যাপ বন্ধ করেন।

আপনি ডেটা র্যাংলার অ্যাপটি বন্ধ করার পরে, পরের বার যখন আপনি একটি ডেটা র্যাংলার ফ্লো ফাইল খুলবেন তখন এটি পুনরায় চালু করতে হবে। এই কয়েক মিনিট সময় নিতে পারে.

উপসংহার

এই পোস্টে, আমরা দেখিয়েছি যে আপনি কীভাবে ডেটা র্যাংলার ফ্লো ব্যবহার করে আপনার ডেটাসেটগুলি আমদানি করতে প্যারামিটার ব্যবহার করতে পারেন এবং সেগুলিতে ডেটা ট্রান্সফরমেশন কাজ তৈরি করতে পারেন৷ প্যারামিটারাইজড ডেটাসেটগুলি আপনার ব্যবহার করা ডেটাসেটগুলিতে আরও নমনীয়তার জন্য অনুমতি দেয় এবং আপনাকে আপনার ফ্লো পুনরায় ব্যবহার করার অনুমতি দেয়। আমরা এটাও দেখিয়েছি যে আপনি কীভাবে আপনার ডেটা ট্রান্সফরমেশন স্বয়ংক্রিয় করতে এবং অ্যামাজন S3 বা ফিচার স্টোরে রপ্তানি করতে নির্ধারিত কাজ সেট আপ করতে পারেন, সরাসরি ডেটা র্যাংলারের ইউজার ইন্টারফেসের মধ্যে থেকে আপনার প্রয়োজন অনুসারে সময় এবং পর্যায়ক্রমিকতায়।

ডেটা র্যাংলারের সাথে ডেটা ফ্লো ব্যবহার সম্পর্কে আরও জানতে, পড়ুন একটি ডেটা র্যাংলার ফ্লো তৈরি করুন এবং ব্যবহার করুন এবং অ্যামাজন সেজমেকার প্রাইসিং. ডেটা র্যাংলার দিয়ে শুরু করতে, দেখুন অ্যামাজন সেজমেকার ডেটা র্যাংলার সহ এমএল ডেটা প্রস্তুত করুন.

---

লেখক সম্পর্কে

ডেভিড লারেডো Amazon Web Services-এর প্রোটোটাইপিং এবং ক্লাউড ইঞ্জিনিয়ারিং দলের একজন প্রোটোটাইপিং আর্কিটেক্ট, যেখানে তিনি AWS গ্রাহকদের জন্য একাধিক মেশিন লার্নিং প্রোটোটাইপ তৈরি করতে সাহায্য করেছেন। তিনি গত 6 বছর ধরে মেশিন লার্নিং-এ কাজ করছেন, এমএল মডেলগুলিকে প্রশিক্ষণ ও সূক্ষ্ম-টিউনিং করছেন এবং সেই মডেলগুলিকে উত্পাদন করার জন্য এন্ড-টু-এন্ড পাইপলাইনগুলি বাস্তবায়ন করছেন। তার আগ্রহের ক্ষেত্র হল NLP, ML অ্যাপ্লিকেশন, এবং এন্ড-টু-এন্ড ML।

জিভানিল্ডো আলভেস তিনি আমাজন ওয়েব সার্ভিসে প্রোটোটাইপিং এবং ক্লাউড ইঞ্জিনিয়ারিং টিমের সাথে একজন প্রোটোটাইপিং আর্কিটেক্ট, ক্লায়েন্টদেরকে AWS-এ সম্ভাব্য শিল্প দেখানোর মাধ্যমে উদ্ভাবন এবং ত্বরান্বিত করতে সাহায্য করে, ইতিমধ্যেই কৃত্রিম বুদ্ধিমত্তার আশেপাশে বেশ কয়েকটি প্রোটোটাইপ প্রয়োগ করেছে। সফটওয়্যার ইঞ্জিনিয়ারিংয়ে তার দীর্ঘ কর্মজীবন রয়েছে এবং এর আগে Amazon.com.br-এ সফটওয়্যার ডেভেলপমেন্ট ইঞ্জিনিয়ার হিসেবে কাজ করেছেন।

আদ্রিয়ান ফুয়েন্তেস আমাজন ওয়েব সার্ভিসে প্রোটোটাইপিং এবং ক্লাউড ইঞ্জিনিয়ারিং টিমের সাথে একজন প্রোগ্রাম ম্যানেজার, মেশিন লার্নিং, IoT এবং ব্লকচেইনে গ্রাহকদের জন্য উদ্ভাবন করছে। তার রয়েছে 15 বছরেরও বেশি প্রকল্প পরিচালনা ও বাস্তবায়নের অভিজ্ঞতা এবং AWS-এ 1 বছরের মেয়াদ।