অ্যামাজন সেজমেকার স্টুডিও ল্যাবে ব্যাচের চাকরি হিসেবে নোটবুক চালান

সম্প্রতি, অ্যামাজন সেজমেকার স্টুডিও ব্যাচ জব হিসাবে নোটবুক চালানোর একটি সহজ উপায় চালু করেছে যা পুনরাবৃত্তিমূলক সময়সূচীতে চলতে পারে। অ্যামাজন সেজমেকার স্টুডিও ল্যাব এছাড়াও এই বৈশিষ্ট্যটিকে সমর্থন করে, আপনাকে আপনার AWS অ্যাকাউন্টে সেজমেকার স্টুডিও ল্যাবে বিকাশ করা নোটবুকগুলি চালাতে সক্ষম করে৷ এটি আপনাকে নতুন কিছু শিখতে বা কোডের একটি লাইন পরিবর্তন না করেই বড় ডেটাসেট এবং আরও শক্তিশালী উদাহরণ সহ আপনার মেশিন লার্নিং (ML) পরীক্ষাগুলি দ্রুত স্কেল করতে সক্ষম করে।

এই পোস্টে, আমরা আপনার স্টুডিও ল্যাব পরিবেশকে একটি AWS অ্যাকাউন্টের সাথে সংযুক্ত করার এক সময়ের পূর্বশর্তের মধ্য দিয়ে আপনাকে নিয়ে চলেছি। এর পরে, আমরা আপনাকে স্টুডিও ল্যাব থেকে একটি ব্যাচের কাজ হিসাবে নোটবুকগুলি চালানোর ধাপগুলির মধ্যে দিয়ে চলে যাব।

সমাধান ওভারভিউ

স্টুডিও ল্যাব স্টুডিওর মতো একই এক্সটেনশন অন্তর্ভুক্ত করেছে, যা জুপিটার ওপেন সোর্স এক্সটেনশনের উপর ভিত্তি করে নির্ধারিত নোটবুক. এই এক্সটেনশনে অতিরিক্ত AWS-নির্দিষ্ট প্যারামিটার রয়েছে, যেমন কম্পিউট টাইপ। স্টুডিও ল্যাবে, একটি নির্ধারিত নোটবুক প্রথমে একটিতে অনুলিপি করা হয় আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) আপনার AWS অ্যাকাউন্টে বালতি, তারপর নির্বাচিত গণনা প্রকারের সাথে নির্ধারিত সময়ে চালান। যখন কাজ সম্পূর্ণ হয়, আউটপুট একটি S3 বালতিতে লেখা হয়, এবং AWS গণনা সম্পূর্ণভাবে বন্ধ হয়ে যায়, চলমান খরচ রোধ করে।

পূর্বশর্ত

স্টুডিও ল্যাব নোটবুকের কাজগুলি ব্যবহার করার জন্য, আপনি যে AWS অ্যাকাউন্টের সাথে সংযোগ করতে যাচ্ছেন (বা এই অ্যাক্সেস সহ কারও কাছ থেকে সহায়তা) আপনার প্রশাসনিক অ্যাক্সেস প্রয়োজন। এই পোস্টের বাকি অংশে, আমরা ধরে নিই যে আপনি AWS অ্যাডমিনিস্ট্রেটর, যদি তা না হয়, তাহলে আপনার অ্যাডমিনিস্ট্রেটর বা অ্যাকাউন্টের মালিককে আপনার সাথে এই পদক্ষেপগুলি পর্যালোচনা করতে বলুন।

একটি সেজমেকার এক্সিকিউশন রোল তৈরি করুন

আমাদের নিশ্চিত করতে হবে যে AWS অ্যাকাউন্টে একটি আছে এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) SageMaker মৃত্যুদন্ড কার্যকর ভূমিকা. এই ভূমিকাটি অ্যাকাউন্টের মধ্যে সেজমেকার সংস্থান দ্বারা ব্যবহৃত হয় এবং সেজমেকার থেকে AWS অ্যাকাউন্টের অন্যান্য সংস্থানগুলিতে অ্যাক্সেস সরবরাহ করে। আমাদের ক্ষেত্রে, আমাদের নোটবুকের কাজগুলি এই অনুমতিগুলির সাথে চলে। যদি SageMaker আগে এই অ্যাকাউন্টে ব্যবহার করা হয়ে থাকে, তাহলে একটি ভূমিকা ইতিমধ্যেই বিদ্যমান থাকতে পারে, কিন্তু এতে প্রয়োজনীয় সমস্ত অনুমতি নাও থাকতে পারে। তাই এগিয়ে যান এবং একটি নতুন একটি করা যাক.

এই AWS অ্যাকাউন্টে কতগুলি SageMaker স্টুডিও ল্যাব এনভায়রনমেন্ট অ্যাক্সেস করবে তা নির্বিশেষে নিম্নলিখিত পদক্ষেপগুলি শুধুমাত্র একবার করা দরকার।

1. আইএএম কনসোলে, নির্বাচন করুন ভূমিকা নেভিগেশন ফলকে।
2. বেছে নিন ভূমিকা তৈরি করুন.
3. জন্য বিশ্বস্ত সত্তার ধরন, নির্বাচন করুন এডাব্লুএস পরিষেবা.
4. জন্য অন্যান্য AWS পরিষেবার ক্ষেত্রে কেস ব্যবহার করুননির্বাচন SageMaker.
5. নির্বাচন করা সেজমেকার - এক্সিকিউশন.
6. বেছে নিন পরবর্তী.
7. অনুমতি পর্যালোচনা করুন, তারপর চয়ন করুন পরবর্তী.
8. জন্য নামভূমিকা, একটি নাম লিখুন (এই পোস্টের জন্য, আমরা ব্যবহার করি) sagemaker-execution-role-notebook-jobs).
9. বেছে নিন ভূমিকা তৈরি করুন.
10. ভূমিকা ARN একটি নোট করুন.

ভূমিকা ARN ফরম্যাটে হবে arn:aws:iam::[account-number]:role/service-role/[role-name] এবং স্টুডিও ল্যাব সেটআপে প্রয়োজন।

একটি IAM ব্যবহারকারী তৈরি করুন

AWS অ্যাক্সেস করার জন্য একটি স্টুডিও ল্যাব পরিবেশের জন্য, আমাদের AWS-এর মধ্যে একটি IAM ব্যবহারকারী তৈরি করতে হবে এবং এটিকে প্রয়োজনীয় অনুমতি দিতে হবে। তারপরে আমাদের সেই ব্যবহারকারীর জন্য অ্যাক্সেস কীগুলির একটি সেট তৈরি করতে হবে এবং সেগুলিকে স্টুডিও ল্যাব পরিবেশে সরবরাহ করতে হবে।

এই পদক্ষেপটি প্রতিটি সেজমেকার স্টুডিও ল্যাব পরিবেশের জন্য পুনরাবৃত্তি করা উচিত যা এই AWS অ্যাকাউন্ট অ্যাক্সেস করবে।

নোট করুন যে প্রশাসক এবং AWS অ্যাকাউন্টের মালিকদের নিশ্চিত করা উচিত যে সম্ভাব্য সর্বাধিক পরিমাণে, সু-স্থাপিত সুরক্ষা অনুশীলনগুলি অনুসরণ করা হয়৷ উদাহরণস্বরূপ, ব্যবহারকারীর অনুমতিগুলি সর্বদা স্কোপ করা উচিত এবং শংসাপত্রের সমঝোতার প্রভাব কমানোর জন্য অ্যাক্সেস কীগুলি নিয়মিত ঘোরানো উচিত।

এই ব্লগে আমরা দেখাই কিভাবে ব্যবহার করতে হয় AmazonSageMakerFullAccess পরিচালিত নীতি। এই নীতি Amazon SageMaker-এ বিস্তৃত অ্যাক্সেস প্রদান করে যা প্রয়োজনের বাইরে যেতে পারে। সম্পর্কে বিস্তারিত AmazonSageMakerFullAccess পাওয়া যাবে এখানে.

যদিও স্টুডিও ল্যাব এন্টারপ্রাইজ নিরাপত্তা নিযুক্ত করে, এটি লক্ষ করা উচিত যে স্টুডিও ল্যাব ব্যবহারকারীর শংসাপত্রগুলি আপনার AWS অ্যাকাউন্টের অংশ নয়, এবং সেইজন্য, উদাহরণস্বরূপ, আপনার AWS পাসওয়ার্ড বা MFA নীতির অধীন নয়।

যতটা সম্ভব অনুমতি কমানোর জন্য, আমরা এই অ্যাক্সেসের জন্য বিশেষভাবে একটি ব্যবহারকারী প্রোফাইল তৈরি করি।

1. আইএএম কনসোলে, নির্বাচন করুন ব্যবহারকারীরা নেভিগেশন ফলকে।
2. বেছে নিন ব্যবহারকারীদের যোগ করুন.
3. জন্য ব্যবহারকারীর নাম, একটি নাম লিখুন৷ একটি নাম ব্যবহার করা ভাল অভ্যাস যা এই অ্যাকাউন্টটি ব্যবহার করবে এমন একজন ব্যক্তির সাথে লিঙ্ক করা আছে; অডিট লগ পর্যালোচনা করলে এটি সাহায্য করে।
4. জন্য AWS অ্যাক্সেসের ধরন নির্বাচন করুন, নির্বাচন করুন অ্যাক্সেস কী - প্রোগ্রাম্যাটিক অ্যাক্সেস.
5. বেছে নিন পরবর্তী: অনুমতি.
6. বেছে নিন বিদ্যমান নীতি সরাসরি সংযুক্ত করুন.
7. অনুসন্ধান করুন এবং নির্বাচন করুন AmazonSageMakerFullAccess.
8. অনুসন্ধান করুন এবং নির্বাচন করুন AmazonEventBridgeFullAccess.
9. বেছে নিন পরবর্তী: ট্যাগস.
10. বেছে নিন পরবর্তী: পর্যালোচনা.
11. আপনার নীতি নিশ্চিত করুন, তারপর চয়ন করুন ব্যবহারকারী তৈরি করুন.ব্যবহারকারী তৈরির প্রক্রিয়ার চূড়ান্ত পৃষ্ঠায় আপনাকে ব্যবহারকারীর অ্যাক্সেস কী দেখাতে হবে। এই ট্যাবটি খোলা রাখুন, কারণ আমরা এখানে আবার নেভিগেট করতে পারি না এবং আমাদের এই বিবরণ প্রয়োজন।
12. স্টুডিও ল্যাবে একটি নতুন ব্রাউজার ট্যাব খুলুন।
13. উপরে ফাইল মেনু, নির্বাচন করুন নতুন লঞ্চার, তাহলে বেছে নাও প্রান্তিক.
14. কমান্ড লাইনে, নিম্নলিখিত কোড লিখুন:

    aws configure

15. নিম্নলিখিত কোড লিখুন:
    1. আপনার অ্যাক্সেস কী আইডি এবং গোপন অ্যাক্সেস কী-এর জন্য IAM কনসোল পৃষ্ঠা থেকে মানগুলি লিখুন।
    2. জন্য Default region nameপ্রবেশ করান us-west-2.
    3. ত্যাগ Default output format as text.

       (studiolab) studio-lab-user@default:~$ aws configure 
       AWS Access Key ID []: 01234567890
       AWS Secret Access Key []: ABCDEFG1234567890ABCDEFG
       Default region name []: us-west-2
       Default output format [text]: 
       
       (studiolab) studio-lab-user@default:~$

অভিনন্দন, আপনার স্টুডিও ল্যাব পরিবেশ এখন AWS অ্যাকাউন্ট অ্যাক্সেস করার জন্য কনফিগার করা উচিত। সংযোগ পরীক্ষা করতে, নিম্নলিখিত কমান্ড ইস্যু করুন:

aws sts get-caller-identity

এই কমান্ডটি ব্যবহার করার জন্য আপনার কনফিগার করা IAM ব্যবহারকারী সম্পর্কে বিশদ বিবরণ প্রদান করবে।

একটি নোটবুকের কাজ তৈরি করুন

স্টুডিও ল্যাবের মধ্যে জুপিটার নোটবুক ব্যবহার করে নোটবুকের কাজ তৈরি করা হয়। যদি আপনার নোটবুক স্টুডিও ল্যাবে চলে, তবে এটি একটি নোটবুকের কাজ হিসাবে চলতে পারে (আরও সংস্থান এবং AWS পরিষেবাগুলিতে অ্যাক্সেস সহ)। যাইহোক, দেখার জন্য কিছু জিনিস আছে.

আপনি যদি আপনার নোটবুকটি কাজ করার জন্য প্যাকেজগুলি ইনস্টল করে থাকেন তবে আপনার নোটবুকের শীর্ষে একটি ঘরে এই প্যাকেজগুলি লোড করার জন্য কমান্ড যোগ করুন। প্রতিটি লাইনের শুরুতে একটি & প্রতীক ব্যবহার করে, কোডটি চালানোর জন্য কমান্ড লাইনে পাঠানো হবে। নিম্নলিখিত উদাহরণে, প্রথম কক্ষটি পাইটর্চ লাইব্রেরি ইনস্টল করতে পিপ ব্যবহার করে:

%%capture
%pip install torch
%pip install torchvision

আমাদের নোটবুক একটি প্রশিক্ষিত PyTorch মডেল তৈরি করবে। আমাদের নিয়মিত কোডের মাধ্যমে, আমরা স্টুডিও ল্যাবসের ফাইল সিস্টেমে মডেলটিকে সংরক্ষণ করি।

যখন আমরা এটিকে একটি নোটবুকের কাজ হিসাবে চালাই, তখন আমাদের মডেলটিকে এমন কোথাও সংরক্ষণ করতে হবে যেখানে আমরা পরে এটি অ্যাক্সেস করতে পারি। এটি করার সবচেয়ে সহজ উপায় হল মডেলটিকে Amazon S3 এ সংরক্ষণ করা। আমরা আমাদের মডেলগুলি সংরক্ষণ করতে একটি S3 বালতি তৈরি করেছি এবং বস্তুটিকে বালতিতে অনুলিপি করতে অন্য কমান্ড লাইন সেল ব্যবহার করি।

আমরা ব্যবহার করি এডাব্লুএস কমান্ড লাইন ইন্টারফেস (AWS CLI) এখানে অবজেক্ট কপি করতে। আমরা ব্যবহার করতে পারে Python (Boto3) এর জন্য AWS SDK যদি আমরা ফাইলের নামের আরও পরিশীলিত বা স্বয়ংক্রিয় নিয়ন্ত্রণ পেতে চাই। আপাতত, আমরা নিশ্চিত করব যে আমরা প্রতিবার নোটবুক চালানোর সময় ফাইলের নাম পরিবর্তন করব যাতে মডেলগুলি ওভাররাইট না হয়।

এখন আমরা নোটবুকের কাজ তৈরি করতে প্রস্তুত।

1. নোটবুকের নামটি বেছে নিন (ডান-ক্লিক করুন), তারপর বেছে নিন নোটবুক জব তৈরি করুন.
   এই মেনু বিকল্পটি অনুপস্থিত থাকলে, আপনাকে আপনার স্টুডিও ল্যাব পরিবেশ রিফ্রেশ করতে হতে পারে। এটি করার জন্য, লঞ্চার থেকে টার্মিনাল খুলুন এবং নিম্নলিখিত কোডটি চালান:

   conda deactivate && conda env remove —name studiolab

2. এরপরে, বেছে নিয়ে আপনার JupyterLab ইন্সট্যান্স রিস্টার্ট করুন অ্যামাজন সেজমেকার স্টুডিও ল্যাব উপরের মেনু থেকে, তারপর নির্বাচন করুন JupyterLab পুনরায় চালু করুনবিকল্পভাবে, প্রকল্প পৃষ্ঠায় যান, এবং বন্ধ করুন এবং রানটাইম পুনরায় চালু করুন।
3. উপরে চাকরি তৈরি করুন পৃষ্ঠা, জন্য কম্পিউট টাইপ, আপনার কাজের জন্য উপযুক্ত কম্পিউট টাইপ বেছে নিন।

   খরচ সহ বিভিন্ন ধরনের গণনার ক্ষমতা সম্পর্কে আরও তথ্যের জন্য দেখুন অ্যামাজন সেজমেকার প্রাইসিং (পছন্দ করা অন-ডিমান্ড প্রাইসিং এবং নেভিগেট করুন প্রশিক্ষণ ট্যাব আপনাকে আপনার AWS অ্যাকাউন্টে কম্পিউটের প্রকারের কোটা উপলব্ধতাও পরীক্ষা করতে হতে পারে। পরিষেবা কোটা সম্পর্কে আরও তথ্যের জন্য, দেখুন: AWS পরিষেবা কোটা.এই উদাহরণের জন্য, আমরা একটি ml.p3.2x বড় উদাহরণ নির্বাচন করেছি, যা 8 vCPU, 61 GB মেমরি এবং একটি Tesla V100 GPU অফার করে৷

   এই পৃষ্ঠায় কোন সতর্কতা না থাকলে, আপনার যেতে প্রস্তুত থাকা উচিত। সতর্কতা থাকলে, সঠিক ভূমিকা ARN উল্লেখ করা আছে তা নিশ্চিত করতে পরীক্ষা করুন অতিরিক্ত অপশন. এই ভূমিকাটি আমাদের আগে তৈরি করা SageMaker এক্সিকিউশন রোলের ARN-এর সাথে মেলে৷ ARN ফর্ম্যাটে রয়েছে arn:aws:iam::[account-number]:role/service-role/[role-name].

   মধ্যে উপলব্ধ অন্যান্য বিকল্প আছে অতিরিক্ত অপশন; উদাহরণস্বরূপ, আপনি একটি নির্দিষ্ট ইমেজ এবং কার্নেল নির্বাচন করতে পারেন যেখানে অতিরিক্ত লাইব্রেরি ইনস্টল করার প্রয়োজন ছাড়াই আপনার প্রয়োজনীয় কনফিগারেশন ইতিমধ্যেই থাকতে পারে।

4. আপনি একটি সময়সূচী এই নোটবুক চালাতে চান, নির্বাচন করুন একটি সময়সূচীতে চালান এবং আপনি কত ঘন ঘন কাজ চালাতে চান তা উল্লেখ করুন।আমরা এই নোটবুকটি একবার চালাতে চাই, তাই আমরা নির্বাচন করি এখন চালান.
5. বেছে নিন সৃষ্টি.
   

নোটবুক কাজের তালিকা

সার্জারির নোটবুকের চাকরি পৃষ্ঠাটি বর্তমানে চলমান এবং অতীতে চলমান সমস্ত চাকরির তালিকা করে। আপনি লঞ্চার থেকে এই তালিকাটি খুঁজে পেতে পারেন (নির্বাচন করুন, ফাইল, নতুন লঞ্চার), তাহলে বেছে নাও নোটবুকের চাকরি মধ্যে অন্যান্য অধ্যায়.

নোটবুকের কাজ সম্পূর্ণ হলে, আপনি স্থিতি পরিবর্তন দেখতে পাবেন Completed (ব্যবহার পুনরায় বোঝাই করা প্রয়োজন হলে বিকল্প)। তারপর আপনি আউটপুট ফাইল অ্যাক্সেস করতে ডাউনলোড আইকন চয়ন করতে পারেন.

ফাইলগুলি ডাউনলোড হয়ে গেলে, আপনি কোড আউটপুট এবং আউটপুট লগ সহ নোটবুকটি পর্যালোচনা করতে পারেন। আমাদের ক্ষেত্রে, যেহেতু আমরা ট্রেনিং সেল চালানোর সময় কোড যোগ করেছি, তাই আমরা দেখতে পারি যে প্রশিক্ষণের কাজটি কতক্ষণ সময় নিয়েছে—16 মিনিট এবং 21 সেকেন্ড, যা স্টুডিও ল্যাবের ভিতরে কোড চালানোর চেয়ে অনেক দ্রুত (1 ঘন্টা) , 38 মিনিট, 55 সেকেন্ড)। আসলে, পুরো নোটবুকটি $1,231 (USD) এর কম খরচে 20 সেকেন্ডে (মাত্র 1.30 মিনিটের বেশি) চলে।

W এখন যুগের সংখ্যা বাড়াতে পারে এবং মডেলের ক্ষতির মান উন্নত করতে হাইপারপ্যারামিটার সামঞ্জস্য করতে পারে এবং অন্য একটি নোটবুকের কাজ জমা দিতে পারে।

উপসংহার

এই পোস্টে, আমরা দেখিয়েছি কীভাবে স্টুডিও ল্যাব নোটবুকের কাজগুলি ব্যবহার করতে হয় যাতে আমরা স্টুডিও ল্যাবে যে কোডটি তৈরি করেছি তা স্কেল করতে হয় এবং এটি একটি AWS অ্যাকাউন্টে আরও সংস্থান সহ চালাতে হয়।

আমাদের স্টুডিও ল্যাব পরিবেশে AWS শংসাপত্র যোগ করে, আমরা কেবল নোটবুকের কাজগুলিই অ্যাক্সেস করতে পারি না, তবে আমরা আমাদের স্টুডিও ল্যাব নোটবুকের মধ্যে থেকে একটি AWS অ্যাকাউন্ট থেকে অন্যান্য সংস্থানগুলিও অ্যাক্সেস করতে পারি। পাইথনের জন্য AWS SDK দেখুন।

স্টুডিও ল্যাবের এই অতিরিক্ত ক্ষমতা আপনি যে ধরনের প্রজেক্টগুলি অর্জন করতে পারেন তার সীমা এবং আকারকে তুলে দেয়। আপনি এই নতুন ক্ষমতা সঙ্গে নির্মাণ কি আমাদের জানান!

লেখক সম্পর্কে

মাইক চেম্বার্স AWS-এ AI এবং ML-এর একজন ডেভেলপার অ্যাডভোকেট। তিনি বিল্ডারদের ক্লাউড, সিকিউরিটি এবং এমএল শিখতে সাহায্য করার জন্য গত 7 বছর অতিবাহিত করেছেন। মূলত ইউকে থেকে, মাইক একজন উত্সাহী চা পানকারী এবং লেগো নির্মাতা।

মিশেল মনক্লোভা সেজমেকার দলে AWS-এর একজন প্রধান পণ্য ব্যবস্থাপক। তিনি একজন স্থানীয় নিউ ইয়র্কার এবং সিলিকন ভ্যালির অভিজ্ঞ। তিনি উদ্ভাবন সম্পর্কে উত্সাহী যা আমাদের জীবনের মান উন্নত করে।