Amazon SageMaker-এ হোস্ট কোড-সার্ভার

মেশিন লার্নিং (এমএল) দলগুলির একটি প্রকল্পে কাজ করার সময় তাদের সমন্বিত উন্নয়ন পরিবেশ (আইডিই) বেছে নেওয়ার নমনীয়তা প্রয়োজন। এটি আপনাকে একটি উত্পাদনশীল বিকাশকারী অভিজ্ঞতা এবং গতিতে উদ্ভাবনের অনুমতি দেয়। এমনকি আপনি একটি প্রকল্পের মধ্যে একাধিক IDE ব্যবহার করতে পারেন। আমাজন সেজমেকার ML টিমগুলিকে সম্পূর্ণরূপে পরিচালিত, ক্লাউড-ভিত্তিক পরিবেশের মধ্যে থেকে কাজ করতে দেয়৷ অ্যামাজন সেজমেকার স্টুডিও, সেজমেকার নোটবুক উদাহরণ, অথবা ব্যবহার করে আপনার স্থানীয় মেশিন থেকে স্থানীয় মোড.

SageMaker জুপিটার এবং আরএসটুডিওকে এমএল মডেল তৈরি, প্রশিক্ষণ, ডিবাগ, স্থাপন এবং নিরীক্ষণের জন্য এক-ক্লিক অভিজ্ঞতা প্রদান করে। এই পোস্টে, আমরা একটি শেয়ার করব সমাধান হোস্টিং জন্য কোড সার্ভার সেজমেকারে।

কোড সার্ভারের সাহায্যে ব্যবহারকারীরা চালাতে পারেন ভিএস কোড দূরবর্তী মেশিনে এবং একটি ওয়েব ব্রাউজারে এটি অ্যাক্সেস করুন। ML টিমগুলির জন্য, SageMaker-এ হোস্টিং কোড-সার্ভার স্থানীয় উন্নয়ন অভিজ্ঞতায় ন্যূনতম পরিবর্তনগুলি প্রদান করে এবং আপনাকে স্কেলযোগ্য ক্লাউড কম্পিউটে যে কোনও জায়গা থেকে কোড করতে দেয়৷ VS কোডের সাহায্যে, আপনি AWS-অপ্টিমাইজ করা TensorFlow এবং PyTorch, পরিচালিত গিট রিপোজিটরি, স্থানীয় মোড এবং SageMaker দ্বারা প্রদত্ত অন্যান্য বৈশিষ্ট্য সহ আপনার ডেলিভারির গতি বাড়ানোর জন্য অন্তর্নির্মিত কনডা পরিবেশ ব্যবহার করতে পারেন। IT প্রশাসকদের জন্য, এটি আপনাকে ক্লাউডে পরিচালিত, সুরক্ষিত IDE-এর প্রভিশনিং মানসম্মত এবং দ্রুততর করার অনুমতি দেয়, যাতে দ্রুত অনবোর্ডে এবং এমএল টিমগুলিকে তাদের প্রকল্পে সক্ষম করে।

সমাধান ওভারভিউ

এই পোস্টে, আমরা স্টুডিও পরিবেশ (বিকল্প A), এবং নোটবুক উদাহরণ (বিকল্প B) উভয়ের জন্য ইনস্টলেশন কভার করি। প্রতিটি বিকল্পের জন্য, আমরা একটি ম্যানুয়াল ইনস্টলেশন প্রক্রিয়ার মধ্য দিয়ে চলেছি যা এমএল দলগুলি তাদের পরিবেশে চালাতে পারে এবং একটি স্বয়ংক্রিয় ইনস্টলেশন যা আইটি অ্যাডমিনরা তাদের জন্য সেট আপ করতে পারে এডাব্লুএস কমান্ড লাইন ইন্টারফেস (AWS CLI)।

নিম্নলিখিত চিত্রটি সেজমেকারে কোড-সার্ভার হোস্ট করার জন্য আর্কিটেকচার ওভারভিউকে চিত্রিত করে।

আমাদের সমাধান আপনার পরিবেশে কোড-সার্ভার ইনস্টল এবং সেটআপের গতি বাড়ায়। এটি জুপিটারল্যাব 3 (প্রস্তাবিত) এবং জুপিটারল্যাব 1 উভয়ের জন্য কাজ করে যা স্টুডিও এবং সেজমেকার নোটবুক উদাহরণের মধ্যে চলে। এটি শেল স্ক্রিপ্ট দিয়ে তৈরি যা বিকল্পের উপর ভিত্তি করে নিম্নলিখিতগুলি করে।

স্টুডিওর জন্য (বিকল্প A), শেল স্ক্রিপ্ট নিম্নলিখিত কাজ করে:

সেজমেকার নোটবুক উদাহরণের জন্য (বিকল্প বি), শেল স্ক্রিপ্ট নিম্নলিখিতগুলি করে:

• কোড-সার্ভার ইনস্টল করে।
• IDE-তে দ্রুত অ্যাক্সেসের জন্য Jupyter নোটবুক ফাইল মেনু এবং JupyterLab লঞ্চারে একটি কোড-সার্ভার শর্টকাট যোগ করে।
• নির্ভরতা পরিচালনার জন্য একটি ডেডিকেটেড কনডা পরিবেশ তৈরি করে।
• ইনস্টল করে পাইথন এবং ডকশ্রমিক IDE-তে এক্সটেনশন।

নিম্নলিখিত বিভাগগুলিতে, আমরা বিকল্প A এবং বিকল্প B-এর সমাধান ইনস্টল প্রক্রিয়ার মধ্য দিয়ে চলেছি। নিশ্চিত করুন যে আপনার স্টুডিও বা একটি নোটবুক ইনস্ট্যান্স অ্যাক্সেস আছে।

বিকল্প A: স্টুডিওতে হোস্ট কোড-সার্ভার

স্টুডিওতে কোড-সার্ভার হোস্ট করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. বেছে নিন সিস্টেম টার্মিনাল আপনার স্টুডিও লঞ্চারে।
   
2. কোড-সার্ভার সমাধান ইনস্টল করতে, আপনার সিস্টেম টার্মিনালে নিম্নলিখিত কমান্ডগুলি চালান:

   curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
   tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz
   
   cd amazon-sagemaker-codeserver/install-scripts/studio
    
   chmod +x install-codeserver.sh
   ./install-codeserver.sh
   
   # Note: when installing on JL1, please prepend the nohup command to the install command above and run as follows: 
   # nohup ./install-codeserver.sh

   কমান্ডগুলি সম্পূর্ণ হতে কয়েক সেকেন্ড সময় নেওয়া উচিত।

3. ব্রাউজার পৃষ্ঠা পুনরায় লোড করুন, যেখানে আপনি একটি দেখতে পারেন কোড সার্ভার আপনার স্টুডিও লঞ্চারে বোতাম।
   
4. বেছে নিন কোড সার্ভার একটি নতুন ব্রাউজার ট্যাব খুলতে, আপনাকে আপনার ব্রাউজার থেকে কোড-সার্ভার অ্যাক্সেস করার অনুমতি দেয়।
   পাইথন এক্সটেনশন ইতিমধ্যেই ইনস্টল করা আছে, এবং আপনি আপনার এমএল প্রকল্পে কাজ করতে পারেন।

আপনি ভিএস কোডে আপনার প্রোজেক্ট ফোল্ডার খুলতে পারেন এবং আপনার পাইথন স্ক্রিপ্টগুলি চালানোর জন্য পূর্ব-নির্মিত কনডা পরিবেশ নির্বাচন করতে পারেন।

একটি স্টুডিও ডোমেনে ব্যবহারকারীদের জন্য কোড-সার্ভার ইনস্টল স্বয়ংক্রিয় করুন

একজন আইটি প্রশাসক হিসাবে, আপনি স্টুডিও ব্যবহারকারীদের জন্য একটি ব্যবহার করে ইনস্টলেশন স্বয়ংক্রিয় করতে পারেন জীবনচক্র কনফিগারেশন. এটি একটি স্টুডিও ডোমেনের অধীনে বা নির্দিষ্টগুলির জন্য সমস্ত ব্যবহারকারীর প্রোফাইলের জন্য করা যেতে পারে। দেখা লাইফসাইকেল কনফিগারেশন ব্যবহার করে Amazon SageMaker স্টুডিও কাস্টমাইজ করুন আরো বিস্তারিত জানার জন্য.

এই পোস্টের জন্য, আমরা থেকে একটি জীবনচক্র কনফিগারেশন তৈরি করি ইনস্টল-কোডসার্ভার স্ক্রিপ্ট, এবং এটি একটি বিদ্যমান স্টুডিও ডোমেনে সংযুক্ত করুন। ডোমেনের সমস্ত ব্যবহারকারী প্রোফাইলের জন্য ইনস্টল করা হয়।

AWS CLI এবং উপযুক্ত অনুমতিগুলির সাথে কনফিগার করা টার্মিনাল থেকে, নিম্নলিখিত কমান্ডগুলি চালান:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/studio

LCC_CONTENT=`openssl base64 -A -in install-codeserver.sh`

aws sagemaker create-studio-lifecycle-config 
    --studio-lifecycle-config-name install-codeserver-on-jupyterserver 
    --studio-lifecycle-config-content $LCC_CONTENT 
    --studio-lifecycle-config-app-type JupyterServer 
    --query 'StudioLifecycleConfigArn'

aws sagemaker update-domain 
    --region  
    --domain-id  
    --default-user-settings 
    '{
    "JupyterServerAppSettings": {
    "DefaultResourceSpec": {
    "LifecycleConfigArn": "arn:aws:sagemaker:::studio-lifecycle-config/install-codeserver-on-jupyterserver",
    "InstanceType": "system"
    },
    "LifecycleConfigArns": [
    "arn:aws:sagemaker:::studio-lifecycle-config/install-codeserver-on-jupyterserver"
    ]
    }}'

# Make sure to replace ,  and  in the previous commands with
# the Studio domain ID, the AWS region and AWS Account ID you are using respectively.

জুপিটার সার্ভার পুনরায় চালু হওয়ার পরে, কোড সার্ভার বোতাম আপনার স্টুডিও লঞ্চারে প্রদর্শিত হবে।

বিকল্প বি: একটি সেজমেকার নোটবুক উদাহরণে হোস্ট কোড-সার্ভার

একটি SageMaker নোটবুক উদাহরণে কোড-সার্ভার হোস্ট করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. আপনার নোটবুকের উদাহরণের জন্য জুপিটার বা জুপিটারল্যাবের মাধ্যমে একটি টার্মিনাল চালু করুন।
   আপনি জুপিটার ব্যবহার করলে, নির্বাচন করুন প্রান্তিক উপরে নতুন মেনু.
   
2.  কোড-সার্ভার সমাধান ইনস্টল করতে, আপনার টার্মিনালে নিম্নলিখিত কমান্ডগুলি চালান:

   curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
   tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz
   
   cd amazon-sagemaker-codeserver/install-scripts/notebook-instances
    
   chmod +x install-codeserver.sh
   chmod +x setup-codeserver.sh
   sudo ./install-codeserver.sh
   sudo ./setup-codeserver.sh

   কোড-সার্ভার এবং এক্সটেনশন ইনস্টলেশনগুলি নোটবুকের উদাহরণে স্থায়ী। যাইহোক, যদি আপনি দৃষ্টান্ত বন্ধ বা পুনরায় চালু করেন, তাহলে কোড-সার্ভার পুনরায় কনফিগার করতে আপনাকে নিম্নলিখিত কমান্ডটি চালাতে হবে:

   sudo ./setup-codeserver.sh

   কমান্ডগুলি চালানোর জন্য কয়েক সেকেন্ড সময় নেওয়া উচিত। আপনি যখন নিম্নলিখিতটি দেখতে পাবেন তখন আপনি টার্মিনাল ট্যাবটি বন্ধ করতে পারেন।

   

3. এখন Jupyter পৃষ্ঠাটি পুনরায় লোড করুন এবং চেক করুন নতুন আবার মেনু।
   সার্জারির কোড সার্ভার বিকল্প এখন উপলব্ধ করা উচিত।
   

আপনি একটি ডেডিকেটেড লঞ্চার বোতাম ব্যবহার করে JupyterLab থেকে কোড-সার্ভার চালু করতে পারেন, যেমনটি নিম্নলিখিত স্ক্রিনশটে দেখানো হয়েছে।

নির্বাচন কোড সার্ভার একটি নতুন ব্রাউজার ট্যাব খুলবে, আপনাকে আপনার ব্রাউজার থেকে কোড-সার্ভার অ্যাক্সেস করার অনুমতি দেবে। পাইথন এবং ডকার এক্সটেনশনগুলি ইতিমধ্যে ইনস্টল করা আছে এবং আপনি আপনার এমএল প্রকল্পে কাজ করতে পারেন।

একটি নোটবুক ইনস্ট্যান্সে কোড-সার্ভার ইনস্টল স্বয়ংক্রিয় করুন

একজন আইটি প্রশাসক হিসাবে, আপনি কোড-সার্ভার ইন্সটল স্বয়ংক্রিয় করতে পারেন a জীবনচক্র কনফিগারেশন ইনস্ট্যান্স ক্রিয়েশনে চলছে, এবং ইনস্ট্যান্স স্টার্টে একটি চালু করে সেটআপ স্বয়ংক্রিয় করুন।

এখানে, আমরা ব্যবহার করে একটি উদাহরণ নোটবুক ইনস্ট্যান্স এবং জীবনচক্র কনফিগারেশন তৈরি করি এডাব্লুএস সি এল আই. দ্য on-create config রান ইনস্টল-কোডসার্ভার, এবং on-start রান সেটআপ-কোডসার্ভার.

AWS CLI এবং উপযুক্ত অনুমতিগুলির সাথে কনফিগার করা টার্মিনাল থেকে, নিম্নলিখিত কমান্ডগুলি চালান:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/notebook-instances

aws sagemaker create-notebook-instance-lifecycle-config 
    --notebook-instance-lifecycle-config-name install-codeserver 
    --on-start Content=$((cat setup-codeserver.sh || echo "")| base64) 
    --on-create Content=$((cat install-codeserver.sh || echo "")| base64)

aws sagemaker create-notebook-instance 
    --notebook-instance-name  
    --instance-type  
    --role-arn  
    --lifecycle-config-name install-codeserver

# Make sure to replace , ,
# and  in the previous commands with the appropriate values.

কোড-সার্ভার ইনস্টল এখন নোটবুকের উদাহরণের জন্য স্বয়ংক্রিয়।

উপসংহার

সঙ্গে কোড সার্ভার SageMaker-এ হোস্ট করা, ML টিমগুলি স্কেলেবল ক্লাউড কম্পিউটে VS কোড চালাতে পারে, যেকোনো জায়গা থেকে কোড, এবং তাদের ML প্রোজেক্ট ডেলিভারির গতি বাড়াতে পারে। আইটি প্রশাসকদের জন্য, এটি তাদের ক্লাউডে পরিচালিত, সুরক্ষিত IDE-এর প্রভিশনকে মানসম্মত এবং ত্বরান্বিত করতে, দ্রুত অনবোর্ডে এবং তাদের প্রকল্পে ML টিমকে সক্ষম করতে দেয়।

এই পোস্টে, আমরা একটি সমাধান শেয়ার করেছি যা আপনি স্টুডিও এবং নোটবুক উভয় ক্ষেত্রে দ্রুত কোড-সার্ভার ইনস্টল করতে ব্যবহার করতে পারেন। আমরা একটি ম্যানুয়াল ইনস্টলেশন প্রক্রিয়া ভাগ করেছি যা ML টিমগুলি তাদের নিজস্বভাবে চালাতে পারে এবং একটি স্বয়ংক্রিয় ইনস্টলেশন যা IT অ্যাডমিনরা তাদের জন্য সেট আপ করতে পারে৷

আপনার শিক্ষা আরও এগিয়ে যেতে, দেখুন AWSome SageMaker SageMaker-এর সাথে কাজ করার জন্য প্রয়োজনীয় সমস্ত প্রাসঙ্গিক এবং আপ-টু-ডেট সংস্থানগুলি খুঁজে পেতে GitHub-এ।

লেখক সম্পর্কে

জিউসেপ অ্যাঞ্জেলো পোরসেলি অ্যামাজন ওয়েব পরিষেবাগুলির জন্য একজন প্রধান মেশিন লার্নিং বিশেষজ্ঞ সমাধান স্থপতি৷ বেশ কয়েক বছর সফ্টওয়্যার ইঞ্জিনিয়ারিং একটি ML ব্যাকগ্রাউন্ডের সাথে, তিনি যেকোন আকারের গ্রাহকদের সাথে তাদের ব্যবসা এবং প্রযুক্তিগত চাহিদাগুলি গভীরভাবে বুঝতে এবং AI এবং মেশিন লার্নিং সমাধানগুলি ডিজাইন করেন যা AWS ক্লাউড এবং Amazon মেশিন লার্নিং স্ট্যাকের সর্বোত্তম ব্যবহার করে৷ তিনি MLOps, Computer Vision, NLP সহ বিভিন্ন ডোমেনে প্রকল্পে কাজ করেছেন এবং AWS পরিষেবার বিস্তৃত সেট জড়িত। তার অবসর সময়ে, জিউসেপ ফুটবল খেলা উপভোগ করেন।

সোফিয়ান হামিতি AWS-এর একজন AI/ML বিশেষজ্ঞ সলিউশন আর্কিটেক্ট। তিনি ইন্ডাস্ট্রি জুড়ে গ্রাহকদের এন্ড-টু-এন্ড মেশিন লার্নিং সলিউশন তৈরি এবং কার্যকর করতে সাহায্য করে তাদের AI/ML যাত্রাকে ত্বরান্বিত করতে সাহায্য করেন।

এরিক পেনা AWS আর্টিফিশিয়াল ইন্টেলিজেন্স প্ল্যাটফর্ম টিমের একজন সিনিয়র টেকনিক্যাল প্রোডাক্ট ম্যানেজার, Amazon SageMaker ইন্টারেক্টিভ মেশিন লার্নিং-এ কাজ করছেন। তিনি বর্তমানে সেজমেকার স্টুডিওতে আইডিই ইন্টিগ্রেশনের উপর ফোকাস করেন। তিনি এমআইটি স্লোন থেকে এমবিএ ডিগ্রি অর্জন করেছেন এবং কাজের বাইরে বাস্কেটবল এবং ফুটবল খেলা উপভোগ করেন।