একাধিক Amazon SageMaker ডোমেন সহ ব্যবসা বা দলগুলির পৃথক লাইন

অ্যামাজন সেজমেকার স্টুডিও মেশিন লার্নিং (ML) এর জন্য একটি সম্পূর্ণ সমন্বিত উন্নয়ন পরিবেশ (IDE) যা ডেটা বিজ্ঞানী এবং ডেভেলপারদের ML কর্মপ্রবাহের প্রতিটি ধাপ সম্পাদন করতে সক্ষম করে, ডেটা প্রস্তুত করা থেকে শুরু করে বিল্ডিং, প্রশিক্ষণ, টিউনিং এবং মডেল স্থাপন পর্যন্ত।

সেজমেকার স্টুডিও অ্যাক্সেস করতে, আমাজন সেজমেকার ক্যানভাস, বা অন্যান্য অ্যামাজন এমএল পরিবেশ মত অ্যামাজন সেজমেকারে RStudio, আপনাকে প্রথমে একটি SageMaker ডোমেনের ব্যবস্থা করতে হবে। একটি সেজমেকার ডোমেনে একটি যুক্ত থাকে আমাজন ইলাস্টিক ফাইল সিস্টেম (Amazon EFS) ভলিউম; অনুমোদিত ব্যবহারকারীদের একটি তালিকা; এবং বিভিন্ন ধরনের নিরাপত্তা, প্রয়োগ, নীতি, এবং আমাজন ভার্চুয়াল প্রাইভেট ক্লাউড (Amazon VPC) কনফিগারেশন।

অ্যাডমিনিস্ট্রেটররা এখন একাধিক সেজমেকার ডোমেনের ব্যবস্থা করতে পারে যাতে একটি একক AWS অ্যাকাউন্টের মধ্যে ব্যবসার বিভিন্ন লাইন বা দল আলাদা করা যায়। এটি আপনার প্রতিষ্ঠানের বিভিন্ন গোষ্ঠীর জন্য ব্যবহারকারী, ফাইল স্টোরেজ এবং কনফিগারেশন সেটিংসের মধ্যে একটি যৌক্তিক বিচ্ছেদ তৈরি করে। একটি উদাহরণ হিসাবে, আপনার সংস্থা আপনার ব্যবসার আর্থিক লাইনকে স্থায়িত্ব গবেষণা বিভাগ থেকে আলাদা করতে চাইতে পারে, যেমনটি নিম্নলিখিত মাল্টি-ডোমেন কনসোলে দেখানো হয়েছে।

একাধিক সেজমেকার ডোমেন তৈরি করা আপনাকে ডোমেন-স্তরের কনফিগারেশনগুলি দানাদারভাবে সেট করতে দেয় যেমন ভিপিসি কনফিগারেশন কিছু গোষ্ঠীর গবেষণার জন্য সর্বজনীন ইন্টারনেট অ্যাক্সেসের অনুমতি দেওয়ার জন্য, সেই ট্র্যাফিকটি কার্যকর করার সময় ব্যবসায়িক ইউনিটগুলির জন্য একটি নির্দিষ্ট VPC এর মাধ্যমে বৃহত্তর সীমাবদ্ধতা সহ।

স্বয়ংক্রিয় ট্যাগিং

ব্যবহারকারী, ফাইল স্টোরেজ এবং ডোমেন কনফিগারেশন আলাদা করার পাশাপাশি, অ্যাডমিনিস্ট্রেটররা তাদের ডোমেনের মধ্যে তৈরি সেজমেকার সংস্থানগুলিকেও আলাদা করতে পারে। ডিফল্টরূপে, সেজমেকার এখন স্বয়ংক্রিয়ভাবে নতুন সেজমেকার সংস্থানগুলিকে ট্যাগ করে যেমন প্রশিক্ষণের কাজ, প্রক্রিয়াকরণের কাজ, পরীক্ষা, পাইপলাইন এবং মডেল রেজিস্ট্রি এন্ট্রিগুলি তাদের নিজ নিজ সাথে sagemaker:domain-arn. সেজমেকার রিসোর্সটিকে এর সাথে ট্যাগ করে sagemaker:user-profile-arn or sagemaker:space-arn সম্পদ সৃষ্টিকে আরও বেশি দানাদার স্তরে মনোনীত করতে।

খরচ বরাদ্দ

অ্যাডমিনিস্ট্রেটররা স্বয়ংক্রিয় ট্যাগিং ব্যবহার করে সহজেই তাদের ব্যবসার লাইন, দল, স্বতন্ত্র ব্যবহারকারী বা ব্যক্তিগত ব্যবসায়িক সমস্যাগুলির সাথে সম্পর্কিত খরচগুলি নিরীক্ষণ করতে পারে যেমন সরঞ্জামগুলি ব্যবহার করে AWS বাজেট এবং AWS কস্ট এক্সপ্লোরার. উদাহরণ হিসাবে, একজন প্রশাসক একটি সংযুক্ত করতে পারেন খরচ বরাদ্দ ট্যাগ জন্য sagemaker:domain-arn ট্যাগ।

এটি তাদের একটি প্রদত্ত ডোমেনের জন্য নোটবুকের ব্যয় কল্পনা করতে কস্ট এক্সপ্লোরার ব্যবহার করতে দেয়।

ডোমেন-স্তরের সংস্থান বিচ্ছিন্নতা

প্রশাসক সংযুক্ত করতে পারেন এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) নীতিগুলি যেগুলি নিশ্চিত করে যে একটি ডোমেনের ব্যবহারকারী শুধুমাত্র তাদের নিজ নিজ ডোমেন থেকে উদ্ভূত সেজমেকার সংস্থানগুলি তৈরি এবং খুলতে পারে৷ নিম্নলিখিত কোডটি এই জাতীয় নীতির একটি উদাহরণ:

{
    "Version": "2012-10-17",
    "Statement":
    [
        {
            "Sid": "CreateRequireDomainTag",
            "Effect": "Allow",
            "Action":
            [
                "SageMaker:Create*",
                "SageMaker:Update*"
            ],
            "Resource": "*",
            "Condition":
            {
                "ForAllValues:StringEquals":
                {
                    "aws:TagKeys":
                    [
                        "sagemaker:domain-arn"
                    ]
                }
            }
        },
        {
            "Sid": "ResourceAccessRequireDomainTag",
            "Effect": "Allow",
            "Action":
            [
                "SageMaker:Update*",
                "SageMaker:Delete*",
                "SageMaker:Describe*"
            ],
            "Resource": "*",
            "Condition":
            {
                "StringEquals":
                {
                    "aws:ResourceTag/sagemaker:domain-arn": "arn:aws:sagemaker:::domain/"
                }
            }
        }
    ]
}

আরও তথ্যের জন্য, দেখুন একাধিক ডোমেন ওভারভিউ.

ডোমেন ট্যাগ দিয়ে বিদ্যমান সম্পদ ব্যাকফিলিং

মাল্টি-ডোমেন সক্ষমতা চালু হওয়ার পর থেকে, নতুন সংস্থানগুলি স্বয়ংক্রিয়ভাবে ট্যাগ করা হয় aws:ResourceTag/sagemaker:domain-arn. যাইহোক, আপনি যদি সম্পদ বিচ্ছিন্নকরণের সুবিধার্থে বিদ্যমান সংস্থানগুলি আপডেট করতে চান, প্রশাসনগুলি ব্যবহার করতে পারে add-tag একটি স্ক্রিপ্টে SageMaker API কল। নীচের উদাহরণটি দেখায় কিভাবে একটি ডোমেনে বিদ্যমান সমস্ত পরীক্ষাগুলিকে ট্যাগ করতে হয়:

domain_arn=arn:aws:sagemaker:::domain/
experiments=`aws --region $REGION 
sagemaker list-experiments`
for row in $(echo "${experiments}" | jq -r '.ExperimentSummaries[] | @base64'); do
    _jq() {
     echo ${row} | base64 --decode | jq -r ${1}
    }

    exp_name=$(_jq '.ExperimentName')
    exp_arn=$(_jq '.ExperimentArn')

    echo "Tagging resource name: $exp_name and arn: $exp_arn with "sagemaker:domain-arn=$domain_arn""
    echo `aws sagemaker 
        add-tags 
        --resource-arn $exp_arn 
        --tags "Key=sagemaker:domain-arn,Value=$domain_arn" 
        --region $REGION`
    echo "Tagging done for: $exp_name"
    sleep 1
done

আপনি যাচাই করতে পারেন যে কোনও পৃথক সংস্থান নিম্নলিখিত কোড নমুনার সাথে সঠিকভাবে ট্যাগ করা হয়েছে:

aws sagemaker 
list-tags 
--resource-arn  
--region  

সমাধান ওভারভিউ

এই বিভাগে, আমরা রূপরেখা দিচ্ছি কিভাবে আপনি আপনার নিজের AWS অ্যাকাউন্টে একাধিক SageMaker ডোমেন সেট আপ করতে পারেন। আপনি হয় ব্যবহার করতে পারেন এডাব্লুএস কমান্ড লাইন ইন্টারফেস (AWS CLI) বা SageMaker কনসোল। নির্দেশ করে Amazon SageMaker ডোমেনে অনবোর্ড একটি ডোমেন তৈরির সবচেয়ে আপ-টু-ডেট নির্দেশাবলীর জন্য।

AWS CLI ব্যবহার করে একটি ডোমেইন তৈরি করুন

আগের থেকে কোন প্রয়োজনীয় API পরিবর্তন নেই aws sagemaker create-domain CLI কল, কিন্তু এখন জন্য সমর্থন আছে --default-space-settings আপনি যদি সেজমেকার স্টুডিওতে ভাগ করা স্থানগুলি ব্যবহার করতে চান। আরও তথ্যের জন্য, দেখুন Amazon SageMaker স্টুডিওতে শেয়ার করা স্পেস.

আপনার নির্দিষ্ট কনফিগারেশন ব্যবহার করে একটি নতুন ডোমেন তৈরি করুন aws sagemaker create-domain, এবং তারপর আপনি ব্যবহারকারীদের সাথে এটি পপুলেট করতে প্রস্তুত।

SageMaker কনসোল ব্যবহার করে একটি ডোমেন তৈরি করুন

আপডেট করা সেজমেকার কনসোলে, আপনি নতুন বিকল্পের মাধ্যমে আপনার ডোমেনগুলি পরিচালনা করতে পারেন সেজমেকার ডোমেন নেভিগেশন ফলকে।

এখানে আপনাকে বিদ্যমান ডোমেনগুলি খুলতে বা গ্রাফিকাল ইন্টারফেস ব্যবহার করে একটি নতুন তৈরি করার বিকল্পগুলি উপস্থাপন করা হবে৷

উপসংহার

একাধিক SageMaker ডোমেন ব্যবহার করা আপনার সাংগঠনিক চাহিদা মেটাতে নমনীয়তা প্রদান করে। আপনি ব্যবহারকারীদের এবং তাদের ব্যবসায়িক গোষ্ঠীগুলিকে বিচ্ছিন্ন করতে চান, বা আপনি কনফিগারেশনের পার্থক্যের কারণে আলাদা ডোমেন চালাতে চান, আমরা আপনাকে একটি একক AWS অ্যাকাউন্টের মধ্যে একাধিক SageMaker ডোমেন তৈরি করতে উত্সাহিত করি!

লেখক সম্পর্কে

শন মরগান AWS-এর একজন AI/ML সলিউশন আর্কিটেক্ট। সেমিকন্ডাক্টর এবং একাডেমিক গবেষণা ক্ষেত্রে তার অভিজ্ঞতা রয়েছে এবং গ্রাহকদের AWS-এ তাদের লক্ষ্যে পৌঁছাতে সহায়তা করার জন্য তার অভিজ্ঞতা ব্যবহার করে। তার অবসর সময়ে, শন একজন সক্রিয় ওপেন-সোর্স অবদানকারী/রক্ষণাবেক্ষণকারী এবং টেনসরফ্লো অ্যাড-অনগুলির জন্য বিশেষ আগ্রহের গ্রুপ লিড।

অর্কপ্রভা দে AWS-এর একজন সিনিয়র সফটওয়্যার ইঞ্জিনিয়ার। তিনি 7 বছরেরও বেশি সময় ধরে অ্যামাজনে রয়েছেন এবং বর্তমানে অ্যামাজন সেজমেকার স্টুডিও আইডিই অভিজ্ঞতা উন্নত করার জন্য কাজ করছেন। আপনি তাকে খুঁজে পেতে পারেন লিঙ্কডইন.

কুনাল ঝা AWS-এর একজন সিনিয়র প্রোডাক্ট ম্যানেজার। তিনি সমস্ত ML উন্নয়ন পদক্ষেপের জন্য পছন্দের IDE হিসাবে Amazon SageMaker স্টুডিও তৈরির দিকে মনোনিবেশ করেছেন। তার অবসর সময়ে, কুনাল স্কিইং এবং প্রশান্ত মহাসাগরীয় উত্তর-পশ্চিম অন্বেষণ উপভোগ করেন। আপনি তাকে খুঁজে পেতে পারেন লিঙ্কডইন.

হান ঝাং অ্যামাজন ওয়েব সার্ভিসেসের একজন সিনিয়র সফটওয়্যার ইঞ্জিনিয়ার। তিনি Amazon SageMaker Notebooks এবং Amazon SageMaker স্টুডিওর জন্য লঞ্চ টিমের অংশ, এবং গ্রাহকদের জন্য সুরক্ষিত মেশিন লার্নিং পরিবেশ তৈরিতে মনোনিবেশ করছেন৷ তার অবসর সময়ে, তিনি প্যাসিফিক উত্তর-পশ্চিমে হাইকিং এবং স্কিইং উপভোগ করেন।