Amazon SageMaker Pipelines PlatoBlockchain Data Intelligence ব্যবহার করে কম্পিউটার ভিশন স্কিন লেসন ক্লাসিফায়ারের জন্য একটি সমাধান তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.

Amazon SageMaker Pipelines ব্যবহার করে একটি কম্পিউটার ভিশন স্কিন লেসন ক্লাসিফায়ারের জন্য একটি সমাধান তৈরি করুন

অ্যামাজন সেজমেকার পাইপলাইন মেশিন লার্নিং (ML) ব্যবহারের ক্ষেত্রে ডিজাইন করা একটি ক্রমাগত ইন্টিগ্রেশন এবং ক্রমাগত ডেলিভারি (CI/CD) পরিষেবা। আপনি এন্ড-টু-এন্ড এমএল ওয়ার্কফ্লো তৈরি, স্বয়ংক্রিয় এবং পরিচালনা করতে এটি ব্যবহার করতে পারেন। এটি একটি ML প্রক্রিয়ার প্রতিটি ধাপকে অর্কেস্ট্রেট করার চ্যালেঞ্জ মোকাবেলা করে, যার জন্য সময়, প্রচেষ্টা এবং সংস্থান প্রয়োজন। এটির ব্যবহার সহজতর করার জন্য, একাধিক টেমপ্লেট উপলব্ধ যা আপনি আপনার প্রয়োজন অনুযায়ী কাস্টমাইজ করতে পারেন।

সম্পূর্ণরূপে পরিচালিত ইমেজ এবং ভিডিও বিশ্লেষণ পরিষেবাগুলি কম্পিউটার ভিশন সমাধানগুলি গ্রহণকে ত্বরান্বিত করেছে। AWS একটি প্রাক-প্রশিক্ষিত এবং সম্পূর্ণরূপে পরিচালিত AWS AI পরিষেবা অফার করে যাকে বলা হয় আমাজন রেকোনিশন যেটি API কল ব্যবহার করে কম্পিউটার ভিশন অ্যাপ্লিকেশনে একত্রিত করা যেতে পারে এবং কোনো ML অভিজ্ঞতার প্রয়োজন নেই। আপনি শুধু একটি ইমেজ প্রদান করতে হবে অ্যামাজন স্বীকৃতি এপিআই এবং এটি পূর্ব-সংজ্ঞায়িত লেবেল অনুযায়ী প্রয়োজনীয় বস্তু সনাক্ত করতে পারে। আপনার ব্যবহারের ক্ষেত্রে নির্দিষ্ট কাস্টম লেবেল সরবরাহ করা এবং এমএল দক্ষতার জন্য সামান্য বা কোন ওভারহেড প্রয়োজন ছাড়া একটি কাস্টমাইজড কম্পিউটার ভিশন মডেল তৈরি করাও সম্ভব।

এই পোস্টে, আমরা একটি নির্দিষ্ট কম্পিউটার দৃষ্টি সমস্যার সমাধান করি: ত্বকের ক্ষত শ্রেণীবিভাগ, এবং একটি বিদ্যমান টেমপ্লেট কাস্টমাইজ করে এবং এই কাজের জন্য এটিকে সাজিয়ে পাইপলাইন ব্যবহার করি। সঠিক ত্বকের ক্ষত শ্রেণীবিভাগ ক্যান্সার রোগের প্রাথমিক নির্ণয়ের সাথে সাহায্য করতে পারে। যাইহোক, এটি চিকিৎসা ক্ষেত্রে একটি চ্যালেঞ্জিং কাজ, কারণ বিভিন্ন ধরণের ত্বকের ক্ষতের মধ্যে উচ্চ মিল রয়েছে। পাইপলাইনগুলি আমাদেরকে বিভিন্ন বিদ্যমান মডেল এবং অ্যালগরিদমগুলির সুবিধা নিতে এবং ন্যূনতম প্রচেষ্টা এবং সময় সহ একটি শেষ থেকে শেষ উত্পাদনযোগ্য পাইপলাইন স্থাপন করতে দেয়৷

সমাধান ওভারভিউ

এই পোস্টে, আমরা সাধারণ রঙ্গকযুক্ত ত্বকের ক্ষতগুলির ডার্মাটোস্কোপিক চিত্রগুলিকে শ্রেণিবদ্ধ করতে পাইপলাইনগুলি ব্যবহার করে এন্ড-টু-এন্ড পাইপলাইন তৈরি করি। আমরা ব্যবহার করি অ্যামাজন সেজমেকার স্টুডিও প্রকল্প টেম্পলেট মডেল তৈরি, প্রশিক্ষণ এবং স্থাপনের জন্য MLOps টেমপ্লেট এবং নিম্নলিখিত কোড GitHub সংগ্রহস্থল. ফলস্বরূপ আর্কিটেকচার নিম্নলিখিত চিত্রে দেখানো হয়েছে।

এই পাইপলাইনের জন্য, আমরা HAM10000 ("10000 ট্রেনিং ইমেজ সহ মানুষের বিরুদ্ধে মেশিন") ডেটাসেট ব্যবহার করি, যেটিতে 10,015টি ডার্মাটোস্কোপিক ছবি রয়েছে৷ হাতের কাজটি কম্পিউটার ভিশনের ক্ষেত্রে একটি বহু-শ্রেণীর শ্রেণীবিভাগ। এই ডেটাসেটটি পিগমেন্টেড ক্ষতগুলির ক্ষেত্রে সবচেয়ে গুরুত্বপূর্ণ ছয়টি ডায়াগনস্টিক বিভাগকে চিত্রিত করে: অ্যাক্টিনিক কেরাটোসেস এবং ইন্ট্রাপিথেলিয়াল কার্সিনোমা বা বোয়েন রোগ (akiec), মূলগত সেল কার্সিনোমা (bcc, সৌম্য কেরাটোসিস-সদৃশ ক্ষত (সৌর লেন্টিজিনস বা সেবোরিক কেরাটোসেস এবং কেরাটোসের মতো লাইকেন-প্ল্যানাস, bkl, ডার্মাটোফাইব্রোমা (df), মেলানোমা (mel), মেলানোসাইটিক নেভি (nv), এবং ভাস্কুলার ক্ষত (এনজিওমাস, অ্যাঞ্জিওকেরাটোমাস, পাইজেনিক গ্রানুলোমাস এবং রক্তক্ষরণ, vasc).

মডেলের ইনপুট বিন্যাসের জন্য, আমরা ব্যবহার করি RecordIO বিন্যাস এটি একটি কমপ্যাক্ট ফরম্যাট যা অবিচ্ছিন্ন পড়ার জন্য এবং সেইজন্য দ্রুত এবং আরও দক্ষ প্রশিক্ষণের জন্য চিত্র ডেটা একত্রে সংরক্ষণ করে। উপরন্তু, HAM10000 ডেটাসেট ব্যবহার করার চ্যালেঞ্জগুলির মধ্যে একটি হল শ্রেণি ভারসাম্যহীনতা। নিচের টেবিলটি ক্লাস ডিস্ট্রিবিউশনকে চিত্রিত করে।

শ্রেণী akiec BCC বি কে এল df Mel nv ভাস্ক
ছবির সংখ্যা 327 514 1099 115 1113 6705 142
মোট 10015

এই সমস্যাটির সমাধান করার জন্য, আমরা প্রায় একই সংখ্যক ইমেজ সহ সমস্ত ক্লাসের জন্য র্যান্ডম ট্রান্সফর্মেশন (যেমন ক্রপিং, ফ্লিপিং, মিররিং এবং ঘূর্ণন) ব্যবহার করে ডেটাসেটকে বৃদ্ধি করি।

এই প্রিপ্রসেসিং ধাপে MXNet এবং OpenCV ব্যবহার করা হয়, তাই এটি একটি পূর্ব-নির্মিত MXNet কন্টেইনার ইমেজ ব্যবহার করে। বাকি নির্ভরতা একটি ব্যবহার করে ইনস্টল করা হয় requirements.txt ফাইল আপনি একটি কাস্টম ইমেজ তৈরি এবং ব্যবহার করতে চান, পড়ুন ইমেজ বিল্ডিং CI/CD পাইপলাইন সহ Amazon SageMaker প্রকল্পগুলি তৈরি করুন৷.

প্রশিক্ষণের ধাপের জন্য, আমরা চিত্র শ্রেণীবিভাগের জন্য SageMaker অন্তর্নির্মিত Scikit Docker ইমেজ থেকে উপলব্ধ অনুমানকারী ব্যবহার করি এবং নিম্নরূপ পরামিতিগুলি সেট করি:

hyperparameters = {
        "num_layers": 18,
        "use_pretrained_model": 1,
        "augmentation_type": 'crop_color_transform',
        "image_shape": '3,224,224', 
        "num_classes": 7,
        "num_training_samples": 29311, 
        "mini_batch_size": 8,
        "epochs": 5, 
        "learning_rate": 0.00001,
        "precision_dtype": 'float32'
    }

    estimator_config = {
        "hyperparameters": hyperparameters,
        "image_uri": training_image,
        "role": role,
        "instance_count": 1,
        "instance_type": "ml.p3.2xlarge",
        "volume_size": 100,
        "max_run": 360000,
        "output_path": "s3://{bucket}/{base_job_prefix}/training_jobs",
    }
    
    image_classifier = sagemaker.estimator.Estimator(**estimator_config)

কন্টেইনার ইমেজ সম্পর্কে আরও বিস্তারিত জানার জন্য, পড়ুন ইমেজ ক্লাসিফিকেশন অ্যালগরিদম.

একটি স্টুডিও প্রকল্প তৈরি করুন

স্টুডিও সেট আপ করার জন্য বিস্তারিত নির্দেশাবলীর জন্য, পড়ুন দ্রুত সেটআপ ব্যবহার করে অ্যামাজন সেজমেকার ডোমেনে অনবোর্ড. আপনার প্রকল্প তৈরি করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

  1. স্টুডিওতে, নির্বাচন করুন প্রকল্প মেনুতে সেজমেকার সম্পদ মেনু.
    Amazon SageMaker Pipelines PlatoBlockchain Data Intelligence ব্যবহার করে কম্পিউটার ভিশন স্কিন লেসন ক্লাসিফায়ারের জন্য একটি সমাধান তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.
    প্রকল্পের পৃষ্ঠায়, আপনি একটি পূর্ব-কনফিগার করা SageMaker MLOps টেমপ্লেট চালু করতে পারেন।
  2. বেছে নিন মডেল বিল্ডিং, প্রশিক্ষণ, এবং স্থাপনার জন্য MLOps টেমপ্লেট.
  3. বেছে নিন প্রকল্প টেমপ্লেট নির্বাচন করুন.
    Amazon SageMaker Pipelines PlatoBlockchain Data Intelligence ব্যবহার করে কম্পিউটার ভিশন স্কিন লেসন ক্লাসিফায়ারের জন্য একটি সমাধান তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.
  4. একটি প্রকল্পের নাম এবং সংক্ষিপ্ত বিবরণ লিখুন।
  5. বেছে নিন প্রকল্প তৈরি করুন.

প্রকল্পটি তৈরি হতে কয়েক মিনিট সময় লাগে।

ডেটাসেট প্রস্তুত করুন

ডেটাসেট প্রস্তুত করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

  1. যান হার্ভার্ড ডেটাভার্স.
  2. বেছে নিন ডেটাসেট অ্যাক্সেস করুন, এবং লাইসেন্স পর্যালোচনা করুন Creative Commons Attribution-Noncommercial 4.0 International Public License.
  3. আপনি যদি লাইসেন্স গ্রহণ করেন, নির্বাচন করুন আসল বিন্যাস জিপ এবং ZIP ফাইলটি ডাউনলোড করুন।
  4. তৈরি একটি আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি দিয়ে শুরু করে একটি নাম বেছে নিন sagemaker (এটি সেজমেকারকে কোনো অতিরিক্ত অনুমতি ছাড়াই বালতি অ্যাক্সেস করতে দেয়)।
  5. আপনি নিরাপত্তার সর্বোত্তম অনুশীলনের জন্য অ্যাক্সেস লগিং এবং এনক্রিপশন সক্ষম করতে পারেন।
  6. আপলোড dataverse_files.zip বালতি পর্যন্ত
  7. পরবর্তীতে ব্যবহারের জন্য S3 বালতি পথটি সংরক্ষণ করুন।
  8. আপনি যে বালতিতে ডেটা সংরক্ষণ করেছেন তার নাম এবং পরবর্তীতে ব্যবহার করার জন্য পরবর্তী ফোল্ডারগুলির নাম একটি নোট করুন।

ডেটা প্রিপ্রসেসিংয়ের জন্য প্রস্তুত করুন

যেহেতু আমরা আমাদের প্রি-প্রসেসিং ধাপে MXNet এবং OpenCV ব্যবহার করছি, তাই আমরা একটি পূর্ব-নির্মিত MXNet ডকার ইমেজ ব্যবহার করি এবং অবশিষ্ট নির্ভরতাগুলি ইনস্টল করি requirements.txt ফাইল এটি করার জন্য, আপনাকে এটি অনুলিপি করতে হবে এবং নীচে পেস্ট করতে হবে pipelines/skin মধ্যে sagemaker--modelbuild ভান্ডার উপরন্তু, যোগ করুন MANIFEST.in হিসাবে একই স্তরে ফাইল setup.py, পাইথনকে অন্তর্ভুক্ত করতে বলুন requirements.txt ফাইল সম্পর্কে আরো তথ্যের জন্য MANIFEST.in, নির্দেশ করে MANIFEST.in-এর সাথে সোর্স ডিস্ট্রিবিউশনের ফাইলগুলি সহ. উভয় ফাইল পাওয়া যাবে GitHub সংগ্রহস্থল.

পাইপলাইন টেমপ্লেট পরিবর্তন করুন

পাইপলাইন টেমপ্লেট আপডেট করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

  1. ডিফল্ট বাকেটের ভিতরে একটি ফোল্ডার তৈরি করুন।
  2. নিশ্চিত করুন যে স্টুডিও এক্সিকিউশন ভূমিকার ডিফল্ট বাকেটের পাশাপাশি ডেটাসেট ধারণকারী বালতিতে অ্যাক্সেস আছে।
  3. প্রজেক্টের তালিকা থেকে, আপনি এইমাত্র তৈরি করেছেন এমন একটি বেছে নিন।
  4. উপরে সংগ্রহস্থল ট্যাব, স্থানীয়ভাবে ক্লোন করতে হাইপারলিঙ্কগুলি বেছে নিন এডাব্লুএস কোডকমিট আপনার স্থানীয় স্টুডিও উদাহরণে সংগ্রহস্থল।
    Amazon SageMaker Pipelines PlatoBlockchain Data Intelligence ব্যবহার করে কম্পিউটার ভিশন স্কিন লেসন ক্লাসিফায়ারের জন্য একটি সমাধান তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.
  5. নেভিগেট করুন pipelines ভিতরে ডিরেক্টরি sagemaker--modelbuild ডিরেক্টরি এবং নাম পরিবর্তন করুন abalone ডিরেক্টরি skin.
  6. খোলা codebuild-buildspec.yml ফাইলের মধ্যে sagemaker--modelbuild ডিরেক্টরি এবং থেকে রান পাইপলাইন পাথ পরিবর্তন করুন run-pipeline —module-name pipelines.abalone.pipeline (লাইন 15) নিম্নলিখিত থেকে:
    run-pipeline --module-name pipelines.skin.pipeline 

  7. ফাইলটি সংরক্ষণ করুন
  8. ফাইলগুলি প্রতিস্থাপন করুন pipelines.py, preprocess.py, এবং ইvaluate.py থেকে ফাইল সহ পাইপলাইন ডিরেক্টরিতে GitHub সংগ্রহস্থল.
    Amazon SageMaker Pipelines PlatoBlockchain Data Intelligence ব্যবহার করে কম্পিউটার ভিশন স্কিন লেসন ক্লাসিফায়ারের জন্য একটি সমাধান তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.
  9. আপডেট করুন preprocess.py ফাইল (লাইন 183-186) S3 অবস্থান সহ (SKIN_CANCER_BUCKET) এবং ফোল্ডারের নাম (SKIN_CANCER_BUCKET_PATH) যেখানে আপনি আপলোড করেছেন dataverse_files.zip সংরক্ষণাগার:
    1. skin_cancer_bucket=””
    2. skin_cancer_bucket_path=””
    3. skin_cancer_files=””
    4. skin_cancer_files_ext=””

পূর্ববর্তী উদাহরণে, ডেটাসেট এর অধীনে সংরক্ষণ করা হবে s3://monai-bucket-skin-cancer/skin_cancer_bucket_prefix/dataverse_files.zip.

Amazon SageMaker Pipelines PlatoBlockchain Data Intelligence ব্যবহার করে কম্পিউটার ভিশন স্কিন লেসন ক্লাসিফায়ারের জন্য একটি সমাধান তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.

একটি পাইপলাইন রান ট্রিগার

কোডকমিট রিপোজিটরিতে (স্টুডিও সোর্স কন্ট্রোল ট্যাবে করা হয়েছে) প্রতিশ্রুতিবদ্ধ পরিবর্তনগুলি পুশ করা একটি নতুন পাইপলাইন চালু করে, কারণ একটি অ্যামাজন ইভেন্টব্রিজ কমিটের জন্য ইভেন্ট মনিটর। আমরা সেজমেকার প্রকল্পের ভিতরে পাইপলাইন নির্বাচন করে রান নিরীক্ষণ করতে পারি। নিম্নলিখিত স্ক্রিনশটটি একটি পাইপলাইনের উদাহরণ দেখায় যা সফলভাবে চালানো হয়েছে৷

Amazon SageMaker Pipelines PlatoBlockchain Data Intelligence ব্যবহার করে কম্পিউটার ভিশন স্কিন লেসন ক্লাসিফায়ারের জন্য একটি সমাধান তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.

  1. পরিবর্তনগুলি করতে, বাম ফলকের গিট বিভাগে নেভিগেট করুন।
  2. সব প্রাসঙ্গিক পরিবর্তন পর্যায়. আপনি ট্র্যাক রাখা প্রয়োজন নেই -checkpoint ফাইল আপনি একটি এন্ট্রি যোগ করতে পারেন .gitignore সঙ্গে ফাইল *checkpoint.* তাদের উপেক্ষা করতে।
  3. একটি সারাংশের পাশাপাশি আপনার নাম এবং একটি ইমেল ঠিকানা প্রদান করে পরিবর্তনগুলি কমিট করুন৷
  4. পরিবর্তন ধাক্কা.
  5. প্রকল্পে ফিরে যান এবং নির্বাচন করুন পাইপলাইন অধ্যায়.
  6. আপনি যদি চলমান পাইপলাইনগুলি নির্বাচন করেন, পাইপলাইনের ধাপগুলি প্রদর্শিত হবে৷
    এটি আপনাকে বর্তমানে যে ধাপটি চলছে তা নিরীক্ষণ করতে দেয়৷ পাইপলাইনটি প্রদর্শিত হতে কয়েক মিনিট সময় লাগতে পারে৷ পাইপলাইন চালানো শুরু করার জন্য, সিআই/সিডিতে সংজ্ঞায়িত পদক্ষেপগুলি codebuild-buildspec.yml সফলভাবে চালাতে হবে। এই পদক্ষেপগুলির স্থিতি পরীক্ষা করতে, আপনি ব্যবহার করতে পারেন এডাব্লুএস কোডবিল্ড. আরো তথ্যের জন্য, পড়ুন AWS কোডবিল্ড (AMS SSPS).
  7. পাইপলাইন সম্পূর্ণ হলে, প্রকল্প পৃষ্ঠায় ফিরে যান এবং নির্বাচন করুন মডেল গ্রুপ মডেল আর্টিফ্যাক্টের সাথে সংযুক্ত মেটাডেটা পরিদর্শন করার জন্য ট্যাব।
  8. সবকিছু ভাল দেখায়, নির্বাচন করুন অবস্থা আপডেট করুন ট্যাব এবং ম্যানুয়ালি মডেল অনুমোদন. ডিফল্ট ModelApprovalStatus তৈরি PendingManualApproval. আমাদের মডেলের 60% এর বেশি নির্ভুলতা থাকলে, এটি মডেল রেজিস্ট্রিতে যোগ করা হয়, কিন্তু ম্যানুয়াল অনুমোদন সম্পূর্ণ না হওয়া পর্যন্ত স্থাপন করা হয় না।
  9. নেভিগেট করুন সমাপ্তি সেজমেকার কনসোলে পৃষ্ঠা, যেখানে আপনি একটি স্টেজিং এন্ডপয়েন্ট তৈরি করা দেখতে পাবেন। কয়েক মিনিটের পরে, শেষ পয়েন্টের সাথে তালিকাভুক্ত করা হয় InService অবস্থা।
  10. উৎপাদনে শেষ বিন্দু স্থাপন করতে, উপর CodePipeline কনসোল, নির্বাচন করুন sagemaker--modeldeploy পাইপলাইন যা বর্তমানে চলছে।
  11. পরিশেষে DeployStaging ধাপে, আপনাকে ম্যানুয়ালি স্থাপনার অনুমোদন করতে হবে।

এই ধাপের পরে, আপনি SageMaker-এ উৎপাদন শেষ পয়েন্ট স্থাপন করা হচ্ছে দেখতে পারেন সমাপ্তি পৃষ্ঠা কিছুক্ষণ পরে, শেষ বিন্দু হিসাবে দেখায় InService.

Amazon SageMaker Pipelines PlatoBlockchain Data Intelligence ব্যবহার করে কম্পিউটার ভিশন স্কিন লেসন ক্লাসিফায়ারের জন্য একটি সমাধান তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.

পরিষ্কার কর

আপনি সহজেই সেজমেকার প্রকল্প দ্বারা তৈরি সমস্ত সংস্থান পরিষ্কার করতে পারেন।

  1. স্টুডিওতে নেভিগেশন প্যানে, নির্বাচন করুন সেজমেকার সম্পদ.
  2. বেছে নিন প্রকল্প ড্রপ-ডাউন মেনু থেকে এবং আপনার প্রকল্প নির্বাচন করুন।
  3. উপরে কার্যপ্রণালী মেনু, নির্বাচন করুন মুছে ফেলা সমস্ত সম্পর্কিত সম্পদ মুছে ফেলার জন্য।

Amazon SageMaker Pipelines PlatoBlockchain Data Intelligence ব্যবহার করে কম্পিউটার ভিশন স্কিন লেসন ক্লাসিফায়ারের জন্য একটি সমাধান তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.

ফলাফল এবং পরবর্তী পদক্ষেপ

আমরা সফলভাবে HAM10000 ডেটাসেটে একটি অন্তর্নির্মিত মডেল ব্যবহার করে ত্বকের ক্ষত শ্রেণিবিন্যাসের জন্য এন্ড-টু-এন্ড MLOps ফ্রেমওয়ার্ক তৈরি করতে পাইপলাইন ব্যবহার করেছি। সংগ্রহস্থলে প্রদত্ত পরামিতিগুলির জন্য, আমরা পরীক্ষার সেটে নিম্নলিখিত ফলাফলগুলি পেয়েছি৷

ছন্দোময় স্পষ্টতা প্রত্যাহার F1 স্কোর
মূল্য 0.643 0.8 0.713

আপনি মডেলটির হাইপারপ্যারামিটারগুলিকে সূক্ষ্ম-টিউনিং করে, ডেটা বৃদ্ধির জন্য আরও রূপান্তর যোগ করে, বা সিন্থেটিক মাইনরিটি ওভারস্যাম্পলিং টেকনিক (SMOTE) বা জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্ক (GANs) এর মতো অন্যান্য পদ্ধতি ব্যবহার করে এর কার্যকারিতা উন্নত করতে আরও কাজ করতে পারেন। উপরন্তু, আপনি অন্তর্নির্মিত সেজমেকার ডকার চিত্রগুলি ব্যবহার করে বা সেজমেকারে কাজ করার জন্য আপনার নিজস্ব ধারককে অভিযোজিত করে প্রশিক্ষণের জন্য আপনার নিজস্ব মডেল বা অ্যালগরিদম ব্যবহার করতে পারেন। আরো বিস্তারিত জানার জন্য, পড়ুন সেজমেকারের সাথে ডকার পাত্রে ব্যবহার করা.

আপনি আপনার পাইপলাইনে অতিরিক্ত বৈশিষ্ট্য যোগ করতে পারেন। আপনি নিরীক্ষণ অন্তর্ভুক্ত করতে চান, আপনি চয়ন করতে পারেন মডেল বিল্ডিং, প্রশিক্ষণ, স্থাপনা এবং পর্যবেক্ষণের জন্য MLOps টেমপ্লেট SageMaker প্রকল্প তৈরি করার সময় টেমপ্লেট। ফলস্বরূপ আর্কিটেকচারে একটি অতিরিক্ত পর্যবেক্ষণ পদক্ষেপ রয়েছে। অথবা আপনার যদি একটি বিদ্যমান তৃতীয় পক্ষের গিট সংগ্রহস্থল থাকে তবে আপনি এটি নির্বাচন করে ব্যবহার করতে পারেন জেনকিন্স ব্যবহার করে থার্ড-পার্টি গিট রিপোজিটরির সাথে মডেল বিল্ডিং, ট্রেনিং এবং স্থাপনার জন্য MLOps টেমপ্লেট প্রকল্প এবং মডেল বিল্ডিং এবং মডেল স্থাপনার সংগ্রহস্থল উভয়ের জন্য তথ্য প্রদান। এটি আপনাকে যেকোন বিদ্যমান কোড ব্যবহার করতে দেয় এবং সেজমেকার এবং গিট-এর মধ্যে ইন্টিগ্রেশনের জন্য আপনার যেকোন সময় বা প্রচেষ্টা বাঁচায়। যাইহোক, এই বিকল্পের জন্য, ক AWS CodeStar সংযোগ প্রয়োজন।

উপসংহার

এই পোস্টে, আমরা দেখিয়েছি কিভাবে স্টুডিও এবং স্বয়ংক্রিয় পাইপলাইন ব্যবহার করে এন্ড-টু-এন্ড ML ওয়ার্কফ্লো তৈরি করা যায়। কর্মপ্রবাহের মধ্যে ডেটাসেট পাওয়া, এমএল মডেলের অ্যাক্সেসযোগ্য জায়গায় এটি সংরক্ষণ করা, প্রি-প্রসেসিংয়ের জন্য একটি কন্টেইনার ইমেজ কনফিগার করা, তারপর এই ধরনের ইমেজ মিটমাট করার জন্য বয়লারপ্লেট কোড পরিবর্তন করা অন্তর্ভুক্ত। তারপরে আমরা পাইপলাইনটি কীভাবে ট্রিগার করতে হয়, পাইপলাইনটি যে পদক্ষেপগুলি অনুসরণ করে এবং তারা কীভাবে কাজ করে তা দেখিয়েছি। আমরা কীভাবে মডেলের কার্যকারিতা নিরীক্ষণ করতে হয় এবং মডেলটিকে একটি শেষ পয়েন্টে স্থাপন করতে হয় তা নিয়েও আলোচনা করেছি।

আমরা স্টুডিওর মধ্যে এই কাজগুলির বেশিরভাগই সম্পাদন করেছি, যা একটি সর্বব্যাপী ML IDE হিসাবে কাজ করে এবং এই ধরনের মডেলগুলির বিকাশ এবং স্থাপনাকে ত্বরান্বিত করে৷

এই সমাধান চামড়া শ্রেণীবিভাগ টাস্ক আবদ্ধ নয়। আপনি SageMaker বিল্ট-ইন অ্যালগরিদম বা প্রাক-প্রশিক্ষিত মডেল ব্যবহার করে যেকোনো শ্রেণীবিভাগ বা রিগ্রেশন টাস্কে এটি প্রসারিত করতে পারেন।


লেখক সম্পর্কে

Amazon SageMaker Pipelines PlatoBlockchain Data Intelligence ব্যবহার করে কম্পিউটার ভিশন স্কিন লেসন ক্লাসিফায়ারের জন্য একটি সমাধান তৈরি করুন। উল্লম্ব অনুসন্ধান. আ. মরিয়ম কাঠিরি তিনি AWS প্রফেশনাল সার্ভিসেস গ্লোবালের একজন AI/ML পরামর্শদাতা এবং হেলথ কেয়ার অ্যান্ড লাইফ সায়েন্স (HCLS) দলের অংশ। তিনি বিভিন্ন সমস্যার জন্য এমএল সমাধান তৈরির বিষয়ে উত্সাহী এবং সর্বদা নতুন সুযোগ এবং উদ্যোগে ঝাঁপিয়ে পড়তে আগ্রহী। তিনি জার্মানির মিউনিখে থাকেন এবং বিশ্বের অন্যান্য অংশে ভ্রমণ এবং আবিষ্কার করতে আগ্রহী৷

Amazon SageMaker Pipelines PlatoBlockchain Data Intelligence ব্যবহার করে কম্পিউটার ভিশন স্কিন লেসন ক্লাসিফায়ারের জন্য একটি সমাধান তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.ইয়াসিন জাফুরি AWS-এ পেশাদার পরিষেবাগুলির মধ্যে একজন AI/ML পরামর্শদাতা৷ তিনি বিশ্বব্যাপী এন্টারপ্রাইজ গ্রাহকদের তাদের ব্যবসায়িক চ্যালেঞ্জগুলি কাটিয়ে উঠতে ক্লাউডে এআই/এমএল সমাধান তৈরি করতে এবং স্থাপন করতে সক্ষম করেন। তার অবসর সময়ে, তিনি খেলাধুলা এবং খেলা দেখতে এবং বিশ্বজুড়ে ভ্রমণ উপভোগ করেন।

Amazon SageMaker Pipelines PlatoBlockchain Data Intelligence ব্যবহার করে কম্পিউটার ভিশন স্কিন লেসন ক্লাসিফায়ারের জন্য একটি সমাধান তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.ফোটিনোস কিরিয়াকাইডস AWS-এর পেশাদার পরিষেবার মধ্যে একজন AI/ML ইঞ্জিনিয়ার। তিনি গ্রাহকদের মূল্য প্রদান এবং ব্যবসায়িক ফলাফল অর্জন করতে প্রযুক্তি ব্যবহার সম্পর্কে উত্সাহী। লন্ডনে বেস, তার অবসর সময়ে তিনি দৌড়ানো এবং অন্বেষণ উপভোগ করেন।

Amazon SageMaker Pipelines PlatoBlockchain Data Intelligence ব্যবহার করে কম্পিউটার ভিশন স্কিন লেসন ক্লাসিফায়ারের জন্য একটি সমাধান তৈরি করুন। উল্লম্ব অনুসন্ধান. আ.আনা জাপাইশ্চিকোভা AI/ML-এর একজন ProServe পরামর্শদাতা এবং Amazon Healthcare TFC-এর সদস্য ছিলেন। তিনি প্রযুক্তি সম্পর্কে উত্সাহী এবং এটি স্বাস্থ্যসেবার উপর প্রভাব ফেলতে পারে। তার পটভূমি হল বীমা, স্বয়ংচালিত এবং স্বাস্থ্যসেবার মতো বিভিন্ন ডোমেনে গ্রাহকদের সমস্যার MLOps এবং AI-চালিত সমাধান তৈরি করা।

সময় স্ট্যাম্প:

থেকে আরো এডাব্লুএস মেশিন লার্নিং