Amazon SageMaker JumpStart মডেল এবং অ্যালগরিদম এখন API PlatoBlockchain ডেটা ইন্টেলিজেন্সের মাধ্যমে উপলব্ধ৷ উল্লম্ব অনুসন্ধান. আ.

Amazon SageMaker JumpStart মডেল এবং অ্যালগরিদম এখন API এর মাধ্যমে উপলব্ধ

ডিসেম্বর 2020, AWS সাধারণ প্রাপ্যতা ঘোষণা করেছে of আমাজন সেজমেকার জাম্পস্টার্ট, একটি ক্ষমতা আমাজন সেজমেকার যা আপনাকে দ্রুত এবং সহজেই মেশিন লার্নিং (ML) দিয়ে শুরু করতে সাহায্য করে। জাম্পস্টার্ট জনপ্রিয় ML টাস্ক জুড়ে এক-ক্লিক ফাইন-টিউনিং এবং বিভিন্ন ধরণের প্রাক-প্রশিক্ষিত মডেলের স্থাপনা প্রদান করে, সেইসাথে সাধারণ ব্যবসায়িক সমস্যাগুলি সমাধান করে এমন এন্ড-টু-এন্ড সমাধানগুলির একটি নির্বাচন। এই বৈশিষ্ট্যগুলি ML প্রক্রিয়ার প্রতিটি ধাপ থেকে ভারী উত্তোলনকে সরিয়ে দেয়, এটি উচ্চ-মানের মডেলগুলি বিকাশ করা সহজ করে এবং স্থাপনার সময় কমিয়ে দেয়।

পূর্বে, সমস্ত জাম্পস্টার্ট সামগ্রী শুধুমাত্র এর মাধ্যমে উপলব্ধ ছিল অ্যামাজন সেজমেকার স্টুডিওযা একটি প্রদান করে ব্যবহারকারী-বান্ধব গ্রাফিকাল ইন্টারফেস বৈশিষ্ট্যের সাথে ইন্টারঅ্যাক্ট করতে। আজ, আমরা সহজে ব্যবহারযোগ্য চালু করার ঘোষণা দিতে পেরে আনন্দিত জাম্পস্টার্ট API SageMaker Python SDK-এর এক্সটেনশন হিসেবে। এই APIগুলি আপনাকে আপনার নিজস্ব ডেটাসেটে জাম্পস্টার্ট-সমর্থিত প্রাক-প্রশিক্ষিত মডেলগুলির একটি বিশাল নির্বাচন প্রোগ্রাম্যাটিকভাবে স্থাপন এবং সূক্ষ্ম-টিউন করার অনুমতি দেয়। এই লঞ্চটি আপনার কোড ওয়ার্কফ্লো, MLOps পাইপলাইন এবং অন্য যেকোন জায়গায় আপনি SDK এর মাধ্যমে SageMaker এর সাথে ইন্টারঅ্যাক্ট করছেন সেখানে জাম্পস্টার্ট ক্ষমতার ব্যবহার আনলক করে৷

এই পোস্টে, আমরা জাম্পস্টার্টের ক্ষমতার বর্তমান অবস্থা সম্পর্কে একটি আপডেট প্রদান করি এবং একটি উদাহরণ ব্যবহারের ক্ষেত্রে জাম্পস্টার্ট API-এর ব্যবহার প্রবাহের মাধ্যমে আপনাকে গাইড করি।

জাম্পস্টার্ট ওভারভিউ

জাম্পস্টার্ট হল একটি বহুমুখী পণ্য যা আপনাকে SageMaker-এ ML-এর সাথে দ্রুত শুরু করতে সাহায্য করার জন্য বিভিন্ন ক্ষমতা অন্তর্ভুক্ত করে। লেখার সময়, জাম্পস্টার্ট আপনাকে নিম্নলিখিতগুলি করতে সক্ষম করে:

  • সাধারণ ML কাজের জন্য প্রাক-প্রশিক্ষিত মডেল স্থাপন করুন - জাম্পস্টার্ট আপনাকে সর্বজনীনভাবে উপলব্ধ বৃহৎ ডেটাসেটে প্রাক-প্রশিক্ষিত মডেলগুলির সহজ স্থাপনা প্রদান করে কোনো উন্নয়ন প্রচেষ্টা ছাড়াই সাধারণ ML কাজগুলি সমাধান করতে সক্ষম করে। এমএল গবেষণা সম্প্রদায় সম্প্রতি বিকশিত বেশিরভাগ মডেলকে সর্বজনীনভাবে ব্যবহারের জন্য উপলব্ধ করার জন্য প্রচুর পরিমাণে প্রচেষ্টা চালিয়েছে। জাম্পস্টার্ট 300 টিরও বেশি মডেলের একটি সংগ্রহ হোস্ট করে, 15টি সবচেয়ে জনপ্রিয় ML টাস্ক যেমন অবজেক্ট ডিটেকশন, টেক্সট ক্লাসিফিকেশন এবং টেক্সট জেনারেশন বিস্তৃত করে, নতুনদের জন্য সেগুলি ব্যবহার করা সহজ করে তোলে। এই মডেলগুলি জনপ্রিয় মডেল হাব, যেমন TensorFlow, PyTorch, Hugging Face, এবং MXNet Hub থেকে আঁকা হয়েছে৷
  • ফাইন-টিউন প্রাক-প্রশিক্ষিত মডেল - জাম্পস্টার্ট আপনাকে আপনার নিজের প্রশিক্ষণ অ্যালগরিদম লেখার প্রয়োজন ছাড়াই প্রাক-প্রশিক্ষিত মডেলগুলিকে সূক্ষ্ম-টিউন করতে দেয়৷ এমএল-এ, এক ডোমেনে শেখা জ্ঞান অন্য ডোমেনে স্থানান্তর করার ক্ষমতা বলা হয় প্রশিক্ষণ স্থানান্তর. আপনি আপনার ছোট ডেটাসেটে সঠিক মডেল তৈরি করতে ট্রান্সফার লার্নিং ব্যবহার করতে পারেন, স্ক্র্যাচ থেকে মূল মডেলের প্রশিক্ষণে জড়িতদের তুলনায় অনেক কম প্রশিক্ষণ খরচ। জাম্পস্টার্টে লাইটজিবিএম, ক্যাটবুস্ট, এক্সজিবিবুস্ট এবং স্কিট-লার্নের উপর ভিত্তি করে জনপ্রিয় প্রশিক্ষণ অ্যালগরিদমও রয়েছে যা আপনি সারণী ডেটা রিগ্রেশন এবং শ্রেণীবিভাগের জন্য স্ক্র্যাচ থেকে প্রশিক্ষণ দিতে পারেন।
  • প্রাক-নির্মিত সমাধান ব্যবহার করুন - জাম্পস্টার্ট এর একটি সেট প্রদান করে 17টি পূর্ব-নির্মিত সমাধান সাধারণ ML ব্যবহারের ক্ষেত্রে, যেমন চাহিদা পূর্বাভাস এবং শিল্প ও আর্থিক অ্যাপ্লিকেশন, যা আপনি মাত্র কয়েকটি ক্লিকে স্থাপন করতে পারেন। সমাধানগুলি হল এন্ড-টু-এন্ড এমএল অ্যাপ্লিকেশন যা একটি নির্দিষ্ট ব্যবসায়িক ব্যবহারের ক্ষেত্রে সমাধান করতে বিভিন্ন AWS পরিষেবাকে একত্রিত করে। তারা ব্যবহার করে এডাব্লুএস ক্লাউডফর্মেশন দ্রুত স্থাপনার জন্য টেমপ্লেট এবং রেফারেন্স আর্কিটেকচার, যার মানে তারা সম্পূর্ণরূপে কাস্টমাইজযোগ্য।
  • সেজমেকার অ্যালগরিদমের জন্য নোটবুকের উদাহরণ ব্যবহার করুন - সেজমেকার একটি স্যুট প্রদান করে অন্তর্নির্মিত অ্যালগরিদম ডেটা সায়েন্টিস্ট এবং এমএল প্র্যাকটিশনারদের প্রশিক্ষণ শুরু করতে এবং এমএল মডেলগুলি দ্রুত স্থাপনে সহায়তা করতে। জাম্পস্টার্ট নমুনা নোটবুক সরবরাহ করে যা আপনি এই অ্যালগরিদমগুলি দ্রুত ব্যবহার করতে ব্যবহার করতে পারেন।
  • প্রশিক্ষণ ভিডিও এবং ব্লগ সুবিধা নিন - জাম্পস্টার্ট অসংখ্য ব্লগ পোস্ট এবং ভিডিও সরবরাহ করে যা আপনাকে সেজমেকারের মধ্যে বিভিন্ন কার্যকারিতা কীভাবে ব্যবহার করতে হয় তা শেখায়।

জাম্পস্টার্ট কাস্টম VPC সেটিংস এবং KMS এনক্রিপশন কীগুলি গ্রহণ করে, যাতে আপনি আপনার এন্টারপ্রাইজ পরিবেশের মধ্যে উপলব্ধ মডেল এবং সমাধানগুলি নিরাপদে ব্যবহার করতে পারেন৷ আপনি SageMaker স্টুডিওতে বা SageMaker Python SDK-এর মাধ্যমে আপনার নিরাপত্তা সেটিংস জাম্পস্টার্টে পাস করতে পারেন।

জাম্পস্টার্ট-সমর্থিত ML টাস্ক এবং API উদাহরণ নোটবুক

জাম্পস্টার্ট বর্তমানে 15টি জনপ্রিয় ML টাস্ক সমর্থন করে; এর মধ্যে 13টি দৃষ্টি এবং NLP-ভিত্তিক কাজ, যার মধ্যে 8টি নো-কোড ফাইন-টিউনিং সমর্থন করে। এটি ট্যাবুলার ডেটা মডেলিংয়ের জন্য চারটি জনপ্রিয় অ্যালগরিদম সমর্থন করে। তাদের নমুনা নোটবুকের কাজ এবং লিঙ্কগুলি নিম্নলিখিত টেবিলে সংক্ষিপ্ত করা হয়েছে।

কার্য প্রাক-প্রশিক্ষিত মডেলের সাথে অনুমান কাস্টম ডেটাসেটের উপর প্রশিক্ষণ ফ্রেমওয়ার্ক সমর্থিত উদাহরণ নোটবুক
ছবির শ্রেণীবিভাগ হাঁ হাঁ পাইটর্চ, টেনসরফ্লো জাম্পস্টার্টের ভূমিকা - চিত্র শ্রেণীবিভাগ
বস্তু সনাক্তকরণ হাঁ হাঁ পাইটর্চ, টেনসরফ্লো, এমএক্সনেট জাম্পস্টার্টের ভূমিকা - অবজেক্ট সনাক্তকরণ
শব্দার্থিক সেগমেন্টেশন হাঁ হাঁ এমএক্স নেট জাম্পস্টার্টের ভূমিকা - শব্দার্থিক সেগমেন্টেশন
ইনস্ট্যান্স সেগমেন্টেশন হাঁ না। এমএক্স নেট জাম্পস্টার্টের ভূমিকা - ইনস্ট্যান্স সেগমেন্টেশন
ইমেজ এমবেডিং হাঁ না। টেনসরফ্লো, এমএক্সনেট জাম্পস্টার্টের ভূমিকা - ইমেজ এম্বেডিং
পাঠ্য শ্রেণিবিন্যাস হাঁ হাঁ TensorFlow জাম্পস্টার্টের ভূমিকা - পাঠ্য শ্রেণিবিন্যাস
বাক্য জোড়া শ্রেণীবিভাগ হাঁ হাঁ টেনসরফ্লো, আলিঙ্গন করা মুখ জাম্পস্টার্টের ভূমিকা - বাক্য জোড়া শ্রেণীবিভাগ
প্রশ্নের উত্তর হাঁ হাঁ পাইটর্চ জাম্পস্টার্টের ভূমিকা - প্রশ্নের উত্তর
নামকরণ সত্তা স্বীকৃতি হাঁ না। আলিঙ্গন মুখ জাম্পস্টার্টের ভূমিকা - নামযুক্ত সত্তা স্বীকৃতি
পাঠ্য সংক্ষিপ্তকরণ হাঁ না। আলিঙ্গন মুখ জাম্পস্টার্টের ভূমিকা - পাঠ্য সংক্ষিপ্তকরণ
টেক্সট জেনারেশন হাঁ না। আলিঙ্গন মুখ জাম্পস্টার্টের ভূমিকা - টেক্সট জেনারেশন
যন্ত্রানুবাদ হাঁ না। আলিঙ্গন মুখ জাম্পস্টার্টের ভূমিকা - মেশিন অনুবাদ
টেক্সট এমবেডিং হাঁ না। টেনসরফ্লো, এমএক্সনেট জাম্পস্টার্টের ভূমিকা - টেক্সট এম্বেডিং
ট্যাবুলার শ্রেণীবিভাগ হাঁ হাঁ LightGBM, CatBoost, XGBoost, লিনিয়ার লার্নার জাম্পস্টার্টের ভূমিকা - ট্যাবুলার ক্লাসিফিকেশন - লাইটজিবিএম, ক্যাটবুস্ট
জাম্পস্টার্টের ভূমিকা - ট্যাবুলার ক্লাসিফিকেশন - XGBoost, লিনিয়ার লার্নার
ট্যাবুলার রিগ্রেশন হাঁ হাঁ LightGBM, CatBoost, XGBoost, লিনিয়ার লার্নার জাম্পস্টার্টের ভূমিকা - ট্যাবুলার রিগ্রেশন - লাইটজিবিএম, ক্যাটবুস্ট
জাম্পস্টার্টের ভূমিকা - ট্যাবুলার রিগ্রেশন - XGBoost, লিনিয়ার লার্নার

টাস্কের উপর নির্ভর করে, পূর্ববর্তী সারণীতে লিঙ্ক করা নমুনা নোটবুকগুলি আপনাকে নিম্নলিখিত প্রক্রিয়াগুলির সমস্ত বা একটি উপসেট সম্পর্কে গাইড করতে পারে:

  • আপনার নির্দিষ্ট কাজের জন্য একটি জাম্পস্টার্ট সমর্থিত প্রাক-প্রশিক্ষিত মডেল নির্বাচন করুন।
  • একটি প্রাক-প্রশিক্ষিত মডেল হোস্ট করুন, এটি থেকে রিয়েল-টাইমে ভবিষ্যদ্বাণী পান এবং পর্যাপ্তভাবে ফলাফলগুলি প্রদর্শন করুন৷
  • হাইপারপ্যারামিটারের আপনার নিজস্ব নির্বাচনের সাথে একটি প্রাক-প্রশিক্ষিত মডেলকে ফাইন-টিউন করুন এবং অনুমানের জন্য এটি স্থাপন করুন।

JumpStart API-এর সাথে একটি অবজেক্ট ডিটেকশন মডেল ফাইন-টিউন করুন এবং স্থাপন করুন

নিম্নলিখিত বিভাগগুলিতে, আমরা অবজেক্ট সনাক্তকরণের প্রতিনিধিত্বমূলক কাজে নতুন জাম্পস্টার্ট API-গুলি কীভাবে ব্যবহার করতে হয় তার একটি ধাপে ধাপে ওয়াকথ্রু প্রদান করি। বাউন্ডিং বক্স সহ একটি চিত্রের ক্লাসের একটি পূর্বনির্ধারিত সেট থেকে অবজেক্ট শনাক্ত করতে কীভাবে একটি প্রাক-প্রশিক্ষিত অবজেক্ট ডিটেকশন মডেল ব্যবহার করতে হয় তা আমরা দেখাই। পরিশেষে, আমরা দেখাই যে কীভাবে আপনার নিজস্ব ডেটাসেটে একটি প্রাক-প্রশিক্ষিত মডেলকে সুন্দরভাবে টিউন করতে হয় যাতে আপনার ব্যবসার প্রয়োজনের জন্য নির্দিষ্ট চিত্রগুলি সনাক্ত করতে হয়, কেবলমাত্র আপনার নিজস্ব ডেটা এনে। আমরা একটি প্রদান এই ওয়াকথ্রু জন্য সহগামী নোটবুক.

আমরা নিম্নোক্ত উচ্চ-স্তরের ধাপগুলোর মধ্য দিয়ে চলেছি:

  1. প্রাক-প্রশিক্ষিত মডেলের উপর অনুমান চালান।
    1. জাম্পস্টার্ট আর্টিফ্যাক্ট পুনরুদ্ধার করুন এবং একটি শেষ পয়েন্ট স্থাপন করুন।
    2. সমাপ্তি বিন্দু অনুসন্ধান করুন, প্রতিক্রিয়া পার্স করুন এবং মডেল পূর্বাভাস প্রদর্শন করুন।
  2. আপনার নিজস্ব ডেটাসেটে প্রাক-প্রশিক্ষিত মডেলটি সূক্ষ্ম-টিউন করুন।
    1. প্রশিক্ষণ নিদর্শন পুনরুদ্ধার করুন.
    2. প্রশিক্ষণ চালান।

প্রাক-প্রশিক্ষিত মডেলের উপর অনুমান চালান

এই বিভাগে, আমরা জাম্পস্টার্টে একটি উপযুক্ত প্রাক-প্রশিক্ষিত মডেল বেছে নিই, এই মডেলটিকে একটি সেজমেকার এন্ডপয়েন্টে স্থাপন করি, এবং কীভাবে স্থাপন করা শেষ পয়েন্টে অনুমান চালানো যায় তা দেখাই। সমস্ত ধাপে উপলব্ধ জুপিটার নোটবুক সহগামী.

জাম্পস্টার্ট আর্টিফ্যাক্ট পুনরুদ্ধার করুন এবং একটি শেষ পয়েন্ট স্থাপন করুন

সেজমেকার ডকার কন্টেইনারগুলির উপর ভিত্তি করে একটি প্ল্যাটফর্ম। জাম্পস্টার্ট উপলব্ধ ফ্রেমওয়ার্ক-নির্দিষ্ট ব্যবহার করে সেজমেকার গভীর শিক্ষার পাত্রে (DLCs)। আমরা যেকোন অতিরিক্ত প্যাকেজ, সেইসাথে নির্বাচিত কাজের জন্য প্রশিক্ষণ এবং অনুমান পরিচালনা করার জন্য স্ক্রিপ্ট নিয়ে আসি। অবশেষে, প্রাক-প্রশিক্ষিত মডেলের নিদর্শনগুলি আলাদাভাবে নিয়ে আসা হয় model_uris, যা প্ল্যাটফর্মে নমনীয়তা প্রদান করে। আপনি একটি একক প্রশিক্ষণ বা অনুমান স্ক্রিপ্ট সহ একই কাজের জন্য প্রাক-প্রশিক্ষিত যেকোন সংখ্যক মডেল ব্যবহার করতে পারেন। নিম্নলিখিত কোড দেখুন:

infer_model_id, infer_model_version = "pytorch-od-nvidia-ssd", "*" # Retrieve the inference docker container uri. This is the base container PyTorch image for the model selected above. deploy_image_uri = image_uris.retrieve(region=None, framework=None, image_scope="inference",model_id=infer_model_id, model_version=infer_model_version, instance_type=inference_instance_type) # Retrieve the inference script uri. This includes all dependencies and scripts for model loading, inference handling etc.
deploy_source_uri = script_uris.retrieve(model_id=infer_model_id, model_version=infer_model_version, script_scope="inference") # Retrieve the base model uri. This includes the pre-trained nvidia-ssd model and parameters.
base_model_uri = model_uris.retrieve(model_id=infer_model_id, model_version=infer_model_version, model_scope="inference")

এর পরে, আমরা সংস্থানগুলিকে a-এ ফিড করি সেজমেকার মডেল উদাহরণ এবং একটি শেষ পয়েন্ট স্থাপন করুন:

# Create the SageMaker model instance
model = Model(image_uri=deploy_image_uri, source_dir=deploy_source_uri, model_data=base_model_uri, entry_point="inference.py", role=aws_role, predictor_cls=Predictor, name=endpoint_name) # deploy the Model. Note that we need to pass Predictor class when we deploy model through Model class for being able to run inference through the sagemaker API.
base_model_predictor = model.deploy(initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=endpoint_name)

এন্ডপয়েন্ট স্থাপনা সম্পূর্ণ হতে কয়েক মিনিট সময় লাগতে পারে।

সমাপ্তি বিন্দু অনুসন্ধান করুন, প্রতিক্রিয়া পার্স করুন এবং পূর্বাভাস প্রদর্শন করুন

একটি স্থাপন করা মডেল থেকে অনুমান পেতে, একটি ইনপুট ইমেজ বাইনারি বিন্যাসে একটি গ্রহণযোগ্য প্রকারের সাথে সরবরাহ করা প্রয়োজন৷ জাম্পস্টার্টে, আপনি কতগুলি বাউন্ডিং বাক্স ফেরত দিয়েছেন তা নির্ধারণ করতে পারেন। নিম্নলিখিত কোড স্নিপেটে, আমরা প্রতি ইমেজ প্রতি দশটি বাউন্ডিং বাক্স যুক্ত করে ভবিষ্যদ্বাণী করি ;n_predictions=10 থেকে Accept. xx বক্সের পূর্বাভাস দিতে, আপনি এটি পরিবর্তন করতে পারেন ;n_predictions=xx , অথবা বাদ দিয়ে সমস্ত পূর্বাভাসিত বাক্স পান ;n_predictions=xx সম্পূর্ণরূপে।

def query(model_predictor, image_file_name): with open(image_file_name, "rb") as file: input_img_rb = file.read() return model_predictor.predict(input_img_rb,{ "ContentType": "application/x-image", "Accept": "application/json;verbose;n_predictions=10"}) query_response = query(base_model_predictor, Naxos_Taverna)

নিম্নলিখিত কোড স্নিপেট আপনাকে অবজেক্ট সনাক্তকরণ কেমন দেখাচ্ছে তার একটি আভাস দেয়। প্রতিটি অবজেক্ট ক্লাসের জন্য ভবিষ্যদ্বাণী করা সম্ভাব্যতা তার বাউন্ডিং বক্স সহ কল্পনা করা হয়। আমরা ব্যবহার করি parse_response এবং display_predictions সহায়ক ফাংশন, যা সহগামী সংজ্ঞায়িত করা হয় নোটবই.

normalized_boxes, classes_names, confidences = parse_response(query_response)
display_predictions(Naxos_Taverna, normalized_boxes, classes_names, confidences)

নিম্নলিখিত স্ক্রিনশটটি পূর্বাভাস লেবেল এবং বাউন্ডিং বাক্স সহ একটি চিত্রের আউটপুট দেখায়।

Amazon SageMaker JumpStart মডেল এবং অ্যালগরিদম এখন API PlatoBlockchain ডেটা ইন্টেলিজেন্সের মাধ্যমে উপলব্ধ৷ উল্লম্ব অনুসন্ধান. আ.

আপনার নিজের ডেটাসেটে একটি প্রাক-প্রশিক্ষিত মডেল ফাইন-টিউন করুন

জাম্পস্টার্টে বিদ্যমান অবজেক্ট ডিটেকশন মডেলগুলি হয় COCO বা VOC ডেটাসেটে প্রাক-প্রশিক্ষিত। যাইহোক, যদি আপনাকে এমন অবজেক্ট ক্লাস সনাক্ত করতে হয় যেগুলি মূল প্রাক-প্রশিক্ষণ ডেটাসেটে বিদ্যমান নেই, তাহলে আপনাকে একটি নতুন ডেটাসেটে মডেলটি সূক্ষ্ম-টিউন করতে হবে যাতে এই নতুন অবজেক্টের প্রকারগুলি অন্তর্ভুক্ত থাকে। উদাহরণস্বরূপ, যদি আপনার রান্নাঘরের পাত্র শনাক্ত করতে হয় এবং একটি স্থাপন করা প্রাক-প্রশিক্ষিত SSD মডেলে অনুমান চালাতে হয়, তাহলে মডেলটি নতুন চিত্রের প্রকারের কোনো বৈশিষ্ট্য চিনতে পারে না এবং তাই আউটপুটটি ভুল।

এই বিভাগে, আমরা জাম্পস্টার্ট API ব্যবহার করে নতুন অবজেক্ট ক্লাস শনাক্ত করার জন্য একটি প্রাক-প্রশিক্ষিত মডেলকে ফাইন-টিউন করা কতটা সহজ তা দেখাই। আরো বিস্তারিত সহ সম্পূর্ণ কোড উদাহরণ পাওয়া যায় সহগামী নোটবুক.

প্রশিক্ষণ নিদর্শন পুনরুদ্ধার করুন

প্রশিক্ষণের নিদর্শনগুলি পূর্ববর্তী বিভাগে আলোচিত অনুমান শিল্পের অনুরূপ। প্রশিক্ষণের জন্য একটি বেস ডকার কন্টেইনার প্রয়োজন, যেমন নিম্নলিখিত উদাহরণ কোডে MXNet ধারক। প্রশিক্ষণের জন্য প্রয়োজনীয় যেকোনো অতিরিক্ত প্যাকেজ প্রশিক্ষণের স্ক্রিপ্টের সাথে অন্তর্ভুক্ত করা হয়েছে train_sourcer_uri. প্রাক-প্রশিক্ষিত মডেল এবং এর পরামিতিগুলি আলাদাভাবে প্যাকেজ করা হয়।

train_model_id, train_model_version, train_scope = "mxnet-od-ssd-512-vgg16-atrous-coco","*","training"
training_instance_type = "ml.p2.xlarge" # Retrieve the docker image. This is the base container MXNet image for the model selected above. train_image_uri = image_uris.retrieve(region=None, framework=None, model_id=train_model_id, model_version=train_model_version, image_scope=train_scope,instance_type=training_instance_type) # Retrieve the training script and dependencies. This contains all the necessary files including data processing, model training etc.
train_source_uri = script_uris.retrieve(model_id=train_model_id, model_version=train_model_version, script_scope=train_scope) # Retrieve the pre-trained model tarball to further fine-tune
train_model_uri = model_uris.retrieve(
model_id=train_model_id, model_version=train_model_version, model_scope=train_scope)

প্রশিক্ষণ চালানো

প্রশিক্ষণ চালানোর জন্য, আমরা কিছু অতিরিক্ত পরামিতি সহ প্রয়োজনীয় নিদর্শনগুলিকে খাইয়ে দিই সেজমেকার এস্টিমেটর এবং কল .fit ফাংশন:

# Create SageMaker Estimator instance
od_estimator = Estimator( role=aws_role, image_uri=train_image_uri, source_dir=train_source_uri, model_uri=train_model_uri, entry_point="transfer_learning.py", # Entry-point file in source_dir and present in train_source_uri. instance_count=1, instance_type=training_instance_type, max_run=360000, hyperparameters=hyperparameters, output_path=s3_output_location,
) # Launch a SageMaker Training job by passing s3 path of the training data
od_estimator.fit({"training": training_dataset_s3_path}, logs=True)

অ্যালগরিদম ট্রেন চলাকালীন, আপনি সেজমেকার নোটবুক যেখানে আপনি নিজেই কোডটি চালাচ্ছেন বা চালু করছেন সেখানে এর অগ্রগতি নিরীক্ষণ করতে পারেন অ্যামাজন ক্লাউডওয়াচ. প্রশিক্ষণ সম্পূর্ণ হলে, সূক্ষ্ম-সুরিত মডেলের শিল্পকর্মগুলি আপলোড করা হয় আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) আউটপুট অবস্থান প্রশিক্ষণ কনফিগারেশনে নির্দিষ্ট করা হয়েছে। আপনি এখন মডেলটিকে প্রাক-প্রশিক্ষিত মডেলের মতোই স্থাপন করতে পারেন। আপনি বাকি প্রক্রিয়া অনুসরণ করতে পারেন সহগামী নোটবুক.

উপসংহার

এই পোস্টে, আমরা সদ্য প্রকাশিত জাম্পস্টার্ট API-এর মান এবং কীভাবে সেগুলি ব্যবহার করতে হয় তা বর্ণনা করেছি। আমরা JumpStart-এ সমর্থিত বিভিন্ন ML টাস্কের জন্য 17টি উদাহরণ নোটবুকের লিঙ্ক প্রদান করেছি, এবং আপনাকে অবজেক্ট ডিটেকশন নোটবুকের মাধ্যমে নিয়ে এসেছি।

আপনি JumpStart নিয়ে পরীক্ষা করার সময় আমরা আপনার কাছ থেকে শোনার জন্য উন্মুখ।


লেখক সম্পর্কে

Amazon SageMaker JumpStart মডেল এবং অ্যালগরিদম এখন API PlatoBlockchain ডেটা ইন্টেলিজেন্সের মাধ্যমে উপলব্ধ৷ উল্লম্ব অনুসন্ধান. আ.বিবেক মদন ড অ্যামাজন সেজমেকার জাম্পস্টার্ট দলের একজন ফলিত বিজ্ঞানী। তিনি আরবানা-চ্যাম্পেইনের ইলিনয় বিশ্ববিদ্যালয় থেকে তার পিএইচডি পেয়েছিলেন এবং জর্জিয়া টেকের পোস্ট-ডক্টরাল গবেষক ছিলেন। তিনি মেশিন লার্নিং এবং অ্যালগরিদম ডিজাইনের একজন সক্রিয় গবেষক এবং EMNLP, ICLR, COLT, FOCS এবং SODA কনফারেন্সে গবেষণাপত্র প্রকাশ করেছেন।

Amazon SageMaker JumpStart মডেল এবং অ্যালগরিদম এখন API PlatoBlockchain ডেটা ইন্টেলিজেন্সের মাধ্যমে উপলব্ধ৷ উল্লম্ব অনুসন্ধান. আ.জোয়াও মৌরা আমাজন ওয়েব সার্ভিসে একজন এআই/এমএল স্পেশালিস্ট সলিউশন আর্কিটেক্ট। তিনি বেশিরভাগই এনএলপি ব্যবহারের ক্ষেত্রে এবং গ্রাহকদের ডিপ লার্নিং মডেল প্রশিক্ষণ এবং স্থাপনার অপ্টিমাইজে সহায়তা করার দিকে মনোনিবেশ করেন।

Amazon SageMaker JumpStart মডেল এবং অ্যালগরিদম এখন API PlatoBlockchain ডেটা ইন্টেলিজেন্সের মাধ্যমে উপলব্ধ৷ উল্লম্ব অনুসন্ধান. আ.আশিস খেতান ড সঙ্গে একজন সিনিয়র ফলিত বিজ্ঞানী আমাজন সেজমেকার জাম্পস্টার্ট এবং Amazon SageMaker বিল্ট-ইন অ্যালগরিদম এবং মেশিন লার্নিং অ্যালগরিদম বিকাশে সাহায্য করে। তিনি মেশিন লার্নিং এবং পরিসংখ্যানগত অনুমানের একজন সক্রিয় গবেষক এবং নিউরিআইপিএস, আইসিএমএল, আইসিএলআর, জেএমএলআর এবং এসিএল সম্মেলনে অনেক গবেষণাপত্র প্রকাশ করেছেন।

সময় স্ট্যাম্প:

থেকে আরো এডাব্লুএস মেশিন লার্নিং

AWS-এ স্বয়ংক্রিয়, স্কেলযোগ্য এবং সাশ্রয়ী ML: হাওয়াইয়ান বনে আক্রমণাত্মক অস্ট্রেলিয়ান গাছের ফার্ন সনাক্ত করা

উত্স নোড: 1242834
সময় স্ট্যাম্প: মার্চ 29, 2022

সিন্থেটিক ডেটার গুণমান কীভাবে মূল্যায়ন করা যায় - বিশ্বস্ততা, উপযোগিতা এবং গোপনীয়তার দৃষ্টিকোণ থেকে পরিমাপ করা

উত্স নোড: 1774079
সময় স্ট্যাম্প: ডিসেম্বর 16, 2022