এই পোস্টে, আমরা প্রদর্শন AWS-এ কুবেফ্লো (Kubeflow-এর একটি AWS-নির্দিষ্ট ডিস্ট্রিবিউশন) এবং অত্যন্ত অপ্টিমাইজ করা, ক্লাউড-নেটিভ, এন্টারপ্রাইজ-প্রস্তুত AWS পরিষেবাগুলির একীকরণের মাধ্যমে ওপেন-সোর্স Kubeflow-এর উপর এটি যে মান যোগ করে।
Kubeflow হল একটি ওপেন-সোর্স মেশিন লার্নিং (ML) প্ল্যাটফর্ম যা Kubernetes-এ সহজ, বহনযোগ্য এবং স্কেলযোগ্য ML কর্মপ্রবাহের স্থাপনার জন্য নিবেদিত। Kubeflow একটি কেন্দ্রীয় ড্যাশবোর্ড, মাল্টি-ইউজার জুপিটার নোটবুক, কুবেফ্লো পাইপলাইন, কেএফসার্ভিং এবং কাতিব, সেইসাথে টেনসরফ্লো, পাইটর্চ, এমএক্সনেট, এবং এক্সজিবিওস্টের জন্য বিতরণকৃত প্রশিক্ষণ অপারেটর সহ অনেক উপাদান সরবরাহ করে, সহজ, স্কেলযোগ্য এবং বহনযোগ্য এমএল ওয়ার্কফ্লো তৈরি করতে। .
AWS সম্প্রতি তার নিজস্ব Kubeflow ডিস্ট্রিবিউশনের অংশ হিসাবে Kubeflow v1.4 চালু করেছে (যাকে AWS-এ Kubeflow বলা হয়), যা ডেটা বিজ্ঞানের কাজগুলিকে স্ট্রীমলাইন করে এবং AWS পরিচালিত পরিষেবাগুলির সাথে একীকরণের মাধ্যমে কম অপারেশনাল ওভারহেড সহ অত্যন্ত নির্ভরযোগ্য, নিরাপদ, পোর্টেবল এবং স্কেলযোগ্য ML সিস্টেম তৈরি করতে সহায়তা করে। . আপনি উপরে ML সিস্টেম তৈরি করতে এই Kubeflow বিতরণ ব্যবহার করতে পারেন অ্যামাজন ইলাস্টিক কুবারনেটস পরিষেবা (Amazon EKS) কম্পিউটার ভিশন, প্রাকৃতিক ভাষা প্রক্রিয়াকরণ, বক্তৃতা অনুবাদ এবং আর্থিক মডেলিং সহ বিভিন্ন ধরণের ব্যবহারের ক্ষেত্রে এমএল মডেল তৈরি, প্রশিক্ষণ, সুর এবং স্থাপন করতে।
ওপেন সোর্স Kubeflow এর সাথে চ্যালেঞ্জ
আপনি যখন একটি ওপেন-সোর্স Kubeflow প্রকল্প ব্যবহার করেন, তখন এটি Kubernetes কর্মী নোডগুলিতে সমস্ত Kubeflow কন্ট্রোল প্লেন এবং ডেটা প্লেন উপাদান স্থাপন করে। Kubeflow কম্পোনেন্ট পরিষেবাগুলি Kubeflow কন্ট্রোল প্লেনের অংশ হিসাবে স্থাপন করা হয় এবং Jupyter, মডেল প্রশিক্ষণ, টিউনিং এবং হোস্টিং সম্পর্কিত সমস্ত সংস্থান স্থাপন করা হয় Kubeflow ডেটা প্লেনে। Kubeflow কন্ট্রোল প্লেন এবং ডেটা প্লেন একই বা ভিন্ন Kubernetes ওয়ার্কার নোডে চলতে পারে। এই পোস্টটি কুবেফ্লো কন্ট্রোল প্লেনের উপাদানগুলির উপর ফোকাস করে, যেমনটি নিম্নলিখিত চিত্রে চিত্রিত হয়েছে।
এই স্থাপনার মডেলটি নিম্নলিখিত কারণে এন্টারপ্রাইজ-প্রস্তুত অভিজ্ঞতা প্রদান নাও করতে পারে:
- ডাটাবেস, স্টোরেজ এবং প্রমাণীকরণ সহ সমস্ত Kubeflow কন্ট্রোল প্লেন ভারী উত্তোলন পরিকাঠামো উপাদানগুলি, Kubernetes ক্লাস্টার কর্মী নোডেই স্থাপন করা হয়। এটি কর্মীর নোড ব্যর্থতার ক্ষেত্রে একটি অবিচ্ছিন্ন অবস্থা সহ একটি অত্যন্ত উপলব্ধ কুবেফ্লো কন্ট্রোল প্লেন ডিজাইন আর্কিটেকচার বাস্তবায়ন করা চ্যালেঞ্জিং করে তোলে।
- Kubeflow কন্ট্রোল প্লেন জেনারেট করা আর্টিফ্যাক্ট (যেমন MySQL ইনস্ট্যান্স, পড লগ, বা MinIO স্টোরেজ) সময়ের সাথে সাথে বৃদ্ধি পায় এবং ক্রমবর্ধমান সঞ্চয়স্থানের চাহিদা মেটাতে ক্রমাগত মনিটরিং ক্ষমতা সহ রিসাইজযোগ্য স্টোরেজ ভলিউম প্রয়োজন। যেহেতু কুবেফ্লো কন্ট্রোল প্লেন কুবেফ্লো ডেটা প্লেন ওয়ার্কলোডগুলির সাথে সংস্থানগুলি ভাগ করে (উদাহরণস্বরূপ, প্রশিক্ষণের কাজ, পাইপলাইন এবং স্থাপনার জন্য), কুবারনেটস ক্লাস্টার এবং স্টোরেজ ভলিউমের ডান-সাইজিং এবং স্কেল করা চ্যালেঞ্জিং হয়ে উঠতে পারে এবং এর ফলে অপারেশনাল খরচ বেড়ে যায়।
- কুবারনেটস লগ ফাইলের আকার সীমাবদ্ধ করে, বেশিরভাগ ইনস্টলেশনে 10 MB-এর সাম্প্রতিক সীমা রাখা হয়। ডিফল্টরূপে, পড লগগুলি এই ঊর্ধ্ব সীমায় পৌঁছানোর পরে অ্যাক্সেসযোগ্য হয়ে যায়। লগগুলিও অ্যাক্সেসযোগ্য হয়ে উঠতে পারে যদি পডগুলিকে উচ্ছেদ করা হয়, ক্র্যাশ করা হয়, মুছে ফেলা হয় বা একটি ভিন্ন নোডে নির্ধারিত হয়, যা আপনার অ্যাপ্লিকেশন লগের উপলব্ধতা এবং পর্যবেক্ষণ ক্ষমতাকে প্রভাবিত করতে পারে।
AWS-এ কুবেফ্লো
AWS-এ Kubeflow নিম্নলিখিত AWS পরিষেবাগুলির সাথে Kubeflow ব্যবহার করার জন্য একটি পরিষ্কার পথ প্রদান করে:
- অ্যাপ্লিকেশন লোড ব্যালেন্সার HTTPS এর মাধ্যমে নিরাপদ বাহ্যিক ট্রাফিক ব্যবস্থাপনার জন্য
- অ্যামাজন ক্লাউডওয়াচ ক্রমাগত লগ পরিচালনার জন্য
- এডাব্লুএস কগনিটো ট্রান্সপোর্ট লেয়ার সিকিউরিটি (TLS) সহ ব্যবহারকারীর প্রমাণীকরণের জন্য
- AWS ডিপ লার্নিং কন্টেইনার অত্যন্ত অপ্টিমাইজ করা Jupyter নোটবুক সার্ভার ইমেজ জন্য
- আমাজন ইলাস্টিক ফাইল সিস্টেম (আমাজন ইএফএস) বা দীপ্তি জন্য Amazon FSx প্রশিক্ষণ কর্মক্ষমতা বৃদ্ধির জন্য একটি সহজ, মাপযোগ্য, এবং সার্ভারহীন ফাইল স্টোরেজ সমাধানের জন্য
- পরিচালিত Kubernetes ক্লাস্টারগুলির জন্য Amazon EKS
- অ্যামাজন রিলেশনাল ডাটাবেস পরিষেবা (Amazon RDS) অত্যন্ত স্কেলযোগ্য পাইপলাইন এবং একটি মেটাডেটা স্টোরের জন্য
- এডাব্লুএস সিক্রেটস ম্যানেজার আপনার অ্যাপ্লিকেশন অ্যাক্সেস করার জন্য প্রয়োজনীয় গোপনীয়তা রক্ষা করতে
- আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) একটি সহজে ব্যবহারযোগ্য পাইপলাইন শিল্পকর্মের দোকানের জন্য
Kubeflow-এর সাথে এই AWS পরিষেবা সংহতকরণ (নিম্নলিখিত চিত্রে দেখানো হয়েছে) আমাদের Kubernetes থেকে Kubeflow কন্ট্রোল প্লেনের গুরুত্বপূর্ণ অংশগুলিকে আলাদা করার অনুমতি দেয়, একটি সুরক্ষিত, মাপযোগ্য, স্থিতিস্থাপক, এবং খরচ-অনুকূলিত নকশা প্রদান করে।
আসুন প্রতিটি পরিষেবা ইন্টিগ্রেশনের সুবিধা এবং নিরাপত্তা, ML পাইপলাইন চালানো এবং স্টোরেজ সম্পর্কে তাদের সমাধান নিয়ে আলোচনা করি।
Amazon Cognito এর সাথে Kubeflow ব্যবহারকারীদের নিরাপদ প্রমাণীকরণ
AWS-এ ক্লাউড নিরাপত্তা হল সর্বোচ্চ অগ্রাধিকার, এবং আমরা কুবেফ্লো নিরাপত্তাকে সরাসরি AWS শেয়ার্ড-দায়িত্ব সুরক্ষা পরিষেবার মধ্যে শক্তভাবে সংহত করার জন্য বিনিয়োগ করছি, যেমন নিম্নলিখিতগুলি:
- বহিরাগত ট্রাফিক ব্যবস্থাপনার জন্য অ্যাপ্লিকেশন লোড ব্যালেন্সার (ALB)
- AWS সার্টিফিকেট ম্যানেজার (ACM) TLS সমর্থন করতে
- পরিষেবা অ্যাকাউন্টের জন্য IAM ভূমিকা (IRSA) কুবারনেটস পড স্তরে সূক্ষ্ম-দানাযুক্ত অ্যাক্সেস নিয়ন্ত্রণের জন্য
- AWS কী ব্যবস্থাপনা পরিষেবা (AWS KMS) ডেটা এনক্রিপশন কী ব্যবস্থাপনার জন্য
- এডাব্লুএস শিল্ড DDoS সুরক্ষার জন্য
এই বিভাগে, আমরা Amazon Cognito-এর সাথে AWS Kubeflow কন্ট্রোল প্লেন ইন্টিগ্রেশনের উপর ফোকাস করি। অ্যামাজন কগনিটো ব্যবহারকারীর প্রমাণীকরণের জন্য একটি নেটিভ ডেক্স (ওপেন-সোর্স ওপেনআইডি কানেক্ট (OIDC) প্রদানকারী স্থানীয় LDAP দ্বারা সমর্থিত) সমাধান পরিচালনা এবং বজায় রাখার প্রয়োজনীয়তা দূর করে এবং গোপন ব্যবস্থাপনাকে সহজ করে তোলে।
আপনি দ্রুত এবং সহজে আপনার Kubeflow UI এ ব্যবহারকারী সাইন-আপ, সাইন-ইন এবং অ্যাক্সেস নিয়ন্ত্রণ যোগ করতে Amazon Cognito ব্যবহার করতে পারেন। অ্যামাজন কগনিটো লক্ষ লক্ষ ব্যবহারকারীর কাছে স্কেল করে এবং SAML 2.0 এর মাধ্যমে Facebook, Google এবং Amazon এর মতো সামাজিক পরিচয় প্রদানকারী (IdPs) এবং এন্টারপ্রাইজ IdPs-এর সাথে সাইন-ইন সমর্থন করে৷ এটি আপনার কুবেফ্লো সেটআপের জটিলতা কমিয়ে দেয়, এটিকে বহু-ব্যবহারকারী বিচ্ছিন্নতা অর্জনের জন্য কার্যকরীভাবে চর্বিহীন এবং পরিচালনা করা সহজ করে তোলে।
আসুন AWS-এ Kubeflow-এর সাথে Amazon Cognito, ALB, এবং ACM ইন্টিগ্রেশন সহ একটি বহু-ব্যবহারকারী প্রমাণীকরণ প্রবাহ দেখি। এই ইন্টিগ্রেশনের অংশ হিসেবে বেশ কিছু মূল উপাদান রয়েছে। অ্যামাজন কগনিটো একটি আইডিপি হিসাবে কনফিগার করা হয়েছে একটি প্রমাণীকরণ কলব্যাক সহ ব্যবহারকারীর প্রমাণীকরণের পরে অনুরোধটিকে কুবেফ্লোতে রুট করার জন্য কনফিগার করা হয়েছে৷ Kubeflow সেটআপের অংশ হিসাবে, Istio গেটওয়ে পরিষেবাতে বাহ্যিক ট্র্যাফিক পরিচালনা করার জন্য একটি Kubernetes ইনগ্রেস রিসোর্স তৈরি করা হয়েছে। AWS ALB ইনগ্রেস কন্ট্রোলার সেই প্রবেশের জন্য একটি লোড ব্যালেন্সারের ব্যবস্থা করে। আমরা ব্যাবহার করি অ্যামাজন রুট 53 নিবন্ধিত ডোমেনের জন্য একটি সর্বজনীন DNS কনফিগার করতে এবং লোড ব্যালেন্সারে TLS প্রমাণীকরণ সক্ষম করতে ACM ব্যবহার করে শংসাপত্র তৈরি করতে।
নিম্নলিখিত চিত্রটি অ্যামাজন কগনিটোতে লগ ইন করার এবং তাদের নিজ নিজ নামস্থানে কুবেফ্লোতে পুনঃনির্দেশিত হওয়ার সাধারণ ব্যবহারকারীর কর্মপ্রবাহ দেখায়।
কর্মপ্রবাহে নিম্নলিখিত পদক্ষেপগুলি রয়েছে:
- ব্যবহারকারী একটি লোড ব্যালেন্সারের পিছনে হোস্ট করা কুবেফ্লো কেন্দ্রীয় ড্যাশবোর্ডে একটি HTTPS অনুরোধ পাঠায়। রুট 53 FQDN কে ALB ওরফে রেকর্ডে সমাধান করে।
- কুকি উপস্থিত না থাকলে, লোড ব্যালেন্সার ব্যবহারকারীকে অ্যামাজন কগনিটো অনুমোদনের শেষ পয়েন্টে পুনঃনির্দেশ করে যাতে অ্যামাজন কগনিটো ব্যবহারকারীকে প্রমাণীকরণ করতে পারে।
- ব্যবহারকারীর প্রমাণীকরণের পরে, অ্যামাজন কগনিটো ব্যবহারকারীকে একটি অনুমোদন অনুদান কোড সহ লোড ব্যালেন্সারের কাছে ফেরত পাঠায়।
- লোড ব্যালেন্সার অ্যামাজন কগনিটো টোকেন এন্ডপয়েন্টে অনুমোদন অনুদান কোড উপস্থাপন করে।
- একটি বৈধ অনুমোদন অনুদান কোড পাওয়ার পরে, Amazon Cognito আইডি টোকেন এবং ব্যালেন্সার লোড করার জন্য অ্যাক্সেস টোকেন প্রদান করে।
- আপনার লোড ব্যালেন্সার সফলভাবে একজন ব্যবহারকারীকে প্রমাণীকরণ করার পরে, এটি অ্যামাজন কগনিটো ব্যবহারকারীর তথ্যের শেষ পয়েন্টে অ্যাক্সেস টোকেন পাঠায় এবং ব্যবহারকারীর দাবিগুলি গ্রহণ করে। লোড ব্যালেন্সার এইচটিটিপি হেডারে ব্যবহারকারীর দাবিগুলিকে চিহ্নিত করে এবং যোগ করে
x-amzn-oidc-*
একটি JSON ওয়েব টোকেন (JWT) অনুরোধ বিন্যাসে। - লোড ব্যালেন্সার থেকে অনুরোধটি ইস্টিও ইনগ্রেস গেটওয়ের পডে পাঠানো হয়।
- একটি দূত ফিল্টার ব্যবহার করে, Istio গেটওয়ে ডিকোড করে
x-amzn-oidc-data
মান, ইমেল ক্ষেত্র পুনরুদ্ধার করে এবং কাস্টম HTTP হেডার যোগ করেkubeflow-userid
, যা Kubeflow অনুমোদন স্তর দ্বারা ব্যবহৃত হয়। - Istio রিসোর্স-ভিত্তিক অ্যাক্সেস কন্ট্রোল নীতিগুলি কুবেফ্লো ড্যাশবোর্ডে অ্যাক্সেস যাচাই করার জন্য আগত অনুরোধে প্রয়োগ করা হয়। যদি এইগুলির মধ্যে একটি ব্যবহারকারীর কাছে অ্যাক্সেসযোগ্য না হয়, একটি ত্রুটি প্রতিক্রিয়া ফেরত পাঠানো হয়। অনুরোধটি যাচাই করা হলে, এটি উপযুক্ত Kubeflow পরিষেবাতে পাঠানো হয় এবং Kubeflow ড্যাশবোর্ডে অ্যাক্সেস প্রদান করে
Amazon RDS এবং Amazon S3 এর সাথে কুবেফ্লো কম্পোনেন্ট মেটাডেটা এবং আর্টিফ্যাক্ট স্টোরেজ বজায় রাখা
AWS-এ Kubeflow এর সাথে ইন্টিগ্রেশন প্রদান করে অ্যামাজন রিলেশনাল ডাটাবেস পরিষেবা (Amazon RDS) কুবেফ্লো পাইপলাইন এবং অটোএমএল (কাতিব) ক্রমাগত মেটাডেটা স্টোরেজের জন্য, এবং ক্রমাগত আর্টিফ্যাক্ট স্টোরেজের জন্য Kubeflow পাইপলাইনে Amazon S3। আরো বিস্তারিতভাবে Kubeflow পাইপলাইন আলোচনা চালিয়ে যান.
Kubeflow Pipelines হল একটি প্ল্যাটফর্ম যা পোর্টেবল, স্কেলেবল এমএল ওয়ার্কফ্লো তৈরি এবং স্থাপন করার জন্য। এই ওয়ার্কফ্লোগুলি অন্তর্নির্মিত এবং কাস্টম কুবেফ্লো উপাদানগুলি ব্যবহার করে জটিল ML পাইপলাইনগুলি স্বয়ংক্রিয় করতে সহায়তা করতে পারে। Kubeflow পাইপলাইনে পাইথন SDK, পাইথন কোডকে স্ট্যাটিক কনফিগারেশনে রূপান্তর করার জন্য একটি DSL কম্পাইলার, একটি পাইপলাইন পরিষেবা যা স্ট্যাটিক কনফিগারেশন থেকে পাইপলাইন চালায় এবং পাইপলাইনটি সম্পূর্ণ করার জন্য প্রয়োজনীয় Kubernetes Pods-এর মধ্যে কন্টেইনার চালানোর জন্য কন্ট্রোলারের একটি সেট অন্তর্ভুক্ত করে।
পাইপলাইন পরীক্ষা এবং রানের জন্য Kubeflow পাইপলাইন মেটাডেটা MySQL-এ সংরক্ষণ করা হয় এবং পাইপলাইন প্যাকেজ এবং মেট্রিক্স সহ শিল্পকর্ম MinIO-তে সংরক্ষণ করা হয়।
নিম্নলিখিত চিত্রে দেখানো হয়েছে, AWS-এ Kubeflow আপনাকে AWS পরিচালিত পরিষেবাগুলির সাথে নিম্নলিখিত উপাদানগুলি সংরক্ষণ করতে দেয়:
- আমাজন RDS-এ পাইপলাইন মেটাডেটা – Amazon RDS একটি পরিমাপযোগ্য, অত্যন্ত উপলব্ধ, এবং নির্ভরযোগ্য মাল্টি-এজেড স্থাপনার আর্কিটেকচার প্রদান করে যাতে একটি অন্তর্নির্মিত স্বয়ংক্রিয় ব্যর্থতা প্রক্রিয়া এবং মাইএসকিউএল-এর মতো একটি শিল্প-প্রমিত রিলেশনাল ডাটাবেসের জন্য পরিবর্তনযোগ্য ক্ষমতা। এটি পরিকাঠামো প্রদান বা সফ্টওয়্যার বজায় রাখার প্রয়োজন ছাড়াই সাধারণ ডাটাবেস প্রশাসনের কাজগুলি পরিচালনা করে।
- Amazon S3 এ পাইপলাইন শিল্পকর্ম - Amazon S3 শিল্প-নেতৃস্থানীয় স্কেলেবিলিটি, ডেটা প্রাপ্যতা, নিরাপত্তা এবং কর্মক্ষমতা অফার করে এবং এটি আপনার পূরণ করতে ব্যবহার করা যেতে পারে মেনে চলার প্রয়োজনীয়তা.
এই ইন্টিগ্রেশনগুলি মেটাডেটা এবং আর্টিফ্যাক্ট স্টোরেজের ব্যবস্থাপনা এবং রক্ষণাবেক্ষণকে স্ব-পরিচালিত Kubeflow থেকে AWS পরিচালিত পরিষেবাগুলিতে অফলোড করতে সাহায্য করে, যা সেট আপ করা, পরিচালনা করা এবং স্কেল করা সহজ।
Amazon EFS এবং Amazon FSx এর সাথে বিতরণ করা ফাইল সিস্টেমের জন্য সমর্থন
কুবেফ্লো কুবারনেটস-এর উপর তৈরি করে, যা লক্ষাধিক বা এমনকি বিলিয়ন প্যারামিটার সহ একটি গভীর নেটওয়ার্কের সাথে বড় মডেলের প্রশিক্ষণ এবং টিউনিং সহ বৃহৎ-স্কেল, বিতরণকৃত ডেটা প্রক্রিয়াকরণের জন্য একটি পরিকাঠামো প্রদান করে। এই ধরনের বিতরণ করা ডেটা প্রসেসিং ML সিস্টেমকে সমর্থন করার জন্য, AWS-এ Kubeflow নিম্নলিখিত স্টোরেজ পরিষেবাগুলির সাথে একীকরণ প্রদান করে:
- আমাজন ইএফএস - একটি উচ্চ-কর্মক্ষমতা, ক্লাউড-নেটিভ, বিতরণ করা ফাইল সিস্টেম, যা আপনি একটি মাধ্যমে পরিচালনা করতে পারেন আমাজন ইএফএস সিএসআই ড্রাইভার. আমাজন ইএফএস প্রদান করে
ReadWriteMany
অ্যাক্সেস মোড, এবং আপনি এখন এটিকে কুবেফ্লো ডেটা প্লেনে চলমান পডগুলিতে মাউন্ট করতে ব্যবহার করতে পারেন (জুপিটার, মডেল ট্রেনিং, মডেল টিউনিং) একটি স্থায়ী, স্কেলযোগ্য, এবং ভাগ করা যায় এমন ওয়ার্কস্পেস প্রদান করতে যা আপনি ফাইলগুলি যোগ করার এবং মুছে ফেলার সাথে সাথে স্বয়ংক্রিয়ভাবে বৃদ্ধি পায় এবং সঙ্কুচিত হয় ব্যবস্থাপনার প্রয়োজন নেই। - দীপ্তি জন্য Amazon FSx - কম্পিউট-ইনটেনসিভ ওয়ার্কলোডের জন্য একটি অপ্টিমাইজ করা ফাইল সিস্টেম, যেমন উচ্চ-পারফরম্যান্স কম্পিউটিং এবং এমএল, যা আপনি এর মাধ্যমে পরিচালনা করতে পারেন Amazon FSx CSI ড্রাইভার. দীপ্তি জন্য FSx প্রদান করে
ReadWriteMany
পাশাপাশি অ্যাক্সেস মোড, এবং আপনি ব্যাকিং স্টোর হিসাবে Amazon S3 এর সাথে সরাসরি সংযোগ সহ প্রশিক্ষণ ডেটা ক্যাশে করতে এটি ব্যবহার করতে পারেন, যা আপনি Jupyter নোটবুক সার্ভার সমর্থন করতে বা কুবেফ্লো ডেটা প্লেনে চলমান বিতরণ প্রশিক্ষণের জন্য ব্যবহার করতে পারেন। এই কনফিগারেশনের সাথে, ভলিউম ব্যবহার করার আগে আপনাকে ফাইল সিস্টেমে ডেটা স্থানান্তর করতে হবে না। Luster-এর জন্য FSx ধারাবাহিক সাবমিলিসেকেন্ড দেরি এবং উচ্চ সঙ্গতি প্রদান করে এবং TB/s থ্রুপুট এবং লক্ষাধিক IOPS স্কেল করতে পারে।
Kubeflow স্থাপনার বিকল্প
AWS বিভিন্ন Kubeflow স্থাপনার বিকল্প প্রদান করে:
- অ্যামাজন কগনিটোর সাথে স্থাপনা
- Amazon RDS এবং Amazon S3 এর সাথে স্থাপনা
- Amazon Cognito, Amazon RDS, এবং Amazon S3 এর সাথে স্থাপনা
- ভ্যানিলা স্থাপনা
এই বিকল্পগুলির প্রতিটির জন্য পরিষেবা একীকরণ এবং উপলব্ধ অ্যাড-অনগুলির বিশদ বিবরণের জন্য, পড়ুন স্থাপনার বিকল্প. আপনি আপনার ব্যবহারের ক্ষেত্রে সবচেয়ে উপযুক্ত বিকল্পটি ফিট করতে পারেন।
নিম্নলিখিত বিভাগে, আমরা Amazon EKS-এ AWS Kubeflow v1.4 ডিস্ট্রিবিউশন ইন্সটল করার ধাপগুলো দিয়ে চলেছি। তারপরে আমরা অ্যাড-অন হিসাবে সিক্রেটস ম্যানেজার সহ Amazon Cognito, Amazon RDS, এবং Amazon S3-এর সাথে AWS Kubeflow-এর ইন্টিগ্রেশন এবং ব্যবহার প্রদর্শন করতে Kubeflow কেন্দ্রীয় UI ড্যাশবোর্ডে উপলব্ধ বিদ্যমান XGBoost পাইপলাইন উদাহরণ ব্যবহার করি।
পূর্বশর্ত
এই ওয়াকথ্রুটির জন্য, আপনার নিম্নলিখিত পূর্বশর্তগুলি থাকা উচিত:
- An এডাব্লুএস অ্যাকাউন্ট.
- একটি বিদ্যমান Amazon EKS ক্লাস্টার। এটি Kubernetes সংস্করণ 1.19 বা উচ্চতর হওয়া উচিত। ব্যবহার করে স্বয়ংক্রিয় ক্লাস্টার তৈরির জন্য eksctlদেখুন একটি Amazon EKS ক্লাস্টার তৈরি করুন এবং eksctl বিকল্পটি ব্যবহার করুন।
আপনার Kubernetes ক্লাস্টার অ্যাক্সেস করতে ব্যবহৃত ক্লায়েন্ট মেশিনে নিম্নলিখিত সরঞ্জামগুলি ইনস্টল করুন। তুমি ব্যবহার করতে পার এডাব্লুএস ক্লাউড 9, Kubernetes ক্লাস্টার সেটআপের জন্য একটি ক্লাউড-ভিত্তিক সমন্বিত উন্নয়ন পরিবেশ (IDE)।
- এডাব্লুএস কমান্ড লাইন ইন্টারফেস (AWS CLI) - AWS পরিষেবাগুলির সাথে ইন্টারঅ্যাক্ট করার জন্য একটি কমান্ড লাইন টুল। ইনস্টলেশন নির্দেশাবলীর জন্য, পড়ুন AWS CLI ইনস্টল করা, আপডেট করা এবং আনইনস্টল করা.
- eksctl > 0.56 – Amazon EKS ক্লাস্টারগুলির সাথে কাজ করার জন্য একটি কমান্ড লাইন টুল যা অনেকগুলি পৃথক কাজকে স্বয়ংক্রিয় করে।
- কুবেক্টেল - কুবারনেটস ক্লাস্টারগুলির সাথে কাজ করার জন্য একটি কমান্ড লাইন টুল।
- ফালতু বা এলেবেলে লোক - একটি বিতরণ সংস্করণ নিয়ন্ত্রণ সফ্টওয়্যার।
- পাইথন 3.8+ - পাইথন প্রোগ্রামিং পরিবেশ।
- বীচি - পাইথনের জন্য প্যাকেজ ম্যানেজার।
- কাস্টমাইজ সংস্করণ 3.2.0 - একটি কাস্টমাইজেশন ফাইলের মাধ্যমে কুবারনেটস বস্তু কাস্টমাইজ করার জন্য একটি কমান্ড লাইন টুল।
AWS-এ Kubeflow ইনস্টল করুন
kubectl কনফিগার করুন যাতে আপনি একটি Amazon EKS ক্লাস্টারে সংযোগ করতে পারেন:
Kubeflow স্থাপনার বিভিন্ন কন্ট্রোলার ব্যবহার করে পরিষেবা অ্যাকাউন্টের জন্য IAM ভূমিকা (IRSA)। IRSA ব্যবহার করার জন্য আপনার ক্লাস্টারের জন্য একটি OIDC প্রদানকারী থাকা আবশ্যক। একটি OIDC প্রদানকারী তৈরি করুন এবং নিম্নলিখিত কমান্ডটি চালিয়ে আপনার Amazon EKS ক্লাস্টারের সাথে এটি সংযুক্ত করুন, যদি আপনার ক্লাস্টারে ইতিমধ্যে একটি না থাকে:
AWS ম্যানিফেস্ট রেপো এবং কুবেফ্লো ম্যানিফেস্ট রেপো ক্লোন করুন এবং সংশ্লিষ্ট রিলিজ শাখাগুলি চেকআউট করুন:
এই সংস্করণ সম্পর্কে আরও তথ্যের জন্য, পড়ুন রিলিজ এবং সংস্করণ.
Amazon RDS, Amazon S3, এবং Secrets Manager সেট আপ করুন
আপনি Kubeflow ম্যানিফেস্ট স্থাপন করার আগে আপনি Amazon RDS এবং Amazon S3 সংস্থান তৈরি করেন। আমরা স্বয়ংক্রিয় পাইথন স্ক্রিপ্ট ব্যবহার করি যা S3 বালতি, RDS ডাটাবেস এবং সিক্রেটস ম্যানেজারে প্রয়োজনীয় গোপনীয়তা তৈরি করার যত্ন নেয়। এটি Kubeflow ইনস্টলেশনের সময় RDS ডাটাবেস এবং S3 বাকেটের জন্য সঠিকভাবে কনফিগার করার জন্য Kubeflow পাইপলাইন এবং AutoML-এর জন্য প্রয়োজনীয় কনফিগারেশন ফাইলগুলিও সম্পাদনা করে।
একটি IAM ব্যবহারকারী তৈরি করুন অনুমতি দেওয়ার অনুমতি সহ GetBucketLocation
এবং একটি S3 বালতি যেখানে আপনি Kubeflow নিদর্শন সংরক্ষণ করতে চান বস্তুর অ্যাক্সেস পড়ুন এবং লিখুন। ব্যবহার AWS_ACCESS_KEY_ID
এবং AWS_SECRET_ACCESS_KEY
নিম্নলিখিত কোডে IAM ব্যবহারকারীর:
প্রমাণীকরণ প্রদানকারী হিসাবে Amazon Cognito সেট আপ করুন৷
এই বিভাগে, আমরা কুবেফ্লো ইস্টিও গেটওয়েতে বহিরাগত ট্র্যাফিক রুট করার জন্য রুট 53 এবং ALB-তে একটি কাস্টম ডোমেন তৈরি করি। ব্যবহারকারীর পুল বজায় রাখতে এবং ব্যবহারকারীর প্রমাণীকরণ পরিচালনা করতে ALB এবং Amazon Cognito-এ TLS প্রমাণীকরণ সক্ষম করতে আমরা একটি শংসাপত্র তৈরি করতে ACM ব্যবহার করি।
নিম্নলিখিত মান প্রতিস্থাপন
- route53.rootDomain.name - নিবন্ধিত ডোমেইন। ধরা যাক এই ডোমেইনটি
example.com
. - route53.rootDomain.hostedZoneId – যদি আপনার ডোমেনটি Route53-এ পরিচালিত হয়, তাহলে হোস্ট করা জোনের বিশদ বিবরণের অধীনে পাওয়া হোস্ট করা জোন আইডি লিখুন। আপনার ডোমেন অন্য ডোমেন প্রদানকারী দ্বারা পরিচালিত হলে এই ধাপটি এড়িয়ে যান।
- route53.subDomain.name - সাবডোমেনের নাম যেখানে আপনি কুবেফ্লো হোস্ট করতে চান (উদাহরণস্বরূপ,
platform.example.com
) সাবডোমেন সম্পর্কে আরও তথ্যের জন্য, পড়ুন IdP হিসাবে AWS Cognito-এর সাথে Kubeflow স্থাপন করা হচ্ছে. - cluster.name - ক্লাস্টারের নাম এবং যেখানে Kubeflow স্থাপন করা হয়েছে।
- cluster.region - ক্লাস্টার অঞ্চল যেখানে কুবেফ্লো স্থাপন করা হয়েছে (উদাহরণস্বরূপ,
us-west-2
). - cognitoUserpool.name - অ্যামাজন কগনিটো ব্যবহারকারী পুলের নাম (উদাহরণস্বরূপ,
kubeflow-users
).
কনফিগার ফাইলটি নিম্নলিখিত কোডের মতো দেখায়:
সম্পদ তৈরি করতে স্ক্রিপ্ট চালান:
স্ক্রিপ্ট আপডেট config.yaml
রিসোর্স নাম, আইডি, এবং ARN এর সাথে এটি তৈরি করা ফাইল। এটি নিম্নলিখিত কোড মত কিছু দেখায়:
ম্যানিফেস্ট তৈরি করুন এবং Kubeflow স্থাপন করুন
নিম্নলিখিত কমান্ড ব্যবহার করে Kubeflow স্থাপন করুন:
ALB ঠিকানা দিয়ে ডোমেইন আপডেট করুন
স্থাপনা একটি প্রবেশ-পরিচালিত AWS অ্যাপ্লিকেশন লোড ব্যালেন্সার তৈরি করে। আমরা লোড ব্যালেন্সারের DNS সহ রুট 53-এ সাবডোমেনের জন্য DNS এন্ট্রি আপডেট করি। লোড ব্যালেন্সারের ব্যবস্থা করা হয়েছে কিনা তা পরীক্ষা করতে নিম্নলিখিত কমান্ডটি চালান (এতে প্রায় 3-5 মিনিট সময় লাগে):
যদি ADDRESS
ক্ষেত্রটি কয়েক মিনিটের পরে খালি, এর লগগুলি পরীক্ষা করুন alb-ingress-controller
. নির্দেশাবলীর জন্য, পড়ুন ALB বিধান করতে ব্যর্থ হয়.
লোড ব্যালেন্সারের ব্যবস্থা করা হলে, লোড ব্যালেন্সারের DNS নামটি অনুলিপি করুন এবং ঠিকানাটি প্রতিস্থাপন করুন kubeflow.alb.dns
in ${kubeflow_manifest_dir}/tests/e2e/utils/cognito_bootstrap/config.yaml
. কনফিগার ফাইলের Kubeflow বিভাগটি নিম্নলিখিত কোডের মত দেখাচ্ছে:
প্রভিশন করা লোড ব্যালেন্সারের DNS সহ রুট 53-এ সাবডোমেনের জন্য DNS এন্ট্রি আপডেট করতে নিম্নলিখিত স্ক্রিপ্টটি চালান:
সমস্যা সমাধান
ইনস্টলেশনের সময় আপনি যদি কোনো সমস্যার সম্মুখীন হন, তাহলে দেখুন সমস্যা সমাধানের গাইড অথবা এই ব্লগে "ক্লিন আপ" বিভাগ অনুসরণ করে নতুন করে শুরু করুন।
কেস ওয়াকথ্রু ব্যবহার করুন
এখন যেহেতু আমরা প্রয়োজনীয় Kubeflow উপাদানগুলি ইনস্টল করা সম্পন্ন করেছি, আসুন ড্যাশবোর্ডে Kubeflow Pipelines দ্বারা উপলব্ধ বিদ্যমান উদাহরণগুলির মধ্যে একটি ব্যবহার করে সেগুলিকে কার্যকরভাবে দেখি।
Amazon Cognito ব্যবহার করে Kubeflow ড্যাশবোর্ড অ্যাক্সেস করুন
শুরু করতে, আসুন কুবেফ্লো ড্যাশবোর্ডে অ্যাক্সেস পান। যেহেতু আমরা আইডিপি হিসাবে অ্যামাজন কগনিটো ব্যবহার করেছি, এতে প্রদত্ত তথ্য ব্যবহার করুন৷ অফিসিয়াল README ফাইল. আমরা প্রথমে Amazon Cognito কনসোলে কিছু ব্যবহারকারী তৈরি করি। এই ব্যবহারকারীরা কেন্দ্রীয় ড্যাশবোর্ডে লগ ইন করবেন। পরবর্তী, একটি প্রোফাইল তৈরি করুন আপনার তৈরি করা ব্যবহারকারীর জন্য। তারপরে আপনি লগইন পৃষ্ঠার মাধ্যমে ড্যাশবোর্ড অ্যাক্সেস করতে সক্ষম হবেন https://kubeflow.platform.example.com.
নিম্নলিখিত স্ক্রিনশটটি আমাদের কুবেফ্লো ড্যাশবোর্ড দেখায়।
পাইপলাইন চালান
Kubeflow ড্যাশবোর্ডে, নির্বাচন করুন পাইপলাইন নেভিগেশন নামে। আপনি কুবেফ্লো পাইপলাইন দ্বারা প্রদত্ত চারটি উদাহরণ দেখতে পাবেন যা আপনি বিভিন্ন পাইপলাইন বৈশিষ্ট্যগুলি অন্বেষণ করতে সরাসরি চালাতে পারেন।
এই পোস্টের জন্য, আমরা [ডেমো] XGBoost - পুনরাবৃত্তিমূলক মডেল প্রশিক্ষণ নামক XGBoost নমুনা ব্যবহার করি। আপনি সোর্স কোড খুঁজে পেতে পারেন GitHub. এটি একটি সাধারণ পাইপলাইন যা বিদ্যমান ব্যবহার করে XGBoost/Train
এবং XGBoost/Predict
Kubeflow পাইপলাইনের উপাদানগুলি নির্দিষ্ট মেট্রিক্সের উপর ভিত্তি করে মেট্রিকগুলিকে ভাল বলে বিবেচিত না হওয়া পর্যন্ত একটি মডেলকে পুনরাবৃত্তিমূলকভাবে প্রশিক্ষণ দেয়।
পাইপলাইন চালানোর জন্য, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- পাইপলাইন নির্বাচন করুন এবং নির্বাচন করুন পরীক্ষা তৈরি করুন.
- অধীনে পরীক্ষার বিবরণ, একটি নাম লিখুন (এই পোস্টের জন্য,
demo-blog
) এবং ঐচ্ছিক বিবরণ। - বেছে নিন পরবর্তী.
- অধীনে বিস্তারিত চালান¸ আপনার পাইপলাইন এবং পাইপলাইন সংস্করণ চয়ন করুন।
- জন্য রান নাম, একটি নাম লিখুন।
- জন্য পরীক্ষা, আপনার তৈরি পরীক্ষা নির্বাচন করুন.
- জন্য রান টাইপ, নির্বাচন করুন ওয়ান-অফ.
- বেছে নিন শুরু.
পাইপলাইন চলতে শুরু করার পরে, আপনি দেখতে পাবেন উপাদানগুলি সম্পূর্ণ হচ্ছে (কয়েক সেকেন্ডের মধ্যে)। এই পর্যায়ে, আপনি আরও বিশদ দেখতে সম্পূর্ণ উপাদানগুলির মধ্যে যেকোনো একটি বেছে নিতে পারেন।
Amazon S3 এ নিদর্শনগুলি অ্যাক্সেস করুন৷
Kubeflow মোতায়েন করার সময়, আমরা নির্দিষ্ট করেছি Kubeflow পাইপলাইনগুলিকে Amazon S3 ব্যবহার করা উচিত তার শিল্পকর্মগুলি সংরক্ষণ করার জন্য৷ এর মধ্যে রয়েছে সমস্ত পাইপলাইন আউটপুট আর্টিফ্যাক্ট, ক্যাশে করা রান এবং পাইপলাইন গ্রাফ—যার সবগুলোই তারপর সমৃদ্ধ ভিজ্যুয়ালাইজেশন এবং কর্মক্ষমতা মূল্যায়নের জন্য ব্যবহার করা যেতে পারে।
পাইপলাইন চালানো সম্পূর্ণ হলে, আপনি ইনস্টলেশনের সময় তৈরি করা S3 বালতিতে শিল্পকর্মগুলি দেখতে সক্ষম হবেন। এটি নিশ্চিত করতে, পাইপলাইনের যেকোন সম্পূর্ণ উপাদান নির্বাচন করুন এবং চেক করুন ইনপুট আউটপুট ডিফল্টে বিভাগ চিত্রলেখ ট্যাব আর্টিফ্যাক্ট URL গুলিকে S3 বাকেটের দিকে নির্দেশ করা উচিত যা আপনি স্থাপনের সময় নির্দিষ্ট করেছেন৷
অ্যামাজন S3-তে সংস্থানগুলি যোগ করা হয়েছে তা নিশ্চিত করতে, আমরা Amazon S3 কনসোলের মাধ্যমে আমাদের AWS অ্যাকাউন্টে S3 বালতিও পরীক্ষা করতে পারি।
নিম্নলিখিত স্ক্রিনশট আমাদের ফাইল দেখায়.
Amazon RDS-এ ML মেটাডেটা যাচাই করুন
আমরা স্থাপনার সময় Amazon RDS-এর সাথে Kubeflow Pipelines একীভূত করেছি, যার মানে হল যে কোনো পাইপলাইন মেটাডেটা Amazon RDS-এ সংরক্ষণ করা উচিত। এর মধ্যে যেকোনো রানটাইম তথ্য যেমন একটি টাস্কের স্থিতি, আর্টিফ্যাক্টের প্রাপ্যতা, রান বা আর্টিফ্যাক্টের সাথে যুক্ত কাস্টম বৈশিষ্ট্য এবং আরও অনেক কিছু অন্তর্ভুক্ত থাকে।
Amazon RDS ইন্টিগ্রেশন যাচাই করতে, প্রদত্ত পদক্ষেপগুলি অনুসরণ করুন৷ অফিসিয়াল README ফাইল. বিশেষত, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- ইনস্টলেশনের সময় তৈরি করা গোপনীয়তা থেকে অ্যামাজন RDS ব্যবহারকারীর নাম এবং পাসওয়ার্ড পান:
- ক্লাস্টারের মধ্যে থেকে Amazon RDS এর সাথে সংযোগ করতে এই শংসাপত্রগুলি ব্যবহার করুন:
- যখন MySQL প্রম্পট খোলে, আমরা যাচাই করতে পারি
mlpipelines
ডাটাবেস নিম্নরূপ: - এখন আমরা নির্দিষ্ট টেবিলের বিষয়বস্তু পড়তে পারি, নিশ্চিত করতে যে আমরা পাইপলাইনগুলি চালানোর পরীক্ষাগুলি সম্পর্কে মেটাডেটা তথ্য দেখতে পাচ্ছি:
পরিষ্কার কর
Kubeflow আনইনস্টল করতে এবং আপনার তৈরি করা AWS সংস্থানগুলি মুছতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- নিম্নলিখিত কমান্ডটি চালানোর মাধ্যমে প্রবেশ এবং প্রবেশ-পরিচালিত লোড ব্যালেন্সার মুছুন:
- বাকি কুবেফ্লো উপাদানগুলি মুছুন:
- স্ক্রিপ্ট দ্বারা তৈরি AWS সংস্থানগুলি মুছুন:
- Amazon RDS এবং Amazon S3 ইন্টিগ্রেশনের জন্য তৈরি করা সম্পদ। নিশ্চিত করুন যে আপনার কাছে স্ক্রিপ্ট দ্বারা তৈরি কনফিগারেশন ফাইল আছে
${kubeflow_manifest_dir}/tests/e2e/utils/rds-s3/metadata.yaml
: - অ্যামাজন কগনিটো ইন্টিগ্রেশনের জন্য তৈরি করা সম্পদ। নিশ্চিত করুন যে আপনার কাছে স্ক্রিপ্ট দ্বারা তৈরি কনফিগারেশন ফাইল আছে
${kubeflow_manifest_dir}/tests/e2e/utils/cognito_bootstrap/config.yaml
:
- Amazon RDS এবং Amazon S3 ইন্টিগ্রেশনের জন্য তৈরি করা সম্পদ। নিশ্চিত করুন যে আপনার কাছে স্ক্রিপ্ট দ্বারা তৈরি কনফিগারেশন ফাইল আছে
- আপনি যদি eksctl ব্যবহার করে Kubeflow-এর জন্য একটি ডেডিকেটেড Amazon EKS ক্লাস্টার তৈরি করেন, তাহলে আপনি নিম্নলিখিত কমান্ড দিয়ে এটি মুছে ফেলতে পারেন:
সারাংশ
এই পোস্টে, আমরা AWS-এ Kubeflow নিরাপদ, মাপযোগ্য, এবং এন্টারপ্রাইজ-প্রস্তুত AI এবং ML কাজের চাপের জন্য নেটিভ AWS-পরিচালিত পরিষেবা একীকরণের মাধ্যমে যে মান প্রদান করে তা হাইলাইট করেছি। আপনি বিভিন্ন পরিষেবা ইন্টিগ্রেশন সহ AWS-এ Kubeflow ইনস্টল করতে বিভিন্ন স্থাপনার বিকল্প থেকে বেছে নিতে পারেন। এই পোস্টে ব্যবহারের ক্ষেত্রে Amazon Cognito, Secrets Manager, Amazon RDS, এবং Amazon S3 এর সাথে Kubeflow ইন্টিগ্রেশন দেখানো হয়েছে। AWS-এ Kubeflow এর সাথে শুরু করার জন্য, এখানে উপলব্ধ AWS- ইন্টিগ্রেটেড স্থাপনার বিকল্পগুলি দেখুন AWS-এ কুবেফ্লো.
v1.3 দিয়ে শুরু করে, আপনি অনুসরণ করতে পারেন AWS ল্যাবস সংগ্রহস্থল Kubeflow এ সমস্ত AWS অবদান ট্র্যাক করতে। এছাড়াও আপনি আমাদের খুঁজে পেতে পারেন কুবেফ্লো #AWS স্ল্যাক চ্যানেল; সেখানে আপনার প্রতিক্রিয়া কুবেফ্লো প্রকল্পে অবদান রাখার জন্য পরবর্তী বৈশিষ্ট্যগুলিকে অগ্রাধিকার দিতে আমাদের সাহায্য করবে৷
লেখক সম্পর্কে
কানওয়ালজিৎ খুরমি আমাজন ওয়েব সার্ভিসেসের একজন AI/ML বিশেষজ্ঞ সমাধান স্থপতি। তিনি AWS পণ্য, প্রকৌশল এবং গ্রাহকদের সাথে AWS ব্যবহার করার সময় তাদের হাইব্রিড ML সমাধানগুলির মান উন্নত করতে সহায়তা করার জন্য নির্দেশিকা এবং প্রযুক্তিগত সহায়তা প্রদানের জন্য কাজ করেন। কানওয়ালজিৎ গ্রাহকদের কনটেইনারাইজড এবং মেশিন লার্নিং অ্যাপ্লিকেশানগুলির সাহায্যে বিশেষজ্ঞ৷
মেঘনা বৈজল AWS AI সহ একজন সফ্টওয়্যার ইঞ্জিনিয়ার হলেন ব্যবহারকারীদের জন্য তাদের মেশিন লার্নিং ওয়ার্কলোডগুলিকে AWS-এ ML পণ্য এবং প্ল্যাটফর্ম যেমন ডিপ লার্নিং কনটেইনার, ডিপ লার্নিং AMIs, AWS কন্ট্রোলার ফর কুবারনেটস (ACK) এবং AWS-এ কুবেফ্লো তৈরি করে সহজতর করে তোলে। . কাজের বাইরে তিনি পড়া, ভ্রমণ এবং চিত্রাঙ্কন করতে উপভোগ করেন।
সুরাজ কোটা মেশিন লার্নিং অবকাঠামোতে বিশেষায়িত একজন সফটওয়্যার ইঞ্জিনিয়ার। তিনি সহজে শুরু করতে এবং AWS-এ মেশিন লার্নিং কাজের চাপ স্কেল করার জন্য টুল তৈরি করেন। তিনি AWS ডিপ লার্নিং কন্টেনার, ডিপ লার্নিং এএমআই, কুবারনেটসের জন্য সেজমেকার অপারেটর এবং কুবেফ্লো-এর মতো অন্যান্য ওপেন সোর্স ইন্টিগ্রেশনে কাজ করেছেন।
- Coinsmart. ইউরোপের সেরা বিটকয়েন এবং ক্রিপ্টো এক্সচেঞ্জ।
- প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. বিনামূল্যে এক্সেস.
- ক্রিপ্টোহক। Altcoin রাডার। বিনামূল্যে ট্রায়াল.
- সূত্র: https://aws.amazon.com/blogs/machine-learning/build-and-deploy-a-scalable-machine-learning-system-on-kubernetes-with-kubeflow-on-aws/
- "
- 10
- 100
- 420
- 7
- সম্পর্কে
- প্রবেশ
- হিসাব
- কর্ম
- অ্যাড-অন
- ঠিকানা
- অ্যাডমিন
- প্রশাসন
- অনুমোদনকারী
- AI
- সব
- ইতিমধ্যে
- মর্দানী স্ত্রীলোক
- অ্যামাজন ওয়েব সার্ভিসেস
- অন্য
- আবেদন
- অ্যাপ্লিকেশন
- যথাযথ
- স্থাপত্য
- কাছাকাছি
- সহযোগী
- অনুমোদিত
- প্রমাণীকরণ করে
- প্রমাণীকরণ
- অনুমোদন
- স্বয়ংক্রিয় পদ্ধতি প্রয়োগ করা
- অটোমেটেড
- স্বয়ংক্রিয়
- উপস্থিতি
- সহজলভ্য
- ডেস্কটপ AWS
- পরিণত
- সুবিধা
- সর্বোত্তম
- কোটি কোটি
- ব্লগ
- সীমান্ত
- নির্মাণ করা
- ভবন
- তৈরী করে
- বিল্ট-ইন
- ক্ষমতা
- ধারণক্ষমতা
- যত্ন
- মামলা
- CD
- শংসাপত্র
- সার্টিফিকেট
- চ্যালেঞ্জিং
- চেকআউট
- বেছে নিন
- দাবি
- শ্রেণী
- কোড
- সাধারণ
- পরিপূরক
- জটিল
- উপাদান
- কম্পিউটার
- কম্পিউটিং
- কনফিগারেশন
- সংযোগ করা
- কানেক্টিভিটি
- কনসোল
- কন্টেনারগুলি
- ধারণ
- বিষয়বস্তু
- অবিরত
- অবদান
- নিয়ন্ত্রণ
- নিয়ামক
- কপিরাইট
- পারা
- সৃষ্টি
- নির্মিত
- সৃষ্টি
- তৈরি করা হচ্ছে
- সৃষ্টি
- পরিচয়পত্র
- সংকটপূর্ণ
- প্রথা
- গ্রাহকদের
- ড্যাশবোর্ড
- উপাত্ত
- তথ্য প্রক্রিয়াজাতকরণ
- তথ্য বিজ্ঞান
- ডেটাবেস
- DDoS
- নিবেদিত
- চাহিদা
- প্রদর্শন
- প্রদর্শিত
- স্থাপন
- মোতায়েন
- মোতায়েন
- বিস্তৃতি
- স্থাপনার
- স্থাপন
- নকশা
- বিস্তারিত
- বিস্তারিত
- উন্নয়ন
- Dex
- বিভিন্ন
- সরাসরি
- সরাসরি
- আলোচনা করা
- বণ্টিত
- বিতরণ
- DNS
- না
- ডোমেইন
- সহজে
- ব্যবহার করা সহজ
- প্রতিধ্বনি
- ইমেইল
- সক্ষম করা
- এনক্রিপশন
- শেষপ্রান্ত
- প্রকৌশলী
- প্রকৌশল
- প্রবেশ করান
- উদ্যোগ
- পরিবেশ
- মূল্যায়ন
- ঘটনা
- উদাহরণ
- বিদ্যমান
- অভিজ্ঞতা
- পরীক্ষা
- অন্বেষণ করুণ
- ফেসবুক
- ব্যর্থতা
- বৈশিষ্ট্য
- প্রতিক্রিয়া
- আর্থিক
- প্রথম
- ফিট
- প্রবাহ
- কেন্দ্রবিন্দু
- গুরুত্ত্ব
- অনুসরণ করা
- অনুসরণ
- বিন্যাস
- পাওয়া
- তাজা
- পেয়ে
- git
- GitHub
- ভাল
- গুগল
- হত্তয়া
- ক্রমবর্ধমান
- সাহায্য
- সাহায্য
- সাহায্য
- এখানে
- উচ্চ
- ঊর্ধ্বতন
- হাইলাইট করা
- অত্যন্ত
- হোস্টিং
- HTTPS দ্বারা
- অকুলীন
- পরিচয়
- প্রভাব
- বাস্তবায়ন
- উন্নত করা
- ইনক
- অন্তর্ভুক্ত
- সুদ্ধ
- বর্ধিত
- স্বতন্ত্র
- শিল্প-নেতৃস্থানীয়
- তথ্য
- তথ্য
- পরিকাঠামো
- ইনস্টল
- সংহত
- ইন্টিগ্রেশন
- ঐক্যবদ্ধতার
- বিনিয়োগ
- বিচ্ছিন্নতা
- সমস্যা
- IT
- নিজেই
- জবস
- পালন
- চাবি
- ল্যাবস
- ভাষা
- বড়
- চালু
- শিক্ষা
- উদ্ধরণ
- লাইন
- বোঝা
- স্থানীয়
- মেশিন
- মেশিন লার্নিং
- বজায় রাখা
- তৈরি করে
- মেকিং
- পরিচালনা করা
- পরিচালিত
- ব্যবস্থাপনা
- পরিচালক
- ছন্দোবিজ্ঞান
- লক্ষ লক্ষ
- ML
- মডেল
- মডেল
- পর্যবেক্ষণ
- অধিক
- সেতু
- নাম
- প্রাকৃতিক
- ন্যাভিগেশন
- নেট
- নেটওয়ার্ক
- নোড
- নোটবই
- সংখ্যা
- অফার
- খোলা
- ওপেন সোর্স
- প্রর্দশিত
- অপারেটরদের
- অপ্টিমাইজ
- পছন্দ
- অপশন সমূহ
- অন্যান্য
- নিজের
- পাসওয়ার্ড
- কর্মক্ষমতা
- মাচা
- প্ল্যাটফর্ম
- বিন্দু
- নীতি
- পুকুর
- বর্তমান
- অগ্রাধিকার
- প্রক্রিয়াজাতকরণ
- পণ্য
- পণ্য
- প্রোগ্রামিং
- প্রকল্প
- রক্ষা করা
- প্রদান
- উপলব্ধ
- প্রদানের
- প্রকাশ্য
- দ্রুত
- নাগাল
- পড়া
- কারণে
- নথি
- নিবন্ধভুক্ত
- মুক্তি
- অনুরোধ
- প্রয়োজনীয়
- আবশ্যকতা
- সংস্থান
- Resources
- প্রতিক্রিয়া
- বিশ্রাম
- রুট
- চালান
- দৌড়
- স্কেলেবিলিটি
- মাপযোগ্য
- স্কেল
- আরোহী
- বিজ্ঞান
- SDK
- এসইসি
- সেকেন্ড
- নিরাপদ
- নিরাপত্তা
- Serverless
- সেবা
- সেবা
- সেট
- সেটআপ
- শেয়ারগুলি
- স্বাক্ষর
- সহজ
- আয়তন
- ঢিলা
- ঘুম
- So
- সামাজিক
- সফটওয়্যার
- সফটওয়্যার ইঞ্জিনিয়ার
- কঠিন
- সমাধান
- সলিউশন
- কিছু
- কিছু
- সোর্স কোড
- বিশেষজ্ঞ
- বিশেষজ্ঞ
- বিশেষ
- বিশেষভাবে
- পর্যায়
- শুরু
- শুরু
- শুরু
- রাষ্ট্র
- অবস্থা
- স্টোরেজ
- দোকান
- সফলভাবে
- সমর্থন
- সমর্থন
- পদ্ধতি
- সিস্টেম
- কাজ
- কারিগরী
- উৎস
- দ্বারা
- সময়
- টোকেন
- টুল
- সরঞ্জাম
- শীর্ষ
- পথ
- ট্রাফিক
- প্রশিক্ষণ
- হস্তান্তর
- অনুবাদ
- পরিবহন
- ভ্রমণ
- ui
- আপডেট
- আপডেট
- us
- ব্যবহার
- ব্যবহারকারী
- যাচাই
- মূল্য
- বৈচিত্র্য
- বিভিন্ন
- যাচাই
- দৃষ্টি
- আয়তন
- ওয়েব
- ওয়েব সার্ভিস
- হু
- মধ্যে
- ছাড়া
- হয়া যাই ?
- কাজ করছে
- কাজ
- কাজ