এই তিন-অংশের সিরিজটি দেখায় কিভাবে গ্রাফ নিউরাল নেটওয়ার্ক (GNN) ব্যবহার করতে হয় এবং আমাজন নেপচুন ব্যবহার করে সিনেমা সুপারিশ জেনারেট করতে আইএমডিবি এবং বক্স অফিস মোজো মুভি/টিভি/ওটিটি লাইসেন্সযোগ্য ডেটা প্যাকেজ, যা 1 বিলিয়নের বেশি ব্যবহারকারীর রেটিং সহ বিনোদন মেটাডেটার একটি বিস্তৃত পরিসর প্রদান করে; 11 মিলিয়নেরও বেশি কাস্ট এবং ক্রু সদস্যদের জন্য ক্রেডিট; 9 মিলিয়ন সিনেমা, টিভি, এবং বিনোদন শিরোনাম; এবং 60 টিরও বেশি দেশ থেকে বিশ্বব্যাপী বক্স অফিস রিপোর্টিং ডেটা। অনেক AWS মিডিয়া এবং বিনোদন গ্রাহকরা IMDb ডেটার মাধ্যমে লাইসেন্স করে AWS ডেটা এক্সচেঞ্জ বিষয়বস্তু আবিষ্কারের উন্নতি করতে এবং গ্রাহকের ব্যস্ততা এবং ধারণ বাড়াতে।
নিম্নলিখিত চিত্রটি এই সিরিজের অংশ হিসাবে বাস্তবায়িত সম্পূর্ণ আর্কিটেকচারকে চিত্রিত করে।
In পার্ট 1, আমরা GNN-এর অ্যাপ্লিকেশন এবং কীভাবে আমাদের IMDb ডেটাকে নলেজ গ্রাফে (KG) রূপান্তরিত ও প্রস্তুত করা যায় সে বিষয়ে আলোচনা করেছি। আমরা AWS ডেটা এক্সচেঞ্জ থেকে ডেটা ডাউনলোড করেছি এবং এটি প্রক্রিয়া করেছি৷ এডাব্লুএস আঠালো কেজি ফাইল তৈরি করতে। কেজি ফাইলগুলো সংরক্ষিত ছিল আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) এবং তারপরে লোড করা হয় আমাজন নেপচুন.
In পার্ট 2, আমরা কীভাবে ব্যবহার করতে হয় তা দেখিয়েছি আমাজন নেপচুন এমএল (ইন আমাজন সেজমেকার) কেজিকে প্রশিক্ষণ দিতে এবং কেজি এম্বেডিং তৈরি করতে।
এই পোস্টে, আমরা আপনাকে কিভাবে Amazon S3-এ আমাদের প্রশিক্ষিত কেজি এম্বেডিংগুলি ব্যবহার করে ক্যাটালগ-এর বাইরের অনুসন্ধান ব্যবহারের ক্ষেত্রে প্রয়োগ করব তা নিয়ে আলোচনা করব। আমাজন ওপেন সার্চ সার্ভিস এবং এডাব্লুএস ল্যাম্বদা. আপনি একটি ইন্টারেক্টিভ অনুসন্ধান অভিজ্ঞতার জন্য একটি স্থানীয় ওয়েব অ্যাপ্লিকেশন স্থাপন করেন৷ এই পোস্টে ব্যবহৃত সমস্ত সংস্থান একটি একক ব্যবহার করে তৈরি করা যেতে পারে এডাব্লুএস ক্লাউড ডেভেলপমেন্ট কিট (AWS CDK) কমান্ড যেমন পোস্টে পরে বর্ণিত হয়েছে।
পটভূমি
আপনি কি কখনও অসাবধানতাবশত একটি বিষয়বস্তুর শিরোনাম অনুসন্ধান করেছেন যা একটি ভিডিও স্ট্রিমিং প্ল্যাটফর্মে উপলব্ধ ছিল না? যদি হ্যাঁ, আপনি দেখতে পাবেন যে একটি ফাঁকা অনুসন্ধান ফলাফল পৃষ্ঠার মুখোমুখি হওয়ার পরিবর্তে, আপনি কাস্ট বা ক্রু সদস্যদের সাথে একই ঘরানার চলচ্চিত্রগুলির একটি তালিকা খুঁজে পাবেন৷ এটি একটি ক্যাটালগ অনুসন্ধান অভিজ্ঞতার বাইরে!
ক্যাটালগের বাইরে অনুসন্ধান (OOC) হল যখন আপনি একটি অনুসন্ধান ক্যোয়ারী লিখুন যার কোনো ক্যাটালগে সরাসরি মিল নেই। এই ইভেন্টটি প্রায়শই ভিডিও স্ট্রিমিং প্ল্যাটফর্মগুলিতে ঘটে যা ক্রমাগত সীমিত সময়ের জন্য একাধিক বিক্রেতা এবং উত্পাদন সংস্থাগুলির কাছ থেকে বিভিন্ন সামগ্রী ক্রয় করে। একটি স্ট্রিমিং কোম্পানির ক্যাটালগ থেকে সিনেমা এবং শোগুলির বৃহৎ জ্ঞানের ভিত্তিতে প্রাসঙ্গিকতা বা ম্যাপিংয়ের অনুপস্থিতির ফলে গ্রাহকদের জন্য একটি সাব-পার সার্চ অভিজ্ঞতা হতে পারে যারা OOC বিষয়বস্তু জিজ্ঞাসা করে, যার ফলে প্ল্যাটফর্মের সাথে মিথস্ক্রিয়া সময় কম হয়। এই ম্যাপিংটি ক্যাটালগ বিষয়বস্তুতে ঘন ঘন ওওসি প্রশ্নের ম্যাপিং করে করা যেতে পারে বা মেশিন লার্নিং (এমএল) ব্যবহার করে স্বয়ংক্রিয়ভাবে করা যেতে পারে।
এই পোস্টে, আমরা IMDb ডেটাসেট (গ্লোবাল এন্টারটেইনমেন্ট মেটাডেটার প্রধান উৎস) এবং নলেজ গ্রাফের শক্তি ব্যবহার করে কীভাবে OOC পরিচালনা করতে হয় তা ব্যাখ্যা করি।
ওপেন সার্চ সার্ভিস এটি একটি সম্পূর্ণরূপে পরিচালিত পরিষেবা যা আপনার জন্য ইন্টারেক্টিভ লগ বিশ্লেষণ, রিয়েল-টাইম অ্যাপ্লিকেশন পর্যবেক্ষণ, ওয়েবসাইট অনুসন্ধান এবং আরও অনেক কিছু সম্পাদন করা সহজ করে তোলে৷ OpenSearch হল একটি ওপেন সোর্স, ডিস্ট্রিবিউটেড সার্চ এবং অ্যানালিটিক্স স্যুট যা Elasticsearch থেকে প্রাপ্ত। ওপেনসার্চ সার্ভিস ওপেনসার্চের সর্বশেষ সংস্করণ, ইলাস্টিকসার্চের 19টি সংস্করণ (1.5 থেকে 7.10 সংস্করণ) এবং সেইসাথে OpenSearch ড্যাশবোর্ড এবং কিবানা (1.5 থেকে 7.10 সংস্করণ) দ্বারা চালিত ভিজ্যুয়ালাইজেশন ক্ষমতা প্রদান করে। ওপেনসার্চ সার্ভিসে বর্তমানে কয়েক হাজার সক্রিয় গ্রাহক রয়েছে এবং প্রতি মাসে ট্রিলিয়ন ট্রিলিয়ন অনুরোধ প্রক্রিয়াকরণের অধীনে কয়েক হাজার ক্লাস্টার রয়েছে। OpenSearch Service kNN সার্চ অফার করে, যা পণ্যের সুপারিশ, জালিয়াতি সনাক্তকরণ, এবং চিত্র, ভিডিও এবং কিছু নির্দিষ্ট শব্দার্থিক পরিস্থিতি যেমন ডকুমেন্ট এবং ক্যোয়ারী সাদৃশ্য ব্যবহারের ক্ষেত্রে অনুসন্ধানকে উন্নত করতে পারে। OpenSearch Service-এর প্রাকৃতিক ভাষা বোঝা-চালিত অনুসন্ধান কার্যকারিতা সম্পর্কে আরও তথ্যের জন্য, পড়ুন Amazon SageMaker এবং Amazon OpenSearch Service KNN বৈশিষ্ট্য সহ একটি NLU-চালিত অনুসন্ধান অ্যাপ্লিকেশন তৈরি করা.
সমাধান ওভারভিউ
এই পোস্টে, আমরা ওপেন সার্চ সার্ভিসের k-নিকটবর্তী প্রতিবেশী (kNN) অনুসন্ধান ক্ষমতা ব্যবহার করে জ্ঞান গ্রাফ-ভিত্তিক এমবেডিং অনুসন্ধানের মাধ্যমে OOC পরিস্থিতি পরিচালনা করার একটি সমাধান উপস্থাপন করছি। এই সমাধানটি বাস্তবায়নের জন্য ব্যবহৃত মূল AWS পরিষেবাগুলি হল OpenSearch Service, SageMaker, Lambda, এবং Amazon S3৷
চেক আউট পার্ট 1 এবং পার্ট 2 Amazon Neptune ML ব্যবহার করে জ্ঞানের গ্রাফ তৈরি এবং GNN এম্বেডিং সম্পর্কে আরও জানতে এই সিরিজের।
আমাদের OOC সমাধান অনুমান করে যে আপনার একটি সম্মিলিত কেজি রয়েছে যা একটি স্ট্রিমিং কোম্পানি কেজি এবং আইএমডিবি কেজিকে একত্রিত করে প্রাপ্ত হয়েছে। এটি সহজ পাঠ্য প্রক্রিয়াকরণ কৌশলগুলির মাধ্যমে করা যেতে পারে যা শিরোনামের প্রকারের সাথে শিরোনাম (চলচ্চিত্র, সিরিজ, ডকুমেন্টারি), কাস্ট এবং ক্রুর সাথে মেলে। উপরন্তু, এই যৌথ জ্ঞান গ্রাফটিকে উল্লিখিত পাইপলাইনগুলির মাধ্যমে জ্ঞান গ্রাফ এমবেডিং তৈরি করতে প্রশিক্ষণ দিতে হবে পার্ট 1 এবং পার্ট 2. নিম্নলিখিত চিত্রটি সম্মিলিত কেজির একটি সরলীকৃত দৃশ্যকে চিত্রিত করে।
একটি সাধারণ উদাহরণ দিয়ে OOC অনুসন্ধান কার্যকারিতা প্রদর্শন করতে, আমরা IMDb জ্ঞান গ্রাফটিকে গ্রাহক-ক্যাটালগ এবং গ্রাহক-ক্যাটালগের বাইরে বিভক্ত করি। আমরা শিরোনামগুলিকে চিহ্নিত করি যেগুলিতে "টয় স্টোরি" রয়েছে একটি গ্রাহকের বাইরের ক্যাটালগ সংস্থান হিসাবে এবং বাকি IMDb নলেজ গ্রাফ গ্রাহকের ক্যাটালগ হিসাবে। এমন একটি পরিস্থিতিতে যেখানে গ্রাহকের ক্যাটালগটি বাহ্যিক ডাটাবেসের সাথে উন্নত বা একত্রিত করা হয় না, সেখানে "টয় স্টোরি" অনুসন্ধান করা হলে সেটির মেটাডেটাতে "খেলনা" বা "গল্প" শব্দ আছে এমন কোনো শিরোনাম ওপেন সার্চ টেক্সট অনুসন্ধানের সাথে দেখাবে। যদি গ্রাহকের ক্যাটালগটি IMDb-এ ম্যাপ করা হয়, তাহলে এটা বোঝা সহজ হবে যে ক্যাটালগে "টয় স্টোরি" কোয়েরিটি বিদ্যমান নেই এবং আইএমডিবি-তে সেরা মিলগুলি হল "টয় স্টোরি", "টয় স্টোরি 2," "টয়" গল্প 3," "টয় স্টোরি 4," এবং "চার্লি: টয় স্টোরি" পাঠ্য মিলের সাথে প্রাসঙ্গিকতার ক্রমহ্রাসমান। এই প্রতিটি ম্যাচের জন্য ক্যাটালগের মধ্যে ফলাফল পেতে, আমরা OpenSearch পরিষেবার মাধ্যমে গ্রাহক ক্যাটালগ-ভিত্তিক kNN এম্বেডিং (যৌথ KG-এর) মিলের মধ্যে পাঁচটি নিকটতম চলচ্চিত্র তৈরি করতে পারি।
একটি সাধারণ OOC অভিজ্ঞতা নিম্নলিখিত চিত্রে চিত্রিত প্রবাহ অনুসরণ করে।
নিম্নলিখিত ভিডিওটি "টয় স্টোরি" প্রশ্নের জন্য সেরা পাঁচটি (হিটের সংখ্যা) OOC ফলাফল এবং গ্রাহক ক্যাটালগে প্রাসঙ্গিক মিলগুলি (সুপারিশের সংখ্যা) দেখায়৷
এখানে, ওপেনসার্চ সার্ভিসে টেক্সট সার্চ ব্যবহার করে ক্যোয়ারীটি নলেজ গ্রাফের সাথে মিলে যায়। তারপরে আমরা OpenSearch Service kNN সূচক ব্যবহার করে গ্রাহক ক্যাটালগ শিরোনামগুলিতে পাঠ্য ম্যাচের এমবেডিংগুলিকে ম্যাপ করি। যেহেতু ব্যবহারকারীর ক্যোয়ারী সরাসরি জ্ঞান গ্রাফ সত্তার সাথে ম্যাপ করা যায় না, তাই আমরা প্রথমে শিরোনাম-ভিত্তিক ক্যোয়ারী মিল খুঁজে পেতে এবং তারপর জ্ঞান গ্রাফ এম্বেডিং ব্যবহার করে শিরোনামের অনুরূপ আইটেমগুলি খুঁজে পেতে একটি দ্বি-পদক্ষেপ পদ্ধতি ব্যবহার করি। নিম্নলিখিত বিভাগে, আমরা একটি ওপেন সার্চ সার্ভিস ক্লাস্টার স্থাপন, জ্ঞান গ্রাফ সূচী তৈরি এবং আপলোড করার এবং একটি ওয়েব অ্যাপ্লিকেশন হিসাবে সমাধানটি স্থাপন করার প্রক্রিয়ার মধ্য দিয়ে চলেছি।
পূর্বশর্ত
এই সমাধান বাস্তবায়ন করার জন্য, আপনার একটি থাকা উচিত এডাব্লুএস অ্যাকাউন্ট, OpenSearch Service, SageMaker, Lambda, এবং এর সাথে পরিচিতি এডাব্লুএস ক্লাউডফর্মেশন, এবং ধাপগুলি সম্পূর্ণ করেছেন৷ পার্ট 1 এবং পার্ট 2 এই সিরিজের।
সমাধান সংস্থান চালু করুন
নিম্নলিখিত স্থাপত্য চিত্রটি ক্যাটালগের বাইরের কর্মপ্রবাহ দেখায়।
আপনি OOC অনুসন্ধান অ্যাপ্লিকেশনগুলির জন্য প্রয়োজনীয় সংস্থানগুলি সরবরাহ করতে AWS ক্লাউড ডেভেলপমেন্ট কিট (CDK) ব্যবহার করবেন৷ এই সংস্থানগুলি চালু করার কোড নিম্নলিখিত ক্রিয়াকলাপগুলি সম্পাদন করে:
- সম্পদের জন্য একটি VPC তৈরি করে।
- অনুসন্ধান অ্যাপ্লিকেশনের জন্য একটি OpenSearch Service ডোমেন তৈরি করে।
- ওপেনসার্চ সার্ভিস ইনডেক্সে মুভি মেটাডেটা এবং এম্বেডিং প্রক্রিয়া ও লোড করার জন্য একটি ল্যাম্বডা ফাংশন তৈরি করে (
**-ReadFromOpenSearchLambda-**
). - একটি ল্যাম্বডা ফাংশন তৈরি করে যা একটি ওয়েব অ্যাপ থেকে ব্যবহারকারীর ক্যোয়ারী ইনপুট হিসাবে নেয় এবং OpenSearch থেকে প্রাসঙ্গিক শিরোনাম প্রদান করে (
**-LoadDataIntoOpenSearchLambda-**
). - একটি API গেটওয়ে তৈরি করে যা ওয়েব অ্যাপ ব্যবহারকারী ইন্টারফেস এবং Lambda এর মধ্যে নিরাপত্তার একটি অতিরিক্ত স্তর যোগ করে।
শুরু করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- থেকে কোড এবং নোটবুক চালান পার্ট 1 এবং পার্ট 2.
- নেভিগেট করুন
part3-out-of-catalog
কোড সংগ্রহস্থলে ফোল্ডার।
- কমান্ড দিয়ে টার্মিনাল থেকে AWS CDK চালু করুন
bash launch_stack.sh
. - ইনপুট হিসাবে পার্ট 3 এ তৈরি দুটি S2 ফাইল পাথ প্রদান করুন:
- মুভি এম্বেডিং CSV ফাইলের S3 পাথ।
- মুভি নোড ফাইলের S3 পাথ।
- স্ক্রিপ্ট সমস্ত প্রয়োজনীয় সংস্থান এবং চলমান শেষ না হওয়া পর্যন্ত অপেক্ষা করুন।
- AWS CDK স্ক্রিপ্ট যে API গেটওয়ে ইউআরএলটি প্রিন্ট করে তা কপি করুন এবং সংরক্ষণ করুন। (আমরা পরে স্ট্রিমলিট অ্যাপের জন্য এটি ব্যবহার করি)।
একটি ওপেন সার্চ সার্ভিস ডোমেন তৈরি করুন
উদাহরণের উদ্দেশ্যে, আপনি একটি সুরক্ষিত VPC এবং সাবনেটের মধ্যে একটি r6g.large.search উদাহরণে একটি উপলব্ধতা অঞ্চলে একটি অনুসন্ধান ডোমেন তৈরি করেন৷ মনে রাখবেন যে একটি প্রাথমিক এবং দুটি প্রতিলিপি উদাহরণ সহ তিনটি প্রাপ্যতা অঞ্চলে সেট আপ করা সর্বোত্তম অনুশীলন হবে।
একটি OpenSearch Service সূচক তৈরি করুন এবং ডেটা আপলোড করুন
আপনি ওপেন সার্চ সার্ভিস সূচী তৈরি করতে ল্যাম্বডা ফাংশন ব্যবহার করেন (AWS CDK লঞ্চ স্ট্যাক কমান্ড ব্যবহার করে তৈরি)। সূচক তৈরি শুরু করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- Lambda কনসোলে, খুলুন
LoadDataIntoOpenSearchLambda
লাম্বদা ফাংশন। - উপরে পরীক্ষা ট্যাব, চয়ন করুন পরীক্ষা ওপেনসার্চ সার্ভিস ইনডেক্সে ডেটা তৈরি এবং ইনজেস্ট করতে।
এই Lambda ফাংশন নিম্নলিখিত কোড পাওয়া যাবে part3-out-of-catalog/cdk/ooc/lambdas/LoadDataIntoOpenSearchLambda/lambda_handler.py
:
ফাংশনটি নিম্নলিখিত কাজগুলি সম্পাদন করে:
- IMDB KG মুভি নোড ফাইল লোড করে যাতে S3 ফাইল পাথ থেকে মুভি মেটাডেটা এবং এর সম্পর্কিত এম্বেডিংগুলি রয়েছে যা স্ট্যাক তৈরির ফাইলে পাস করা হয়েছিল
launch_stack.sh
. - সূচক তৈরির জন্য একটি একক ডেটাফ্রেম তৈরি করতে দুটি ইনপুট ফাইলকে একত্রিত করে।
- Boto3 পাইথন লাইব্রেরি ব্যবহার করে OpenSearch পরিষেবা ক্লায়েন্টকে আরম্ভ করে।
- পাঠ্যের জন্য দুটি সূচী তৈরি করে (
ooc_text
) এবং kNN এম্বেডিং অনুসন্ধান (ooc_knn
) এবং এর মাধ্যমে সম্মিলিত ডেটাফ্রেম থেকে বাল্ক ডেটা আপলোড করেingest_data_into_ops
ফাংশন.
এই ডেটা ইনজেশন প্রক্রিয়া 5-10 মিনিট সময় নেয় এবং এর মাধ্যমে পর্যবেক্ষণ করা যেতে পারে অ্যামাজন ক্লাউডওয়াচ লগ অন পর্যবেক্ষণ ল্যাম্বডা ফাংশনের ট্যাব।
আপনি পাঠ্য-ভিত্তিক অনুসন্ধান এবং kNN এমবেডিং-ভিত্তিক অনুসন্ধান সক্ষম করতে দুটি সূচী তৈরি করুন। টেক্সট অনুসন্ধান ব্যবহারকারী চলচ্চিত্রের শিরোনামে প্রবেশ করা ফ্রি-ফর্ম কোয়েরি ম্যাপ করে। kNN এম্বেডিং অনুসন্ধান KG সুপ্ত স্থান থেকে আউটপুট হিসাবে ফিরে আসার জন্য সেরা টেক্সট ম্যাচের সবচেয়ে কাছের চলচ্চিত্রগুলি খুঁজে পায়।
একটি স্থানীয় ওয়েব অ্যাপ্লিকেশন হিসাবে সমাধান স্থাপন করুন
এখন ওপেনসার্চ সার্ভিসে আপনার একটি কার্যকরী পাঠ্য অনুসন্ধান এবং kNN সূচক রয়েছে, আপনি একটি ML-চালিত ওয়েব অ্যাপ তৈরি করতে প্রস্তুত৷
আমরা ব্যবহার করি streamlit
এই অ্যাপ্লিকেশনের জন্য একটি ফ্রন্ট-এন্ড ইলাস্ট্রেশন তৈরি করতে পাইথন প্যাকেজ। দ্য IMDb-Knowledge-Graph-Blog/part3-out-of-catalog/run_imdb_demo.py
পাইথন ফাইল আমাদের গিটহুব রেপো এই ক্ষমতা অন্বেষণ করতে একটি স্থানীয় ওয়েব অ্যাপ চালু করার জন্য প্রয়োজনীয় কোড আছে৷
কোডটি চালানোর জন্য, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- ইনস্টল করুন
streamlit
এবংaws_requests_auth
আপনার টার্মিনালে নিম্নলিখিত কমান্ডগুলির মাধ্যমে আপনার স্থানীয় ভার্চুয়াল পাইথন পরিবেশে পাইথন প্যাকেজ:
- এপিআই গেটওয়ে ইউআরএল-এর জন্য প্লেসহোল্ডারটি কোডে প্রতিস্থাপন করুন যা AWS CDK দ্বারা তৈরি করা হয়েছে:
api = '<ENTER URL OF THE API GATEWAY HERE>/opensearch-lambda?q={query_text}&numMovies={num_movies}&numRecs={num_recs}'
- কমান্ড দিয়ে ওয়েব অ্যাপ চালু করুন
streamlit run run_imdb_demo.py
আপনার টার্মিনাল থেকে।
এই স্ক্রিপ্টটি একটি স্ট্রিমলিট ওয়েব অ্যাপ চালু করে যা আপনার ওয়েব ব্রাউজারে অ্যাক্সেস করা যেতে পারে। ওয়েব অ্যাপের URL স্ক্রিপ্ট আউটপুট থেকে পুনরুদ্ধার করা যেতে পারে, যেমনটি নিম্নলিখিত স্ক্রিনশটে দেখানো হয়েছে।
অ্যাপটি নতুন সার্চ স্ট্রিং, হিটের সংখ্যা এবং সুপারিশের সংখ্যা গ্রহণ করে। হিটের সংখ্যা আমাদের বহিরাগত (IMDb) ক্যাটালগ থেকে কতগুলি মিলে যাওয়া OOC শিরোনামগুলি পুনরুদ্ধার করা উচিত তার সাথে মিলে যায়৷ সুপারিশের সংখ্যা kNN এম্বেডিং অনুসন্ধানের উপর ভিত্তি করে গ্রাহক ক্যাটালগ থেকে আমাদের কত নিকটতম প্রতিবেশীকে পুনরুদ্ধার করা উচিত তার সাথে মিলে যায়। নিম্নলিখিত কোড দেখুন:
এই ইনপুট (কোয়েরি, হিট সংখ্যা এবং সুপারিশ) পাস করা হয় **-ReadFromOpenSearchLambda-**
এপিআই গেটওয়ে অনুরোধের মাধ্যমে AWS CDK দ্বারা তৈরি Lambda ফাংশন। এটি নিম্নলিখিত ফাংশনে করা হয়:
OpenSearch Service থেকে Lambda ফাংশনের আউটপুট ফলাফল API Gateway-এ পাঠানো হয় এবং Streamlit অ্যাপে প্রদর্শিত হয়।
পরিষ্কার কর
আপনি কমান্ডের মাধ্যমে AWS CDK দ্বারা তৈরি সমস্ত সংস্থান মুছে ফেলতে পারেন npx cdk destroy –app “python3 appy.py” --all
একই উদাহরণে (এর ভিতরে cdk
ফোল্ডার) যা স্ট্যাক চালু করতে ব্যবহৃত হয়েছিল (নিম্নলিখিত স্ক্রিনশট দেখুন)।
উপসংহার
এই পোস্টে, আমরা আপনাকে দেখিয়েছি কিভাবে SageMaker এবং OpenSearch পরিষেবা ব্যবহার করে পাঠ্য এবং kNN-ভিত্তিক অনুসন্ধান ব্যবহার করে OOC অনুসন্ধানের জন্য একটি সমাধান তৈরি করতে হয়। আপনি আইএমডিবি শিরোনামের সাথে আপনার ক্যাটালগে নিকটতম প্রতিবেশীদের খুঁজে পেতে কাস্টম জ্ঞান গ্রাফ মডেল এমবেডিং ব্যবহার করেছেন। আপনি এখন, উদাহরণস্বরূপ, অন্যান্য স্ট্রিমিং প্ল্যাটফর্মে অ্যামাজন প্রাইম ভিডিও দ্বারা তৈরি একটি ফ্যান্টাসি সিরিজ "দ্য রিংস অফ পাওয়ার" অনুসন্ধান করতে পারেন এবং তারা কীভাবে অনুসন্ধান ফলাফলটি অপ্টিমাইজ করতে পারে তার কারণ৷
এই পোস্টে কোড নমুনা সম্পর্কে আরও তথ্যের জন্য, দেখুন গিটহুব রেপো. অনুরূপ অত্যাধুনিক এমএল অ্যাপ্লিকেশন তৈরি করতে অ্যামাজন এমএল সলিউশন ল্যাবের সাথে সহযোগিতা করার বিষয়ে আরও জানতে, দেখুন আমাজন মেশিন লার্নিং সলিউশন ল্যাব. IMDb ডেটাসেট লাইসেন্স করার বিষয়ে আরও তথ্যের জন্য, দেখুন developer.imdb.com.
লেখক সম্পর্কে
দিব্যা ভার্গবী আমাজন এমএল সলিউশন ল্যাবে একজন ডেটা সায়েন্টিস্ট এবং মিডিয়া এবং এন্টারটেইনমেন্ট ভার্টিক্যাল লিড, যেখানে তিনি মেশিন লার্নিং ব্যবহার করে AWS গ্রাহকদের জন্য উচ্চ-মূল্যের ব্যবসায়িক সমস্যার সমাধান করেন। তিনি ইমেজ/ভিডিও বোঝার, জ্ঞান গ্রাফ সুপারিশ সিস্টেম, ভবিষ্যদ্বাণীমূলক বিজ্ঞাপন ব্যবহারের ক্ষেত্রে কাজ করেন।
গৌরব রেলে তিনি অ্যামাজন এমএল সলিউশন ল্যাব-এর একজন ডেটা সায়েন্টিস্ট, যেখানে তিনি বিভিন্ন ভার্টিকাল জুড়ে এডাব্লুএস গ্রাহকদের সাথে তাদের ব্যবসায়ের চ্যালেঞ্জগুলি সমাধান করার জন্য মেশিন লার্নিং এবং এডাব্লুএস ক্লাউড পরিষেবাদির ব্যবহারকে ত্বরান্বিত করতে কাজ করেন works
ম্যাথু রোডস আমি অ্যামাজন এমএল সলিউশন ল্যাবে কাজ করি একজন ডেটা সায়েন্টিস্ট৷ তিনি মেশিন লার্নিং পাইপলাইন তৈরিতে বিশেষজ্ঞ যেটিতে প্রাকৃতিক ভাষা প্রক্রিয়াকরণ এবং কম্পিউটার ভিশনের মতো ধারণা জড়িত।
করণ সিন্দওয়ানি অ্যামাজন এমএল সলিউশন ল্যাবের একজন ডেটা সায়েন্টিস্ট, যেখানে তিনি গভীর শিক্ষার মডেল তৈরি এবং স্থাপন করেন। তিনি কম্পিউটার ভিশনের ক্ষেত্রে বিশেষজ্ঞ। অবসর সময়ে, তিনি হাইকিং উপভোগ করেন।
সোজি আদেশিনা তিনি AWS-এর একজন ফলিত বিজ্ঞানী যেখানে তিনি জালিয়াতি এবং অপব্যবহারের অ্যাপ্লিকেশন, নলেজ গ্রাফ, সুপারিশকারী সিস্টেম এবং জীবন বিজ্ঞানের জন্য গ্রাফ কাজগুলিতে মেশিন লার্নিংয়ের জন্য গ্রাফ নিউরাল নেটওয়ার্ক-ভিত্তিক মডেল তৈরি করেন। তার অবসর সময়ে, তিনি পড়া এবং রান্না উপভোগ করেন।
বিদ্যা সাগর রবিপতি তিনি আমাজন ML সলিউশন ল্যাবের একজন ম্যানেজার, যেখানে তিনি বৃহৎ-স্কেল ডিস্ট্রিবিউটেড সিস্টেমে তার বিশাল অভিজ্ঞতা এবং বিভিন্ন শিল্প উল্লম্ব জুড়ে AWS গ্রাহকদের তাদের AI এবং ক্লাউড গ্রহণকে ত্বরান্বিত করতে সাহায্য করার জন্য মেশিন লার্নিংয়ের প্রতি তার আবেগকে কাজে লাগান।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/power-recommendations-and-search-using-an-imdb-knowledge-graph-part-3/
- 1
- 10
- 100
- 11
- 116
- 7
- 9
- a
- সম্পর্কে
- অপব্যবহার
- দ্রুততর করা
- গ্রহণ
- অ্যাক্সেসড
- দিয়ে
- সক্রিয়
- অতিরিক্ত
- উপরন্তু
- যোগ করে
- গ্রহণ
- বিজ্ঞাপন
- AI
- সব
- মর্দানী স্ত্রীলোক
- অ্যামাজন এমএল সলিউশন ল্যাব
- আমাজন নেপচুন
- আমাজন নেপচুন এমএল
- আমাজন ওপেন সার্চ সার্ভিস
- আমাজন সেজমেকার
- বৈশ্লেষিক ন্যায়
- এবং
- API
- অ্যাপ্লিকেশন
- আবেদন
- অ্যাপ্লিকেশন
- ফলিত
- প্রয়োগ করা
- অভিগমন
- স্থাপত্য
- এলাকায়
- যুক্ত
- অটোমেটেড
- উপস্থিতি
- সহজলভ্য
- ডেস্কটপ AWS
- AWS ডেটা এক্সচেঞ্জ
- ভিত্তি
- কারণ
- সর্বোত্তম
- মধ্যে
- বিলিয়ন
- বক্স
- বক্স অফিস
- ব্রাউজার
- নির্মাণ করা
- ভবন
- তৈরী করে
- ব্যবসায়
- ক্ষমতা
- মামলা
- তালিকা
- চ্যালেঞ্জ
- বেছে নিন
- মক্কেল
- মেঘ
- মেঘ গ্রহণ
- মেঘ পরিষেবা
- গুচ্ছ
- কোড
- সহযোগী
- মিলিত
- কোম্পানি
- কোম্পানি
- কোম্পানির
- সম্পূর্ণ
- সম্পন্ন হয়েছে
- কম্পিউটার
- কম্পিউটার ভিশন
- ধারণা
- কনসোল
- প্রতিনিয়ত
- ধারণ
- বিষয়বস্তু
- অনুরূপ
- পারা
- দেশ
- সৃষ্টি
- নির্মিত
- তৈরি করা হচ্ছে
- সৃষ্টি
- ক্রেডিট
- বর্তমান
- এখন
- প্রথা
- ক্রেতা
- ক্রেতা প্রবৃত্তি
- গ্রাহকদের
- উপাত্ত
- তথ্য বিনিময়
- তথ্য বিজ্ঞানী
- ডাটাবেস
- ডেটাসেট
- গভীর
- গভীর জ্ঞানার্জন
- প্রদর্শন
- প্রদর্শিত
- স্থাপন
- মোতায়েন
- স্থাপন
- উদ্ভূত
- বর্ণিত
- ধ্বংস
- সনাক্তকরণ
- উন্নত
- উন্নয়ন
- বিকাশ
- বিভিন্ন
- সরাসরি
- সরাসরি
- আবিষ্কার
- আলোচনা
- বণ্টিত
- বিতরণ সিস্টেম
- দলিল
- তথ্যচিত্র
- না
- ডোমেইন
- প্রতি
- সহজ
- সক্ষম করা
- প্রবৃত্তি
- উন্নত
- প্রবেশ করান
- প্রবেশ
- বিনোদন
- সত্ত্বা
- পরিবেশ
- ঘটনা
- কখনো
- উদাহরণ
- বিনিময়
- অভিজ্ঞতা
- অন্বেষণ করুণ
- বহিরাগত
- অতিরিক্ত
- সম্মুখ
- ঘনিষ্ঠতা
- কল্পনা
- ব্যক্তিত্ব
- ফাইল
- নথি পত্র
- আবিষ্কার
- খুঁজে বের করে
- প্রথম
- প্রবাহ
- অনুসরণ
- অনুসরণ
- পাওয়া
- প্রতারণা
- জালিয়াতি সনাক্তকরণ
- ঘন
- ঘনঘন
- থেকে
- সম্পূর্ণরূপে
- ক্রিয়া
- বৈশিষ্ট্য
- কার্যকারিতা
- ক্রিয়াকলাপ
- প্রবেশপথ
- উত্পাদন করা
- পাওয়া
- বিশ্বব্যাপী
- চিত্রলেখ
- গ্রাফ
- হাতল
- হেডার
- সাহায্য
- আঘাত
- হিট
- কিভাবে
- কিভাবে
- এইচটিএমএল
- HTTPS দ্বারা
- শত শত
- ভাবমূর্তি
- বাস্তবায়ন
- বাস্তবায়িত
- উন্নত করা
- in
- সুদ্ধ
- বৃদ্ধি
- সূচক
- ইনডেক্স
- ইন্ডিসিস
- শিল্প
- তথ্য
- ইনপুট
- ইনস্টল
- উদাহরণ
- পরিবর্তে
- মিথষ্ক্রিয়া
- ইন্টারেক্টিভ
- ইন্টারফেস
- জড়িত করা
- IT
- আইটেম
- চাবি
- জ্ঞান
- নলেজ গ্রাফ
- গবেষণাগার
- ভাষা
- বড়
- বড় আকারের
- সর্বশেষ
- শুরু করা
- লঞ্চ
- স্তর
- নেতৃত্ব
- শিখতে
- শিক্ষা
- ওঠানামায়
- লাইব্রেরি
- লাইসেন্স
- লাইসেন্সকরণ
- জীবন
- জীবন বিজ্ঞান
- সীমিত
- তালিকা
- বোঝা
- স্থানীয়
- মেশিন
- মেশিন লার্নিং
- তৈরি করে
- পরিচালিত
- ব্যবস্থাপনা
- পরিচালক
- ম্যানুয়ালি
- অনেক
- মানচিত্র
- ম্যাপিং
- মানচিত্র
- ছাপ
- ম্যাচ
- ম্যাচিং
- মিডিয়া
- সদস্য
- উল্লিখিত
- মার্জ
- মেটাডাটা
- মিলিয়ন
- মিনিট
- ML
- মডেল
- মডেল
- পর্যবেক্ষণ করা
- পর্যবেক্ষণ
- মাস
- অধিক
- চলচ্চিত্র
- চলচ্চিত্র
- বহু
- প্রাকৃতিক
- স্বাভাবিক ভাষা প্রক্রিয়াকরণ
- প্রতিবেশী
- নেপচুন
- নেটওয়ার্ক ভিত্তিক
- নেটওয়ার্ক
- নিউরাল নেটওয়ার্ক
- নতুন
- নোড
- সংখ্যা
- প্রাপ্ত
- অফার
- দপ্তর
- ONE
- খোলা
- ওপেন সোর্স
- অপারেশনস
- অপ্টিমাইজ
- ক্রম
- OS
- অন্যান্য
- প্যাকেজ
- অংশ
- গৃহীত
- আবেগ
- পথ
- সম্পাদন করা
- সঞ্চালিত
- স্থানধারক
- মাচা
- প্ল্যাটফর্ম
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- দয়া করে
- পোস্ট
- ক্ষমতা
- চালিত
- অনুশীলন
- প্রধানমন্ত্রী
- প্রস্তুত করা
- বর্তমান
- প্রাথমিক
- প্রধান
- কপি করে প্রিন্ট
- সমস্যা
- প্রক্রিয়া
- প্রক্রিয়াকৃত
- প্রক্রিয়াজাতকরণ
- পণ্য
- উত্পাদনের
- উপলব্ধ
- বিধান
- ক্রয়
- উদ্দেশ্য
- পাইথন
- পরিসর
- সৈনিকগণ
- পড়া
- প্রস্তুত
- প্রকৃত সময়
- কারণ
- সুপারিশ
- সুপারিশ
- প্রাসঙ্গিকতা
- প্রাসঙ্গিক
- অবিকল প্রতিরুপ
- প্রতিবেদন
- সংগ্রহস্থলের
- অনুরোধ
- অনুরোধ
- প্রয়োজনীয়
- সংস্থান
- Resources
- প্রতিক্রিয়া
- বিশ্রাম
- ফল
- ফলাফল
- স্মৃতিশক্তি
- প্রত্যাবর্তন
- আয়
- চালান
- দৌড়
- ঋষি নির্মাতা
- একই
- সংরক্ষণ করুন
- পরিস্থিতিতে
- বিজ্ঞান
- বিজ্ঞানী
- সার্চ
- বিভাগে
- নিরাপদ
- নিরাপত্তা
- ক্রম
- সেবা
- সেবা
- সেট
- বিন্যাস
- সেটিংস
- উচিত
- প্রদর্শিত
- শো
- অনুরূপ
- মিল
- সহজ
- সরলীকৃত
- একক
- পরিস্থিতিতে
- সমাধান
- সলিউশন
- সমাধান
- solves
- কিছু
- উৎস
- স্থান
- বিশেষ
- নির্দিষ্ট
- বিভক্ত করা
- গাদা
- শুরু
- শুরু
- রাষ্ট্র-এর-শিল্প
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- স্টোরেজ
- সঞ্চিত
- গল্প
- স্ট্রিমিং
- সাবনেট
- এমন
- অনুসরণ
- সমর্থন
- সিস্টেম
- গ্রহণ করা
- লাগে
- কাজ
- প্রযুক্তি
- প্রান্তিক
- সার্জারির
- ক্ষেত্র
- যৌথ
- তাদের
- যার ফলে
- হাজার হাজার
- তিন
- দ্বারা
- সময়
- শিরনাম
- শিরোনাম
- থেকে
- শীর্ষ
- রেলগাড়ি
- প্রশিক্ষিত
- রুপান্তর
- বহু ট্রিলিয়ান
- tv
- টিপিক্যাল
- অধীনে
- বোধশক্তি
- আপলোড
- URL টি
- ব্যবহার
- ব্যবহারকারী
- ব্যবহারকারী ইন্টারফেস
- ব্যবহার
- বৈচিত্র্য
- সুবিশাল
- বিক্রেতারা
- উল্লম্ব
- ভিডিও
- চেক
- ভার্চুয়াল
- দৃষ্টি
- কল্পনা
- ওয়েব
- ওয়েব অ্যাপ্লিকেশন
- ওয়েব ব্রাউজার
- ওয়েবসাইট
- যে
- ব্যাপক
- প্রশস্ত পরিসর
- ইচ্ছা
- মধ্যে
- শব্দ
- শব্দ
- কাজ
- কাজ
- would
- আপনি
- আপনার
- zephyrnet
- এলাকার