Amazon SageMaker Canvas Generative AI ব্যবহার করে কোম্পানির নথি থেকে অন্তর্দৃষ্টি বের করতে আপনার ব্যবসার ব্যবহারকারীদের ক্ষমতায়ন করুন | আমাজন ওয়েব সার্ভিসেস

এন্টারপ্রাইজগুলি জটিল সমস্যা সমাধান এবং ফলাফল উন্নত করতে মেশিন লার্নিং (ML) এর সম্ভাবনাকে কাজে লাগাতে চায়। সম্প্রতি অবধি, এমএল মডেলগুলি তৈরি এবং স্থাপনের জন্য এমএল মডেলগুলি টিউন করা এবং অপারেশনাল পাইপলাইনগুলি বজায় রাখা সহ গভীর স্তরের প্রযুক্তিগত এবং কোডিং দক্ষতা প্রয়োজন। 2021 সালে এটি চালু হওয়ার পর থেকে, আমাজন সেজমেকার ক্যানভাস ব্যবসায়িক বিশ্লেষকদের বিভিন্ন ধরনের ML মডেল তৈরি, স্থাপন এবং ব্যবহার করতে সক্ষম করেছে – ট্যাবুলার, কম্পিউটার ভিশন এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণ সহ – কোডের একটি লাইন না লিখে। এটি সময়-সিরিজের পূর্বাভাস, গ্রাহক মন্থন ভবিষ্যদ্বাণী, অনুভূতি বিশ্লেষণ, শিল্প ত্রুটি সনাক্তকরণ এবং আরও অনেকের মতো ক্ষেত্রে এমএল প্রয়োগ করার জন্য উদ্যোগগুলির ক্ষমতাকে ত্বরান্বিত করেছে।

যেমন ঘোষণা করা হয়েছে অক্টোবর 5, 2023, সেজমেকার ক্যানভাস তার মডেলগুলির সমর্থনকে ফাউন্ডেশন মডেলগুলিতে (এফএম) প্রসারিত করেছে – বিষয়বস্তু তৈরি এবং সংক্ষিপ্ত করতে ব্যবহৃত বৃহৎ ভাষার মডেল। সঙ্গে 12 অক্টোবর, 2023 রিলিজ, SageMaker ক্যানভাস ব্যবহারকারীদের প্রশ্ন জিজ্ঞাসা করতে এবং তাদের এন্টারপ্রাইজ ডেটার উপর ভিত্তি করে প্রতিক্রিয়া পেতে দেয়। এটি নিশ্চিত করে যে ফলাফলগুলি প্রসঙ্গ-নির্দিষ্ট, অতিরিক্ত ব্যবহারের ক্ষেত্রে খোলা হয় যেখানে ব্যবসায়িক সমস্যা সমাধানের জন্য নো-কোড এমএল প্রয়োগ করা যেতে পারে। উদাহরণস্বরূপ, ব্যবসায়িক দলগুলি এখন একটি সংস্থার নির্দিষ্ট শব্দভাণ্ডার এবং নীতিগুলির সাথে সামঞ্জস্যপূর্ণ প্রতিক্রিয়াগুলি তৈরি করতে পারে এবং সেই নথিগুলির বিষয়বস্তুগুলির সাথে সুনির্দিষ্ট এবং ভিত্তি করে প্রতিক্রিয়া পেতে আরও দ্রুত দীর্ঘ নথি অনুসন্ধান করতে পারে৷ এই সমস্ত বিষয়বস্তু একটি ব্যক্তিগত এবং নিরাপদ পদ্ধতিতে সঞ্চালিত হয়, নিশ্চিত করে যে সমস্ত সংবেদনশীল ডেটা যথাযথ শাসন এবং সুরক্ষার সাথে অ্যাক্সেস করা হয়।

শুরু করার জন্য, একজন ক্লাউড প্রশাসক কনফিগার করে এবং পপুলেট করে আমাজন কেন্দ্র সেজমেকার ক্যানভাসের ডেটা উত্স হিসাবে এন্টারপ্রাইজ ডেটা সহ সূচী। ক্যানভাস ব্যবহারকারীরা তাদের নথিগুলি যেখানে রয়েছে সেই সূচীটি নির্বাচন করে এবং আউটপুটটি সর্বদা তাদের সত্যের উত্স দ্বারা সমর্থিত হবে তা জেনে ধারণা, গবেষণা এবং অন্বেষণ করতে পারে। সেজমেকার ক্যানভাস থেকে অত্যাধুনিক এফএম ব্যবহার করে আমাজন বেডরক এবং আমাজন সেজমেকার জাম্পস্টার্ট. কথোপকথনগুলি পাশাপাশি একাধিক FM-এর সাথে শুরু করা যেতে পারে, আউটপুটগুলির তুলনা করে এবং প্রকৃতপক্ষে প্রত্যেকের জন্য জেনারেটিভ-এআই অ্যাক্সেসযোগ্য করে তোলে৷

এই পোস্টে, আমরা সম্প্রতি প্রকাশিত বৈশিষ্ট্যটি পর্যালোচনা করব, আর্কিটেকচার নিয়ে আলোচনা করব এবং সেজমেকার ক্যানভাসকে আপনার জ্ঞানের ভিত্তি থেকে নথিগুলি অনুসন্ধান করতে সক্ষম করার জন্য একটি ধাপে ধাপে নির্দেশিকা উপস্থাপন করব, যেমনটি নিম্নলিখিত স্ক্রীন ক্যাপচারে দেখানো হয়েছে।

সমাধান ওভারভিউ

ফাউন্ডেশন মডেলগুলি হ্যালুসিনেশন তৈরি করতে পারে - প্রতিক্রিয়া যা জেনেরিক, অস্পষ্ট, সম্পর্কহীন বা বাস্তবিকভাবে ভুল। পুনরুদ্ধার অগমেন্টেড জেনারেশন (RAG) হ্যালুসিনেশন কমাতে প্রায়শই ব্যবহৃত পদ্ধতি। RAG আর্কিটেকচারগুলি একটি এফএম-এর বাইরে থেকে ডেটা পুনরুদ্ধার করতে ব্যবহৃত হয়, যা ব্যবহারকারীর প্রশ্নের উত্তর দেওয়ার জন্য ইন-প্রেক্ষাপট শেখার জন্য ব্যবহৃত হয়। এটি নিশ্চিত করে যে FM একটি বিশ্বস্ত জ্ঞানের ভিত্তি থেকে ডেটা ব্যবহার করতে পারে এবং ব্যবহারকারীদের প্রশ্নের উত্তর দিতে সেই জ্ঞান ব্যবহার করতে পারে, হ্যালুসিনেশনের ঝুঁকি হ্রাস করে।

RAG-এর মাধ্যমে, FM-এর বাহ্যিক ডেটা এবং ব্যবহারকারীর প্রম্পট বাড়ানোর জন্য ব্যবহৃত একাধিক অসমান ডেটা উৎস থেকে আসতে পারে, যেমন ডকুমেন্ট রিপোজিটরি, ডেটাবেস বা APIs। প্রথম ধাপ হল প্রাসঙ্গিকতা শব্দার্থিক অনুসন্ধান সঞ্চালনের জন্য আপনার নথি এবং যেকোনো ব্যবহারকারীর প্রশ্নকে একটি সামঞ্জস্যপূর্ণ বিন্যাসে রূপান্তর করা। বিন্যাসগুলিকে সামঞ্জস্যপূর্ণ করতে, একটি নথি সংগ্রহ, বা জ্ঞান লাইব্রেরি, এবং ব্যবহারকারীর জমা দেওয়া প্রশ্নগুলি এমবেডিং মডেল ব্যবহার করে সংখ্যাসূচক উপস্থাপনায় রূপান্তরিত হয়।

এই রিলিজের সাথে, RAG কার্যকারিতা একটি নো-কোড এবং বিরামহীন পদ্ধতিতে প্রদান করা হয়। এন্টারপ্রাইজগুলি অন্তর্নিহিত জ্ঞান ব্যবস্থাপনা সিস্টেম হিসাবে Amazon কেন্দ্রের সাথে ক্যানভাসে চ্যাট অভিজ্ঞতাকে সমৃদ্ধ করতে পারে। নিম্নলিখিত চিত্রটি সমাধানের আর্কিটেকচারকে চিত্রিত করে।

সেজমেকার ক্যানভাসকে অ্যামাজন কেন্দ্রের সাথে সংযুক্ত করার জন্য একটি এককালীন সেট-আপ প্রয়োজন৷ নথিগুলি অনুসন্ধান করার জন্য ক্যানভাস সেট আপ করতে আমরা সেট-আপ প্রক্রিয়াটি বিশদভাবে বর্ণনা করি। আপনি যদি ইতিমধ্যে আপনার সেজমেকার ডোমেন সেট-আপ না করে থাকেন তবে দেখুন Amazon SageMaker ডোমেনে অনবোর্ড.

ডোমেন কনফিগারেশনের অংশ হিসেবে, একজন ক্লাউড অ্যাডমিনিস্ট্রেটর এক বা একাধিক কেন্দ্রের সূচক বেছে নিতে পারেন যা সেজমেকার ক্যানভাসের মাধ্যমে এফএম-এর সাথে ইন্টারঅ্যাক্ট করার সময় ব্যবসা বিশ্লেষক জিজ্ঞাসা করতে পারেন।

কেন্দ্রের সূচকগুলি হাইড্রেটেড এবং কনফিগার করার পরে, ব্যবসা বিশ্লেষকরা একটি নতুন চ্যাট শুরু করে এবং "কোয়েরি ডকুমেন্টস" টগল নির্বাচন করে সেজমেকার ক্যানভাসের সাথে সেগুলি ব্যবহার করে৷ সেজমেকার ক্যানভাস তারপরে নিম্নলিখিত ক্রিয়াকলাপগুলি সম্পাদন করার জন্য Amazon কেন্দ্র এবং পছন্দের FM-এর মধ্যে অন্তর্নিহিত যোগাযোগ পরিচালনা করবে:

1. ব্যবহারকারীর কাছ থেকে আসা প্রশ্ন সহ কেন্দ্রের সূচকগুলি জিজ্ঞাসা করুন।
2. কেন্দ্রের সূচকগুলি থেকে স্নিপেটগুলি (এবং উত্সগুলি) পুনরুদ্ধার করুন৷
3. মূল ক্যোয়ারী সহ স্নিপেট সহ প্রম্পট ইঞ্জিনিয়ার করুন যাতে ফাউন্ডেশন মডেল পুনরুদ্ধার করা নথি থেকে একটি উত্তর তৈরি করতে পারে।
4. প্রতিক্রিয়া প্রণয়ন করতে ব্যবহৃত পৃষ্ঠা/নথির উল্লেখ সহ ব্যবহারকারীকে তৈরি করা উত্তর প্রদান করুন।

নথি অনুসন্ধান করতে ক্যানভাস সেট আপ করা হচ্ছে৷

এই বিভাগে, আমরা কেন্দ্রের সূচীগুলির মাধ্যমে পরিবেশিত নথিগুলি অনুসন্ধান করার জন্য ক্যানভাস সেট আপ করার পদক্ষেপগুলি নিয়ে আপনাকে হেঁটে দেব। আপনার নিম্নলিখিত পূর্বশর্ত থাকা উচিত:

• সেজমেকার ডোমেন সেটআপ - Amazon SageMaker ডোমেনে অনবোর্ড
• একটা তৈরি কর কেন্দ্র সূচক (বা একাধিক)
• কেন্দ্র Amazon S3 সংযোগকারী সেটআপ করুন - অনুসরণ করুন Amazon S3 সংযোগকারী - এবং কেন্দ্র সূচকের সাথে যুক্ত আমাজন S3 বালতিতে পিডিএফ ফাইল এবং অন্যান্য নথি আপলোড করুন
• IAM সেটআপ করুন যাতে ক্যানভাসের উপযুক্ত অনুমতি থাকে, যার মধ্যে অ্যামাজন বেডরক এবং/অথবা সেজমেকার এন্ডপয়েন্টে কল করার জন্য প্রয়োজনীয় অনুমতি রয়েছে - অনুসরণ করুন ক্যানভাস চ্যাট সেট-আপ করুন ডকুমেন্টেশন

এখন আপনি ডোমেন আপডেট করতে পারেন যাতে এটি পছন্দসই সূচকগুলি অ্যাক্সেস করতে পারে। সেজমেকার কনসোলে, প্রদত্ত ডোমেনের জন্য, ডোমেন সেটিংস ট্যাবের অধীনে সম্পাদনা নির্বাচন করুন। "Amazon কেন্দ্রের সাথে ক্যোয়ারী ডকুমেন্টস সক্ষম করুন" টগলটি সক্ষম করুন যা ক্যানভাস সেটিংস ধাপে পাওয়া যাবে। একবার সক্রিয় হয়ে গেলে, আপনি ক্যানভাসের সাথে ব্যবহার করতে চান এমন এক বা একাধিক কেন্দ্র সূচক বেছে নিন।

ক্যানভাস ক্যোয়ারী ডকুমেন্ট ফিচার কনফিগার করার জন্য এতটুকুই প্রয়োজন। ব্যবহারকারীরা এখন ক্যানভাসের মধ্যে একটি চ্যাটে ঝাঁপিয়ে পড়তে পারেন এবং কেন্দ্রের সূচীগুলির মাধ্যমে ডোমেনের সাথে সংযুক্ত জ্ঞানের ভিত্তিগুলি ব্যবহার করতে শুরু করতে পারেন৷ জ্ঞান-ভান্ডারের রক্ষণাবেক্ষণকারীরা সত্যের উত্স আপডেট করা চালিয়ে যেতে পারে এবং কেন্দ্রে সিঙ্ক করার ক্ষমতা সহ, চ্যাট ব্যবহারকারীরা স্বয়ংক্রিয়ভাবে আপ-টু-ডেট তথ্যগুলি নির্বিঘ্নে ব্যবহার করতে সক্ষম হবে।

চ্যাটের জন্য ক্যোয়ারী ডকুমেন্ট ফিচার ব্যবহার করা

সেজমেকার ক্যানভাস ব্যবহারকারী হিসাবে, ক্যোয়ারী ডকুমেন্ট বৈশিষ্ট্যটি একটি চ্যাটের মধ্যে থেকে অ্যাক্সেস করা যেতে পারে। চ্যাট সেশন শুরু করতে, সেজমেকার ক্যানভাসে রেডি-টু-ইউজ মডেল ট্যাব থেকে "জেনারেট, এক্সট্রাক্ট এবং সারমাইজ কন্টেন্ট" বোতামে ক্লিক করুন বা অনুসন্ধান করুন।

একবার সেখানে, আপনি স্ক্রিনের শীর্ষে টগল দিয়ে কোয়েরি ডকুমেন্টগুলি চালু এবং বন্ধ করতে পারেন। বৈশিষ্ট্যটি সম্পর্কে আরও জানতে তথ্য প্রম্পটটি দেখুন।

যখন কোয়েরি ডকুমেন্টস সক্ষম করা থাকে, আপনি ক্লাউড অ্যাডমিনিস্ট্রেটর দ্বারা সক্ষম করা কেন্দ্র সূচকগুলির একটি তালিকার মধ্যে বেছে নিতে পারেন।

একটি নতুন চ্যাট শুরু করার সময় আপনি একটি সূচক নির্বাচন করতে পারেন। তারপরে আপনি নির্বাচিত সূচক থেকে স্বয়ংক্রিয়ভাবে জ্ঞান নিয়ে UX-এ একটি প্রশ্ন জিজ্ঞাসা করতে পারেন। নোট করুন যে একটি নির্দিষ্ট সূচকের বিরুদ্ধে একটি কথোপকথন শুরু হওয়ার পরে, অন্য সূচকে স্যুইচ করা সম্ভব নয়৷

জিজ্ঞাসিত প্রশ্নগুলির জন্য, চ্যাটটি এফএম দ্বারা উত্পন্ন উত্তর এবং উত্স নথিগুলি দেখাবে যা উত্তর তৈরিতে অবদান রাখে৷ উৎস নথিগুলির যেকোনো একটিতে ক্লিক করার সময়, ক্যানভাস নথির একটি পূর্বরূপ খোলে, FM দ্বারা ব্যবহৃত উদ্ধৃতাংশ হাইলাইট করে৷

উপসংহার

কথোপকথনমূলক AI-তে প্রাকৃতিক এবং স্বজ্ঞাত মিথস্ক্রিয়া সহ মানব-সদৃশ সহকারী প্রদান করে গ্রাহক এবং কর্মচারীর অভিজ্ঞতাকে রূপান্তরিত করার অপার সম্ভাবনা রয়েছে যেমন:

• একটি বিষয়ে গবেষণা সম্পাদন করা বা সংস্থার জ্ঞান বেস অনুসন্ধান এবং ব্রাউজ করা
• দ্রুত অন্তর্দৃষ্টি সংগ্রহ করতে বিষয়বস্তুর ভলিউম সংক্ষিপ্ত করা
• সত্তা, অনুভূতি, PII এবং অন্যান্য দরকারী ডেটা অনুসন্ধান করা এবং অসংগঠিত সামগ্রীর ব্যবসার মান বৃদ্ধি করা
• নথি এবং ব্যবসায়িক চিঠিপত্রের জন্য খসড়া তৈরি করা
• ভিন্ন অভ্যন্তরীণ উত্স থেকে জ্ঞান নিবন্ধ তৈরি করা (ঘটনা, চ্যাট লগ, উইকি)

চ্যাট ইন্টারফেস, জ্ঞান পুনরুদ্ধার, এবং FM-এর উদ্ভাবনী একীকরণ উদ্যোগগুলিকে তাদের ডোমেন জ্ঞান এবং সত্যের উত্স ব্যবহার করে ব্যবহারকারীর প্রশ্নের সঠিক, প্রাসঙ্গিক প্রতিক্রিয়া প্রদান করতে সক্ষম করে।

সেজমেকার ক্যানভাসকে অ্যামাজন কেন্দ্রে জ্ঞানের ভিত্তির সাথে সংযুক্ত করে, সংস্থাগুলি তাদের নিজস্ব পরিবেশের মধ্যে তাদের মালিকানাধীন ডেটা রাখতে পারে এবং এখনও FM-এর অত্যাধুনিক প্রাকৃতিক ভাষার ক্ষমতা থেকে উপকৃত হতে পারে। সেজমেকার ক্যানভাসের ক্যোয়ারী ডকুমেন্ট ফিচার চালু করার মাধ্যমে, আমরা যেকোন এন্টারপ্রাইজের জন্য LLM এবং তাদের এন্টারপ্রাইজ জ্ঞানকে একটি নিরাপদ চ্যাটের অভিজ্ঞতা পাওয়ার জন্য সত্যের উৎস হিসেবে ব্যবহার করা সহজ করে দিচ্ছি। এই সমস্ত কার্যকারিতা একটি নো-কোড ফর্ম্যাটে উপলব্ধ, যা ব্যবসাগুলিকে পুনরাবৃত্তিমূলক এবং অ-বিশেষ কাজগুলি পরিচালনা করা এড়াতে দেয়৷

সেজমেকার ক্যানভাস সম্পর্কে আরও জানতে এবং এটি কীভাবে মেশিন লার্নিং দিয়ে শুরু করা সবার জন্য সহজ করতে সাহায্য করে তা জানতে, দেখুন সেজমেকার ক্যানভাস ঘোষণা. সেজমেকার ক্যানভাস কীভাবে ডেটা সায়েন্টিস্ট এবং ব্যবসায়িক বিশ্লেষকদের মধ্যে সহযোগিতা বাড়াতে সাহায্য করে সে সম্পর্কে আরও জানুন পোস্ট তৈরি করুন, শেয়ার করুন এবং স্থাপন করুন. অবশেষে, কীভাবে আপনার নিজস্ব পুনরুদ্ধার অগমেন্টেড জেনারেশন ওয়ার্কফ্লো তৈরি করবেন তা শিখতে পড়ুন সেজমেকার জাম্পস্টার্ট RAG.

তথ্যসূত্র

লুইস, পি., পেরেজ, ই., পিকটাস, এ., পেট্রোনি, এফ., কারপুখিন, ভি., গয়াল, এন., কুটলার, এইচ., লুইস, এম., ইহ, ডব্লিউ., রকটাশেল, টি., Riedel, S., Kiela, D. (2020)। জ্ঞান-নিবিড় এনএলপি টাস্কের জন্য পুনরুদ্ধার-অগমেন্টেড জেনারেশন। নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমে অগ্রগতি, 33, 9459-9474

---

লেখক সম্পর্কে

ডেভিড গ্যালিটেলি AI/ML-এর জন্য একজন সিনিয়র স্পেশালিস্ট সলিউশন আর্কিটেক্ট। তিনি ব্রাসেলসে অবস্থিত এবং সারা বিশ্বের গ্রাহকদের সাথে ঘনিষ্ঠভাবে কাজ করেন যারা লো-কোড/নো-কোড মেশিন লার্নিং প্রযুক্তি এবং জেনারেটিভ এআই গ্রহণ করতে চাইছেন। তিনি খুব অল্প বয়স থেকেই একজন বিকাশকারী ছিলেন, 7 বছর বয়সে কোড করতে শুরু করেছিলেন। তিনি বিশ্ববিদ্যালয়ে এআই/এমএল শিখতে শুরু করেছিলেন এবং তখন থেকেই এর প্রেমে পড়েছিলেন।

বিলাল আলম আর্থিক পরিষেবা শিল্পের উপর ফোকাস সহ AWS-এর একজন এন্টারপ্রাইজ সলিউশন আর্কিটেক্ট৷ বেশিরভাগ দিনেই বিলাল গ্রাহকদের তাদের সবচেয়ে গুরুত্বপূর্ণ কাজের চাপ মোতায়েন করার জন্য তাদের AWS পরিবেশ তৈরি, উত্থান এবং সুরক্ষিত করতে সহায়তা করে। টেলকো, নেটওয়ার্কিং এবং সফটওয়্যার ডেভেলপমেন্টে তার ব্যাপক অভিজ্ঞতা রয়েছে। অতি সম্প্রতি, তিনি ব্যবসায়িক সমস্যা সমাধানের জন্য AI/ML ব্যবহার করার দিকে নজর দিচ্ছেন।

পশমীন মিস্ত্রী AWS-এর একজন সিনিয়র প্রোডাক্ট ম্যানেজার। কাজের বাইরে, পশমিন দুঃসাহসিক হাইকিং, ফটোগ্রাফি এবং তার পরিবারের সাথে সময় কাটাতে উপভোগ করে।

ড্যান সিনরিচ AWS-এর একজন সিনিয়র প্রোডাক্ট ম্যানেজার, লো-কোড/নো-কোড মেশিন লার্নিংকে গণতান্ত্রিক করতে সাহায্য করে। এডব্লিউএস-এর আগে, ড্যান তৈরি এবং বাণিজ্যিকীকৃত এন্টারপ্রাইজ SaaS প্ল্যাটফর্ম এবং টাইম-সিরিজ মডেলগুলি প্রাতিষ্ঠানিক বিনিয়োগকারীরা ঝুঁকি পরিচালনা করতে এবং সর্বোত্তম পোর্টফোলিও তৈরি করতে ব্যবহার করে। কাজের বাইরে, তাকে হকি, স্কুবা ডাইভিং এবং কল্পবিজ্ঞান পড়তে দেখা যায়।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/empower-your-business-users-to-extract-insights-from-company-documents-using-amazon-sagemaker-canvas-generative-ai/