উৎপন্ন কৃত্রিম বুদ্ধিমত্তা (জেনারেটিভ এআই) মডেলগুলি উচ্চ-মানের পাঠ্য, চিত্র এবং অন্যান্য সামগ্রী তৈরিতে চিত্তাকর্ষক ক্ষমতা প্রদর্শন করেছে। যাইহোক, এই মডেলগুলির সম্পূর্ণ সম্ভাবনায় পৌঁছানোর জন্য প্রচুর পরিমাণে পরিষ্কার, কাঠামোগত প্রশিক্ষণ ডেটা প্রয়োজন। বেশিরভাগ বাস্তব-বিশ্বের ডেটা পিডিএফের মতো অসংগঠিত বিন্যাসে বিদ্যমান, যার কার্যকরীভাবে ব্যবহার করার আগে প্রিপ্রসেসিং প্রয়োজন।
অনুসারে আইডিসি, আজকের সমস্ত ব্যবসায়িক ডেটার 80%-এর বেশি অসংগঠিত ডেটা। এতে ইমেল, পিডিএফ, স্ক্যান করা নথি, ছবি, অডিও, ভিডিও এবং আরও অনেক কিছুর মতো ফর্ম্যাট অন্তর্ভুক্ত রয়েছে। যদিও এই ডেটা মূল্যবান অন্তর্দৃষ্টি ধারণ করে, এর অসংগঠিত প্রকৃতি AI অ্যালগরিদমগুলির পক্ষে ব্যাখ্যা করা এবং তা থেকে শেখা কঠিন করে তোলে। অনুযায়ী ক Deloitte দ্বারা 2019 সমীক্ষা, শুধুমাত্র 18% ব্যবসায় অসংগঠিত ডেটার সুবিধা নিতে সক্ষম বলে রিপোর্ট করেছে৷
যেহেতু AI গ্রহণ ত্বরান্বিত হচ্ছে, অসংগঠিত ডেটা থেকে হজম এবং শেখার জন্য দক্ষ প্রক্রিয়া তৈরি করা ভবিষ্যতে আরও গুরুত্বপূর্ণ হয়ে উঠবে। এতে আরও ভালো প্রিপ্রসেসিং টুল, আধা-তত্ত্বাবধানে শেখার কৌশল এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণে অগ্রগতি জড়িত থাকতে পারে। যেসব কোম্পানি তাদের অসংগঠিত ডেটা সবচেয়ে কার্যকরভাবে ব্যবহার করে তারা AI থেকে উল্লেখযোগ্য প্রতিযোগিতামূলক সুবিধা লাভ করবে। ভালো মডেল পারফরম্যান্সের জন্য ক্লিন ডেটা গুরুত্বপূর্ণ। এক্সট্র্যাক্ট করা পাঠ্যগুলিতে এখনও প্রচুর পরিমাণে গিবেরিশ এবং বয়লারপ্লেট পাঠ্য রয়েছে (যেমন, এইচটিএমএল পড়ুন)। ইন্টারনেট থেকে স্ক্র্যাপ করা ডেটাতে প্রায়ই প্রচুর ডুপ্লিকেশন থাকে। সোশ্যাল মিডিয়া, রিভিউ, বা ব্যবহারকারীর দ্বারা তৈরি যেকোন বিষয়বস্তু থেকে ডেটাতেও বিষাক্ত এবং পক্ষপাতদুষ্ট সামগ্রী থাকতে পারে এবং আপনাকে কিছু প্রাক-প্রক্রিয়াকরণ পদক্ষেপ ব্যবহার করে সেগুলিকে ফিল্টার করতে হতে পারে৷ এছাড়াও অনেক নিম্ন-মানের বিষয়বস্তু বা বট-উত্পাদিত পাঠ্য থাকতে পারে, যা সহগামী মেটাডেটা ব্যবহার করে ফিল্টার আউট করা যেতে পারে (যেমন, গ্রাহক পরিষেবার প্রতিক্রিয়াগুলি ফিল্টার আউট যা গ্রাহকের কম রেটিং পেয়েছে)।
পুনরুদ্ধার অগমেন্টেড জেনারেশনের একাধিক পর্যায়ে ডেটা প্রস্তুতি গুরুত্বপূর্ণ (RAG) মডেল। জ্ঞানের উৎস নথিগুলির প্রাক-প্রসেসিং প্রয়োজন, যেমন পাঠ্য পরিষ্কার করা এবং শব্দার্থিক এম্বেডিং তৈরি করা, যাতে সেগুলি দক্ষতার সাথে সূচিবদ্ধ এবং পুনরুদ্ধার করা যায়। ব্যবহারকারীর প্রাকৃতিক ভাষা প্রশ্নের জন্যও প্রিপ্রসেসিং প্রয়োজন, তাই এটি একটি ভেক্টরে এনকোড করা যেতে পারে এবং নথি এমবেডিংয়ের সাথে তুলনা করা যেতে পারে। প্রাসঙ্গিক প্রসঙ্গ পুনরুদ্ধার করার পরে, ফাউন্ডেশন মডেলের জন্য চূড়ান্ত প্রম্পট তৈরি করতে ব্যবহারকারীর প্রশ্নের সাথে সংযুক্ত হওয়ার আগে তাদের অতিরিক্ত প্রিপ্রসেসিংয়ের প্রয়োজন হতে পারে, যেমন ছেঁটে ফেলা। আমাজন সেজমেকার ক্যানভাস এখন দ্বারা চালিত ব্যাপক তথ্য প্রস্তুতি ক্ষমতা সমর্থন করে অ্যামাজন সেজমেকার ডেটা র্যাংলার. এই ইন্টিগ্রেশনের মাধ্যমে, সেজমেকার ক্যানভাস গ্রাহকদের ডেটা প্রস্তুত করতে, ডেটা থেকে ব্যবসার অন্তর্দৃষ্টিতে সময় ত্বরান্বিত করতে ML এবং ফাউন্ডেশন মডেলগুলি তৈরি করতে এবং ব্যবহার করতে একটি এন্ড-টু-এন্ড নো-কোড ওয়ার্কস্পেস প্রদান করে। আপনি এখন সহজেই 50 টিরও বেশি ডেটা উত্স থেকে ডেটা আবিষ্কার এবং একত্রিত করতে পারেন এবং সেজমেকার ক্যানভাসের ভিজ্যুয়াল ইন্টারফেসে 300 টিরও বেশি বিল্ট-ইন বিশ্লেষণ এবং রূপান্তর ব্যবহার করে ডেটা অন্বেষণ এবং প্রস্তুত করতে পারেন৷
সমাধান ওভারভিউ
এই পোস্টে, আমরা একটি পিডিএফ ডকুমেন্টেশন ডেটাসেট নিয়ে কাজ করি-আমাজন বেডরক ব্যবহারকারী গাইড. আরও, আমরা দেখাই কিভাবে RAG-এর জন্য একটি ডেটাসেট প্রিপ্রসেস করতে হয়। বিশেষ করে, আমরা ডেটা পরিষ্কার করি এবং ডেটাসেটের বিষয়বস্তু সম্পর্কে প্রশ্নের উত্তর দিতে RAG শিল্পকর্ম তৈরি করি। নিম্নলিখিত মেশিন লার্নিং (এমএল) সমস্যাটি বিবেচনা করুন: ব্যবহারকারী একটি বড় ভাষা মডেল (এলএলএম) প্রশ্ন জিজ্ঞাসা করে: "আমাজন বেডরকে কীভাবে মডেলগুলি ফিল্টার এবং অনুসন্ধান করবেন?"। এলএলএম প্রশিক্ষণ বা ফাইন-টিউনিং পর্যায়ে ডকুমেন্টেশন দেখেনি, এইভাবে প্রশ্নের উত্তর দিতে সক্ষম হবে না এবং সম্ভবত হ্যালুসিনেট হবে। এই পোস্টের সাথে আমাদের লক্ষ্য, PDF (যেমন, RAG) থেকে একটি প্রাসঙ্গিক পাঠ্য খুঁজে বের করা এবং এটিকে প্রম্পটে সংযুক্ত করা, এইভাবে LLM-কে এই নথির নির্দিষ্ট প্রশ্নের উত্তর দিতে সক্ষম করে।
নীচে, আমরা দেখাই কিভাবে আপনি এই সমস্ত প্রধান প্রিপ্রসেসিং ধাপগুলি থেকে করতে পারেন আমাজন সেজমেকার ক্যানভাস (চালিত অ্যামাজন সেজমেকার ডেটা র্যাংলার):
- একটি পিডিএফ নথি থেকে পাঠ্য নিষ্কাশন করা (টেক্সট্র্যাক্ট দ্বারা চালিত)
- সংবেদনশীল তথ্য সরান (বোঝার দ্বারা চালিত)
- টুকরো টুকরো টেক্সট.
- প্রতিটি অংশের জন্য এম্বেডিং তৈরি করুন (বেডরক দ্বারা চালিত)।
- একটি ভেক্টর ডাটাবেসে এম্বেডিং আপলোড করুন (ওপেনসার্চ দ্বারা চালিত)
পূর্বশর্ত
এই ওয়াকথ্রুটির জন্য আপনার নিম্নলিখিতগুলি থাকা উচিত:
বিঃদ্রঃ: নির্দেশাবলী অনুসরণ করে OpenSearch Service ডোমেন তৈরি করুন এখানে. সরলতার জন্য, সূক্ষ্ম-দানাযুক্ত অ্যাক্সেস নিয়ন্ত্রণের জন্য একটি মাস্টার ব্যবহারকারীর নাম এবং পাসওয়ার্ড সহ বিকল্পটি বেছে নেওয়া যাক। একবার ডোমেন তৈরি হয়ে গেলে, নিম্নলিখিত ম্যাপিং সহ একটি ভেক্টর সূচক তৈরি করুন এবং ভেক্টর মাত্রা 1536 অ্যামাজন টাইটান এম্বেডিংয়ের সাথে সারিবদ্ধ করুন:
walkthrough
একটি ডেটা প্রবাহ তৈরি করুন
এই বিভাগে, আমরা পিডিএফ থেকে টেক্সট এবং মেটাডেটা বের করতে, ডেটা পরিষ্কার এবং প্রক্রিয়া করার জন্য, অ্যামাজন বেডরক ব্যবহার করে এম্বেডিং তৈরি করতে এবং অ্যামাজন ওপেনসার্চে ডেটা সূচী করার জন্য কীভাবে ডেটা ফ্লো তৈরি করতে পারি তা কভার করি।
সেজমেকার ক্যানভাস চালু করুন
সেজমেকার ক্যানভাস চালু করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- আমাজনে সেজমেকার কনসোলনির্বাচন ডোমেইনের নেভিগেশন ফলকে।
- আপনার ডোমেন চয়ন করুন.
- লঞ্চ মেনুতে, নির্বাচন করুন ক্যানভাস.
একটি ডেটাফ্লো তৈরি করুন
সেজমেকার ক্যানভাসে ডেটা ফ্লো তৈরি করতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- সেজমেকার ক্যানভাস হোম পেজে, বেছে নিন ডেটা র্যাংলার.
- বেছে নিন সৃষ্টি পৃষ্ঠার ডানদিকে, তারপর একটি ডেটা ফ্লো নাম দিন এবং নির্বাচন করুন সৃষ্টি.
- এটি একটি ডেটা প্রবাহ পৃষ্ঠায় অবতরণ করবে।
- বেছে নিন তথ্য আমদানি, ট্যাবুলার ডেটা নির্বাচন করুন।
এখন আমাজন S3 বাকেট থেকে ডেটা আমদানি করা যাক:
- বেছে নিন তথ্য আমদানি এবং নির্বাচন করুন ফলকাকার ড্রপ ডাউন তালিকা থেকে।
- তথ্য উৎস এবং নির্বাচন করুন আমাজন S3 ড্রপ ডাউন তালিকা থেকে।
- PDF ফাইলের অবস্থান সহ মেটা ডেটা ফাইলে নেভিগেট করুন এবং ফাইলটি চয়ন করুন৷
- এখন মেটাডেটা ফাইলটি ডেটা প্রস্তুতির ডেটা ফ্লোতে লোড করা হয়েছে, এবং আমরা ডেটা এবং সূচককে আমাজনে রূপান্তর করার জন্য পরবর্তী পদক্ষেপগুলি যোগ করতে এগিয়ে যেতে পারি ওপেনসার্চ. এই ক্ষেত্রে ফাইলটিতে Amazon S3 ডিরেক্টরিতে প্রতিটি ফাইলের অবস্থান সহ নিম্নলিখিত মেটাডেটা রয়েছে৷
একটি নতুন রূপান্তর যোগ করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- প্লাস চিহ্নটি বেছে নিন এবং নির্বাচন করুন রূপান্তর যুক্ত করুন.
- বেছে নিন পদক্ষেপ যুক্ত করুন এবং নির্বাচন করুন কাস্টম রূপান্তর.
- আপনি Pandas, PySpark, Python ব্যবহারকারী-সংজ্ঞায়িত ফাংশন এবং SQL PySpark ব্যবহার করে একটি কাস্টম রূপান্তর তৈরি করতে পারেন। পছন্দ করা পাইথন (PySpark) এই ব্যবহারের ক্ষেত্রে।
- ধাপের জন্য একটি নাম লিখুন। উদাহরণ কোড স্নিপেট থেকে, ব্রাউজ করুন এবং নির্বাচন করুন পিডিএফ থেকে পাঠ্য বের করুন. কোড স্নিপেটে প্রয়োজনীয় পরিবর্তন করুন এবং নির্বাচন করুন বিজ্ঞাপন.
- এক্সট্রাক্ট করা ডেটা থেকে ব্যক্তিগত শনাক্তযোগ্য তথ্য (PII) ডেটা রিডাক্ট করার জন্য একটি ধাপ যোগ করা যাক অ্যামাজন সমঝোতা। চয়ন করুন পদক্ষেপ যুক্ত করুন এবং নির্বাচন করুন কাস্টম রূপান্তর. এবং নির্বাচন করুন পাইথন (PySpark)।
উদাহরণ কোড স্নিপেট থেকে, ব্রাউজ করুন এবং নির্বাচন করুন মুখোশ PII। কোড স্নিপেটে প্রয়োজনীয় পরিবর্তন করুন এবং নির্বাচন করুন যুক্ত করো।
- পরবর্তী ধাপ হল পাঠ্য বিষয়বস্তু খণ্ড করা। পছন্দ করা পদক্ষেপ যুক্ত করুন এবং নির্বাচন করুন কাস্টম রূপান্তর. এবং নির্বাচন করুন পাইথন (PySpark)।
উদাহরণ কোড স্নিপেট থেকে, ব্রাউজ করুন এবং নির্বাচন করুন খণ্ড পাঠ। কোড স্নিপেটে প্রয়োজনীয় পরিবর্তন করুন এবং নির্বাচন করুন যুক্ত করো।
- এর ব্যবহার করে পাঠ্য বিষয়বস্তুকে ভেক্টর এমবেডিং-এ রূপান্তর করা যাক আমাজন বেডরক টাইটান এমবেডিংস মডেল। পছন্দ করা পদক্ষেপ যুক্ত করুন এবং নির্বাচন করুন কাস্টম রূপান্তর. এবং নির্বাচন করুন পাইথন (PySpark)।
উদাহরণ কোড স্নিপেট থেকে, ব্রাউজ করুন এবং নির্বাচন করুন বেডরকের সাথে টেক্সট এম্বেডিং তৈরি করুন। কোড স্নিপেটে প্রয়োজনীয় পরিবর্তন করুন এবং নির্বাচন করুন যুক্ত করো।
- এখন আমাদের কাছে পিডিএফ ফাইলের বিষয়বস্তুর জন্য ভেক্টর এম্বেডিং উপলব্ধ রয়েছে। আসুন এগিয়ে যান এবং আমাজন ওপেনসার্চে ডেটা সূচী করি। পছন্দ করা পদক্ষেপ যুক্ত করুন এবং নির্বাচন করুন কাস্টম রূপান্তর. এবং নির্বাচন করুন পাইথন (PySpark)। আপনি আপনার পছন্দের ভেক্টর ডাটাবেস ব্যবহার করতে নিম্নলিখিত কোডটি পুনরায় লিখতে পারেন। সরলতার জন্য, আমরা ওপেন সার্চ এপিআই অ্যাক্সেস করতে মাস্টার ইউজারনেম এবং পাসওয়ার্ড ব্যবহার করছি, প্রোডাকশন ওয়ার্কলোডের জন্য আপনার প্রতিষ্ঠানের নীতি অনুযায়ী বিকল্প নির্বাচন করুন।
অবশেষে, তৈরি করা ডেটাফ্লো নিম্নরূপ হবে:
এই ডেটাফ্লো সহ, পিডিএফ ফাইল থেকে ডেটা আমাজন ওপেনসার্চে ভেক্টর এম্বেডিংয়ের সাথে পড়া এবং সূচী করা হয়েছে। এখন আমাদের জন্য সূচীকৃত ডেটা অনুসন্ধান করার জন্য একটি ফাইল তৈরি করার এবং এটিকে Amazon S3 অবস্থানে সংরক্ষণ করার সময়। আমরা আমাদের অনুসন্ধান ডেটা প্রবাহকে ফাইলে নির্দেশ করব এবং একটি অ্যামাজন S3 অবস্থানে একটি নতুন ফাইলে সংশ্লিষ্ট ফলাফল সহ একটি ফাইল আউটপুট করব৷
একটি প্রম্পট প্রস্তুত করা হচ্ছে
আমরা আমাদের পিডিএফ থেকে একটি জ্ঞানের ভিত্তি তৈরি করার পরে, আমরা কয়েকটি নমুনা প্রশ্নের জন্য জ্ঞানের ভিত্তি অনুসন্ধান করে এটি পরীক্ষা করতে পারি। আমরা নিম্নলিখিত হিসাবে প্রতিটি প্রশ্ন প্রক্রিয়া করব:
- প্রশ্নের জন্য এম্বেডিং তৈরি করুন (আমাজন বেডরক দ্বারা চালিত)
- নিকটতম প্রতিবেশী প্রসঙ্গ (Amazon OpenSearch দ্বারা চালিত) জন্য ক্যোয়ারী ভেক্টর ডাটাবেস
- প্রম্পটে প্রশ্ন এবং প্রসঙ্গ একত্রিত করুন।
- একটি প্রম্পট সহ LLM কোয়েরি করুন (আমাজন বেডরক দ্বারা চালিত)
- সেজমেকার ক্যানভাস হোম পেজে, বেছে নিন ডেটা প্রস্তুতি.
- বেছে নিন সৃষ্টি পৃষ্ঠার ডানদিকে, তারপর একটি ডেটা ফ্লো নাম দিন এবং নির্বাচন করুন সৃষ্টি.
এখন ব্যবহারকারীর প্রশ্ন লোড করা যাক এবং তারপর প্রশ্ন এবং অনুরূপ নথিগুলিকে একত্রিত করে একটি প্রম্পট তৈরি করি। ব্যবহারকারীর প্রশ্নের উত্তর তৈরি করার জন্য এই প্রম্পটটি এলএলএম-কে দেওয়া হয়েছে।
- ব্যবহারকারীর প্রশ্ন সহ একটি csv ফাইল লোড করা যাক। পছন্দ করা তথ্য আমদানি এবং নির্বাচন করুন ফলকাকার ড্রপ ডাউন তালিকা থেকে।
- তথ্য সূত্র, এবং নির্বাচন করুন আমাজন S3 ড্রপ-ডাউন তালিকা থেকে। বিকল্পভাবে, আপনি ব্যবহারকারীর প্রশ্নের সাথে একটি ফাইল আপলোড করতে বেছে নিতে পারেন।
- আসুন তথ্যকে ভেক্টর এম্বেডিং-এ রূপান্তর করতে একটি কাস্টম রূপান্তর যোগ করি, তারপরে অ্যামাজন ওপেনসার্চ থেকে সম্পর্কিত এম্বেডিংগুলি অনুসন্ধান করে, জ্ঞানের ভিত্তি থেকে প্রশ্ন এবং প্রসঙ্গ সহ অ্যামাজন বেডরকে একটি প্রম্পট পাঠানোর আগে৷ প্রশ্নের জন্য এমবেডিং তৈরি করতে, আপনি একই উদাহরণ কোড স্নিপেট ব্যবহার করতে পারেন বেডরকের সাথে টেক্সট এম্বেডিং তৈরি করুন উপরে ধাপ # 7 এ উল্লেখ করা হয়েছে।
জেনারেট করা ভেক্টর এমবেডিংয়ের জন্য প্রাসঙ্গিক নথিগুলি অনুসন্ধান করতে অ্যামাজন ওপেনসার্চ API ব্যবহার করা যাক। Python (PySpark) এর সাথে একটি কাস্টম রূপান্তর যোগ করুন।
অ্যামাজন ওপেনসার্চ নলেজ বেস থেকে নথি পাস করে, প্রশ্নের উত্তরের জন্য অ্যামাজন বেডরক API-কে কল করার জন্য একটি কাস্টম রূপান্তর যোগ করা যাক। উদাহরণ কোড স্নিপেট থেকে, ব্রাউজ করুন এবং নির্বাচন করুন প্রসঙ্গ সহ বেডরক প্রশ্ন করুন। কোড স্নিপেটে প্রয়োজনীয় পরিবর্তন করুন এবং নির্বাচন করুন যুক্ত করো।
সংক্ষেপে, RAG ভিত্তিক প্রশ্নের উত্তর দেওয়ার ডেটাফ্লো নিম্নরূপ:
এমএল অনুশীলনকারীরা ফিচার ইঞ্জিনিয়ারিং কোড তৈরি করতে, তাদের প্রাথমিক ডেটাসেটে এটি প্রয়োগ করতে, ইঞ্জিনিয়ারড ডেটাসেটের প্রশিক্ষণ মডেল এবং মডেলের নির্ভুলতা মূল্যায়ন করতে অনেক সময় ব্যয় করে। এই কাজের পরীক্ষামূলক প্রকৃতি দেওয়া, এমনকি ক্ষুদ্রতম প্রকল্প একাধিক পুনরাবৃত্তির দিকে পরিচালিত করে। একই বৈশিষ্ট্য ইঞ্জিনিয়ারিং কোড প্রায়শই বারবার চালানো হয়, একই ক্রিয়াকলাপগুলি পুনরাবৃত্তি করার জন্য সময় এবং গণনা সংস্থান নষ্ট করে। বড় প্রতিষ্ঠানে, এটি উত্পাদনশীলতার আরও বেশি ক্ষতির কারণ হতে পারে কারণ বিভিন্ন দল প্রায়শই অভিন্ন কাজ চালায় বা এমনকি ডুপ্লিকেট বৈশিষ্ট্য ইঞ্জিনিয়ারিং কোড লিখতে পারে কারণ তাদের পূর্বের কাজের কোন জ্ঞান নেই। বৈশিষ্ট্যগুলির পুনঃপ্রক্রিয়াকরণ এড়াতে, আমরা আমাদের ডেটা প্রবাহ একটি Amazon-এ রপ্তানি করব৷ সেজমেকার পাইপলাইন। এর নির্বাচন করুন + কোয়েরির ডানদিকে বোতাম। এক্সপোর্ট ডেটা প্রবাহ নির্বাচন করুন এবং নির্বাচন করুন সেজমেকার পাইপলাইন চালান (জুপিটার নোটবুকের মাধ্যমে)।
পরিষ্কার আপ
ভবিষ্যতের চার্জ এড়াতে, এই পোস্টটি অনুসরণ করার সময় আপনার তৈরি সংস্থানগুলি মুছুন বা বন্ধ করুন৷ নির্দেশ করে Amazon SageMaker ক্যানভাস থেকে লগ আউট করা হচ্ছে আরো বিস্তারিত জানার জন্য.
উপসংহার
এই পোস্টে, আমরা আপনাকে দেখিয়েছি যে কীভাবে অ্যামাজন সেজমেকার ক্যানভাসের এন্ড-টু-এন্ড ক্ষমতাগুলি একটি LLM-এর জন্য ডেটা প্রস্তুতকারী ডেটা পেশাদারের ভূমিকা গ্রহণ করে৷ ইন্টারেক্টিভ ডেটা প্রস্তুতি তথ্যমূলক বৈশিষ্ট্যগুলিকে ইঞ্জিনিয়ার করার জন্য ডেটাকে দ্রুত পরিষ্কার, রূপান্তর এবং বিশ্লেষণ করতে সক্ষম করে। কোডিং জটিলতা দূর করে, সেজমেকার ক্যানভাস একটি উচ্চ-মানের প্রশিক্ষণ ডেটাসেট তৈরি করতে দ্রুত পুনরাবৃত্তির অনুমতি দিয়েছে। এই ত্বরান্বিত কর্মপ্রবাহটি ব্যবসায়িক প্রভাবের জন্য একটি পারফরম্যান্ট মেশিন লার্নিং মডেল তৈরি, প্রশিক্ষণ এবং স্থাপনে সরাসরি নেতৃত্ব দেয়। এর ব্যাপক ডেটা প্রস্তুতি এবং ডেটা থেকে অন্তর্দৃষ্টি পর্যন্ত একীভূত অভিজ্ঞতার সাথে, সেজমেকার ক্যানভাস ব্যবহারকারীদের তাদের এমএল ফলাফল উন্নত করার ক্ষমতা দেয়।
আমরা আপনাকে অন্বেষণ করে আরও শিখতে উত্সাহিত করি অ্যামাজন সেজমেকার ডেটা র্যাংলার, আমাজন সেজমেকার ক্যানভাস, আমাজন টাইটান মডেল, আমাজন বেডরক, এবং আমাজন ওপেন সার্চ সার্ভিস এই পোস্টে দেওয়া নমুনা বাস্তবায়ন এবং আপনার ব্যবসার সাথে প্রাসঙ্গিক একটি ডেটাসেট ব্যবহার করে একটি সমাধান তৈরি করতে। আপনার যদি প্রশ্ন বা পরামর্শ থাকে, তাহলে একটি মন্তব্য করুন.
লেখক সম্পর্কে
অজয় গোবিন্দরাম AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট। তিনি কৌশলগত গ্রাহকদের সাথে কাজ করেন যারা জটিল ব্যবসায়িক সমস্যা সমাধানের জন্য AI/ML ব্যবহার করছেন। তার অভিজ্ঞতা প্রযুক্তিগত দিকনির্দেশ প্রদানের পাশাপাশি পরিমিত থেকে বৃহৎ-স্কেল এআই/এমএল অ্যাপ্লিকেশন স্থাপনার জন্য ডিজাইন সহায়তা প্রদানের মধ্যে রয়েছে। তার জ্ঞান অ্যাপ্লিকেশন আর্কিটেকচার থেকে বিগ ডেটা, অ্যানালিটিক্স এবং মেশিন লার্নিং পর্যন্ত। তিনি বিশ্রামের সময় গান শুনতে উপভোগ করেন, বাইরের অভিজ্ঞতা লাভ করেন এবং তার প্রিয়জনদের সাথে সময় কাটান।
নিকিতা ইভকিন মেশিন লার্নিং এবং ডেটা ক্লিনিং অ্যালগরিদমে আগ্রহ সহ অ্যামাজন সেজমেকার ডেটা র্যাংলারের একজন সিনিয়র ফলিত বিজ্ঞানী৷
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/simplify-data-prep-for-gen-ai-with-amazon-sagemaker-data-wrangler/
- : আছে
- : হয়
- :না
- 100
- 14
- 20
- 25
- 28
- 50
- 7
- 8
- 804
- a
- সক্ষম
- সম্পর্কে
- উপরে
- দ্রুততর করা
- দ্রুততর
- প্রবেশ
- অনুযায়ী
- অ্যাকাউন্টস
- সঠিকতা
- যোগ
- অতিরিক্ত
- গ্রহণ
- অগ্রগতি
- সুবিধা
- সুবিধাদি
- পর
- আবার
- থোক
- এগিয়ে
- AI
- এআই / এমএল
- আলগোরিদিম
- সারিবদ্ধ
- সব
- অনুমতি
- এছাড়াও
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- অ্যামাজন সেজমেকার ডেটা র্যাংলার
- অ্যামাজন ওয়েব সার্ভিসেস
- পরিমাণে
- an
- বিশ্লেষণ
- বৈশ্লেষিক ন্যায়
- বিশ্লেষণ
- এবং
- উত্তর
- কোন
- API
- আবেদন
- ফলিত
- প্রয়োগ করা হচ্ছে
- স্থাপত্য
- রয়েছি
- কৃত্রিম
- কৃত্রিম বুদ্ধিমত্তা
- AS
- সহায়তা
- At
- সংযুক্ত
- অডিও
- উদ্দীপিত
- সহজলভ্য
- এড়াতে
- ডেস্কটপ AWS
- ভিত্তি
- ভিত্তি
- BE
- কারণ
- হয়ে
- হয়েছে
- আগে
- হচ্ছে
- উত্তম
- পক্ষপাতদুষ্ট
- বিশাল
- বড় ডেটা
- নির্মাণ করা
- ভবন
- বিল্ট-ইন
- ব্যবসায়
- ব্যবসা
- বোতাম
- by
- কল
- CAN
- ক্যানভাস
- ক্ষমতা
- কেস
- কারণ
- পরিবর্তন
- চার্জ
- বেছে নিন
- পরিষ্কার
- পরিস্কার করা
- কোড
- কোডিং
- মিশ্রন
- মন্তব্য
- কোম্পানি
- তুলনা
- প্রতিযোগিতামূলক
- সম্পূর্ণ
- জটিল
- জটিলতার
- বোঝা
- ব্যাপক
- গনা
- বিবেচনা
- কনসোল
- ধারণ করা
- ধারণ
- বিষয়বস্তু
- সুখী
- প্রসঙ্গ
- প্রসঙ্গ
- চলতে
- নিয়ন্ত্রণ
- রূপান্তর
- অনুরূপ
- পারা
- আবরণ
- সৃষ্টি
- নির্মিত
- সংকটপূর্ণ
- প্রথা
- ক্রেতা
- গ্রাহক সেবা
- গ্রাহকদের
- উপাত্ত
- ডেটা প্রস্তুতি
- ডেটাবেস
- ডেটাসেট
- ডেলোইট
- প্রদর্শিত
- মোতায়েন
- স্থাপনার
- নকশা
- বিস্তারিত
- উন্নয়নশীল
- বিভিন্ন
- কঠিন
- মাত্রা
- অভিমুখ
- সরাসরি
- আবিষ্কার করা
- do
- দলিল
- ডকুমেন্টেশন
- কাগজপত্র
- ডোমেইন
- ডোমেইনের
- নিচে
- সময়
- e
- প্রতি
- সহজে
- কার্যকরীভাবে
- দক্ষ
- দক্ষতার
- ইমেল
- এম্বেডিং
- ক্ষমতা
- সক্ষম করা
- সক্রিয়
- উত্সাহিত করা
- সর্বশেষ সীমা
- প্রকৌশলী
- engineered
- প্রকৌশল
- মূল্যায়নের
- এমন কি
- উদাহরণ
- বিদ্যমান
- অভিজ্ঞতা
- সম্মুখীন
- পরীক্ষামূলক
- অন্বেষণ করুণ
- এক্সপ্লোরিং
- রপ্তানি
- নির্যাস
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- কয়েক
- ক্ষেত্রসমূহ
- ফাইল
- ছাঁকনি
- চূড়ান্ত
- আবিষ্কার
- প্রবাহ
- অনুসৃত
- অনুসরণ
- অনুসরণ
- জন্য
- ফোর্বস
- ভিত
- ফাউন্ডেশন
- বিনামূল্যে
- থেকে
- সম্পূর্ণ
- ক্রিয়াকলাপ
- অধিকতর
- ভবিষ্যৎ
- লাভ করা
- উত্পাদন করা
- উত্পন্ন
- উৎপাদিত
- প্রজন্ম
- সৃজক
- জেনারেটিভ এআই
- পাওয়া
- দাও
- প্রদত্ত
- বিশ্বব্যাপী
- Go
- লক্ষ্য
- ভাল
- বৃহত্তর
- আছে
- he
- হেডার
- উচ্চ গুনসম্পন্ন
- তার
- ঝুলিতে
- হোম
- কিভাবে
- কিভাবে
- যাহোক
- এইচটিএমএল
- HTTPS দ্বারা
- i
- অভিন্ন
- if
- চিত্র
- প্রভাব
- বাস্তবায়ন
- আমদানি
- গুরুত্বপূর্ণ
- চিত্তাকর্ষক
- উন্নত করা
- in
- অন্তর্ভুক্ত
- সূচক
- সূচীবদ্ধ
- তথ্য
- তথ্যপূর্ণ
- প্রারম্ভিক
- অর্ন্তদৃষ্টি
- নির্দেশাবলী
- ইন্টিগ্রেশন
- বুদ্ধিমত্তা
- ইন্টারেক্টিভ
- মধ্যে রয়েছে
- ইন্টারফেস
- Internet
- মধ্যে
- জড়িত করা
- IT
- পুনরাবৃত্তির
- পুনরাবৃত্তি
- এর
- জবস
- JPG
- JSON
- জ্ঞান
- জমি
- ভাষা
- বড়
- বড় আকারের
- শুরু করা
- বিশালাকার
- শিখতে
- শিক্ষা
- ত্যাগ
- বরফ
- উপজীব্য
- মিথ্যা
- মত
- তালিকা
- শ্রবণ
- LLM
- বোঝা
- অবস্থান
- অবস্থানগুলি
- ক্ষতি
- অনেক
- পছন্দ
- কম
- মেশিন
- মেশিন লার্নিং
- প্রধান
- করা
- তৈরি করে
- মাস্ক
- বৃহদায়তন
- মালিক
- মে..
- মেকানিজম
- মিডিয়া
- মেনু
- মেটা
- মেটাডাটা
- ML
- মডেল
- মডেল
- বিনয়ী
- অধিক
- সেতু
- বহু
- সঙ্গীত
- নাম
- প্রাকৃতিক
- স্বাভাবিক ভাষা প্রক্রিয়াকরণ
- প্রকৃতি
- ন্যাভিগেশন
- প্রয়োজনীয়
- প্রয়োজন
- নতুন
- পরবর্তী
- না।
- নোটবই
- এখন
- of
- প্রায়ই
- on
- একদা
- ওগুলো
- কেবল
- অপারেশনস
- পছন্দ
- or
- সংগঠন
- সংগঠন
- অন্যান্য
- আমাদের
- বাইরে
- ফলাফল
- বিদেশে
- আউটপুট
- শেষ
- পৃষ্ঠা
- পান্ডাস
- শার্সি
- পাসিং
- পাসওয়ার্ড
- পিডিএফ
- কর্মক্ষমতা
- ব্যক্তিগত
- বাছাই
- টুকরা
- টুকরা
- পাইপলাইন
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- দয়া করে
- যোগ
- বিন্দু
- নীতি
- পোস্ট
- সম্ভাব্য
- চালিত
- পছন্দের
- প্রস্তুতি
- প্রস্তুত করা
- প্রস্তুতি
- পূর্বে
- সম্ভবত
- সমস্যা
- সমস্যা
- এগিয়ে
- প্রক্রিয়া
- প্রক্রিয়াজাতকরণ
- উত্পাদনের
- প্রমোদ
- পেশাদারী
- প্রকল্প
- বৈশিষ্ট্য
- প্রদত্ত
- উপলব্ধ
- প্রদানের
- পাইথন
- প্রশ্নের
- প্রশ্ন
- প্রশ্ন
- দ্রুত
- রেঞ্জ
- দ্রুত
- সৈনিকগণ
- নাগাল
- পড়া
- বাস্তব জগতে
- গৃহীত
- পড়ুন
- সংশ্লিষ্ট
- প্রাসঙ্গিক
- সরানোর
- রিপোর্ট
- অনুরোধ
- প্রয়োজন
- প্রয়োজন
- Resources
- প্রতিক্রিয়া
- প্রতিক্রিয়া
- বিশ্রামের
- ফলাফল
- প্রত্যাবর্তন
- পর্যালোচনা
- অধিকার
- ভূমিকা
- চালান
- ঋষি নির্মাতা
- একই
- সংরক্ষণ করুন
- বিজ্ঞানী
- সার্চ
- অনুসন্ধানের
- অধ্যায়
- দেখা
- নির্বাচন করা
- পাঠানোর
- জ্যেষ্ঠ
- সংবেদনশীল
- সেবা
- সেবা
- সেটিংস
- উচিত
- প্রদর্শনী
- দেখিয়েছেন
- বন্ধ
- বন্ধ করুন
- পাশ
- চিহ্ন
- গুরুত্বপূর্ণ
- অনুরূপ
- সরলতা
- সহজতর করা
- আয়তন
- টুকিটাকি
- So
- সামাজিক
- সামাজিক মাধ্যম
- সমাধান
- সলিউশন
- সমাধান
- কিছু
- উৎস
- সোর্স
- নির্দিষ্ট
- বিশেষভাবে
- ব্যয় করা
- খরচ
- পর্যায়
- ইন্টার্নশিপ
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- এখনো
- কৌশলগত
- কাঠামোবদ্ধ
- সংক্ষিপ্তসার
- সমর্থন
- জরিপ
- গ্রহণ করা
- দল
- কারিগরী
- প্রযুক্তি
- পরীক্ষা
- পাঠ
- যে
- সার্জারির
- ভবিষ্যৎ
- তাদের
- তাহাদিগকে
- তারপর
- সেখানে।
- এইগুলো
- তারা
- এই
- এইভাবে
- সময়
- দানব
- থেকে
- আজ
- সরঞ্জাম
- প্রশিক্ষণ
- রুপান্তর
- রুপান্তর
- রূপান্তরের
- রূপান্তর
- সত্য
- ছাঁটাই
- আদর্শ
- ধরনের
- সমন্বিত
- us
- ব্যবহার
- ব্যবহৃত
- ব্যবহারকারী
- ব্যবহারকারী
- ব্যবহার
- দামি
- মাধ্যমে
- ভিডিও
- চাক্ষুষ
- , walkthrough
- we
- ওয়েব
- ওয়েব সার্ভিস
- আমরা একটি
- যে
- যখন
- হু
- ইচ্ছা
- সঙ্গে
- হয়া যাই ?
- কর্মপ্রবাহ
- কাজ
- would
- লেখা
- আপনি
- আপনার
- zephyrnet