بهبود نحوه کشف محتوای جدید توسط کاربران برای افزایش تعامل و رضایت کاربر در بسترهای رسانه ای بسیار مهم است. جستجوی کلمه کلیدی به تنهایی دارای چالش هایی در جذب معنایی و قصد کاربر است که منجر به نتایجی می شود که فاقد زمینه مرتبط هستند. برای مثال، پیدا کردن فیلمهای شب تاریخ یا کریسمس. در صورتی که کاربران نتوانند محتوای مورد نظر خود را به طور قابل اعتماد پیدا کنند، این می تواند باعث کاهش نرخ نگهداری شود. با این حال، با مدل های زبان بزرگ (LLMs)، فرصتی برای حل این چالش های معنایی و هدف کاربر وجود دارد. با ترکیب کردن تعبیه ها که معناشناسی را با تکنیکی به نام بازیابی نسل افزوده (RAG)، می توانید پاسخ های مرتبط تری را بر اساس زمینه بازیابی شده از منابع داده خود ایجاد کنید.
در این پست، ما به شما نشان می دهیم که چگونه با استفاده از RAG با داده های خود، یک چت بات فیلم را به طور ایمن ایجاد کنید پایگاه های دانش برای بستر آمازون. ما از مجموعه داده های IMDb و Box Office Mojo برای شبیه سازی کاتالوگ برای مشتریان رسانه و سرگرمی استفاده می کنیم و نشان می دهیم که چگونه می توانید راه حل RAG خود را تنها در چند مرحله بسازید.
بررسی اجمالی راه حل
La IMDb و Box Office Mojo Movies/TV/OTT بسته دادههای قابل مجوز طیف گستردهای از فرادادههای سرگرمی، از جمله بیش از ۱ میلیارد رتبهبندی کاربر را فراهم میکند. اعتبار برای بیش از 1.6 میلیون بازیگر و خدمه؛ 13 میلیون عنوان فیلم، تلویزیون و سرگرمی؛ و داده های گزارش باکس آفیس جهانی از بیش از 10 کشور. بسیاری از مشتریان رسانه و سرگرمی AWS به داده های IMDb مجوز می دهند تبادل داده AWS برای بهبود کشف محتوا و افزایش تعامل و حفظ مشتری.
مقدمه ای بر پایگاه های دانش آمازون بستر
برای تجهیز یک LLM به اطلاعات اختصاصی بهروز، سازمانها از RAG استفاده میکنند، تکنیکی که شامل واکشی دادهها از منابع دادههای شرکت و غنیسازی سریع آن دادهها برای ارائه پاسخهای مرتبطتر و دقیقتر است. پایگاه های دانش برای Amazon Bedrock یک قابلیت RAG کاملاً مدیریت شده را فعال می کند که به شما امکان می دهد پاسخ های LLM را با داده های متنی و مرتبط شرکت سفارشی کنید. پایگاههای دانش گردش کار RAG سرتاسر را خودکار میکند، از جمله جذب، بازیابی، افزایش سریع و نقلقول، و نیازی به نوشتن کد سفارشی برای یکپارچهسازی منابع داده و مدیریت جستجوها را از بین میبرد. پایگاه های دانش برای Amazon Bedrock همچنین مکالمات چند نوبتی را فعال می کند تا LLM بتواند به سوالات پیچیده کاربر با پاسخ صحیح پاسخ دهد.
ما از خدمات زیر به عنوان بخشی از این راه حل استفاده می کنیم:
ما مراحل سطح بالا زیر را طی می کنیم:
- داده های IMDb را برای ایجاد اسناد از هر رکورد فیلم و آپلود داده ها در یک، از قبل پردازش کنید سرویس ذخیره سازی ساده آمازون سطل (Amazon S3).
- یک پایگاه دانش ایجاد کنید.
- پایگاه دانش خود را با منبع داده خود همگام کنید.
- از پایگاه دانش برای پاسخ به سؤالات معنایی در مورد کاتالوگ فیلم استفاده کنید.
پیش نیازها
داده های IMDb استفاده شده در این پست به مجوز محتوای تجاری و اشتراک پولی در بسته مجوز IMDb و Box Office Mojo Movies/TV/OTT در تبادل داده AWS نیاز دارد. برای پرس و جو در مورد مجوز و دسترسی به داده های نمونه، مراجعه کنید developer.imdb.com. برای دسترسی به مجموعه داده، مراجعه کنید توصیه و جستجوی قدرت با استفاده از نمودار دانش IMDb - قسمت 1 و به دنبال دسترسی به داده های IMDb بخش.
داده های IMDb را از قبل پردازش کنید
قبل از ایجاد یک پایگاه دانش، باید مجموعه داده های IMDb را در فایل های متنی از قبل پردازش کرده و آنها را در یک سطل S3 آپلود کنیم. در این پست کاتالوگ مشتری را با استفاده از مجموعه داده های IMDb شبیه سازی می کنیم. ما 10,000 فیلم محبوب را از مجموعه داده های IMDb برای کاتالوگ می گیریم و مجموعه داده را می سازیم.
از موارد زیر استفاده کنید دفتر یادداشت برای ایجاد مجموعه داده با اطلاعات اضافی مانند نام بازیگران، کارگردان و تهیه کننده. ما از کد زیر برای ایجاد یک فایل واحد برای یک فیلم با تمام اطلاعات ذخیره شده در فایل در یک متن بدون ساختار که برای LLM ها قابل درک است استفاده می کنیم:
بعد از اینکه دادهها را در قالب txt. داشتید، میتوانید با استفاده از دستور زیر دادهها را در Amazon S3 آپلود کنید:
پایگاه دانش IMDb را ایجاد کنید
مراحل زیر را برای ایجاد پایگاه دانش خود کامل کنید:
- در کنسول بستر آمازون، انتخاب کنید دانش محور در صفحه ناوبری
- را انتخاب کنید ایجاد پایگاه دانش.
- برای نام پایگاه دانش، وارد
imdb
. - برای توضیحات پایه دانش، یک توضیح اختیاری مانند پایگاه دانش برای دریافت و ذخیره داده های imdb وارد کنید.
- برای مجوزهای IAM، انتخاب کنید یک نقش سرویس جدید ایجاد و استفاده کنید، سپس یک نام برای نقش سرویس جدید خود وارد کنید.
- را انتخاب کنید بعدی.
- برای نام منبع داده، وارد
imdb-s3
. - برای S3 URI، URI S3 را که داده ها را در آن آپلود کرده اید وارد کنید.
- در تنظیمات پیشرفته - اختیاری بخش، برای استراتژی خرد کردن، انتخاب کنید بدون تکه تکه شدن.
- را انتخاب کنید بعدی.
پایگاههای دانش به شما امکان میدهد اسناد خود را در بخشهای کوچکتر تقسیم کنید تا پردازش اسناد بزرگ برای شما آسان شود. در مورد ما، ما قبلاً داده ها را به یک سند با اندازه کوچکتر (یکی برای هر فیلم) تقسیم کرده ایم.
- در پایگاه داده برداری بخش، انتخاب کنید سریع یک فروشگاه برداری جدید ایجاد کنید.
Amazon Bedrock به طور خودکار یک مجموعه جستجوی برداری بدون سرور OpenSearch کاملاً مدیریت شده ایجاد می کند و تنظیمات را برای جاسازی منابع داده شما با استفاده از Titan Embedding G1 - مدل جاسازی متن پیکربندی می کند.
- را انتخاب کنید بعدی.
- تنظیمات خود را بررسی کرده و انتخاب کنید ایجاد پایگاه دانش.
داده های خود را با پایگاه دانش همگام سازی کنید
اکنون که پایگاه دانش خود را ایجاد کرده اید، می توانید پایگاه دانش را با داده های خود همگام سازی کنید.
- در کنسول Amazon Bedrock، به پایگاه دانش خود بروید.
- در منبع اطلاعات بخش، را انتخاب کنید همگام سازی.
پس از همگام سازی منبع داده، آماده پرس و جو از داده ها هستید.
بهبود جستجو با استفاده از نتایج معنایی
مراحل زیر را برای آزمایش راه حل و بهبود جستجوی خود با استفاده از نتایج معنایی کامل کنید:
- در کنسول Amazon Bedrock، به پایگاه دانش خود بروید.
- پایگاه دانش خود را انتخاب کنید و انتخاب کنید پایگاه دانش تست.
- را انتخاب کنید مدل را انتخاب کنید، و انتخاب کنید Anthropic Claude نسخه 2.1.
- را انتخاب کنید درخواست.
اکنون شما آماده پرس و جو از داده ها هستید.
میتوانیم سؤالات معنایی مانند «به من چند فیلم با مضمون کریسمس توصیه کن» بپرسیم.
پاسخهای مبتنی بر دانش حاوی نقلقولهایی هستند که میتوانید برای درستی و واقعی بودن پاسخ بررسی کنید.
همچنین میتوانید هر اطلاعاتی را که از این فیلمها نیاز دارید بیابید. در مثال زیر، میپرسیم «چه کسی کابوس قبل از کریسمس را کارگردانی کرده است؟»
همچنین میتوانید سؤالات خاصتری در رابطه با ژانرها و رتبهبندیها بپرسید، مانند «فیلمهای انیمیشن کلاسیک با رتبهبندی بیشتر از ۷ به من نشان بده؟»
پایگاه دانش خود را با نمایندگان تقویت کنید
نمایندگان آمازون بستر به شما کمک می کند کارهای پیچیده را خودکار کنید. Agent ها می توانند پرس و جو کاربر را به وظایف کوچکتر تقسیم کنند و API های سفارشی یا پایگاه های دانش را برای تکمیل اطلاعات برای اقدامات در حال اجرا فراخوانی کنند. با Agents for Amazon Bedrock، توسعهدهندگان میتوانند عوامل هوشمند را در برنامههای خود ادغام کنند و تحویل برنامههای مبتنی بر هوش مصنوعی را تسریع کنند و هفتهها در زمان توسعه صرفهجویی کنند. با استفاده از نمایندگان، میتوانید پایگاه دانش خود را با افزودن قابلیتهای بیشتر مانند توصیههایی از طرف، افزایش دهید آمازون شخصی سازی کنید برای توصیه های خاص کاربر یا انجام اقداماتی مانند فیلتر کردن فیلم ها بر اساس نیازهای کاربر.
نتیجه
در این پست، نحوه ساخت ربات گفتگوی فیلم مکالمه با استفاده از Amazon Bedrock را در چند مرحله نشان دادیم تا به جستجوی معنایی و تجربیات مکالمه بر اساس دادههای خود و مجموعه دادههای دارای مجوز IMDb و Box Office Mojo Movies/TV/OTT پاسخ دهید. در پست بعدی، با استفاده از Agents for Amazon Bedrock، روند افزودن قابلیت های بیشتر به راه حل شما را مرور می کنیم. برای شروع کار با پایگاه های دانش در آمازون بستر، مراجعه کنید پایگاه های دانش برای آمازون بستر.
درباره نویسنده
گاوراو رله یک دانشمند ارشد داده در مرکز نوآوری هوش مصنوعی مولد است، که در آن با مشتریان AWS در بخشهای مختلف کار میکند تا استفاده آنها از خدمات هوش مصنوعی و AWS Cloud را برای حل چالشهای تجاری آنها تسریع بخشد.
دیویا بهرگاوی یک دانشمند ارشد ارشد در مرکز نوآوری هوش مصنوعی مولد است، جایی که او با استفاده از روشهای هوش مصنوعی مولد، مشکلات تجاری با ارزش را برای مشتریان AWS حل میکند. او روی درک و بازیابی تصویر/ویدئو، مدلهای زبان بزرگ تقویتشده نمودار دانش و موارد استفاده از تبلیغات شخصیسازی شده کار میکند.
سورن گونتورو یک دانشمند داده است که در مرکز نوآوری هوش مصنوعی مولد کار می کند، جایی که با مشتریان مختلف AWS برای حل مشکلات تجاری با ارزش بالا کار می کند. او در ساخت خطوط لوله ML با استفاده از مدلهای زبان بزرگ، عمدتاً از طریق Amazon Bedrock و سایر خدمات AWS Cloud، متخصص است.
ویدیا ساگار راویپاتی مدیر علوم در مرکز نوآوری هوش مصنوعی Generative است، جایی که او از تجربه گسترده خود در سیستم های توزیع شده در مقیاس بزرگ و اشتیاق خود به یادگیری ماشینی استفاده می کند تا به مشتریان AWS در بخش های مختلف صنعت کمک کند تا پذیرش هوش مصنوعی و ابر خود را تسریع کنند.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/build-a-movie-chatbot-for-tv-ott-platforms-using-retrieval-augmented-generation-in-amazon-bedrock/
- : دارد
- :است
- :جایی که
- 10 میلیون دلار
- 000
- 1
- 10
- 100
- 11
- 118
- 12
- 13
- 360
- 385
- 60
- 7
- a
- درباره ما
- شتاب دادن
- تسریع
- دسترسی
- دقیق
- در میان
- اقدامات
- بازیگران
- اضافه کردن
- اضافی
- اتخاذ
- تبلیغات
- عاملان
- AI
- مجهز به هوش مصنوعی
- معرفی
- اجازه می دهد تا
- تنها
- قبلا
- همچنین
- آمازون
- آمازون خدمات وب
- an
- و
- پاسخ
- پاسخ
- هر
- رابط های برنامه کاربردی
- برنامه های کاربردی
- اعمال می شود
- برنامه های
- هستند
- AS
- پرسیدن
- At
- تقویت کردن
- افزوده شده
- خودکار بودن
- بطور خودکار
- AWS
- تبادل داده AWS
- پایه
- مستقر
- BE
- قبل از
- بیلیون
- جعبه
- دفتر جعبه
- شکستن
- ساختن
- بنا
- کسب و کار
- by
- صدا
- نام
- CAN
- قابلیت
- گرفتن
- ضبط
- مورد
- موارد
- کاتالوگ
- مرکز
- چالش ها
- chatbot
- را انتخاب کنید
- برگزیده
- کریسمس
- کلاسیک
- ابر
- پذیرش ابر
- خدمات ابر
- رمز
- مجموعه
- ترکیب
- تجاری
- شرکت
- پیچیده
- کنسول
- شامل
- محتوا
- زمینه
- متنی
- محاورهای
- گفتگو
- اصلاح
- کشور
- زن و شوهر
- ایجاد
- ایجاد شده
- اعتبار
- خدمه
- بحرانی
- سفارشی
- مشتری
- نامزدی مشتری
- مشتریان
- سفارشی
- داده ها
- تبادل اطلاعات
- دانشمند داده
- تاریخ
- ارائه
- تحویل
- شرح
- جزئیات
- توسعه دهندگان
- پروژه
- مختلف
- جهت دار
- مدیر
- مدیران
- كشف كردن
- کشف
- توزیع شده
- سیستم های توزیع شده
- سند
- اسناد و مدارک
- پایین
- راندن
- از بین بردن
- تعبیه کردن
- قادر ساختن
- پشت سر هم
- نامزدی
- غنی سازی
- وارد
- سرگرمی
- هر
- مثال
- تبادل
- تجربه
- تجارب
- اکتشاف
- کمی از
- پرونده
- فایل ها
- فیلتر
- پیدا کردن
- پیدا کردن
- به دنبال
- پیروی
- برای
- قالب
- از جانب
- کاملا
- قابلیت
- g1
- تولید می کنند
- نسل
- مولد
- هوش مصنوعی مولد
- ژانرها
- دریافت کنید
- جهانی
- Go
- گراف
- بیشتر
- آیا
- he
- کمک
- در سطح بالا
- خود را
- چگونه
- چگونه
- اما
- HTML
- HTTP
- HTTPS
- if
- اجرای
- بهبود
- in
- از جمله
- افزایش
- صنعت
- اطلاعات
- اطلاعات
- ابداع
- تحقیق کردن
- ادغام
- هوشمند
- قصد
- به
- شامل
- IT
- JPG
- تنها
- دانش
- نمودار دانش
- عدم
- زبان
- بزرگ
- در مقیاس بزرگ
- رهبری
- برجسته
- یادگیری
- اهرم ها
- مجوز
- مجاز
- صدور مجوز
- پسندیدن
- LLM
- محلی
- محل
- کاهش
- دستگاه
- فراگیری ماشین
- ساخت
- مدیریت
- اداره می شود
- مدیر
- بسیاری
- me
- رسانه ها
- اعضا
- متاداده
- روش
- میلیون
- ML
- مدل
- مدل
- بیش
- سینما
- فیلم ها
- نام
- نام
- هدایت
- جهت یابی
- نیاز
- نیازهای
- جدید
- بعد
- شب
- of
- دفتر
- on
- ONE
- فرصت
- or
- سازمان های
- دیگر
- ما
- روی
- خود
- بسته
- با ما
- پرداخت
- قطعه
- بخش
- شور
- مسیر
- برای
- انجام
- شخصی
- سیستم عامل
- افلاطون
- هوش داده افلاطون
- PlatoData
- طرح
- محبوب
- پست
- در درجه اول
- مشکلات
- روند
- تهيه كننده
- تولید
- اختصاصی
- فراهم می کند
- نمایش ها
- پرس و جو
- سوالات
- پارچه
- محدوده
- نرخ
- رتبه
- رتبه بندی
- اماده
- توصیه
- توصیه
- توصیه
- رکورد
- مراجعه
- مربوط
- مربوط
- گزارش
- نیاز
- پاسخ
- پاسخ
- نتایج
- نگهداری
- بازیابی
- برگشت
- نقش
- ROW
- در حال اجرا
- رضایت
- صرفه جویی کردن
- علم
- دانشمند
- جستجو
- بخش
- ایمن
- بخش ها
- را انتخاب کنید
- معنایی
- معنایی
- ارشد
- بدون سرور
- سرویس
- خدمات
- تنظیمات
- او
- عکس
- نشان
- نمایشگاه
- نشان داد
- ساده
- شبیه سازی
- تنها
- اندازه
- کوچکتر
- So
- راه حل
- حل
- حل می کند
- برخی از
- منبع
- منابع
- تخصص دارد
- خاص
- آغاز شده
- مراحل
- ذخیره سازی
- opbevare
- ذخیره شده
- ذخیره سازی
- ساده
- اشتراک، ابونمان
- چنین
- مکمل
- همگام سازی
- سیستم های
- گرفتن
- وظایف
- تکنیک
- آزمون
- متن
- نسبت به
- که
- La
- اطلاعات
- شان
- آنها
- مضمون
- سپس
- آنجا.
- اینها
- آنها
- این
- از طریق
- زمان
- تیتان
- عناوین
- به
- tv
- درک
- فهمید
- بدون ساختار
- در جریان روز
- آپلود شده
- URL
- استفاده کنید
- استفاده
- کاربر
- کاربران
- با استفاده از
- مختلف
- وسیع
- عمودی
- بازدید
- W
- راه رفتن
- می خواهم
- بود
- we
- وب
- خدمات وب
- هفته
- وسیع
- دامنه گسترده
- اراده
- با
- گردش کار
- کارگر
- با این نسخهها کار
- نوشتن
- X
- سال
- شما
- شما
- زفیرنت