اگر این فرصت را داشته اید که یک برنامه جستجو برای داده های بدون ساختار (به عنوان مثال، ویکی، وب سایت های اطلاعاتی، صفحات راهنمای سلف سرویس، اسناد داخلی و غیره) با استفاده از موتورهای جستجوی منبع باز یا تجاری خارج از قفسه بسازید، پس احتمالاً با چالشهای دقت ذاتی مربوط به دریافت نتایج جستجوی مرتبط آشنا هستید. معنای مورد نظر پرس و جو و سند ممکن است از بین برود زیرا جستجو به کلمات کلیدی و اصطلاحات منطبق کاهش می یابد. در نتیجه، در حالی که نتایجی دریافت میکنید که ممکن است حاوی کلمات مناسب باشند، اما همیشه به کاربر مربوط نمیشوند. شما نیاز دارید که موتور جستجوی شما هوشمندتر باشد تا بتواند اسناد را بر اساس تطبیق معنا یا معنایی محتوا با هدف درخواست کاربر رتبه بندی کند.
آمازون کندرا یک سرویس جستجوی هوشمند کاملاً مدیریت شده را ارائه می دهد که جذب اسناد را خودکار می کند و نتایج جستجو و سؤالات متداول بسیار دقیق را بر اساس محتوا در بسیاری از منابع داده ارائه می دهد. اگر به Amazon Kendra مهاجرت نکردهاید و میخواهید کیفیت نتایج جستجو را بهبود ببخشید، میتوانید از رتبهبندی هوشمند Amazon Kendra برای OpenSearch خود مدیریتی در راهحل جستجوی موجود خود استفاده کنید.
ما خوشحالیم که جدید را معرفی می کنیم رتبه بندی هوشمند آمازون کندرا برای جستجوی باز خود مدیریتیو افزونه همراه آن برای جستجوی باز موتور جستجو! اکنون میتوانید بدون نیاز به مهاجرت، کپی کردن فهرستهای OpenSearch یا بازنویسی برنامههای خود، به راحتی رتبهبندی هوشمند را به درخواستهای اسناد OpenSearch خود اضافه کنید. تفاوت بین رتبه بندی هوشمند آمازون کندرا برای جستجوی باز خود مدیریتی و سرویس کاملاً مدیریت شده آمازون کندرا در این است که در حالی که اولی رتبه بندی مجدد معنایی قدرتمندی را برای نتایج جستجو ارائه می دهد، دومی بهبودهای بیشتری در دقت جستجو و عملکردهایی مانند یادگیری تدریجی، سؤال ارائه می دهد. پاسخگویی، تطبیق پرسشهای متداول، و رابطهای داخلی. برای کسب اطلاعات بیشتر در مورد خدمات کاملاً مدیریت شده، لطفاً به سایت مراجعه کنید صفحه خدمات آمازون کندرا.
با رتبه بندی هوشمند آمازون کندرا برای جستجوی آزاد خود مدیریت، نتایج قبلی مانند این است:
پرس و جو: آدرس کاخ سفید چیست؟
ضربه 1 (بهترین): رئیس جمهور امروز از کاخ سفید خطاب به ملت ایراد کرد.
ضربه 2: کاخ سفید در: 1600 خیابان پنسیلوانیا NW، واشنگتن، دی سی 20500 واقع شده است.
اینجوری شدن:
پرس و جو: آدرس کاخ سفید چیست؟
ضربه 1 (بهترین): کاخ سفید در: 1600 خیابان پنسیلوانیا NW، واشنگتن، دی سی 20500 واقع شده است.
ضربه 2: رئیس جمهور امروز از کاخ سفید خطاب به ملت ایراد کرد.
در این پست، ما به شما نشان میدهیم که چگونه با رتبهبندی هوشمند آمازون کندرا برای جستجوی آزاد خود مدیریتی شروع کنید، و چند مثال ارائه میدهیم که قدرت و ارزش این ویژگی را نشان میدهد.
اجزای رتبه بندی هوشمند آمازون کندرا برای جستجوی باز خود مدیریتی
پیش نیازها
برای این آموزش، به یک ترمینال bash نیاز دارید لینـوکــس, مک، یا زیرسیستم ویندوز برای لینوکس، و حساب AWS. نکته: استفاده از یک نمونه Amazon Cloud9 یا یک نمونه را در نظر بگیرید ابر محاسبه الاستیک آمازون (Amazon EC2) نمونه.
شما:
- Docker را نصب کنید، اگر قبلاً روی سیستم شما نصب نشده باشد.
- جدیدترین را نصب کنید رابط خط فرمان AWS (AWS CLI)، اگر قبلاً نصب نشده باشد.
- با فعال بودن افزونه رتبه بندی هوشمند Amazon Kendra، ظروف OpenSearch را ایجاد و راه اندازی کنید.
- نمایه های آزمایشی ایجاد کنید، و برخی از اسناد نمونه را بارگیری کنید.
- برخی از پرس و جوها را با رتبه بندی هوشمند و بدون رتبه بندی هوشمند اجرا کنید و به طور مناسب تحت تأثیر تفاوت ها قرار بگیرید!
Docker را نصب کنید
اگر داکر (یعنی docker
و docker-compose
) قبلاً در محیط شما نصب نشده است، سپس آن را نصب کنید. دیدن داکر را دریافت کنید برای مسیرها
AWS CLI را نصب کنید
اگر از قبل آخرین نسخه AWS CLI را نصب نکرده اید، اکنون آن را نصب و پیکربندی کنید (به AWS مراجعه کنید CLI شروع به کار). اطلاعات کاربری پیش فرض کاربر AWS شما باید دسترسی سرپرست داشته باشد یا از سرپرست AWS خود بخواهید که خط مشی زیر را به مجوزهای کاربر شما اضافه کند:
OpenSearch را با استفاده از اسکریپت Quickstart ایجاد و شروع کنید
دانلود search_processing_kendra_quickstart.sh
متن:
اسکریپت شروع سریع:
- یک طرح اجرای Rescore رتبه بندی هوشمند Amazon Kendra در حساب AWS شما ایجاد می کند.
- کانتینرهای Docker را برای OpenSearch و داشبوردهای آن ایجاد می کند.
- OpenSearch را برای استفاده از سرویس رتبه بندی هوشمند Kendra پیکربندی می کند.
- خدمات OpenSearch را شروع می کند.
- راهنمایی های مفیدی برای استفاده از سرویس ارائه می دهد.
استفاده از --help
گزینه ای برای دیدن گزینه های خط فرمان:
اکنون، اسکریپت را برای خودکارسازی آمازون Kendra و تنظیمات OpenSearch اجرا کنید:
خودشه! کانتینرهای OpenSearch و OpenSearch داشبورد اکنون آماده و در حال اجرا هستند.
پیام خروجی را از اسکریپت شروع سریع بخوانید و دایرکتوری را یادداشت کنید که در آن می توانید کار مفید را اجرا کنید. docker-compose
دستورات و cleanup_resources.sh
اسکریپت
برای تأیید اینکه میتوانید به ظرف OpenSearch خود متصل شوید، یک عبارت آزمایشی را امتحان کنید:
توجه داشته باشید که اگر خطا را دریافت کردید curl(35):OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to localhost:9200
، به این معنی است که OpenSearch هنوز در راه است. لطفاً چند دقیقه صبر کنید تا OpenSearch آماده شود و دوباره امتحان کنید.
نمایه های آزمایشی ایجاد کنید و اسناد نمونه را بارگیری کنید
اسکریپت زیر برای ایجاد نمایه و بارگیری اسناد نمونه استفاده می شود. آن را در رایانه خود به عنوان ذخیره کنید bulk_post.sh:
فایل های داده زیر را به عنوان ذخیره کنید tinydocs.jsonl:
و فایل دیتای زیر را به صورت ذخیره کنید dstinfo.jsonl:
(این داده از اقتباس شده است مقاله به وقت تابستانی).
اسکریپت را قابل اجرا کنید:
حالا از انبوه_پست.ش اسکریپت برای ایجاد ایندکس ها و بارگذاری داده ها با اجرای دو دستور زیر:
پرس و جوهای نمونه را اجرا کنید
اسکریپت های پرس و جو را آماده کنید
جستجوهای OpenSearch در JSON با استفاده از OpenSearch تعریف می شوند زبان خاص دامنه پرس و جو (DSL). برای این پست از کرل لینوکس دستور ارسال پرس و جوها به سرور OpenSearch محلی ما با استفاده از HTTPS.
برای آسان کردن این کار، دو اسکریپت کوچک برای ساخت DSL پرس و جو و ارسال آن به OpenSearch تعریف کرده ایم.
اولین اسکریپت یک درخواست مطابقت متنی OpenSearch معمولی در دو فیلد سند ایجاد می کند - عنوان و بدن. برای اطلاعات بیشتر در مورد آن به اسناد OpenSearch مراجعه کنید نحو پرس و جو چند منطبق. ما پرس و جو را بسیار ساده نگه داشته ایم، اما می توانید بعداً با تعریف انواع مختلف پرس و جو آزمایش کنید.
اسکریپت زیر را به عنوان ذخیره کنید query_nokendra.sh:
اسکریپت دوم مشابه اسکریپ اول است، اما این بار یک پسوند پرس و جو اضافه می کنیم تا به OpenSearch دستور دهیم تا افزونه رتبه بندی هوشمند Amazon Kendra را به عنوان یک مرحله پس از پردازش برای رتبه بندی مجدد نتایج اصلی با استفاده از سرویس رتبه بندی هوشمند آمازون کندرا فراخوانی کند.
La size
ویژگی تعیین می کند که چند سند نتیجه OpenSearch برای رتبه بندی مجدد به Kendra ارسال می شود. در اینجا حداکثر 20 نتیجه را برای رتبه بندی مجدد مشخص می کنیم. دو ملک، title_field
(اختیاری) و body_field
(الزامی)، فیلدهای سند مورد استفاده برای رتبه بندی هوشمند را مشخص کنید.
اسکریپت زیر را به عنوان ذخیره کنید query_kendra.sh:
هر دو اسکریپت را قابل اجرا کنید:
پرس و جوهای اولیه را اجرا کنید
با یک پرس و جو ساده در مورد شروع کنید tinydocs index، برای بازتولید مثال استفاده شده در معرفی پست.
استفاده از query_nokendra.sh
اسکریپت برای جستجوی آدرس کاخ سفید:
نتایج را در زیر مشاهده می کنید. ترتیب دو نتیجه را که بر اساس امتیاز تعیین شده توسط جستجوی متن OpenSearch رتبه بندی می شوند، رعایت کنید. اگرچه نتیجه امتیازدهی برتر حاوی کلمات کلیدی است نشانی و کاخ سفید، واضح است که معنی با هدف سوال مطابقت ندارد. کلمات کلیدی مطابقت دارند، اما معنایی اینطور نیست.
حالا بیایید پرس و جو را با رتبه بندی هوشمند آمازون کندرا، با استفاده از query_kendra.sh
متن:
این بار نتایج را با ترتیب متفاوتی مطابق شکل زیر مشاهده می کنید. سرویس رتبهبندی هوشمند آمازون کندرا مجدداً مقادیر امتیاز را تخصیص داده است و امتیاز بالاتری را به سند اختصاص داده است که بیشتر با هدف درخواست مطابقت دارد. از منظر کلمه کلیدی، این تطابق ضعیف تری است زیرا حاوی کلمه نیست نشانی; با این حال، از دیدگاه معنایی، پاسخ بهتری است. اکنون مزایای استفاده از پلاگین رتبه بندی هوشمند آمازون کندرا را مشاهده می کنید!
درخواست های اضافی را اجرا کنید و نتایج جستجو را مقایسه کنید
اکنون شاخص dstinfo را امتحان کنید تا ببینید که چگونه مفهوم مشابه با داده ها و پرس و جوهای مختلف کار می کند. در حالی که می توانید از اسکریپت ها استفاده کنید query_nokendra.sh و query_kendra.sh برای ایجاد پرس و جو از خط فرمان، به جای آن از افزونه مقایسه نتایج جستجو داشبوردهای OpenSearch برای اجرای پرس و جو و مقایسه نتایج جستجو.
URL داشبورد محلی را در مرورگر خود جایگذاری کنید: http://localhost:5601/app/searchRelevance – / برای دسترسی به ابزار مقایسه داشبورد. از اعتبار پیش فرض استفاده کنید: نام کاربری: مدیر سایت، کلمه عبور: مدیر سایت.
در نوار جستجو وارد کنید: what is daylight saving time?
برای Query 1 و Query 2 شاخص، انتخاب کنید dstinfo.
پرس و جوی DSL زیر را کپی کرده و در آن قرار دهید پرس و جو پانل زیر Query 1. این یک عبارت جستجوی کلمه کلیدی است.
اکنون کوئری DSL زیر را کپی کرده و در آن قرار دهید پرس و جو پانل زیر Query 2. این پرس و جو افزونه Amazon Kendra Intelligent Ranking را برای OpenSearch خود مدیریتی فراخوانی می کند تا رتبه بندی مجدد معنایی نتایج جستجو را انجام دهد.
انتخاب جستجو برای اجرای پرس و جوها و مشاهده نتایج جستجو. در نتیجه 1، آخرین رده بندی احتمالاً مرتبط ترین پاسخ به این پرس و جو است. در نتیجه 2، خروجی از رتبه بندی هوشمند آمازون کندرا، مرتبط ترین پاسخ را دارد که به درستی رتبه اول را دارد.
اکنون که رتبهبندی هوشمند آمازون کندرا را برای جستجوی باز خود مدیریتی تجربه کردهاید، چند سؤال از خود را آزمایش کنید. از داده هایی که قبلاً بارگذاری کرده ایم استفاده کنید یا از آن استفاده کنید انبوه_پست.ش اسکریپت برای بارگیری داده های خود
API رتبهبندی آمازون کندرا را کاوش کنید
همانطور که در این پست مشاهده کردید، افزونه رتبه بندی هوشمند Amazon Kendra برای OpenSearch می تواند به راحتی برای رتبه بندی مجدد معنایی نتایج جستجوی شما استفاده شود. با این حال، اگر از سرویس جستجویی استفاده میکنید که از افزونه رتبهبندی هوشمند Amazon Kendra برای OpenSearch خود مدیریتی پشتیبانی نمیکند، میتوانید از امتیاز مجدد عملکرد مستقیم از API رتبه بندی هوشمند آمازون کندرا.
این API را با استفاده از نتایج جستجوی مثالی که در بالا استفاده کردیم، امتحان کنید: آدرس کاخ سفید چیست؟
ابتدا شناسه برنامه اجرایی خود را با اجرای:
JSON زیر شامل عبارت جستجو و دو نتیجه ای است که توسط عبارت جستجوی اصلی OpenSearch با امتیازهای OpenSearch اصلی آنها برگردانده شده است. جایگزین کردن {kendra-execution-plan_id}
با Execution Plan ID خود (از بالا) و آن را به عنوان ذخیره کنید rescore_input.json:
دستور CLI زیر را اجرا کنید تا با استفاده از سرویس رتبه بندی هوشمند آمازون کندرا، به این لیست اسناد امتیاز دهید:
خروجی اجرای موفقیت آمیز این به صورت زیر خواهد بود.
همانطور که انتظار می رود، سند tdoc2 (حاوی بدنه متن "کاخ سفید در: 1600 خیابان پنسیلوانیا NW، واشنگتن، دی سی 20500 واقع شده است.”) اکنون رتبه بالاتری دارد، زیرا از نظر معنایی پاسخ مرتبط تری برای پرس و جو است. را ResultItems
لیست در خروجی شامل هر ورودی است DocumentId
با جدیدش Score
، به ترتیب نزولی رتبه بندی شده است Score
.
پاک کردن
وقتی آزمایش را تمام کردید، با اجرای برنامه، ظروف Docker و طرح اجرای Rescore خود را خاموش کرده و حذف کنید. cleanup_resources.sh
اسکریپت ایجاد شده توسط اسکریپت شروع سریع، به عنوان مثال:
نتیجه
در این پست، ما به شما نشان دادیم که چگونه از افزونه Amazon Kendra Intelligent Ranking برای OpenSearch خود مدیریتی استفاده کنید تا به راحتی رتبه بندی هوشمند را به جستارهای اسناد OpenSearch خود اضافه کنید تا به طور چشمگیری رتبه بندی مربوط به نتایج را بهبود بخشید، در حالی که از استقرار موتور جستجوی OpenSearch موجود خود استفاده می کنید.
همچنین می توانید از رتبه بندی هوشمند آمازون کندرا استفاده کنید Rescore API مستقیما به به طور هوشمندانه نتایج را دوباره امتیاز دهید و رتبه بندی کنید از برنامه های کاربردی خودتان
رتبه بندی هوشمند آمازون کندرا را برای جستجوی آزاد خود مدیریتی بخوانید مستندات برای کسب اطلاعات بیشتر در مورد این ویژگی و برنامه ریزی برای استفاده از آن در برنامه های تولیدی خود.
درباره نویسنده
آبیناو جوادکار یک معمار راه حل اصلی است که روی آمازون کندرا در تیم خدمات زبان AI/ML در AWS متمرکز شده است. Abhinav با مشتریان و شرکای AWS همکاری می کند تا به آنها کمک کند تا راه حل های جستجوی هوشمند را در AWS بسازند.
باب استرهان یک معمار اصلی راه حل در تیم خدمات هوش مصنوعی زبان AWS است.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- پلاتوبلاک چین. Web3 Metaverse Intelligence. دانش تقویت شده دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/get-smarter-search-results-with-the-amazon-kendra-intelligent-ranking-and-opensearch-plugin/
- 1
- 10
- 100
- 11
- 7
- 70
- 9
- a
- صبح
- درباره ما
- بالاتر
- دسترسی
- حوادث
- مطابق
- حساب
- دقت
- دقیق
- در میان
- عمل
- واقعا
- اضافی
- نشانی
- مدیر سایت
- پس از
- پیش
- AI
- خدمات هوش مصنوعی
- AI / ML
- قبلا
- هر چند
- همیشه
- آمازون
- آمازون EC2
- آمازون کندرا
- و
- پاسخ
- API
- کاربرد
- برنامه های کاربردی
- درخواست
- آوریل
- آریزونا
- اختصاص داده
- خودکار بودن
- خودکار می کند
- خیابان
- AWS
- به عقب
- بار
- مستقر
- بر هم زدن
- زیرا
- پشت سر
- در زیر
- سود
- مزایای
- بنیامین
- بهترین
- بهتر
- میان
- بدن
- مغز
- انگلیسی
- بریتیش کلمبیا
- مرورگر
- ساختن
- ساخته شده در
- دفتر
- Canada
- چالش ها
- تغییر دادن
- واضح
- ساعت
- نزدیک
- Cloud9
- COLUMBIA
- آینده
- مقايسه كردن
- مقایسه
- جزء
- محاسبه
- کامپیوتر
- مفهوم
- کنگره
- کنگره
- اتصال
- ارتباط
- در نتیجه
- در نظر بگیرید
- ساختن
- ظرف
- ظروف
- شامل
- محتوا
- کشور
- زن و شوهر
- ایجاد
- ایجاد شده
- ایجاد
- مجوزها و اعتبارات
- مشتریان
- چرخه
- داشبورد
- داده ها
- روز
- روز
- dc
- به طور پیش فرض
- تعریف کردن
- خوشحالم
- تحویل داده
- نشان دادن
- اعزام ها
- تعیین می کند
- تفاوت
- مختلف
- مستقیما
- کارگر بارانداز
- سند
- مستندات
- اسناد و مدارک
- نمی کند
- دامنه
- آیا
- پایین
- به طور چشمگیری
- هر
- به آسانی
- اثر
- فعال
- به پایان می رسد
- موتور
- موتورهای حرفه ای
- وارد
- محیط
- خطا
- و غیره
- مثال
- مثال ها
- اجرا کردن
- اعدام
- موجود
- انتظار می رود
- با تجربه
- تجربه
- گسترش
- ناموفق
- آشنا
- پاسخ به برخی سوالات مهم
- توجه
- ویژگی
- کمی از
- زمینه
- پرونده
- فایل ها
- پیدا کردن
- نام خانوادگی
- متمرکز شده است
- به دنبال
- پیروی
- فرم
- سابق
- تاسیس
- از جانب
- کاملا
- تابع
- قابلیت
- جغرافیایی
- دریافت کنید
- گرفتن
- سیار
- کمک
- مفید
- اینجا کلیک نمایید
- بالاتر
- خیلی
- تاریخ
- اصابت
- بازدید
- خانه
- چگونه
- چگونه
- اما
- HTML
- HTTPS
- تحت تاثیر قرار
- بهبود
- ارتقاء
- in
- افزایش
- شاخص
- فهرستها
- به طور جداگانه
- اطلاعات
- اطلاعاتی
- ذاتی
- اول
- ورودی
- نصب
- نمونه
- در عوض
- هوشمند
- قصد
- قصد
- داخلی
- معرفی
- معرفی
- فراخوانی میکند
- گرفتار
- جزایر
- مسائل
- IT
- json
- نگاه داشتن
- زبان
- نام
- آخرین
- یاد گرفتن
- یادگیری
- نامه
- لاین
- فهرست
- بار
- محلی
- واقع شده
- طولانی
- دیگر
- نگاه کنيد
- ساخت
- اداره می شود
- بسیاری
- مارس
- مسابقه
- مطابق
- بیشترین
- معنی
- به معنی
- پیام
- مهاجرت
- دقیقه
- ماه
- بیش
- اکثر
- ملت
- ملی
- نیاز
- جدید
- نوامبر
- مشاهده کردن
- اکتبر
- ONE
- باز کن
- منبع باز
- openssl
- فرصت
- گزینه
- گزینه
- سفارش
- اصلی
- دیگر
- خارج از منزل
- خود
- شرکت کنندگان
- شرکای
- بخش
- کلمه عبور
- پنسیلوانیا
- مردم
- انجام
- شاید
- دائمي
- مجوز
- چشم انداز
- اماکن
- برنامه
- برنامه ریزی
- افلاطون
- هوش داده افلاطون
- PlatoData
- لطفا
- پلاگین
- سیاست
- پست
- قدرت
- قوی
- رئيس جمهور
- زیبا
- قبلی
- اصلی
- شاید
- تولید
- املاک
- ویژگی
- ارائه
- فراهم می کند
- عمومی
- پورتو
- پورتوریکو
- کیفیت
- سوال
- رتبه
- رتبه بندی
- اماده
- کاهش
- منظم
- ارتباط
- ربط
- مربوط
- برداشتن
- جایگزین کردن
- ضروری
- تحقیق
- منابع
- پاسخ
- نتیجه
- نتایج
- ریکو
- دویدن
- در حال اجرا
- همان
- ذخیره
- صرفه جویی کردن
- SC
- به ثمر رساندن
- اسکریپت
- جستجو
- موتور جستجو
- موتورهای جستجو
- دوم
- سلف سرویس
- معنایی
- سرویس
- خدمات
- تنظیم
- برپایی
- نشان
- نشان داده شده
- خاموش
- مشابه
- ساده
- به سادگی
- سایت
- اندازه
- کوچک
- دقیق
- So
- نرم
- راه حل
- مزایا
- حل
- برخی از
- منبع
- منابع
- خاص
- شروع
- آغاز شده
- بیانیه
- ایالات
- گام
- هنوز
- موفق
- چنین
- پشتیبانی
- سیستم
- تیم
- پایانه
- قوانین و مقررات
- آزمون
- La
- شان
- زمان
- دوره زمانی
- عنوان
- به
- امروز
- ابزار
- بالا
- جمع
- جهانگردی
- حمل و نقل
- آموزش
- انواع
- ما
- زیر
- متحد
- ایالات متحده
- URL
- استفاده کنید
- کاربر
- تصدیق
- ارزش
- ارزشها
- نسخه
- باکره
- صبر کنيد
- واشنگتن
- وب
- چی
- چه شده است
- چه
- که
- در حین
- سفید
- کاخ سفید
- اراده
- بدون
- کلمه
- کلمات
- با این نسخهها کار
- جهان
- خواهد بود
- شما
- شما
- زفیرنت