إذا أتيحت لك الفرصة لإنشاء تطبيق بحث عن البيانات غير المهيكلة (على سبيل المثال ، ويكي ، ومواقع الويب المعلوماتية ، وصفحات مساعدة الخدمة الذاتية ، والوثائق الداخلية ، وما إلى ذلك) باستخدام محركات البحث مفتوحة المصدر أو التجارية الجاهزة ، فربما تكون على دراية بتحديات الدقة الكامنة في الحصول على نتائج البحث ذات الصلة. يمكن فقد المعنى المقصود لكل من الاستعلام والمستند لأن البحث يقتصر على مطابقة الكلمات الأساسية والمصطلحات المكونة. وبالتالي ، بينما تحصل على النتائج التي قد تحتوي على الكلمات الصحيحة ، فإنها ليست دائمًا ذات صلة بالمستخدم. تحتاج إلى أن يكون محرك البحث الخاص بك أكثر ذكاءً حتى يتمكن من ترتيب المستندات بناءً على مطابقة معنى المحتوى أو دلالاته مع نية استعلام المستخدم.
أمازون كندرا يوفر خدمة بحث ذكية مُدارة بالكامل تعمل على أتمتة عرض المستندات وتوفر نتائج بحث دقيقة للغاية ونتائج الأسئلة الشائعة استنادًا إلى المحتوى عبر العديد من مصادر البيانات. إذا لم تكن قد انتقلت إلى Amazon Kendra وترغب في تحسين جودة نتائج البحث ، فيمكنك استخدام Amazon Kendra Intelligent Ranking لـ OpenSearch المدار ذاتيًا على حل البحث الحالي لديك.
يسعدنا تقديم الجديد تصنيف Amazon Kendra Intelligent لـ OpenSearch المُدار ذاتيًاوالمكون الإضافي المصاحب لـ أوبن سيرش محرك البحث! الآن يمكنك بسهولة إضافة تصنيف ذكي إلى استعلامات مستندات OpenSearch الخاصة بك ، دون الحاجة إلى الترحيل أو تكرار فهارس OpenSearch الخاصة بك أو إعادة كتابة تطبيقاتك. يتمثل الاختلاف بين تصنيف Amazon Kendra Intelligent Ranking لخدمة OpenSearch المُدارة ذاتيًا وخدمة Amazon Kendra المُدارة بالكامل في أنه بينما يوفر الأول إعادة تصنيف دلالية قوية لنتائج البحث ، فإن الأخير يوفر تحسينات ووظائف إضافية في دقة البحث مثل التعلم المتزايد والسؤال. الإجابة ومطابقة الأسئلة الشائعة والموصلات المدمجة. لمزيد من المعلومات حول الخدمة المدارة بالكامل ، يرجى زيارة صفحة خدمة Amazon Kendra.
مع تصنيف Amazon Kendra Intelligent لـ OpenSearch المُدار ذاتيًا ، النتائج السابقة مثل هذه:
الاستعلام: ما هو عنوان البيت الابيض؟
Hit1 (الأفضل): ألقى الرئيس خطابًا للأمة من البيت الأبيض اليوم.
ضرب 2: يقع البيت الأبيض في: 1600 Pennsylvania Avenue NW، Washington، DC 20500
اصبح مثل هذا:
الاستعلام: ما هو عنوان البيت الابيض؟
Hit1 (الأفضل): يقع البيت الأبيض في: 1600 Pennsylvania Avenue NW، Washington، DC 20500
ضرب 2: ألقى الرئيس خطابًا للأمة من البيت الأبيض اليوم.
في هذا المنشور ، نوضح لك كيفية البدء في تصنيف Amazon Kendra Intelligent لـ OpenSearch المدار ذاتيًا ، ونقدم بعض الأمثلة التي توضح قوة وقيمة هذه الميزة.
مكونات تصنيف Amazon Kendra الذكي لـ OpenSearch المدار ذاتيًا
المتطلبات الأساسية المسبقة
في هذا البرنامج التعليمي ، ستحتاج إلى تشغيل محطة bash لينكس, ماكالطرق أو النظام الفرعي ويندوز لينكس، وعلى حساب AWS. تلميح: ضع في اعتبارك استخدام مثيل Amazon Cloud9 أو ملف الأمازون الحوسبة المرنة السحابية (Amazon EC2) مثيل.
سوف تفعلها:
- قم بتثبيت Docker ، إذا لم يكن مثبتًا بالفعل على نظامك.
- تثبيت الاحدث واجهة سطر الأوامر AWS (AWS CLI) ، إذا لم يكن مثبتًا بالفعل.
- أنشئ حاويات OpenSearch وابدأها ، مع تمكين المكون الإضافي Amazon Kendra Intelligent Ranking.
- قم بإنشاء فهارس اختبار وتحميل بعض نماذج المستندات.
- قم بتشغيل بعض الاستعلامات ، مع وبدون ترتيب ذكي ، واستمتع بالاختلافات بشكل مناسب!
تثبيت عامل الميناء
إذا كان Docker (على سبيل المثال ، docker
و docker-compose
) لم يتم تثبيته بالفعل في بيئتك ، ثم قم بتثبيته. نرى احصل على Docker للحصول على الاتجاهات.
قم بتثبيت AWS CLI
إذا لم يكن لديك بالفعل أحدث إصدار من AWS CLI مثبتًا ، فقم بتثبيته وتكوينه الآن (انظر AWS CLI الشروع في العمل). يجب أن تتمتع بيانات اعتماد مستخدم AWS الافتراضية الخاصة بك بحق وصول المسؤول ، أو اطلب من مسؤول AWS إضافة السياسة التالية إلى أذونات المستخدم الخاصة بك:
أنشئ وابدأ OpenSearch باستخدام البرنامج النصي Quickstart
تحميل search_processing_kendra_quickstart.sh
النصي:
نص البداية السريعة:
- ينشئ خطة تنفيذ تصنيف Amazon Kendra Intelligent Ranking Plan في حساب AWS الخاص بك.
- ينشئ حاويات Docker لـ OpenSearch ولوحات المعلومات الخاصة به.
- تكوين OpenSearch لاستخدام خدمة الترتيب الذكي من Kendra.
- بدء خدمات البحث المفتوح.
- يقدم إرشادات مفيدة لاستخدام الخدمة.
استخدم --help
خيار لرؤية خيارات سطر الأوامر:
الآن ، قم بتنفيذ البرنامج النصي لأتمتة إعداد Amazon Kendra و OpenSearch:
هذا كل شيء! حاويات OpenSearch و OpenSearch Dashboard قيد التشغيل الآن.
اقرأ رسالة الإخراج من البرنامج النصي لبدء التشغيل السريع ، وقم بتدوين الدليل حيث يمكنك تشغيل الملف اليدوي docker-compose
الأوامر و cleanup_resources.sh
النصي.
جرب استعلامًا تجريبيًا للتحقق من أنه يمكنك الاتصال بحاوية OpenSearch الخاصة بك:
لاحظ أنه إذا حصلت على الخطأ curl(35):OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to localhost:9200
، فهذا يعني أن OpenSearch لا يزال قادمًا. الرجاء الانتظار لبضع دقائق حتى يكون OpenSearch جاهزًا وحاول مرة أخرى.
قم بإنشاء فهارس اختبار وتحميل مستندات نموذجية
يستخدم البرنامج النصي أدناه لإنشاء فهرس وتحميل مستندات نموذجية. احفظه على جهاز الكمبيوتر الخاص بك باسم Bulbost.sh:
احفظ ملفات البيانات أدناه باسم tinydocs.jsonl:
واحفظ ملف البيانات أدناه باسم dstinfo.jsonl:
(هذه البيانات مقتبسة من مقالة التوقيت الصيفي).
اجعل البرنامج النصي قابل للتنفيذ:
الآن استخدم Bulk_post.sh البرنامج النصي لإنشاء فهارس وتحميل البيانات عن طريق تشغيل الأمرين أدناه:
قم بتشغيل استعلامات نموذجية
إعداد نصوص الاستعلام
يتم تحديد استعلامات OpenSearch في JSON باستخدام OpenSearch استعلام عن لغة مجال محددة (DSL). في هذا المنشور ، نستخدم ملف لينكس حليقة الأمر لإرسال استعلامات إلى خادم OpenSearch المحلي الخاص بنا باستخدام HTTPS.
لتسهيل ذلك ، قمنا بتعريف نصين صغيرين لإنشاء استعلام DSL وإرساله إلى OpenSearch.
ينشئ البرنامج النصي الأول استعلامًا عاديًا لمطابقة نص OpenSearch في حقلي مستند - لقب و الجسدي. راجع وثائق OpenSearch للمزيد من المعلومات عن ملف صيغة استعلام متعددة المطابقة. لقد أبقينا الاستعلام بسيطًا للغاية ، ولكن يمكنك التجربة لاحقًا بتحديد أنواع بديلة من الاستعلامات.
احفظ البرنامج النصي أدناه باسم query_nokendra.sh:
النص الثاني مشابه للنص الأول ، لكننا هذه المرة نضيف امتداد استعلام لتوجيه OpenSearch لاستدعاء المكون الإضافي Amazon Kendra Intelligent Ranking كخطوة ما بعد المعالجة لإعادة ترتيب النتائج الأصلية باستخدام خدمة Amazon Kendra Intelligent Ranking.
• size
تحدد الخاصية عدد مستندات نتيجة OpenSearch التي يتم إرسالها إلى Kendra لإعادة ترتيبها. هنا ، نحدد 20 نتيجة كحد أقصى لإعادة الترتيب. خاصيتين ، title_field
(اختياري) و body_field
(مطلوب) ، حدد حقول المستند المستخدمة للترتيب الذكي.
احفظ البرنامج النصي أدناه باسم query_kendra.sh:
اجعل كلا النصين قابلين للتنفيذ:
قم بتشغيل الاستعلامات الأولية
ابدأ باستعلام بسيط عن ملف تينيدوكس index ، لإعادة إنتاج المثال المستخدم في المقدمة اللاحقة.
استخدم query_nokendra.sh
البرنامج النصي للبحث عن عنوان البيت الأبيض:
ترى النتائج المبينة أدناه. راقب ترتيب النتيجتين ، اللتين تم ترتيبهما حسب الدرجة المعينة بواسطة استعلام تطابق نص OpenSearch. على الرغم من أن نتيجة أعلى الدرجات تحتوي على الكلمات الرئيسية العنوان و البيت الابيض، من الواضح أن المعنى لا يتطابق مع مقصد السؤال. تتطابق الكلمات الرئيسية ، لكن الدلالات لا تتطابق.
لنقم الآن بتشغيل الاستعلام باستخدام تصنيف Amazon Kendra Intelligent Ranking باستخدام امتداد query_kendra.sh
النصي:
هذه المرة ، سترى النتائج بترتيب مختلف كما هو موضح أدناه. أعادت خدمة التصنيف الذكي Amazon Kendra تعيين قيم النقاط ، وخصصت درجة أعلى للمستند تتطابق بشكل أوثق مع نية الاستعلام. من منظور الكلمات الرئيسية ، يعد هذا تطابقًا ضعيفًا لأنه لا يحتوي على الكلمة العنوان؛ ومع ذلك ، من منظور دلالي هو أفضل استجابة. الآن ترى فائدة استخدام المكون الإضافي Amazon Kendra Intelligent Ranking!
قم بتشغيل استعلامات إضافية وقارن نتائج البحث
جرب فهرس dstinfo الآن ، لترى كيف يعمل نفس المفهوم مع البيانات والاستعلامات المختلفة. بينما يمكنك استخدام البرامج النصية query_nokendra.sh و query_kendra.sh لعمل استعلامات من سطر الأوامر ، دعنا نستخدم بدلاً من ذلك لوحات معلومات OpenSearch مقارنة نتائج البحث المكون الإضافي لتشغيل الاستعلامات ومقارنة نتائج البحث.
الصق عنوان URL المحلي للوحات المعلومات في متصفحك: http://localhost:5601/app/searchRelevance – / للوصول إلى أداة مقارنة لوحة القيادة. استخدم بيانات الاعتماد الافتراضية: اسم المستخدم: مشرف، كلمة المرور: مشرف.
في شريط البحث ، أدخل: what is daylight saving time?
للاستعلام 1 والاستعلام 2 مؤشر، حدد com.dstinfo.
انسخ استعلام DSL أدناه والصقه في ملف سؤال لوحة تحت الاستعلام 1. هذا هو استعلام البحث عن كلمة رئيسية.
الآن انسخ استعلام DSL أدناه والصقه في ملف سؤال لوحة تحت الاستعلام 2. يستدعي هذا الاستعلام المكون الإضافي Amazon Kendra Intelligent Ranking لـ OpenSearch المدار ذاتيًا لإجراء إعادة الترتيب الدلالي لنتائج البحث.
اختيار بحث زر لتشغيل الاستعلامات ومراقبة نتائج البحث. في النتيجة 1 ، من المحتمل أن تكون النتيجة المصنفة في المرتبة الأخيرة هي الإجابة الأكثر صلة بهذا الاستعلام. في النتيجة 2 ، حصلت نتيجة Amazon Kendra Intelligent Ranking على أفضل إجابة ملائمة مرتبة أولاً.
الآن بعد أن اختبرت تصنيف Amazon Kendra الذكي للبحث المفتوح المدار ذاتيًا ، جرب بعض الاستفسارات الخاصة بك. استخدم البيانات التي قمنا بتحميلها بالفعل أو استخدم ملف Bulk_post.sh البرنامج النصي لتحميل البيانات الخاصة بك.
استكشف واجهة برمجة تطبيقات إعادة ترتيب تصنيف Amazon Kendra
كما رأيت من هذا المنشور ، يمكن استخدام المكون الإضافي Amazon Kendra Intelligent Ranking لـ OpenSearch بسهولة لإعادة الترتيب الدلالي لنتائج البحث الخاصة بك. ومع ذلك ، إذا كنت تستخدم خدمة بحث لا تدعم المكوّن الإضافي Amazon Kendra Intelligent Ranking لـ OpenSearch المدار ذاتيًا ، فيمكنك استخدام إعادة الدرجة وظيفة من واجهة برمجة تطبيقات Amazon Kendra Intelligent Ranking API مباشرةً.
جرب واجهة برمجة التطبيقات هذه باستخدام نتائج البحث من مثال الاستعلام الذي استخدمناه أعلاه: ما هو عنوان البيت الابيض؟
أولاً ، ابحث عن معرّف خطة التنفيذ الخاصة بك عن طريق تشغيل:
يحتوي JSON أدناه على استعلام البحث والنتيجة التي تم إرجاعها بواسطة استعلام مطابقة OpenSearch الأصلي ، مع درجات OpenSearch الأصلية الخاصة بهم. يحل محل {kendra-execution-plan_id}
مع معرف خطة التنفيذ الخاص بك (من أعلاه) وحفظه باسم rescore_input.json:
قم بتشغيل أمر CLI أدناه لإعادة تسجيل قائمة المستندات هذه باستخدام خدمة Amazon Kendra Intelligent Ranking:
سيبدو ناتج التنفيذ الناجح لهذا على النحو التالي.
كما هو متوقع ، المستند tdoc2 (يحتوي على نص النص "يقع البيت الأبيض في: 1600 Pennsylvania Avenue NW، Washington، DC 20500") الآن في الترتيب الأعلى ، حيث إنها الاستجابة الأكثر صلة من الناحية المعنوية للاستعلام. ال ResultItems
قائمة في الإخراج تحتوي على كل مدخلات DocumentId
مع الجديد Score
، مرتبة بترتيب تنازلي من Score
.
تنظيف
عند الانتهاء من التجربة ، قم بإيقاف تشغيل وإزالة حاويات Docker وخطة تنفيذ Rescore عن طريق تشغيل ملف cleanup_resources.sh
البرنامج النصي الذي تم إنشاؤه بواسطة البرنامج النصي Quickstart ، على سبيل المثال:
وفي الختام
في هذا المنشور ، أوضحنا لك كيفية استخدام المكون الإضافي Amazon Kendra Intelligent Ranking لـ OpenSearch المدار ذاتيًا لإضافة تصنيف ذكي بسهولة إلى استعلامات مستندات OpenSearch لتحسين ترتيب ملاءمة النتائج بشكل كبير ، أثناء استخدام عمليات النشر الحالية لمحرك البحث OpenSearch.
يمكنك أيضًا استخدام تصنيف Amazon Kendra Intelligent Ranking استعادة API مباشرة الى بذكاء إعادة تسجيل النتائج وترتيبها من تطبيقاتك الخاصة.
اقرأ تصنيف Amazon Kendra Intelligent لـ OpenSearch المُدار ذاتيًا توثيق لمعرفة المزيد حول هذه الميزة ، والبدء في التخطيط لتطبيقها في تطبيقات الإنتاج الخاصة بك.
حول المؤلف
أبهيناف جواديكار هو مهندس حلول رئيسي يركز على Amazon Kendra في فريق خدمات اللغة AI / ML في AWS. يعمل Abhinav مع عملاء AWS وشركائها لمساعدتهم على بناء حلول بحث ذكية على AWS.
بوب ستراهان هو مهندس حلول رئيسي في فريق خدمات الذكاء الاصطناعي للغة AWS.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/get-smarter-search-results-with-the-amazon-kendra-intelligent-ranking-and-opensearch-plugin/
- 1
- 10
- 100
- 11
- 7
- 70
- 9
- a
- صباحا
- من نحن
- فوق
- الوصول
- الحوادث
- وفقا
- حسابي
- دقة
- دقيق
- في
- اكشن
- في الواقع
- إضافي
- العنوان
- مشرف
- بعد
- قدما
- AI
- خدمات الذكاء الاصطناعي
- AI / ML
- سابقا
- بالرغم ان
- دائما
- أمازون
- Amazon EC2
- أمازون كندرا
- و
- إجابة
- API
- تطبيق
- التطبيقات
- التقديم
- ابريل
- أريزونا
- تعيين
- أتمتة
- الأتمتة
- رقم الجادة
- AWS
- الى الخلف
- شريط
- على أساس
- سحق
- لان
- وراء
- أقل من
- تستفيد
- الفوائد
- البلسمينة
- أفضل
- أفضل
- ما بين
- الجسدي
- دماغ
- بريطاني
- كولومبيا البريطانية
- المتصفح
- نساعدك في بناء
- مدمج
- مكتب
- كندا
- التحديات
- تغيير
- واضح
- ساعات
- عن كثب
- Cloud9
- كولومبيا
- آت
- قارن
- مقارنة
- عنصر
- إحصاء
- الكمبيوتر
- مفهوم
- مؤتمر
- الكونجرس
- التواصل
- صلة
- بناء على ذلك
- نظر
- بناء
- وعاء
- حاويات
- يحتوي
- محتوى
- دولة
- زوجان
- خلق
- خلق
- يخلق
- أوراق اعتماد
- العملاء
- دورات
- لوحة أجهزة القياس
- البيانات
- يوم
- أيام
- dc
- الترتيب
- تحديد
- في منتهى السعادة
- تم التوصيل
- شرح
- نشر
- يحدد
- فرق
- مختلف
- مباشرة
- عامل في حوض السفن
- وثيقة
- توثيق
- وثائق
- لا
- نطاق
- لا
- إلى أسفل
- بشكل كبير
- كل
- بسهولة
- تأثير
- تمكين
- ينتهي
- محرك
- محركات
- أدخل
- البيئة
- خطأ
- إلخ
- مثال
- أمثلة
- تنفيذ
- القائمة
- متوقع
- تمكنت
- تجربة
- تمديد
- فشل
- مألوف
- الأسئلة الشائعة
- صالح
- الميزات
- قليل
- مجال
- قم بتقديم
- ملفات
- الاسم الأول
- ركز
- اتباع
- متابعيك
- النموذج المرفق
- سابق
- تأسيس
- تبدأ من
- تماما
- وظيفة
- وظيفة
- جغرافي
- دولار فقط واحصل على خصم XNUMX% على جميع
- الحصول على
- في المتناول
- مساعدة
- مفيد
- هنا
- أعلى
- جدا
- تاريخ
- ضرب
- المشاهدات
- منـزل
- كيفية
- كيفية
- لكن
- HTML
- HTTPS
- تأثرت
- تحسن
- تحسينات
- in
- الزيادات
- مؤشر
- الفهارس
- بشكل فردي
- معلومات
- معلوماتية
- متأصل
- في البداية
- إدخال
- تثبيت
- مثل
- بدلًا من ذلك
- ذكي
- نية
- نية
- داخلي
- تقديم
- المُقدّمة
- يتضرع
- المشاركة
- الجزر
- مسائل
- IT
- جسون
- احتفظ
- لغة
- اسم العائلة
- آخر
- تعلم
- تعلم
- خطاب
- خط
- قائمة
- تحميل
- محلي
- تقع
- طويل
- يعد
- بحث
- جعل
- تمكن
- كثير
- مارس
- مباراة
- مطابقة
- أقصى
- معنى
- يعني
- الرسالة
- الهجرة
- دقيقة
- المقبلة.
- الأكثر من ذلك
- أكثر
- دولة
- محليات
- حاجة
- جديد
- نوفمبر
- رصد
- شهر اكتوبر
- ONE
- جاكيت
- المصدر المفتوح
- بينسل
- الفرصة
- خيار
- مزيد من الخيارات
- طلب
- أصلي
- أخرى
- في الهواء الطلق
- الخاصة
- المشاركون
- شركاء
- أجزاء
- كلمة المرور
- ولاية بنسلفانيا
- مجتمع
- نفذ
- ربما
- دائم
- أذونات
- منظور
- وجهات
- خطة
- تخطيط
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- من فضلك
- المساعد
- سياسة
- منشور
- قوة
- قوي
- رئيس
- جميل
- سابق
- رئيسي
- المحتمل
- الإنتــاج
- HAS
- الملكية
- تزود
- ويوفر
- جمهور
- بويرتو
- بورتوريكو
- جودة
- سؤال
- المرتبة
- تصنيف
- استعداد
- عقار مخفض
- منتظم
- علاقة
- مدى صلة
- ذات الصلة
- إزالة
- يحل محل
- مطلوب
- بحث
- مورد
- استجابة
- نتيجة
- النتائج
- RICO
- يجري
- تشغيل
- نفسه
- حفظ
- إنقاذ
- SC
- النقاط
- مخطوطات
- بحث
- محرك البحث
- محركات البحث
- الثاني
- خدمة ذاتية، إخدم نفسك بنفسك
- دلالات
- الخدمة
- خدمات
- طقم
- الإعداد
- إظهار
- أظهرت
- غلق
- مماثل
- الاشارات
- ببساطة
- المواقع
- مقاس
- صغير
- أكثر ذكاء
- So
- ناعم
- حل
- الحلول
- حل
- بعض
- مصدر
- مصادر
- محدد
- بداية
- بدأت
- ملخص الحساب
- المحافظة
- خطوة
- لا يزال
- ناجح
- هذه
- الدعم
- نظام
- فريق
- محطة
- سياسة الحجب وتقييد الوصول
- تجربه بالعربي
- •
- من مشاركة
- الوقت
- إطار زمني
- عنوان الاعلان
- إلى
- اليوم
- أداة
- تيشرت
- الإجمالي
- السياحه في زلمسي
- وسائل النقل
- البرنامج التعليمي
- أنواع
- لنا
- مع
- متحد
- الولايات المتحدة
- URL
- تستخدم
- مستخدم
- التحقق من صحة
- قيمنا
- القيم
- الإصدار
- عذراء
- انتظر
- واشنطن
- الويب
- ابحث عن
- ما هي تفاصيل
- سواء
- التي
- في حين
- أبيض
- البيت الابيض
- سوف
- بدون
- كلمة
- كلمات
- أعمال
- العالم
- سوف
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت