أمازون كندرا هي خدمة بحث ذكية عالية الدقة وسهلة الاستخدام ومدعومة بالتعلم الآلي (ML). تقدم Amazon Kendra مجموعة من موصلات مصدر البيانات لتبسيط عملية استيعاب وفهرسة المحتوى الخاص بك ، أينما كان.
يتم تخزين البيانات القيمة في المؤسسات في مستودعات منظمة وغير منظمة. يجب أن يكون حل بحث المؤسسة قادرًا على تزويدك بتجربة مُدارة بالكامل وتبسيط عملية فهرسة المحتوى الخاص بك من مجموعة متنوعة من مصادر البيانات في المؤسسة.
أحد مستودعات البيانات غير المنظمة هذه هي مواقع الويب الداخلية والخارجية. قد تحتاج المواقع إلى الزحف إليها لإنشاء موجزات أخبار، أو تحليل استخدام اللغة، أو إنشاء روبوتات للإجابة على الأسئلة بناءً على بيانات موقع الويب.
يسعدنا أن نعلن أنه يمكنك الآن استخدام Amazon Kendra Web Crawler الجديد للبحث عن إجابات من المحتوى المخزن في مواقع الويب الداخلية والخارجية أو إنشاء روبوتات الدردشة. نعرض في هذه التدوينة كيفية فهرسة المعلومات المخزنة في مواقع الويب واستخدام البحث الذكي في Amazon Kendra للبحث عن الإجابات من المحتوى المخزن في مواقع الويب الداخلية والخارجية. بالإضافة إلى ذلك، يمكن للبحث الذكي المدعوم بالتعلم الآلي الحصول بدقة على إجابات لأسئلتك من المستندات غير المنظمة ذات المحتوى السردي باللغة الطبيعية، والتي لا يكون البحث عن الكلمات الرئيسية فيها فعالاً للغاية.
يوفر Web Crawler الميزات الجديدة التالية:
- دعم المصادقة الأساسية وNTLM/Kerberos والنموذج وSAML
- القدرة على تحديد 100 عنوان URL أولي وتخزين تكوين الاتصال فيه خدمة تخزين أمازون البسيطة (أمازون إس 3)
- دعم وكيل الويب والإنترنت مع القدرة على توفير بيانات اعتماد الوكيل
- دعم الزحف إلى المحتوى الديناميكي، مثل موقع ويب يحتوي على JavaScript
- ميزات رسم الخرائط الميدانية وتصفية التعبير العادي
حل نظرة عامة
باستخدام Amazon Kendra، يمكنك تكوين مصادر بيانات متعددة لتوفير مكان مركزي للبحث عبر مستودع المستندات الخاص بك. بالنسبة للحل الذي نقدمه، نوضح كيفية فهرسة موقع ويب تم الزحف إليه باستخدام Amazon Kendra Web Crawler. الحل يتكون من الخطوات التالية:
- اختر آلية المصادقة للموقع (إذا لزم الأمر) وقم بتخزين التفاصيل فيها مدير أسرار AWS.
- أنشئ فهرس Amazon Kendra.
- قم بإنشاء مصدر بيانات Web Crawler V2 عبر وحدة تحكم Amazon Kendra.
- قم بتشغيل نموذج استعلام لاختبار الحل.
المتطلبات الأساسية المسبقة
لتجربة Amazon Kendra Web Crawler، تحتاج إلى ما يلي:
اجمع تفاصيل المصادقة
بالنسبة لمواقع الويب المحمية والآمنة، يتم دعم أنواع ومعايير المصادقة التالية:
- الباقة الأساسية
- NTLM/كيربيروس
- مصادقة النموذج
- SAML
أنت بحاجة إلى معلومات المصادقة عند إعداد مصدر البيانات.
بالنسبة للمصادقة الأساسية أو NTLM، يتعين عليك توفير سر Secrets Manager واسم المستخدم وكلمة المرور.
تتطلب مصادقة النموذج وSAML معلومات إضافية، كما هو موضح في لقطة الشاشة التالية. بعض الحقول مثل مستخدم زر الاسم Xpath اختيارية وستعتمد على ما إذا كان الموقع الذي تقوم بالزحف إليه يستخدم زرًا بعد إدخال اسم المستخدم. لاحظ أيضًا أنك ستحتاج إلى معرفة كيفية تحديد Xpath لحقل اسم المستخدم وكلمة المرور وأزرار الإرسال.
أنشئ فهرس Amazon Kendra
لإنشاء فهرس Amazon Kendra ، أكمل الخطوات التالية:
- في وحدة تحكم Amazon Kendra ، اختر إنشاء فهرس.
- في حالة اسم الفهرس، أدخل اسمًا للفهرس (على سبيل المثال، Web Crawler).
- أدخل وصفًا اختياريًا.
- في حالة اسم الدور، أدخل اسم دور IAM.
- تكوين إعدادات التشفير الاختيارية والعلامات.
- اختار التالى.
- في مجلة تكوين التحكم في وصول المستخدم القسم ، اترك الإعدادات في إعداداتها الافتراضية واختر التالى.
- في حالة طبعات التموين، حدد إصدار المطور واختر التالى.
- في صفحة المراجعة ، اختر إنشاء.
يؤدي هذا إلى إنشاء دور IAM ونشره ثم إنشاء فهرس Amazon Kendra ، والذي قد يستغرق ما يصل إلى 30 دقيقة.
قم بإنشاء مصدر بيانات Amazon Kendra Web Crawler
أكمل الخطوات التالية لإنشاء مصدر البيانات الخاص بك:
- في وحدة تحكم Amazon Kendra ، اختر مصادر البيانات في جزء التنقل.
- تحديد موقع موصل WebCrawler V2.0 البلاط واختيار أضف موصل.
- في حالة اسم مصدر البيانات، أدخل اسمًا (على سبيل المثال، Crawl-FDA).
- أدخل وصفًا اختياريًا.
- اختار التالى.
- في مجلة مصدر القسم، حدد عنوان URL المصدر وأدخل عنوان URL. لهذا المنصب، ونحن نستخدم https://www.fda.gov/ كمثال لعنوان URL المصدر.
- في مجلة التحقّق من المُستخدم القسم، اختر المصادقة المناسبة بناءً على الموقع الذي تريد الزحف إليه. لهذا المنصب، نختار لا يوجد مصادقة لأنه موقع عام ولا يحتاج إلى مصادقة.
- في مجلة وكيل الشبكة القسم، يمكنك تحديد سر مدير الأسرار (إذا لزم الأمر).
- اختار إنشاء وإضافة سر جديد.
- أدخل تفاصيل المصادقة التي قمت بجمعها مسبقًا.
- اختار حفظ.
- في مجلة دور IAM القسم، اختر قم بإنشاء دور جديد وأدخل اسمًا (على سبيل المثال،
AmazonKendra-Web Crawler-datasource-role
). - اختار التالى.
- في مجلة نطاق المزامنة القسم، قم بتكوين إعدادات المزامنة بناءً على الموقع الذي تقوم بالزحف إليه. بالنسبة لهذا المنشور، نترك جميع الإعدادات الافتراضية.
- في حالة وضع المزامنة، اختر الطريقة التي تريد بها تحديث الفهرس الخاص بك. لهذا المنصب، نختار مزامنة كاملة.
- في حالة جدول تشغيل المزامنة، اختر تعمل حسب الطلب.
- اختار التالى.
- اختياريًا، يمكنك تعيين تعيينات الحقول. بالنسبة لهذا المنشور، نحتفظ بالإعدادات الافتراضية في الوقت الحالي.
يعد تعيين الحقول تمرينًا مفيدًا حيث يمكنك استبدال أسماء الحقول بقيم سهلة الاستخدام وتتناسب مع مفردات مؤسستك.
- اختار التالى.
- اختار أضف مصدر البيانات.
- لمزامنة مصدر البيانات ، اختر زامن الآن "لنقل البيانات في صفحة تفاصيل مصدر البيانات.
- انتظر حتى تكتمل المزامنة.
مثال لموقع ويب معتمد
إذا كنت تريد الزحف إلى موقع يحتوي على مصادقة، ففي التحقّق من المُستخدم في الخطوات السابقة، تحتاج إلى تحديد تفاصيل المصادقة. فيما يلي مثال إذا قمت بتحديده مصادقة النموذج.
- في مجلة مصدر القسم، حدد عنوان URL المصدر وأدخل عنوان URL. في هذا المثال نستخدم https://accounts.autodesk.com.
- في مجلة التحقّق من المُستخدم القسم، حدد مصادقة النموذج.
- في مجلة وكيل الشبكة القسم، حدد سر مدير الأسرار الخاص بك. وهذا مطلوب لأي خيار آخر غير لا يوجد مصادقة.
- اختار إنشاء وإضافة سر جديد.
- أدخل تفاصيل المصادقة التي قمت بجمعها مسبقًا.
- اختار حفظ.
اختبر المحلول
الآن بعد أن قمت باستيعاب المحتوى من الموقع في فهرس Amazon Kendra الخاص بك، يمكنك اختبار بعض الاستعلامات.
- اذهب إلى الفهرس الخاص بك واختر البحث في المحتوى المفهرس.
- أدخل نموذجًا لاستعلام بحث واختبر نتائج البحث (سيختلف استعلامك بناءً على محتويات الموقع الذي قمت بالزحف إليه والاستعلام الذي تم إدخاله).
تهانينا! لقد استخدمت Amazon Kendra بنجاح لعرض الإجابات والرؤى بناءً على المحتوى المفهرس من الموقع الذي قمت بالزحف إليه.
تنظيف
لتجنب تكبد تكاليف مستقبلية، قم بتنظيف الموارد التي قمت بإنشائها كجزء من هذا الحل. إذا قمت بإنشاء فهرس Amazon Kendra جديد أثناء اختبار هذا الحل، فاحذفه. إذا قمت فقط بإضافة مصدر بيانات جديد باستخدام Amazon Kendra Web Crawler V2، فاحذف مصدر البيانات هذا.
وفي الختام
باستخدام Amazon Kendra Web Crawler V2 الجديد، يمكن للمؤسسات الزحف إلى أي موقع ويب عام أو خلف المصادقة واستخدامه للبحث الذكي المدعوم من Amazon Kendra.
لمعرفة المزيد عن هذه الاحتمالات وأكثر ، راجع دليل مطور أمازون كندرا. لمزيد من المعلومات حول كيفية إنشاء بيانات التعريف والمحتوى أو تعديلها أو حذفها عند استيعاب بياناتك، راجع إثراء مستنداتك أثناء الابتلاع و قم بإثراء المحتوى والبيانات الوصفية لتحسين تجربة البحث الخاصة بك من خلال إثراء المستندات المخصصة في Amazon Kendra.
حول المؤلف
جيتن ديديا هو مهندس الحلول الأول ويتمتع بخبرة تزيد عن 20 عامًا في مجال صناعة البرمجيات. لقد عمل مع عملاء الخدمات المالية العالمية، حيث قدم لهم النصائح حول التحديث باستخدام الخدمات التي تقدمها AWS.
جونوانت والب هو مهندس تطوير برمجيات في Amazon Web Services. إنه متعلم متعطش وحريص على تبني التقنيات الجديدة. يقوم بتطوير تطبيقات الأعمال المعقدة ، وجافا هي لغته الأساسية المفضلة.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/index-your-web-crawled-content-using-the-new-web-crawler-for-amazon-kendra/
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 100
- 16
- 20
- 20 سنة
- 30
- 7
- a
- القدرة
- ماهرون
- من نحن
- الوصول
- دقيق
- بدقة
- في
- تضيف
- وأضاف
- إضافة
- إضافي
- معلومات اضافية
- تبنى
- نصيحة
- بعد
- الكل
- أيضا
- أمازون
- أمازون كندرا
- أمازون ويب سيرفيسز
- an
- تحليل
- و
- أعلن
- إجابة
- الأجوبة
- أي وقت
- التطبيقات
- مناسب
- هي
- AS
- At
- المصادقة
- موثق
- التحقّق من المُستخدم
- أوتوديسك
- تجنب
- AWS
- على أساس
- الأساسية
- BE
- لان
- وراء
- على حد سواء
- البوتات
- الأعمال
- تطبيقات الأعمال
- زر
- by
- CAN
- مركزي
- chatbots
- خيار
- اختار
- اختار
- عميل
- COM
- إكمال
- مجمع
- الاعداد
- صلة
- يتكون
- كنسولات
- محتوى
- محتويات
- مراقبة
- التكاليف
- الزاحف
- خلق
- خلق
- يخلق
- على
- البيانات
- الترتيب
- الافتراضات
- شرح
- وصف
- تفاصيل
- حدد
- المطور
- التطوير التجاري
- يطور
- وثيقة
- وثائق
- لا
- أثناء
- ديناميكي
- طبعة
- الطُرق الفعّالة
- التشفير
- مهندس
- تعزيز
- أدخل
- دخل
- الدخول
- مشروع
- مثال
- متحمس
- ممارسة
- الخبره في مجال الغطس
- خارجي
- ادارة الاغذية والعقاقير
- المميزات
- حقل
- مجال
- تصفية
- مالي
- الخدمات المالية
- تناسب
- متابعيك
- في حالة
- النموذج المرفق
- تبدأ من
- تماما
- مستقبل
- جمعت
- دولار فقط واحصل على خصم XNUMX% على جميع
- العالمية
- المالية العالمية
- يملك
- he
- جدا
- له
- كيفية
- كيفية
- HTML
- HTTP
- HTTPS
- if
- in
- مؤشر
- مفهرس
- العالمية
- معلومات
- رؤى
- ذكي
- داخلي
- Internet
- إلى
- IT
- جافا
- JPG
- شديد
- احتفظ
- علم
- لغة
- تعلم
- تعلم
- يترك
- مثل
- آلة
- آلة التعلم
- تمكن
- مدير
- رسم الخرائط
- مايو..
- آلية
- البيانات الوصفية
- دقيقة
- ML
- التحديث
- تعديل
- الأكثر من ذلك
- متعدد
- الاسم
- أسماء
- سردية
- طبيعي
- قائمة الإختيارات
- حاجة
- جديد
- مزايا جديدة
- التكنولوجيات الجديدة
- أخبار
- الآن
- of
- عروض
- on
- فقط
- خيار
- or
- المنظمات
- أخرى
- لنا
- خارج
- على مدى
- صفحة
- خبز
- جزء
- كلمة المرور
- المكان
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- إمكانيات
- منشور
- مدعوم
- سابق
- سابقا
- ابتدائي
- عملية المعالجة
- محمي
- تزود
- المقدمة
- توفير
- الوكيل
- جمهور
- الاستفسارات
- الأسئلة المتكررة
- الرجوع
- رجإكس
- مستودع
- تطلب
- مطلوب
- الموارد
- النتائج
- مراجعة
- النوع
- يجري
- بحث
- سيكريت
- أسرار
- القسم
- تأمين
- أمن
- بذرة
- مختار
- الخدمة
- خدماتنا
- طقم
- ضبط
- إعدادات
- ينبغي
- إظهار
- أظهرت
- الاشارات
- تبسيط
- الموقع
- المواقع
- تطبيقات الكمبيوتر
- تطوير البرمجيات
- حل
- الحلول
- بعض
- مصدر
- مصادر
- المعايير
- بداية
- خطوات
- تخزين
- متجر
- تخزين
- منظم
- تقدم
- بنجاح
- هذه
- جناح
- مدعومة
- المساحة
- أخذ
- التكنولوجيا
- تجربه بالعربي
- الاختبار
- من
- أن
- •
- من مشاركة
- منهم
- then
- تشبه
- إلى
- محاولة
- أنواع
- تحديث
- URL
- تستخدم
- مستعمل
- مستخدم
- سهل الاستعمال
- يستخدم
- استخدام
- القيم
- تشكيلة
- جدا
- بواسطة
- تريد
- we
- الويب
- خدمات ويب
- الموقع الإلكتروني
- المواقع
- متى
- سواء
- التي
- في حين
- سوف
- مع
- عمل
- سنوات
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت