אם הייתה לך הזדמנות לבנות יישום חיפוש עבור נתונים לא מובנים (כלומר, ויקי, אתרי אינטרנט מידע, דפי עזרה בשירות עצמי, תיעוד פנימי וכו') באמצעות קוד פתוח או מנועי חיפוש מסחריים מהמדף, אז אתה בוודאי מכיר את אתגרי הדיוק הכרוכים בהשגת תוצאות חיפוש רלוונטיות. המשמעות המיועדת של השאילתה והמסמך יכולה ללכת לאיבוד מכיוון שהחיפוש מצטמצם למילות מפתח ומונחים של רכיבים תואמים. כתוצאה מכך, בעוד שאתה מקבל תוצאות שעשויות להכיל את המילים הנכונות, הן לא תמיד רלוונטיות למשתמש. אתה צריך שמנוע החיפוש שלך יהיה חכם יותר כדי שיוכל לדרג מסמכים על סמך התאמת המשמעות או הסמנטיקה של התוכן לכוונת השאילתה של המשתמש.
אמזון קנדרה מספק שירות חיפוש חכם מנוהל במלואו הממכן את הטמעת המסמכים ומספק תוצאות חיפוש ושאלות נפוצות מדויקות ביותר המבוססות על תוכן ממקורות נתונים רבים. אם לא עברת ל-Amazon Kendra וברצונך לשפר את איכות תוצאות החיפוש, תוכל להשתמש ב-Amazon Kendra Intelligent Ranking עבור OpenSearch בניהול עצמי בפתרון החיפוש הקיים שלך.
אנו שמחים להציג את החדש Amazon Kendra Intelligent Ranking עבור OpenSearch בניהול עצמי, והפלאגין הנלווה שלו עבור Opensearch מנוע חיפוש! עכשיו אתה יכול בקלות להוסיף דירוג חכם לשאילתות מסמכי OpenSearch שלך, ללא צורך במעבר, לשכפל את אינדקסי OpenSearch או לשכתב את היישומים שלך. ההבדל בין Amazon Kendra Intelligent Ranking עבור OpenSearch בניהול עצמי לבין שירות Amazon Kendra המנוהל במלואו הוא שבעוד שהראשון מספק דירוג מחדש סמנטי רב עוצמה עבור תוצאות החיפוש, המאוחר יותר מספק שיפורים ופונקציונליות נוספים של דיוק החיפוש כגון למידה מצטברת, שאלה מענה, התאמת שאלות נפוצות ומחברים מובנים. למידע נוסף על השירות המנוהל במלואו, בקר באתר עמוד השירות של אמזון קנדרה.
עם Amazon Kendra Intelligent Ranking עבור OpenSearch בניהול עצמי, תוצאות קודמות כמו אלה:
שאילתא: מה הכתובת של הבית הלבן?
Hit1 (הטוב ביותר): הנשיא נשא היום נאום לאומה מהבית הלבן.
פגע 2: הבית הלבן ממוקם בכתובת: 1600 Pennsylvania Avenue NW, Washington, DC 20500
להיות כזה:
שאילתא: מה הכתובת של הבית הלבן?
Hit1 (הטוב ביותר): הבית הלבן ממוקם בכתובת: 1600 Pennsylvania Avenue NW, Washington, DC 20500
פגע 2: הנשיא נשא היום נאום לאומה מהבית הלבן.
בפוסט זה, אנו מראים לכם כיצד להתחיל עם Amazon Kendra Intelligent Ranking עבור OpenSearch בניהול עצמי, ואנו מספקים מספר דוגמאות המדגימות את העוצמה והערך של תכונה זו.
רכיבים של Amazon Kendra Intelligent Ranking עבור OpenSearch בניהול עצמי
תנאים מוקדמים
עבור הדרכה זו, תזדקק למסוף bash לינוקס, Mac, או מערכת המשנה של Windows עבור, ו חשבון AWS. רמז: שקול להשתמש במופע של Amazon Cloud9 או ב- ענן מחשוב אלסטי של אמזון (Amazon EC2).
אתה:
- התקן את Docker, אם הוא עדיין לא מותקן במערכת שלך.
- התקן את האחרונה ממשק שורת הפקודה של AWS (AWS CLI), אם הוא עדיין לא מותקן.
- צור והתחל קונטיינרים של OpenSearch, כאשר תוסף Amazon Kendra Intelligent Ranking מופעל.
- צור אינדקסים לבדיקה וטען כמה מסמכים לדוגמה.
- הפעל כמה שאילתות, עם ובלי דירוג חכם, והתרשם מההבדלים בצורה מתאימה!
התקן את Docker
אם דוקר (כלומר, docker
ו docker-compose
) אינו מותקן כבר בסביבה שלך, ואז התקן אותו. לִרְאוֹת קבל את דוקר בשביל כיוונים.
התקן את AWS CLI
אם עדיין לא התקנת את הגרסה העדכנית ביותר של AWS CLI, התקן והגדר אותה כעת (ראה AWS CLI תחילת העבודה). לאישורי ברירת המחדל של משתמש AWS שלך חייבת להיות גישת מנהל, או בקש ממנהל AWS שלך להוסיף את המדיניות הבאה להרשאות המשתמש שלך:
צור והתחל את OpenSearch באמצעות סקריפט ההתחלה המהירה
הורד search_processing_kendra_quickstart.sh
תַסרִיט:
סקריפט ההתחלה המהירה:
- יוצר תוכנית ביצוע של אמזון Kendra Intelligent Ranking Rescore בחשבון AWS שלך.
- יוצר קונטיינרים של Docker עבור OpenSearch ולוחות המחוונים שלו.
- מגדיר את OpenSearch לשימוש ב-Kendra Intelligent Ranking Service.
- מפעיל את שירותי OpenSearch.
- מספק הדרכה מועילה לשימוש בשירות.
השתמש --help
אפשרות לראות את אפשרויות שורת הפקודה:
כעת, הפעל את הסקריפט כדי להפוך את הגדרות Amazon Kendra ו-OpenSearch לאוטומטיות:
זהו זה! מכולות OpenSearch ו-OpenSearch Dashboard פועלות כעת.
קרא את הודעת הפלט מסקריפט ההתחלה המהירה, ורשום את הספרייה שבה תוכל להפעיל את ה-handy docker-compose
פקודות, ואת cleanup_resources.sh
תַסרִיט.
נסה שאילתת בדיקה כדי לאמת שאתה יכול להתחבר למיכל ה-OpenSearch שלך:
שים לב שאם אתה מקבל את השגיאה curl(35):OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to localhost:9200
, זה אומר ש-OpenSearch עדיין מגיע. המתן מספר דקות עד ש-OpenSearch יהיה מוכן ונסה שוב.
צור אינדקסים לבדיקה וטען מסמכים לדוגמה
הסקריפט שלהלן משמש ליצירת אינדקס ולטעינת מסמכים לדוגמה. שמור אותו במחשב שלך בשם bulk_post.sh:
שמור את קבצי הנתונים למטה בשם tinydocs.jsonl:
ושמור את קובץ הנתונים למטה בשם dstinfo.jsonl:
(נתונים אלה מותאמים מ מאמר שעון קיץ).
הפוך את הסקריפט לניתן להפעלה:
עכשיו להשתמש bulk_post.sh סקריפט ליצירת אינדקסים וטעינת הנתונים על ידי הפעלת שתי הפקודות שלהלן:
הפעל שאילתות לדוגמה
הכן סקריפטים של שאילתה
שאילתות OpenSearch מוגדרות ב-JSON באמצעות ה-OpenSearch שפה ספציפית לדומיין שאילתה (DSL). עבור פוסט זה, אנו משתמשים ב- תלתל לינוקס פקודה לשליחת שאילתות לשרת OpenSearch המקומי שלנו באמצעות HTTPS.
כדי להקל על כך, הגדרנו שני סקריפטים קטנים כדי לבנות את השאילתה DSL שלנו ולשלוח אותה ל-OpenSearch.
הסקריפט הראשון יוצר שאילתת התאמת טקסט רגילה של OpenSearch בשני שדות מסמך - כותרת ו גוּף. עיין בתיעוד של OpenSearch למידע נוסף על תחביר שאילתה מרובה התאמה. שמרנו על השאילתה פשוטה מאוד, אך תוכל להתנסות מאוחר יותר בהגדרת סוגי שאילתות חלופיים.
שמור את הסקריפט למטה בתור query_nokendra.sh:
הסקריפט השני דומה לראשון, אך הפעם אנו מוסיפים תוסף שאילתה כדי להורות ל-OpenSearch להפעיל את התוסף Amazon Kendra Intelligent Ranking כשלב שלאחר עיבוד לדירוג מחדש של התוצאות המקוריות באמצעות שירות Amazon Kendra Intelligent Ranking.
אל האני size
המאפיין קובע כמה מסמכי תוצאות של OpenSearch יישלחו לקנדרה לדירוג מחדש. כאן אנו מציינים מקסימום 20 תוצאות לדירוג מחדש. שני נכסים, title_field
(אופציונלי) ו- body_field
(חובה), ציין את שדות המסמך המשמשים לדירוג חכם.
שמור את הסקריפט למטה בתור query_kendra.sh:
הפוך את שני הסקריפטים לניתנים להפעלה:
הפעל שאילתות ראשוניות
התחל עם שאילתה פשוטה על זעירים אינדקס, כדי לשחזר את הדוגמה שבה נעשה שימוש במבוא הפוסט.
השתמש query_nokendra.sh
סקריפט לחיפוש הכתובת של הבית הלבן:
אתה רואה את התוצאות המוצגות למטה. שים לב לסדר של שתי התוצאות, המדורגות לפי הציון שהוקצה על ידי שאילתת התאמת הטקסט של OpenSearch. למרות שתוצאת הניקוד הגבוה ביותר מכילה את מילות המפתח כתובת ו הבית לבן, ברור שהמשמעות לא תואמת את כוונת השאלה. מילות המפתח תואמות, אבל הסמנטיקה לא.
עכשיו בואו נריץ את השאילתה עם Amazon Kendra Intelligent Ranking, באמצעות ה query_kendra.sh
תַסרִיט:
הפעם, אתה רואה את התוצאות בסדר שונה כפי שמוצג להלן. שירות Amazon Kendra Intelligent Ranking הקצה מחדש את ערכי הציון, והקצה ציון גבוה יותר למסמך התואם יותר את כוונת השאילתה. מנקודת מבט של מילת מפתח, זוהי התאמה גרועה יותר מכיוון שהיא אינה מכילה את המילה כתובת; עם זאת, מנקודת מבט סמנטית זו התגובה הטובה יותר. עכשיו אתה רואה את היתרון בשימוש בתוסף Amazon Kendra Intelligent Ranking!
הפעל שאילתות נוספות והשווה תוצאות חיפוש
נסה את אינדקס dstinfo כעת, כדי לראות כיצד אותו קונספט עובד עם נתונים ושאילתות שונים. בזמן שאתה יכול להשתמש בסקריפטים query_nokendra.sh ו query_kendra.sh כדי לבצע שאילתות משורת הפקודה, הבה נשתמש במקום זאת ב- OpenSearch Dashboards השוואת תוצאות חיפוש פלאגין כדי להפעיל שאילתות ולהשוות תוצאות חיפוש.
הדבק את כתובת האתר של לוחות המחוונים המקומיים בדפדפן שלך: http://localhost:5601/app/searchRelevance – / כדי לגשת לכלי ההשוואה של לוח המחוונים. השתמש באישורי ברירת המחדל: שם משתמש: מנהל, סיסמה: מנהל.
בשורת החיפוש, הזן: what is daylight saving time?
עבור שאילתה 1 ושאילתה 2 מדד, בחר dstinfo.
העתק את שאילתת ה-DSL למטה והדבק אותה ב- שאלה חלונית מתחת לשאילתה 1. זוהי שאילתת חיפוש של מילות מפתח.
כעת העתק את שאילתת ה-DSL למטה והדבק אותה ב- שאלה חלונית תחת שאילתה 2. שאילתה זו מפעילה את התוסף Amazon Kendra Intelligent Ranking עבור OpenSearch בניהול עצמי כדי לבצע דירוג מחדש סמנטי של תוצאות החיפוש.
בחר את חיפוש לחצן כדי להפעיל את השאילתות ולצפות בתוצאות החיפוש. בתוצאה 1, הפגיעה שדורגה במקום האחרון היא כנראה למעשה התגובה הרלוונטית ביותר לשאילתה זו. בתוצאה 2, הפלט מ-Amazon Kendra Intelligent Ranking קיבל את התשובה הרלוונטית ביותר מדורגת במקום הראשון.
כעת, לאחר שהתנסית בדירוג החכם של Amazon Kendra עבור OpenSearch בניהול עצמי, התנסה בכמה שאילתות משלך. השתמש בנתונים שכבר טענו או השתמש ב- bulk_post.sh סקריפט לטעינת הנתונים שלך.
חקור את ממשק ה-API לדירוג של Amazon Kendra
כפי שראית מפוסט זה, תוסף Amazon Kendra Intelligent Ranking עבור OpenSearch יכול לשמש בנוחות לדירוג מחדש סמנטי של תוצאות החיפוש שלך. עם זאת, אם אתה משתמש בשירות חיפוש שאינו תומך בתוסף Amazon Kendra Intelligent Ranking עבור OpenSearch בניהול עצמי, אז אתה יכול להשתמש ב- ציון מחדש פונקציה מ-Amazon Kendra Intelligent Ranking API ישירות.
נסה את ה-API הזה באמצעות תוצאות החיפוש מהשאילתה לדוגמה שבה השתמשנו למעלה: מה הכתובת של הבית הלבן?
ראשית, מצא את מזהה תוכנית הביצוע שלך על ידי הפעלת:
ה-JSON למטה מכיל את שאילתת החיפוש ואת שתי התוצאות שהוחזרו על ידי השאילתה המקורית של OpenSearch, עם ציוני OpenSearch המקוריים שלהן. החלף {kendra-execution-plan_id}
עם מזהה תוכנית הביצוע שלך (מלמעלה) ושמור אותו בשם rescore_input.json:
הפעל את פקודת ה-CLI למטה כדי להבקיע מחדש את רשימת המסמכים הזו באמצעות שירות הדירוג החכם של Amazon Kendra:
הפלט של ביצוע מוצלח של זה ייראה להלן.
כצפוי, המסמך tdoc2 (המכיל את גוף הטקסט "הבית הלבן ממוקם בכתובת: 1600 Pennsylvania Avenue NW, Washington, DC 20500") יש כעת את הדירוג הגבוה יותר, מכיוון שזו התגובה הרלוונטית יותר מבחינה סמנטית עבור השאילתה. ה ResultItems
רשימה בפלט מכילה כל קלט DocumentId
עם החדש שלה Score
, מדורג בסדר יורד של Score
.
לנקות את
כשתסיים להתנסות, כבה והסר את מכולות Docker ותוכנית הביצוע של Rescore על ידי הפעלת cleanup_resources.sh
סקריפט שנוצר על ידי סקריפט ההתחלה המהירה, למשל:
סיכום
בפוסט זה, הראינו לך כיצד להשתמש בתוסף Amazon Kendra Intelligent Ranking עבור OpenSearch בניהול עצמי כדי להוסיף בקלות דירוג חכם לשאילתות מסמכי OpenSearch שלך כדי לשפר באופן דרמטי את דירוג הרלוונטיות של התוצאות, תוך שימוש בפריסות הקיימות שלך במנועי החיפוש של OpenSearch.
אתה יכול גם להשתמש בדירוג החכם של אמזון קנדרה Rescore API ישירות אל ניקוד מחדש ודירוג תוצאות בצורה חכמה מהיישומים שלך.
קרא את הדירוג החכם של Amazon Kendra עבור OpenSearch בניהול עצמי תיעוד כדי ללמוד עוד על תכונה זו, ולהתחיל לתכנן ליישם אותה ביישומי הייצור שלך.
על הכותבים
אבחינא ג'וואדקאר הוא ארכיטקט פתרונות ראשי המתמקד באמזון קנדרה בצוות שירותי שפות AI/ML ב-AWS. Abhinav עובדת עם לקוחות ושותפים של AWS כדי לעזור להם לבנות פתרונות חיפוש חכמים ב-AWS.
בוב סטרהאן הוא אדריכל פתרונות ראשי בצוות שירותי AI של שפת AWS.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/get-smarter-search-results-with-the-amazon-kendra-intelligent-ranking-and-opensearch-plugin/
- 1
- 10
- 100
- 11
- 7
- 70
- 9
- a
- בבוקר
- אודות
- מֵעַל
- גישה
- תאונות
- פי
- חֶשְׁבּוֹן
- דיוק
- מדויק
- לרוחב
- פעולה
- למעשה
- נוסף
- כתובת
- מנהל
- לאחר
- קדימה
- AI
- שירותי AI
- AI / ML
- כְּבָר
- למרות
- תמיד
- אמזון בעברית
- אמזון
- אמזון קנדרה
- ו
- לענות
- API
- בקשה
- יישומים
- החל
- אַפּרִיל
- אריזונה
- שהוקצה
- אוטומטי
- אוטומטית
- שדרה
- AWS
- בחזרה
- בָּר
- מבוסס
- לחבוט
- כי
- מאחור
- להלן
- תועלת
- הטבות
- בנימין
- הטוב ביותר
- מוטב
- בֵּין
- גוּף
- מוֹחַ
- בריטי
- קולומביה הבריטית
- דפדפן
- לִבנוֹת
- מובנה
- משרד
- קנדה
- האתגרים
- שינוי
- ברור
- שעונים
- מקרוב
- Cloud9
- COLUMBIA
- מגיע
- לְהַשְׁווֹת
- השוואה
- רְכִיב
- לחשב
- המחשב
- מושג
- הקונגרס
- הקונגרס
- לְחַבֵּר
- הקשר
- כתוצאה מכך
- לשקול
- לבנות
- מכולה
- מכולות
- מכיל
- תוכן
- מדינות
- זוג
- לִיצוֹר
- נוצר
- יוצר
- אישורים
- לקוחות
- מחזורי
- לוח מחוונים
- נתונים
- יְוֹם
- ימים
- dc
- בְּרִירַת מֶחדָל
- הגדרה
- שַׂמֵחַ
- נתן
- להפגין
- פריסות
- קובע
- הבדל
- אחר
- ישירות
- סַוָר
- מסמך
- תיעוד
- מסמכים
- לא
- תחום
- לא
- מטה
- באופן דרמטי
- כל אחד
- בקלות
- השפעה
- מופעל
- מסתיים
- מנוע
- מנועים
- זן
- סביבה
- שגיאה
- וכו '
- דוגמה
- דוגמאות
- לבצע
- הוצאת להורג
- קיימים
- צפוי
- מנוסה
- לְנַסוֹת
- הארכה
- נכשל
- מוכר
- שאלות נפוצות
- טובה
- מאפיין
- מעטים
- שדות
- שלח
- קבצים
- ראשון
- מרוכז
- לעקוב
- הבא
- טופס
- לשעבר
- ייסוד
- החל מ-
- לגמרי
- פונקציה
- פונקציונלי
- גֵאוֹגרָפִי
- לקבל
- מקבל
- שימושי
- לעזור
- מועיל
- כאן
- גבוה יותר
- מאוד
- היסטוריה
- מכה
- להיטים
- בית
- איך
- איך
- אולם
- HTML
- HTTPS
- התרשמנו
- לשפר
- שיפורים
- in
- עליות
- מדד
- אינדקסים
- בנפרד
- מידע
- מידע
- הטמון
- בתחילה
- קלט
- להתקין
- למשל
- במקום
- אינטליגנטי
- כוונה
- מטרה
- פנימי
- מבוא
- מבוא
- מעורר
- מעורב
- איים
- בעיות
- IT
- ג'סון
- שמור
- שפה
- אחרון
- האחרון
- לִלמוֹד
- למידה
- מכתב
- קו
- רשימה
- לִטעוֹן
- מקומי
- ממוקם
- ארוך
- עוד
- נראה
- לעשות
- הצליח
- רב
- צעדה
- להתאים
- תואם
- מקסימום
- משמעות
- אומר
- הודעה
- נודד
- דקות
- חודשים
- יותר
- רוב
- אוּמָה
- לאומי
- צורך
- חדש
- נוֹבֶמבֶּר
- להתבונן
- אוֹקְטוֹבֶּר
- ONE
- לפתוח
- קוד פתוח
- OpenSSL
- הזדמנות
- אפשרות
- אפשרויות
- להזמין
- מְקוֹרִי
- אחר
- בחוץ
- שֶׁלוֹ
- המשתתפים
- שותפים
- חלקים
- סיסמה
- פנסילבניה
- אֲנָשִׁים
- לְבַצֵעַ
- אוּלַי
- קבוע
- הרשאות
- פרספקטיבה
- מקומות
- תכנית
- תכנון
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- אנא
- חיבור
- מדיניות
- הודעה
- כּוֹחַ
- חזק
- נשיא
- יפה
- קודם
- מנהל
- כנראה
- הפקה
- נכסים
- רכוש
- לספק
- מספק
- ציבורי
- פורטו
- פוארטו ריקו
- איכות
- שאלה
- מדורג
- דירוג
- מוכן
- מופחת
- רגיל
- יחס
- הרלוונטיות
- רלוונטי
- להסיר
- להחליף
- נדרש
- מחקר
- משאב
- תגובה
- תוצאה
- תוצאות
- RICO
- הפעלה
- ריצה
- אותו
- שמור
- חסכת
- SC
- מניה
- סקריפטים
- חיפוש
- מנוע חיפוש
- מנועי חיפוש
- שְׁנִיָה
- שירות עצמי
- סמנטיקה
- שרות
- שירותים
- סט
- התקנה
- לְהַצִיג
- הראה
- כבה
- דומה
- פָּשׁוּט
- בפשטות
- אתרים
- מידה
- קטן
- חכם יותר
- So
- רך
- פִּתָרוֹן
- פתרונות
- לפתור
- כמה
- מָקוֹר
- מקורות
- ספציפי
- התחלה
- החל
- הצהרה
- הברית
- שלב
- עוד
- מוצלח
- כזה
- תמיכה
- מערכת
- נבחרת
- מסוף
- מונחים
- מבחן
- אל האני
- שֶׁלָהֶם
- זמן
- מסגרת זמן
- כותרת
- ל
- היום
- כלי
- חלק עליון
- סה"כ
- תיירות
- הובלה
- הדרכה
- סוגים
- לָנוּ
- תחת
- מאוחד
- ארצות הברית
- כתובת האתר
- להשתמש
- משתמש
- לְאַמֵת
- ערך
- ערכים
- גרסה
- בתולה
- לחכות
- וושינגטון
- אינטרנט
- מה
- מה
- אם
- אשר
- בזמן
- לבן
- הבית לבן
- יצטרך
- לְלֹא
- Word
- מילים
- עובד
- עוֹלָם
- היה
- אתה
- זפירנט