אמזון קנדרה הוא שירות חיפוש חכם קל לשימוש המאפשר לך לשלב יכולות חיפוש עם האפליקציות שלך כך שמשתמשים יוכלו למצוא מידע המאוחסן על פני מקורות נתונים כמו שירות אחסון פשוט של אמזון , OneDrive ו-Google Drive; יישומים כגון SalesForce, SharePoint ו-Service Now; ומסדי נתונים יחסיים כמו שירות מסדי נתונים יחסי של אמזון (Amazon RDS). שימוש במחברי Amazon Kendra מאפשר לך לסנכרן נתונים ממאגרי תוכן מרובים עם אינדקס Amazon Kendra שלך. כאשר משתמשי קצה שואלים שאלות בשפה טבעית, אמזון קנדרה משתמשת באלגוריתמים של למידת מכונה (ML) כדי להבין את ההקשר ולהחזיר את התשובות הרלוונטיות ביותר.
מחבר S3 של אמזון קנדרה תומך באינדקס של מסמכים ובמטא נתונים הקשורים אליהם המאוחסנים בדלי S3. לעתים קרובות אתה רוצה לוודא שלאפליקציות הפועלות בתוך VPC יש גישה רק לדלי S3 ספציפיים ובמקרים רבים אסור שהחיבור יעבור לאינטרנט כדי להגיע לנקודות קצה ציבוריות. עם זאת, לקוחות רבים מחזיקים בדלי S3 מרובים, שחלקם נגישים על ידי נקודות קצה VPC עבור Amazon S3. בפוסט זה, אנו מתארים כיצד להשתמש במחבר המעודכן של Amazon Kendra S3 עם תמיכת VPC לשימוש בנקודות קצה VPC.
פוסט זה מספק את השלבים שיעזרו לך ליצור מנוע חיפוש ארגוני ב-AWS באמצעות Amazon Kendra על ידי חיבור מסמכים המאוחסנים בדלי S3 הנגישים רק מתוך VPC. למידע נוסף, ראה שיפור החיפוש הארגוני עם Amazon Kendra. הפוסט גם מדגים כיצד להגדיר את המחבר שלך עבור Amazon S3 ולהגדיר כיצד האינדקס שלך מסתנכרן עם מקור הנתונים שלך כאשר תוכן מקור הנתונים שלך משתנה.
סקירה כללית של הפיתרון
ישנם שלושה שיפורים עיקריים ל מחבר אמזון קנדרה S3 :
- תמיכה ב-VPC - המחבר תומך כעת בשימוש שלך ענן וירטואלי פרטי של אמזון (Amazon VPC) רשתות. כעת אתה יכול להתחבר בצורה מאובטחת לאמזון S3 באמצעות נקודות קצה VPC עבור Amazon S3 על ידי ציון חיבור ה-VPC, רשת המשנה וקבוצות האבטחה.
- שני מצבי סנכרון - כאשר אתה מתזמן סנכרון של מקור נתונים באמזון S3 לאינדקס אמזון קנדרה, כעת תוכל לבחור להפעיל במצב סנכרון מלא או במצב סנכרון מסמכים חדש, שונה ונמחק. במצב סנכרון מלא, בכל פעם שהסנכרון פועל, הוא סורק אובייקטים בכל תיקיה מתחת לנתיב הבסיס שהוא הוגדר לסרוק ומכניס מחדש את כל המסמכים. הרענון המלא מאפשר לך לאפס את האינדקס ללא צורך למחוק וליצור מקור נתונים חדש. במצב סנכרון מסמכים חדש, שונה ונמחק, בכל פעם שעבודת הסנכרון פועלת, היא מעבדת רק אובייקטים שנוספו, שונו או נמחקו מאז הסריקה האחרונה. סריקות מצטברות יכולות להפחית את זמן הריצה ואת העלות בשימוש עם מערכי נתונים שמצרפים אובייקטים חדשים למקורות נתונים קיימים על בסיס קבוע.
- דפוסי הכללה ואי הכללה נוספים עבור מסמכים: בנוסף לקידומות, אנו מציגים דפוסים להכללה או אי הכללה של מסמכים מהאינדקס שלך. שני סוגי דפוסים נתמכים הם גלוב או קבצים בסגנון Unix. כעת תוכל להוסיף דפוס ביטוי רגולרי כדי לכלול תיקיות ספציפיות או לא לכלול תיקיות, סוגי קבצים או קבצים ספציפיים ממקור הנתונים שלך. זה יכול להיות שימושי עבור מאגרי נתונים משותפים המכילים תוכן השייך לקטגוריות, סיווג וסוגי קבצים שונים.
תנאים מוקדמים
לפריצת דרך זו, יהיו עליכם התנאים המוקדמים הבאים:
צור והגדר את מאגר המסמכים שלך
לפני שתוכל ליצור אינדקס באמזון קנדרה, עליך לטעון מסמכים בדלי S3. פרק זה מכיל הוראות ליצירת דלי S3, השגת הקבצים והעמסתם לדלי. לאחר השלמת כל השלבים בסעיף זה, יש לך מקור נתונים שאמזון קנדרה יכולה להשתמש בו.
- על קונסולת הניהול של AWS, ברשימת האזורים, בחרו במזרח ארה"ב (נ' וירג'יניה) או בכל אזור שתבחרו אמזון קנדרה זמין ב.
- בחרו שירותים.
- תַחַת אחסון, בחר S3.
- במסוף S3 של אמזון בחר צור דלי.
- תַחַת תצורה כללית, ספק את המידע הבא:
- לשם הדלי, להיכנס
kendrapost-{your account id}.
- עבור אזור, בחר את אותו אזור שבו אתה משתמש כדי לפרוס את אינדקס אמזון קנדרה שלך (פוסט זה משתמש
us-east-1
). - תַחַת הגדרות דלי, ל חסום גישה ציבורית, השאר את כל ערכי ברירת המחדל.
- לשם הדלי, להיכנס
- תַחַת הגדרות מתקדמות, השאר את כל ערכי ברירת המחדל.
- בחרו צור דלי.
- הורדה AWS_Whitepapers.zip ולפסוק את הקבצים.
- במסוף S3 של אמזון, בחרו את הדלי שרק כרגע בחרו ובחרו העלה.
- העלה את התיקיות
Best Practices
,Databases
,General
, וMachine Learning
מהקובץ שנפרם.
בתוך הדלי שלך, כעת אתה אמור לראות ארבע תיקיות.
הוסף מקור נתונים
A מקור מידע הוא מיקום המאחסן את המסמכים לאינדקס. אתה יכול לסנכרן מקורות נתונים באופן אוטומטי עם אינדקס אמזון קנדרה כדי לוודא כי חיפושים משקפים נכון מסמכים חדשים, מעודכנים או שנמחקו במאגרי המקור.
לאחר השלמת כל השלבים בסעיף זה, יהיה לך מקור נתונים המקושר לאמזון קנדרה. למידע נוסף, ראה הוספת מסמכים ממקור נתונים.
לפני שתמשיך, ודא שיצירת האינדקס הושלמה והאינדקס מראה כ Active. לקבלת מידע נוסף, ראה יצירת אינדקס.
- במסוף אמזון קנדרה, נווט לאינדקס שלך (עבור פוסט זה,
kendra-blog-index
). - על
kendra-blog-index
עמוד, בחר הוסף מקורות נתונים. - תחת Amazon S3, בחר הוסף מחבר.
למידע נוסף על מקורות הנתונים השונים בהם תומכת אמזון קנדרה, ראה הוספת מסמכים ממקור נתונים.
- ב ציין פרטי מקור נתונים קטע, עבור שם מקור הנתונים, להיכנס
aws_white_paper
. - בעד תיאור, להיכנס
AWS White Paper documentation
. - בחרו הַבָּא.
עכשיו אתה יוצר AWS זהות וניהול גישה (IAM) תפקיד עבור אמזון קנדרה.
- ב הגדר גישה ואבטחה עמוד, עבור תפקיד IAM סעיף, בחר צור תפקיד חדש.
- עבור שם תפקיד, הזן
source-role
(שם התפקיד שלך מקודם עםAmazonKendra-
). - ב הגדר VPC ואבטחה סעיף, בחר שלך VPC, והזן את רשתות משנה וקבוצות אבטחה VPC.
למידע נוסף על חיבור אמזון קנדרה שלך לענן פרטי וירטואלי של אמזון, ראה הגדרת Amazon Kendra לשימוש ב-VPC.
- בחרו הַבָּא.
- ב הגדר הגדרות סנכרון עמוד, עבור הזן את מיקום מקור הנתונים, הזן את דלי S3 שיצרת:
kendrapost-{your account id}
. - יציאה מיקום תיקיית קידומת קידומת מטא-נתונים רֵיק.
כברירת מחדל, קבצי מטא נתונים מאוחסנים באותה ספרייה כמו המסמכים. אם ברצונך למקם קבצים אלה בתיקיה אחרת, תוכל להוסיף קידומת. למידע נוסף ראה מטא נתונים של מסמך אמזון S3.
- בעד בחר במקש הפענוח, השאר אותו ללא בחירה.
- בעד תצורה נוספת, באפשרותך להוסיף תבנית שתכלול או תכלול תיקיות או קבצים מסוימים. לפוסט זה, שמור על ערכי ברירת המחדל.
- בעד מצב סנכרון לבחור סנכרון מסמכים חדשים, ששונו או נמחקו.
- בעד תדר, בחר הפעל לפי דרישה.
שלב זה מגדיר את התדירות שבה מקור הנתונים מסונכרן עם אינדקס אמזון קנדרה.
- בחרו הַבָּא.
- ב הגדר מיפויי שדות עמוד, שמור על ערכי ברירת המחדל.
- בחרו הַבָּא.
- על סקור וצור עמוד, בחר הוסף מקור נתונים.
- נווט חזרה לאינדקס הקנדרה שלך.
- בחר שלך מקור מידע, ואז לבחור סנכרן כעת לסנכרון המסמכים עם מדד אמזון קנדרה.
משך תהליך זה תלוי במספר המסמכים שאתה מוסיף לאינדקס. במקרה שימוש זה, זה עשוי לקחת 15 דקות, ולאחר מכן אתה אמור לראות הודעה שהסנכרון הצליח. בקטע היסטוריית ריצות סינכרון, אתה יכול לראות ש-40 מסמכים סונכרנו.
אינדקס אמזון קנדרה שלך מוכן כעת לשאילתות בשפה טבעית. כשאתה מחפש באינדקס שלך, אמזון קנדרה משתמשת בכל הנתונים והמטא נתונים שסופקו כדי להחזיר את התשובות המדויקות ביותר לשאילתת החיפוש שלך. בקונסולת אמזון קנדרה, בחר חפש תוכן באינדקס. בשדה השאילתה, התחל עם שאילתה כגון "לאיזה שירות AWS יש 11 תשיעיות של עמידות?"
למידע נוסף על שאילתה לאינדקס, ראה שאילתת אינדקס
סנכרן שינויים במקור הנתונים כדי לחפש באינדקס
מקור הנתונים שלך מוגדר לסנכרן כל מידע חדש, שונה או שנמחק. לפני שתוכל לסנכרן את מקור הנתונים שלך בהדרגה עם אינדקס באמזון קנדרה, עליך לטעון מסמכים חדשים לתוך דלי S3.
- במסוף S3 של אמזון, בחרו את הדלי שרק כרגע בחרו ובחרו העלה.
- העלה את התיקיות
Security
וWell_Architected
מהקובץ שנפרם.
כעת תוכל לסנכרן את המסמכים החדשים שנוספו ל-S3:
- בקונסולת אמזון קנדרה, בחר מקורות מידע ולאחר מכן בחר את מקור הנתונים S3 שלך.
- בחרו סנכרן עכשיו.
משך תהליך זה תלוי במספר המסמכים שאתה מוסיף לאינדקס. למקרה שימוש זה, זה עשוי לארוך 15 דקות, לאחר מכן עליך לראות הודעה כי הסנכרון היה מוצלח.
ב סנכרן את היסטוריית הריצה תוכל לראות ש- 20 מסמכים סונכרנו.
הוסף מחדש את מקור הנתונים לאינדקס
בתרחיש שבו למקור הנתונים יש מידע מיושן, כעת תוכל להוסיף מחדש את מקור הנתונים לאינדקס מבלי שתצטרך למחוק וליצור מקור נתונים חדש. כדי לשנות את מצב הסנכרון ולהוסיף מחדש את מקור הנתונים לאינדקס, בצע את השלבים הבאים:
- בקונסולת אמזון קנדרה, בחר מקורות מידע ולאחר מכן בחר את מקור הנתונים S3 שלך.
- על פעולות בתפריט, בחר לַעֲרוֹך.
- בחרו הַבָּא לעבור ל שלב 3 - הגדר את דף הגדרות הסנכרון.
- עבור מצב סנכרון, בחר סנכרון מלא.
- בעד תדר, בחר הפעל לפי דרישה.
- בחרו הַבָּא.
- ב הגדר מיפויי שדות עמוד, שמור על ערכי ברירת המחדל.
- בחרו הַבָּא.
- על סקור וצור עמוד, בחר עדכון.
כעת תוכל לסנכרן את המסמכים החדשים שנוספו לדלי S3.
- בקונסולת אמזון קנדרה, בחר מקורות מידע ולאחר מכן בחר את מקור הנתונים S3 שלך.
- בחרו סנכרן עכשיו.
ב סנכרן את היסטוריית הריצה בסעיף, אתה יכול לראות שכל המסמכים סונכרנו ללא קשר למצב הסנכרון הקודם תחת העמודה ששונתה.
לנקות את
כדי להימנע מחיובים עתידיים וכדי לנקות תפקידים ומדיניות שאינם בשימוש, מחק את המשאבים שיצרת:
- באינדקס אמזון קנדרה, בחר אינדקסים בחלונית הניווט.
- בחר את האינדקס שיצרת וב- פעולות בתפריט, בחר מחק.
- כדי לאשר את המחיקה, הזן מחק כשתתבקש ובחר מחק.
המתן עד שתקבל את הודעת האישור; התהליך יכול לארוך עד 15 דקות.
- בקונסולת Amazon S3, למחוק את דלי S3.
- במסוף IAM, למחוק את תפקידי IAM המתאימים.
סיכום
בפוסט זה, למדת כיצד להשתמש באמזון קנדרה כדי לפרוס שירות חיפוש ארגוני באמצעות חיבור מאובטח לאמזון S3 שאינו דורש שער אינטרנט או מכשיר תרגום כתובות רשת (NAT). אתה יכול לאפשר סנכרון מהיר יותר עבור המסמכים שלך באמצעות מצב סנכרון.
יש הרבה תכונות נוספות שלא כיסינו. לדוגמה:
- אתה יכול להפעיל בקרת גישה מבוססת משתמש עבור אינדקס אמזון קנדרה שלך, ולהגביל את הגישה למסמכים על סמך בקרות הגישה שכבר הגדרת.
- אתה יכול למפות תכונות אובייקט לתכונות אינדקס אמזון קנדרה, ולאפשר אותן ליצירת פנים, חיפוש והצגה בתוצאות החיפוש.
- אתה יכול למצוא במהירות מידע מדפי אינטרנט (טבלאות HTML) באמצעות חיפוש טבלאי של Amazon Kendra
למידע נוסף על אמזון קנדרה, עיין מדריך למפתחים של אמזון קנדרה.
על הכותבים
מרן צ'נדראסקארן הוא ארכיטקט פתרונות בכיר בחברת Amazon Web Services, שעובד עם הלקוחות הארגוניים שלנו. מחוץ לעבודה, הוא אוהב לטייל.
ארג'ון אגרוואל הוא מהנדס תוכנה ב-AWS, עובד כעת עם צוות אמזון קנדרה במנוע חיפוש ארגוני. הוא נלהב מטכנולוגיה חדשה ופתרון בעיות בעולם האמיתי. מחוץ לעבודה, הוא אוהב לטייל ולטייל.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/search-for-answers-accurately-using-amazon-kendra-s3-connector-with-vpc-support/
- 10
- 100
- 11
- 7
- a
- אודות
- גישה
- נגיש
- חֶשְׁבּוֹן
- מדויק
- במדויק
- לרוחב
- הוסיף
- תוספת
- נוסף
- כתובת
- לאחר
- אלגוריתמים
- תעשיות
- מאפשר
- כְּבָר
- אמזון בעברית
- אמזון קנדרה
- אמזון RDS
- אמזון שירותי אינטרנט
- ו
- תשובות
- יישומים
- המשויך
- תכונות
- באופן אוטומטי
- זמין
- AWS
- בחזרה
- מבוסס
- בסיס
- לפני
- יכולות
- מקרה
- מקרים
- קטגוריות
- מסוים
- שינויים
- חיובים
- בחירה
- בחרו
- מיון
- ענן
- טור
- להשלים
- מַשׁלִים
- לאשר
- לְחַבֵּר
- מקשר
- הקשר
- קונסול
- להכיל
- מכיל
- תוכן
- הקשר
- ממשיך
- לִשְׁלוֹט
- בקרות
- תוֹאֵם
- עלות
- לכסות
- לִיצוֹר
- נוצר
- יצירה
- כיום
- לקוחות
- נתונים
- מסד נתונים
- מאגרי מידע
- מערכי נתונים
- בְּרִירַת מֶחדָל
- מגדיר
- מדגים
- תלוי
- לפרוס
- לתאר
- מפתח
- מכשיר
- אחר
- לְהַצִיג
- מסמך
- מסמכים
- לא
- נהיגה
- עמידות
- מזרח
- קל לשימוש
- לאפשר
- מאפשר
- מנוע
- מהנדס
- זן
- מִפְעָל
- כל
- הכל
- דוגמה
- קיימים
- תכונות
- שדה
- שלח
- קבצים
- הבא
- תדר
- החל מ-
- מלא
- עתיד
- שער כניסה
- לקבל
- קבוצה
- יש
- לעזור
- טיול
- היסטוריה
- איך
- איך
- אולם
- HTML
- HTTPS
- זהות
- שיפורים
- in
- לכלול
- הַכלָלָה
- מדד
- מידע
- הוראות
- לשלב
- אינטליגנטי
- אינטרנט
- החדרה
- ללא קשר
- IT
- עבודה
- שמור
- שפה
- אחרון
- לִלמוֹד
- למד
- למידה
- יציאה
- צמוד
- רשימה
- לִטעוֹן
- מיקום
- מכונה
- למידת מכונה
- ראשי
- לעשות
- ניהול
- רב
- מַפָּה
- תפריט
- הודעה
- מידע נוסף
- דקות
- ML
- מצב
- מצבי
- שונים
- לשנות
- יותר
- רוב
- המהלך
- מספר
- שם
- טבעי
- נווט
- ניווט
- צורך
- רשת
- רשתות
- חדש
- מספר
- אובייקט
- אובייקטים
- בחוץ
- שֶׁלוֹ
- זגוגית
- מאמר
- לוהט
- נתיב
- תבנית
- דפוסי
- מקום
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- מדיניות
- הודעה
- תנאים מוקדמים
- קודם
- פְּרָטִי
- בעיות
- תהליך
- תהליכים
- לספק
- ובלבד
- מספק
- ציבורי
- שאלות
- מהר
- מהירות
- לְהַגִיעַ
- מוכן
- עולם אמיתי
- להפחית
- לשקף
- באזור
- רגיל
- רלוונטי
- לדרוש
- משאבים
- לְהַגבִּיל
- תוצאות
- לַחֲזוֹר
- תפקיד
- תפקידים
- שורש
- הפעלה
- ריצה
- כוח מכירות
- אותו
- תרחיש
- לוח זמנים
- חיפוש
- מנוע חיפוש
- סעיף
- לבטח
- מאובטח
- אבטחה
- לחצני מצוקה לפנסיונרים
- שרות
- שירותים
- סט
- הגדרות
- משותף
- צריך
- הופעות
- פָּשׁוּט
- since
- So
- תוכנה
- מהנדס תוכנה
- פתרונות
- פותר
- כמה
- מָקוֹר
- מקורות
- ספציפי
- התחלה
- מצב
- שלב
- צעדים
- אחסון
- מאוחסן
- חנויות
- סגנון
- המשנה
- רשתות משנה
- מוצלח
- כזה
- תמיכה
- נתמך
- תומך
- סִנכְּרוּן
- לקחת
- נבחרת
- טכנולוגיה
- השמיים
- המקור
- שֶׁלָהֶם
- שְׁלוֹשָׁה
- זמן
- ל
- תרגום
- נסיעות
- סוגים
- תחת
- להבין
- יוניקס
- לא בשימוש
- מְעוּדכָּן
- us
- להשתמש
- במקרה להשתמש
- משתמשים
- ערכים
- וירג'יניה
- וירטואלי
- בהדרכה
- אינטרנט
- שירותי אינטרנט
- אשר
- לבן
- נייר לבן
- בתוך
- לְלֹא
- תיק עבודות
- עובד
- אתה
- זפירנט
- רוכסן