אחד מהיישומים הנפוצים ביותר של AI גנרטיבי ומודלים של שפה גדולה (LLMs) הוא מענה על שאלות המבוססות על קורפוס ידע חיצוני ספציפי. Generation-Augmented Retrieval (RAG) היא טכניקה פופולרית לבניית מערכות מענה לשאלות המשתמשות בבסיס ידע חיצוני. למידע נוסף, עיין ב בנו בוט רב עוצמה לתשובות לשאלות עם Amazon SageMaker, Amazon OpenSearch Service, Streamlit ו-LangChain.
מערכות RAG מסורתיות מתקשות לרוב לספק תשובות מספקות כאשר משתמשים שואלים שאלות מעורפלות או מעורפלות מבלי לספק הקשר מספק. זה מוביל לתגובות לא מועילות כמו "אני לא יודע" או תשובות לא נכונות ומומצאות שסופק על ידי LLM. בפוסט זה, אנו מדגימים פתרון לשיפור איכות התשובות במקרים שימוש כאלה על פני מערכות RAG מסורתיות על ידי הכנסת רכיב הבהרה אינטראקטיבי באמצעות LangChain.
הרעיון המרכזי הוא לאפשר למערכת RAG לנהל דיאלוג שיח עם המשתמש כאשר השאלה הראשונית אינה ברורה. על ידי שאילת שאלות הבהרה, הנחיה מהמשתמש לפרטים נוספים ושילוב המידע ההקשרי החדש, מערכת RAG יכולה לאסוף את ההקשר הדרוש כדי לספק תשובה מדויקת ומועילה - אפילו מתוך שאילתת משתמש ראשונית מעורפלת.
סקירת פתרונות
כדי להדגים את הפתרון שלנו, הקמנו א מדד אמזון קנדרה (מורכב מהתיעוד המקוון של AWS עבור אמזון קנדרה, אמזון לקס, ו אמזון SageMaker), סוכן LangChain עם an סלע אמזון LLM, ופשוט מוארת ממשק משתמש.
תנאים מוקדמים
כדי להפעיל הדגמה זו בחשבון AWS שלך, השלם את התנאים המוקדמים הבאים:
- שיבט את מאגר GitHub ובצע את השלבים המפורטים ב-README.
- פרוס אינדקס אמזון קנדרה בחשבון AWS שלך. אתה יכול להשתמש בדברים הבאים AWS CloudFormation תבנית כדי ליצור אינדקס חדש או להשתמש באינדקס שכבר פועל. פריסת אינדקס חדש עשויה להוסיף חיובים נוספים לחשבון שלך, לכן אנו ממליצים למחוק אותו אם אינך זקוק לו יותר. שימו לב שהנתונים בתוך האינדקס יישלחו למודל הבסיס של Amazon Bedrock (FM).
- סוכן LangChain מסתמך על FM זמין באמזון Bedrock, אך ניתן להתאים זאת לכל LLM אחר שבו LangChain תומך.
- כדי להתנסות עם ממשק הקצה לדוגמה המשותף עם הקוד, אתה יכול להשתמש סטודיו SageMaker של אמזון כדי להפעיל פריסה מקומית של אפליקציית Streamlit. שימו לב שהפעלת הדגמה זו תגרור כמה עלויות נוספות.
מיישמים את הפתרון
סוכני RAG מסורתיים מתוכננים לעתים קרובות כדלקמן. לסוכן יש גישה לכלי המשמש לאחזור מסמכים הרלוונטיים לשאילתת משתמש. לאחר מכן, המסמכים שאוחזרו מוכנסים להנחיית ה-LLM, כך שהסוכן יכול לספק תשובה על סמך קטעי המסמך שאוחזרו.
בפוסט זה, אנו מיישמים סוכן שיש לו גישה אליו KendraRetrievalTool
ושואב מסמכים רלוונטיים מאינדקס אמזון קנדרה ומספק את התשובה בהתחשב בהקשר שאוחזר:
עיין ב GitHub ריפו לקוד היישום המלא. למידע נוסף על מקרי שימוש מסורתיים ב-RAG, עיין ב מענה לשאלות באמצעות Retrieval Augmented Generation עם דגמי יסוד באמזון SageMaker JumpStart.
שקול את הדוגמה הבאה. משתמש שואל "כמה GPUs יש למופע ה-EC2 שלי?" כפי שמוצג בצילום המסך הבא, הסוכן מחפש את התשובה באמצעות KendraRetrievalTool
. עם זאת, הסוכן מבין שהוא לא יודע איזה ענן מחשוב אלסטי של אמזון (Amazon EC2) סוג המופע שהמשתמש מפנה אליו ולכן אינו מספק תשובה מועילה למשתמש, מה שמוביל לחוויית לקוח גרועה.
כדי לטפל בבעיה זו, אנו מגדירים כלי מותאם אישית נוסף בשם AskHumanTool
ולספק אותו לסוכן. הכלי מורה ל-LLM לקרוא את שאלת המשתמש ולשאול שאלת המשך למשתמש אם KendraRetrievalTool
לא מצליח להחזיר תשובה טובה. מכאן משתמע כי לסוכן יעמדו כעת שני כלים לרשותו:
זה מאפשר לסוכן לחדד את השאלה או לספק הקשר נוסף הדרוש כדי להגיב להנחיה. כדי להדריך את הסוכן להשתמש AskHumanTool
למטרה זו, אנו מספקים את תיאור הכלי הבא ל-LLM:
השתמש בכלי זה אם אינך מוצא תשובה באמצעות הכלי KendraRetrieval. בקש מהאדם להבהיר את השאלה או לספק את המידע החסר. הקלט צריך להיות שאלה עבור האדם.
כפי שמודגם בצילום המסך הבא, באמצעות AskHumanTool
, הסוכן מזהה כעת שאלות משתמש מעורפלות ומחזיר שאלת המשך למשתמש המבקש לציין באיזה סוג מופע EC2 נעשה שימוש.
לאחר שהמשתמש ציין את סוג המופע, הסוכן משלב את התשובה הנוספת בהקשר של השאלה המקורית, לפני שהוא מסיק את התשובה הנכונה.
שימו לב שהסוכן יכול כעת להחליט אם להשתמש KendraRetrievalTool
כדי לאחזר את המסמכים הרלוונטיים או לשאול שאלת הבהרה באמצעות AskHumanTool
. ההחלטה של הסוכן מבוססת על השאלה אם הוא מוצא את קטעי המסמך שהוכנסו להנחיה מספיקים כדי לספק את התשובה הסופית. גמישות זו מאפשרת למערכת RAG לתמוך בשאילתות שונות שמשתמש עשוי להגיש, כולל שאלות מנוסחות היטב ומעורפלות.
בדוגמה שלנו, זרימת העבודה המלאה של הסוכן היא כדלקמן:
- המשתמש מגיש בקשה לאפליקציית RAG ושואל "כמה GPUs יש למופע ה-EC2 שלי?"
- הסוכן משתמש ב-LLM כדי להחליט איזו פעולה לנקוט: מצא מידע רלוונטי כדי לענות לבקשת המשתמש על ידי התקשרות
KendraRetrievalTool
. - הסוכן שואב מידע מאינדקס אמזון קנדרה באמצעות הכלי. הקטעים מהמסמכים שאוחזרו מוכנסים להנחיית הסוכן.
- ה-LLM (של הסוכן) נובע מכך שהמסמכים שאוחזרו מאמזון קנדרה אינם מועילים או אינם מכילים מספיק הקשר כדי לספק מענה לבקשת המשתמש.
- הסוכן משתמש
AskHumanTool
לנסח שאלת המשך: "מהו סוג המופע הספציפי של EC2 שאתה משתמש בו? הכרת סוג המופע תעזור לענות על כמה GPUs יש לו." המשתמש מספק את התשובה "ml.g5.12xlarge", והסוכן מתקשרKendraRetrievalTool
שוב, אבל הפעם הוספת סוג המופע EC2 לשאילתת החיפוש. - לאחר ריצה של שלבים 2-4 שוב, הסוכן שואב תשובה שימושית ושולח אותה בחזרה למשתמש.
התרשים הבא ממחיש זרימת עבודה זו.
הדוגמה המתוארת בפוסט זה ממחישה כיצד הוספת המנהג AskHumanTool
מאפשר לסוכן לבקש פרטים מבהירים בעת הצורך. זה יכול לשפר את האמינות והדיוק של התגובות, ולהוביל לחוויית לקוח טובה יותר במספר הולך וגדל של יישומי RAG בתחומים שונים.
לנקות את
כדי למנוע עלויות מיותרות, מחק את אינדקס אמזון קנדרה אם אינך משתמש בו יותר וסגור את מופע SageMaker Studio אם השתמשת בו להפעלת ההדגמה.
סיכום
בפוסט זה הראינו כיצד לאפשר חווית לקוח טובה יותר למשתמשי מערכת RAG על ידי הוספת כלי מותאם אישית המאפשר למערכת לבקש ממשתמש פיסת מידע חסר. גישת שיחה אינטראקטיבית זו מייצגת כיוון מבטיח לשיפור ארכיטקטורות RAG מסורתיות. היכולת לפתור עמימות באמצעות דיאלוג יכולה להוביל למתן תשובות מספקות יותר מבסיס ידע.
שימו לב שגישה זו אינה מוגבלת למקרי שימוש ב- RAG; אתה יכול להשתמש בו במקרים אחרים של שימוש בבינה מלאכותית, התלויים בסוכן בליבתו, כאשר מנהג AskHumanTool
יכול להוסיף.
למידע נוסף על שימוש באמזון קנדרה עם בינה מלאכותית גנרטיבית, עיין ב בנה במהירות יישומי בינה מלאכותית בינה מלאכותית ברמת דיוק גבוהה על נתונים ארגוניים באמצעות Amazon Kendra, LangChain ומודלים של שפות גדולות.
על המחברים
אנטוניה ויבלר היא מדענית נתונים במרכז החדשנות של AWS Generative AI, שם היא נהנית לבנות הוכחות קונספט ללקוחות. התשוקה שלה היא לחקור כיצד AI גנרטיבי יכול לפתור בעיות בעולם האמיתי וליצור ערך ללקוחות. היא אמנם לא מקודדת, אבל היא נהנית לרוץ ולהתחרות בטריאתלון.
ניקיטה קוזודוי הוא מדען יישומי במרכז החדשנות של AWS Generative AI, שם הוא מפתח פתרונות ML לפתרון בעיות של לקוחות בתעשיות. בתפקידו, הוא מתמקד בקידום בינה מלאכותית גנרטיבית כדי להתמודד עם אתגרים בעולם האמיתי. בזמנו הפנוי הוא אוהב לשחק כדורעף חופים ולקרוא.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/improve-llm-responses-in-rag-use-cases-by-interacting-with-the-user/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 100
- 120
- 16
- 17
- 7
- a
- יכולת
- יכול
- אודות
- גישה
- חֶשְׁבּוֹן
- דיוק
- מדויק
- לרוחב
- פעולה
- להוסיף
- הוסיף
- מוסיף
- תוספת
- נוסף
- כתובת
- מתקדם
- שוב
- סוֹכֵן
- סוכנים
- AI
- מקרי שימוש
- מאפשר
- כְּבָר
- אמזון בעברית
- אמזון
- אמזון קנדרה
- שירות חיפוש פתוח של אמזון
- אמזון SageMaker
- אמזון שירותי אינטרנט
- an
- ו
- לענות
- תשובות
- כל
- יותר
- האפליקציה
- יישומים
- יישומית
- גישה
- ארכיטקטורה
- ARE
- AS
- לשאול
- לשאול
- At
- מוגבר
- זמין
- לְהִמָנַע
- AWS
- בחזרה
- בסיס
- מבוסס
- BE
- חוף
- לפני
- להיות
- מוטב
- הצעת חוק
- בוט
- שניהם
- לִבנוֹת
- בִּניָן
- אבל
- by
- נקרא
- קוראים
- שיחות
- CAN
- מקרים
- מרכז
- האתגרים
- חיובים
- קוד
- סִמוּל
- Common
- מתחרה
- להשלים
- רְכִיב
- מורכב
- לחשב
- מושג
- להכיל
- הקשר
- קשר
- שיחה
- ליבה
- לתקן
- עלויות
- לִיצוֹר
- צור ערך
- מנהג
- לקוח
- חווית לקוח
- לקוחות
- נתונים
- מדען נתונים
- להחליט
- החלטה
- לְהַגדִיר
- אספקה
- הדגמה
- להפגין
- פריסה
- פריסה
- מְתוּאָר
- תיאור
- מעוצב
- פרטים
- מפתחת
- דיאלוג
- אחר
- כיוון
- סילוק
- מסמך
- תיעוד
- מסמכים
- עושה
- לא
- תחומים
- לא
- מטה
- או
- לאפשר
- מאפשר
- סוף
- לעסוק
- מספיק
- מִפְעָל
- דוגמה
- ניסיון
- לְנַסוֹת
- מוסבר
- היכרות
- חיצוני
- סופי
- ממצאים
- ראשון
- גמישות
- מתמקד
- לעקוב
- הבא
- כדלקמן
- בעד
- קרן
- החל מ-
- חזית
- חזיתי
- מלא
- ללקט
- ליצור
- דור
- גנרטטיבית
- AI Generative
- נתן
- טוב
- GPUs
- גדל
- מדריך
- יש
- he
- לעזור
- מועיל
- לה
- שֶׁלוֹ
- איך
- איך
- אולם
- HTML
- http
- HTTPS
- בן אנוש
- רעיון
- זיהוי
- if
- מדגים
- ליישם
- הפעלה
- לשפר
- משופר
- שיפור
- in
- באחר
- כולל
- שילוב
- מדד
- תעשיות
- מידע
- בתחילה
- חדשנות
- קלט
- למשל
- אינטראקציה
- אינטראקטיבי
- מִמְשָׁק
- אל תוך
- החדרה
- IT
- שֶׁלָה
- jpg
- מפתח
- לדעת
- יודע
- ידע
- שפה
- גָדוֹל
- עוֹפֶרֶת
- מוביל
- מוביל
- לִלמוֹד
- כמו
- מוגבל
- LLM
- מקומי
- עוד
- הסתכלות
- אוהב
- עושה
- רב
- מאי..
- יכול
- חסר
- ML
- מודל
- מודלים
- יותר
- רוב
- my
- הכרחי
- צורך
- נחוץ
- חדש
- לא
- עַכשָׁיו
- מספר
- of
- לעתים קרובות
- on
- באינטרנט
- or
- מְקוֹרִי
- אחר
- שלנו
- יותר
- תשוקה
- לְחַבֵּר
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- משחק
- עני
- פופולרי
- הודעה
- חזק
- תנאים מוקדמים
- בעיה
- בעיות
- מבטיח
- הוכחות
- לספק
- ובלבד
- מספק
- מתן
- איכות
- שאילתות
- שאלה
- שאלות
- חומר עיוני
- קריאה
- עולם אמיתי
- להמליץ
- להתייחס
- התייחסות
- לחדד
- רגיל
- רלוונטי
- אמינות
- מייצג
- לבקש
- לפתור
- להגיב
- תגובה
- תגובות
- לַחֲזוֹר
- חוזר
- תפקיד
- הפעלה
- ריצה
- בעל חכמים
- מַדְעָן
- חיפוש
- נבחר
- שולח
- נשלח
- שרות
- שירותים
- סט
- משותף
- היא
- צריך
- הראה
- הראה
- כבה
- So
- פִּתָרוֹן
- פתרונות
- לפתור
- כמה
- ספציפי
- מפורט
- צעדים
- פשוט
- מַאֲבָק
- סטודיו
- להגיש
- כזה
- מספיק
- תמיכה
- תומך
- מערכת
- מערכות
- לְהִתְמוֹדֵד
- לקחת
- טכניקה
- זֶה
- השמיים
- אז
- לכן
- זֶה
- דרך
- זמן
- ל
- כלי
- כלים
- מסורתי
- שתיים
- סוג
- מְיוּתָר
- להשתמש
- מְשׁוּמָשׁ
- משתמש
- ממשק משתמש
- משתמשים
- שימושים
- באמצעות
- ערך
- we
- אינטרנט
- שירותי אינטרנט
- מה
- מתי
- אם
- אשר
- בזמן
- יצטרך
- עם
- בתוך
- לְלֹא
- זרימת עבודה
- היה
- יאמל
- אתה
- זפירנט