המסע של עוזר ה-AI הווירטואלי הגנרטיבי של PGA TOUR, מהרעיון ועד הפיתוח לאב-טיפוס | שירותי האינטרנט של אמזון

זהו פוסט אורח שנכתב יחד עם סקוט גוטרמן מ-PGA TOUR.

בינה מלאכותית גנרטיבית (בינה מלאכותית גנרטיבית) אפשרה אפשרויות חדשות לבניית מערכות חכמות. שיפורים אחרונים במודלים של שפה גדולה (LLM) המבוססים על AI Generative אפשרו את השימוש בהם במגוון יישומים סביב אחזור מידע. בהתחשב במקורות הנתונים, LLMs סיפקו כלים שיאפשרו לנו לבנות צ'טבוט של שאלות ותשובות בשבועות, במקום מה שאולי לקח שנים קודם לכן, וכנראה עם ביצועים גרועים יותר. גיבשנו פתרון Retrieval-Augmented-Generation (RAG) שיאפשר ל-PGA TOUR ליצור אב טיפוס לפלטפורמת מעורבות עתידית של מעריצים שיכולה להנגיש את הנתונים שלה למעריצים בצורה אינטראקטיבית בפורמט שיחה.

שימוש בנתונים מובנים כדי לענות על שאלות דורש דרך לחלץ ביעילות נתונים הרלוונטיים לשאילתה של משתמש. גיבשנו גישת טקסט ל-SQL שבה על ידי שאילתת השפה הטבעית של המשתמש מומרת להצהרת SQL באמצעות LLM. ה-SQL מנוהל על ידי אמזונה אתנה כדי להחזיר את הנתונים הרלוונטיים. נתונים אלה מסופקים שוב ל-LLM, אשר מתבקש לענות על שאילתת המשתמש בהינתן הנתונים.

שימוש בנתוני טקסט דורש אינדקס שניתן להשתמש בו כדי לחפש ולספק הקשר רלוונטי ל-LLM כדי לענות על שאילתת משתמש. כדי לאפשר אחזור מידע מהיר, אנו משתמשים אמזון קנדרה כאינדקס למסמכים אלה. כאשר משתמשים שואלים שאלות, העוזר הוירטואלי שלנו מחפש במהירות באינדקס אמזון קנדרה כדי למצוא מידע רלוונטי. אמזון קנדרה משתמשת בעיבוד שפה טבעית (NLP) כדי להבין שאילתות משתמשים ולמצוא את המסמכים הרלוונטיים ביותר. לאחר מכן, המידע הרלוונטי מסופק ל-LLM ליצירת תגובה סופית. הפתרון הסופי שלנו הוא שילוב של גישות טקסט ל-SQL וטקסט-RAG אלה.

בפוסט זה אנו מדגישים כיצד AWS Generative AI Innovation Center שיתף פעולה עם שירותים מקצועיים של AWS ו PGA סיור לפתח אב טיפוס עוזר וירטואלי באמצעות סלע אמזון שיוכל לאפשר למעריצים לחלץ מידע על כל אירוע, שחקן, גובה חור או פרטים על רמת זריקה בצורה אינטראקטיבית חלקה. Amazon Bedrock הוא שירות מנוהל במלואו המציע מבחר של דגמי יסוד (FM) בעלי ביצועים גבוהים מחברות בינה מלאכותית מובילות כמו AI21 Labs, Anthropic, Cohere, Meta, Stability AI ואמזון באמצעות API יחיד, יחד עם מערך רחב של היכולות שאתה צריך כדי לבנות יישומי בינה מלאכותית גנרטיבית עם אבטחה, פרטיות ובינה מלאכותית אחראית.

פיתוח: הכנת הנתונים

כמו בכל פרויקט מבוסס נתונים, הביצועים יהיו טובים רק כמו הנתונים. עיבדנו את הנתונים כדי לאפשר ל-LLM להיות מסוגל לבצע שאילתות ולאחזר נתונים רלוונטיים ביעילות.

עבור נתוני התחרות הטבלאיים, התמקדנו בתת-קבוצה של נתונים הרלוונטיים למספר הגדול ביותר של שאילתות משתמשים וסמנו את העמודות באופן אינטואיטיבי, כך שיהיה קל יותר ל-LLMs להבנה. יצרנו גם כמה עמודות עזר כדי לעזור ל-LLM להבין מושגים שהוא עלול להיתקל בהם אחרת. לדוגמה, אם שחקן גולף יורה זריקה אחת פחות מ-par (כגון עושה את זה בגומה ב-3 זריקות ב-par 4 או ב-4 זריקות ב-par 5), זה נקרא בדרך כלל צפורה. אם משתמש שואל, "כמה ציפורי עשה שחקן X בשנה שעברה?", עצם הניקוד והניקוד בטבלה לא מספיקים. כתוצאה מכך, הוספנו עמודות לציון מונחי גולף נפוצים, כגון בוג, ציפורי ונשר. בנוסף, קישרנו את נתוני התחרות עם אוסף וידאו נפרד, על ידי הצטרפות לעמודה עבור א video_id, מה שיאפשר לאפליקציה שלנו למשוך את הסרטון המשויך לצילום מסוים בנתוני התחרות. אפשרנו גם צירוף נתוני טקסט לנתונים הטבלאיים, למשל הוספת ביוגרפיות עבור כל שחקן כעמודת טקסט. האיורים הבאים מציגים את ההליך שלב אחר שלב של אופן עיבוד השאילתה עבור צינור הטקסט ל-SQL. המספרים מציינים את סדרת השלבים לענות על שאילתה.

באיור הבא אנו מדגימים את הצינור שלנו מקצה לקצה. אנו משתמשים AWS למבדה כפונקציית התזמור שלנו האחראית לאינטראקציה עם מקורות נתונים שונים, LLMs ותיקון שגיאות בהתבסס על שאילתת המשתמש. שלבים 1-8 דומים למה שמוצג באיור ההליך. ישנם שינויים קלים בנתונים הלא מובנים, עליהם נדון בהמשך.

נתוני טקסט מצריכים שלבי עיבוד ייחודיים המחלקים (או מחלקים) מסמכים ארוכים לחלקים הניתנים לעיכול על ידי ה-LLM, תוך שמירה על קוהרנטיות הנושא. התנסינו בכמה גישות והסתפקנו בתוכנית חלוקה ברמת העמוד שהתואמת היטב את הפורמט של מדריכי המדיה. השתמשנו באמזון קנדרה, שהוא שירות מנוהל שדואג לאינדקס מסמכים, ללא צורך במפרט הטמעות, תוך מתן API קל לשליפה. האיור הבא ממחיש את הארכיטקטורה הזו.

הצינור המאוחד והניתן להרחבה שפיתחנו מאפשר ל-PGA TOUR להתאים את ההיסטוריה המלאה של הנתונים שלהם, שחלקם חוזרים לשנות ה-1800. זה מאפשר ליישומים עתידיים שיכולים לקחת חיים על ההקשר של הקורס ליצור חוויות עשירות בזמן אמת.

פיתוח: הערכת LLMs ופיתוח יישומי AI גנרטיביים

בדקנו והערכנו בקפידה את ה-LLM של הצד הראשון והשלישי הזמינים באמזון Bedrock כדי לבחור את הדגם המתאים ביותר לצינור ולמקרה השימוש שלנו. בחרנו את קלוד v2 וקלוד אינסטנט של Anthropic ב- Amazon Bedrock. עבור צינור הנתונים הסופי והלא מובנה שלנו, אנו רואים ש-Anthropic's Claude 2 on Amazon Bedrock יצר תוצאות כוללות טובות יותר עבור צינור הנתונים הסופי שלנו.

הנחיה היא היבט קריטי בקבלת LLMs להפיק טקסט כרצונך. בילינו זמן רב בניסויים עם הנחיות שונות עבור כל אחת מהמשימות. לדוגמה, עבור צינור הטקסט-ל-SQL היו לנו מספר הנחיות לחזרה, עם ספציפיות גוברת וסכימות טבלה מפושטות בהדרגה. אם שאילתת SQL הייתה לא חוקית והביאה לשגיאה מאתנה, פיתחנו שורת תיקון שגיאה שתעביר את השגיאה וה-SQL השגוי ל-LLM ותבקש ממנו לתקן אותה. ההנחיה האחרונה בצינור הטקסט ל-SQL מבקשת מה-LLM לקחת את פלט Athena, שניתן לספק בפורמט Markdown או CSV, ולספק תשובה למשתמש. עבור הטקסט הלא מובנה, פיתחנו הנחיות כלליות לשימוש בהקשר שאוחזר מאמזון קנדרה כדי לענות על שאלת המשתמש. ההנחיה כללה הוראות להשתמש רק במידע שאוחזר מאמזון קנדרה ולא להסתמך על נתונים מההכשרה המוקדמת של LLM.

חביון הוא לעתים קרובות דאגה ביישומי AI גנרטיביים, וזה גם המקרה כאן. זה עניין במיוחד עבור טקסט ל-SQL, שדורש הפקת LLM ראשונית לדור SQL, ואחריה הפקת LLM ליצירת תגובה. אם אנחנו משתמשים ב-LLM גדול, כמו Claude V2 של Anthropic, זה למעשה מכפיל את זמן ההשהיה של הפעלת LLM אחת בלבד. ניסינו עם מספר תצורות של LLMs גדולות וקטנות יותר כדי להעריך את זמן הריצה כמו גם את נכונותם. הטבלה הבאה מציגה דוגמה לשאלה אחת שמוצגת להלן המדגימה את זמן ההשהיה, כמו גם את התגובות שנוצרו עם קלוד V2 של Anthropic וקלוד אינסטנט ב- Amazon Bedrock.

אב טיפוס

באפליקציה שלנו, השתמשנו בפונקציית Lambda כדי לתזמן את הבחירות המהירות והתקשורת בין Amazon Athena, Amazon Kendra ו- Amazon Bedrock. העוזרת הוירטואלית כוללת ממשק שיחה, שנבנה עם React ומערכת העיצוב של Cloudscape, המשתמשת בטקסט ובסרטונים כדי לתקשר עם משתמשים.

העוזר הווירטואלי שלנו יכול להעלות מגוון רחב של שאלות על אירועי PGA TOUR, שחקנים, סטטיסטיקות, היסטוריה ועוד. לדוגמה, כאשר נשאל על הנסיעות הארוכות ביותר של טוני פינאו ב- Shriners Children's Open (אחד מאירועי החתימה של PGA TOUR), העוזר יכול לבצע שאילתות בנתונים מובנים כדי למשוך את נתוני רמת הזריקה שלו. הוא יכול לחלץ את המרחק המדויק ב-yards, המספר העגול והחור שבמהלכו השיג את השיא הזה באמצעות צינור הטקסט ל-SQL. לאחר מכן, העוזר מפרש את הנתונים המספריים הללו כדי ליצור תגובה סופית. הטבלה הבאה מכילה כמה תגובות לדוגמה.

שאלה	תְגוּבָה
מה היה הדרייב הארוך ביותר שנפגע על ידי טוני פינאו באליפות שיינרס לילדים הפתוחה?	הדרייב הארוך ביותר שנפגע על ידי טוני פינאו ב- Shriners Childrens Open היה 382 יארד, אותם פגע במהלך הסיבוב הראשון בגומה מספר 4 ב-2018.
מה היה הכונן הארוך ביותר שנפגע על ידי קולין מוריקווה באליפות שרינר לילדים הפתוחה?	הנסיעה הארוכה ביותר של קולין מוריקווה ב- Shriners Childrens Open הייתה 334 יארד. זה התרחש בשנת 2019 במהלך הסיבוב הראשון על חור מספר 15.
מישהו עשה אס ב-2022 Shriners Children's Open?	כן, אדם הדווין עשה hole-in-one בגומה 14 במהלך סיבוב 3 של Shriners Children's Open 2022

סרטון ההסבר הבא מדגיש כמה דוגמאות לאינטראקציה עם העוזר הוירטואלי.

בבדיקה ראשונית, העוזר הווירטואלי PGA TOUR שלנו הראה הבטחה גדולה בשיפור חוויות האוהדים. על ידי מיזוג טכנולוגיות AI כמו טקסט ל-SQL, חיפוש סמנטי ויצירת שפה טבעית, העוזר מספק תגובות אינפורמטיביות ומרתקות. המעריצים מוסמכים לגשת ללא מאמץ לנתונים ולנרטיבים שבעבר היה קשה למצוא.

מה מחזיק העתיד?

ככל שנמשיך בפיתוח, נרחיב את מגוון השאלות שהעוזר הוירטואלי שלנו יכול להתמודד. זה ידרוש בדיקות מקיפות, באמצעות שיתוף פעולה בין AWS ל-PGA TOUR. עם הזמן, אנו שואפים לפתח את העוזר לחוויה מותאמת אישית, רב-ערוצית, נגישה בכל ממשקי אינטרנט, ניידים וממשקי קול.

הקמתו של עוזר AI מחולל מבוסס ענן מאפשרת ל-PGA TOUR להציג את מקור הנתונים העצום שלו לבעלי עניין פנימיים וחיצוניים מרובים. ככל שנוף הבינה המלאכותית הספורטיבית מתפתחת, היא מאפשרת יצירת תוכן חדש. לדוגמה, אתה יכול להשתמש בבינה מלאכותית ולמידת מכונה (ML) כדי להציג תוכן שאוהדים רוצים לראות בזמן שהם צופים באירוע, או כשצוותי הפקה מחפשים תמונות מטורנירים קודמים התואמים לאירוע הנוכחי. לדוגמה, אם מקס הומה מתכונן לקחת את הזריקה האחרונה שלו באליפות PGA TOUR ממקום 20 רגל מהסיכה, PGA TOUR יכול להשתמש ב-AI ו-ML כדי לזהות ולהציג קטעים, עם פרשנות שנוצרה על ידי AI, שלו ניסיון זריקה דומה חמש פעמים בעבר. סוג זה של גישה ונתונים מאפשר לצוות הפקה להוסיף ערך מיד לשידור או לאפשר למעריץ להתאים אישית את סוג הנתונים שהם רוצים לראות.

"ה-PGA TOUR הוא המוביל בתעשייה בשימוש בטכנולוגיה מתקדמת כדי לשפר את חווית המאוורר. בינה מלאכותית נמצאת בחזית ערימת הטכנולוגיה שלנו, שם היא מאפשרת לנו ליצור סביבה מרתקת ואינטראקטיבית יותר למעריצים. זוהי תחילתו של מסע הבינה המלאכותית הגנרטיבית שלנו בשיתוף עם מרכז החדשנות של AWS Generative AI לחוויית לקוח מקצה לקצה. אנו פועלים למנף את Amazon Bedrock ואת נתוני הנכונות שלנו כדי ליצור חוויה אינטראקטיבית עבור מעריצי PGA TOUR כדי למצוא מידע מעניין על אירוע, שחקן, סטטיסטיקות או תוכן אחר בצורה אינטראקטיבית".
– סקוט גוטרמן, סמנכ"ל שידור ודיגיטלי ב-PGA TOUR.

סיכום

הפרויקט בו דנו בפוסט זה מדגים כיצד ניתן למזג מקורות נתונים מובנים ובלתי מובנים באמצעות AI ליצירת עוזרים וירטואליים מהדור הבא. עבור ארגוני ספורט, טכנולוגיה זו מאפשרת מעורבות אוהדים סוחפת יותר ופותחת יעילות פנימית. מודיעין הנתונים שאנו מעלים מסייע לבעלי עניין ב-PGA TOUR כמו שחקנים, מאמנים, פקידים, שותפים ומדיה לקבל החלטות מושכלות יותר מהר. מעבר לספורט, ניתן לשכפל את המתודולוגיה שלנו בכל ענף. אותם עקרונות חלים על עוזרי בנייה המעורבים לקוחות, עובדים, סטודנטים, מטופלים ומשתמשי קצה אחרים. עם עיצוב ובדיקות מתחשבים, כמעט כל ארגון יכול להפיק תועלת ממערכת בינה מלאכותית המקשרת את מסדי הנתונים המובנים, המסמכים, התמונות, הסרטונים ותוכן אחר שלו.

אם אתה מעוניין ליישם פונקציות דומות, שקול להשתמש סוכנים עבור Amazon Bedrock ו בסיסי ידע עבור Amazon Bedrock כפתרון חלופי, בניהול מלא של AWS. גישה זו יכולה להמשיך ולחקור מתן אוטומציה חכמה ויכולות חיפוש נתונים באמצעות סוכנים הניתנים להתאמה אישית. סוכנים אלה עשויים להפוך את האינטראקציות של יישומי המשתמש להיות טבעיות, יעילות ואפקטיביות יותר.

---

על המחברים

סקוט גוטרמן הוא סמנכ"ל התפעול הדיגיטלי עבור PGA TOUR. הוא אחראי על הפעילות הדיגיטלית הכוללת של ה-TOUR, פיתוח המוצר ומניע את אסטרטגיית ה-GenAI שלהם.

אחסן עלי הוא מדען יישומי במרכז החדשנות של Amazon Generative AI, שם הוא עובד עם לקוחות מתחומים שונים כדי לפתור את הבעיות הדחופות והיקרות שלהם באמצעות AI Generative.

טהין סייד הוא מדען יישומי במרכז החדשנות של Amazon Generative AI, שם הוא עובד עם לקוחות כדי לסייע במימוש תוצאות עסקיות עם פתרונות בינה מלאכותית. מחוץ לעבודה, הוא נהנה לנסות אוכל חדש, לטייל וללמד טאקוונדו.

גרייס לאנג הוא מהנדס Data & ML עמית עם שירותים מקצועיים של AWS. מונעת על ידי תשוקה להתגבר על אתגרים קשים, גרייס עוזרת ללקוחות להשיג את מטרותיהם על ידי פיתוח פתרונות מבוססי למידת מכונה.

ג'אה לי הוא מנהל מעורבות בכיר בתעשייה M&E של ProServe. היא מובילה ומספקת התקשרויות מורכבות, מפגינה מערכי מיומנויות חזקים לפתרון בעיות, מנהלת את ציפיות בעלי העניין ואוצרת מצגות ברמת המנהלים. היא נהנית לעבוד על פרויקטים המתמקדים בספורט, בינה מלאכותית יצירתית וחווית לקוח.

קארן צ'הר הוא יועץ אבטחה עם צוות המסירה המשותפת ב-AWS. הוא חובב טכנולוגיה שנהנה לעבוד עם לקוחות כדי לפתור את אתגרי האבטחה שלהם ולשפר את עמדת האבטחה שלהם בענן.

מייק אמג'די הוא מהנדס נתונים ו-ML עם AWS ProServe המתמקד במתן אפשרות ללקוחות למקסם את הערך מהנתונים. הוא מתמחה בתכנון, בנייה ואופטימיזציה של צינורות נתונים בהתאם לעקרונות מתוכננים היטב. מייק נלהב להשתמש בטכנולוגיה כדי לפתור בעיות והוא מחויב לספק את התוצאות הטובות ביותר עבור הלקוחות שלנו.

ורושאלי סוונט הוא מהנדס Front End עם Proserve. היא מוכשרת מאוד ביצירת אתרים רספונסיביים. היא אוהבת לעבוד עם לקוחות, להבין את הדרישות שלהם ולספק להם פתרונות UI/UX ניתנים להרחבה וקלים לאימוץ.

נלם פאטל הוא מנהל פתרונות לקוח ב-AWS, המוביל יוזמות מפתח של AI Generative ומודרניזציה בענן. Nelam עובדת עם מנהלים מרכזיים ובעלי טכנולוגיה כדי להתמודד עם אתגרי הטרנספורמציה בענן שלהם ומסייעת ללקוחות למקסם את היתרונות של אימוץ ענן. יש לה תואר שני במנהל עסקים מבית הספר לעסקים וורוויק, בריטניה ותואר ראשון בהנדסת מחשבים, הודו.

ד"ר מוראלי בקתה הוא Global Golf Solution Architect ב-AWS, עומד בראש יוזמות מרכזיות הכוללות AI Generative, ניתוח נתונים וטכנולוגיות ענן מתקדמות. Murali עובדת עם מנהלי מפתח ובעלי טכנולוגיה כדי להבין את האתגרים העסקיים של הלקוחות ומעצבת פתרונות להתמודדות עם אתגרים אלו. יש לו תואר שני במנהל עסקים במימון מ- UConn ודוקטורט מאוניברסיטת איווה סטייט.

מהדי נור הוא מנהל מדע יישומי במרכז החדשנות Generative Ai. מתוך תשוקה לגשר בין טכנולוגיה וחדשנות, הוא מסייע ללקוחות AWS לנצל את הפוטנציאל של AI Generative, להפוך אתגרים פוטנציאליים להזדמנויות לניסויים מהירים וחדשנות על ידי התמקדות בשימושים מדורגים, מדידים ומשפיעים של טכנולוגיות AI מתקדמות, וייעול הדרך לייצור.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/the-journey-of-pga-tours-generative-ai-virtual-assistant-from-concept-to-development-to-prototype/