הנדסה מהירה היא משימה שעדיף להשאיר לדגמי AI

מודלים של שפות גדולות הולידו את האמנות האפלה של הנדסה מהירה - תהליך לחיבור הוראות מערכת המביאות לתגובות צ'טבוט טובות יותר.

כפי שצוין במחקר שנערך לאחרונה מאמר, "The Unreasonable Effectiveness of Excentric Automatic Prompts" מאת Rick Battle ו-Teja Gollapudi מ-VMware של Broadcom, לווריאציות טריוויאליות לכאורה בניסוח ההנחיות יש השפעה משמעותית על ביצועי הדגם.

היעדר מתודולוגיה קוהרנטית לשיפור ביצועי המודל באמצעות אופטימיזציה מיידית הובילה את מתרגלי למידת מכונה לשלב מה שנקרא "חשיבה חיובית" בהנחיות המערכת.

השמיים הודעת מערכת מורה למודל כיצד להתנהג ומקדים את השאילתה של המשתמש. לכן, כאשר מבקשים ממודל בינה מלאכותית לפתור בעיה מתמטית, הנחיה מערכתית כמו "אתה פרופסור למתמטיקה" כנראה - אם כי לא תמיד - מניבה תוצאות טובות יותר מאשר השמטת ההצהרה הזו.

ריק באטל, מהנדס למידת מכונה ב-VMware, סיפר הקופה בראיון טלפוני שהוא מייעץ במיוחד נגד זה. "הנקודה העליונה של המאמר היא שניסוי וטעייה היא הדרך השגויה לעשות דברים", הסביר.

נתיב החשיבה החיובית - שבו אתה פשוט מכניס קטעים להודעת המערכת כמו "זה יהיה כיף!" - יכול לשפר את ביצועי המודל, הוא ציין. "אבל לבחון אותם מדעית זה בלתי נסבל מבחינה חישובית כי אתה משנה דבר אחד, ואתה צריך ללכת להפעיל מחדש את כל מערך הבדיקות שלך."

גישה טובה יותר, הציע Battle, היא אופטימיזציה אוטומטית של הנחיות - גיוס LLM כדי לחדד הנחיות לשיפור הביצועים במבחני השוואת ביצועים.

מחקר קודם הראתה שזה עובד עם לימודי LLM מסחריים. החיסרון של לעשות זאת הוא שזה יכול להיות די יקר. ביצוע הניסוי הזה הכולל 12,000 בקשות לדגם באמצעות GPT-3.5/4, ג'מיני או קלוד היה עולה כמה אלפי דולרים, לפי החוקרים.

"מטרת המחקר הייתה לגלות אם מודלים קטנים יותר, קוד פתוח יכולים לשמש גם כמייעלים", הסביר באטל, "והתברר שהתשובה היא כן."

Battle ו-Gollapudi (כבר לא עם ברודקום) בדקו 60 שילובים של קטעי הודעות מערכת, עם ובלי שרשרת מחשבה על פני שלושה דגמי קוד פתוח - Mistral-7B, Llama2-13B ו-Llama2-70B - עם פרמטרים שנעים בין שבעה ל-70 מיליארד במערך הנתונים למתמטיקה של בית ספר כיתה GSM8K.

"אם אתה מפעיל מודל קוד פתוח, אפילו עד ל-7B שעבורו השתמשנו ב-Mistral", אמר Battle, "אם יש לך רק 100 דגימות בדיקה ו-100 דגימות אופטימיזציה, תוכל לקבל ביצועים טובים יותר באמצעות כלי האופטימיזציה האוטומטיים הכלולים מהקופסה DSPy, שזו הספרייה שבה אנחנו משתמשים כדי לעשות את זה."

מעבר להיותן אפקטיבי יותר, אופטימיזציות מיידיות הנגזרות מ-LLM מציגות אסטרטגיות שכנראה לא היו מתעוררות בדעתם של מכווני הנחיות אנושיים.

"למרבה ההפתעה, נראה שניתן לשפר את הבקיאות של [Llama2-70B] בהיגיון מתמטי על ידי ביטוי של זיקה ל מסע בין כוכבים", מציינים המחברים במאמרם.

הודעת המערכת המלאה נכתבת כך:

"אין לי הסבר טוב למה ההנחיות האוטומטיות מוזרות כמו שהן", אמר לנו באטל. "ובוודאי שלעולם לא הייתי מעלה משהו כזה ביד." ®

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://go.theregister.com/feed/www.theregister.com/2024/02/22/prompt_engineering_ai_models/