Large language models have given rise to the dark art of prompt engineering – a process for composing system instructions that elicit better chatbot responses.
As noted in a recent research کاغذ, “The Unreasonable Effectiveness of Eccentric Automatic Prompts” by Rick Battle and Teja Gollapudi from Broadcom’s VMware, seemingly trivial variations in the wording of prompts have a significant effect on model performance.
The absence of a coherent methodology to improve model performance via prompt optimization has led machine learning practitioners to incorporate so-called “positive thinking” into system prompts.
۔ سسٹم پرامپٹ instructs the model on how to behave and precedes the user’s query. Thus, when asking an AI model to solve a math problem, a system prompt like “You’re a professor of mathematics” probably – though not always – produces better results than omitting that statement.
Rick Battle, staff machine learning engineer at VMware, told رجسٹر in a phone interview that he’s specifically advising against that. “The overarching point of the paper is that trial and error is the wrong way to do things,” he explained.
The positive thinking path – where you just insert snippets into the system message like “This will be fun!” – can enhance model performance, he noted. “But to test them scientifically is computationally intractable because you change one thing, and you’ve got to go rerun your entire test set.”
A better approach, Battle suggested, is automatic prompt optimization – enlisting an LLM to refine prompts for improved performance on benchmark tests.
پیشگی تحقیق has shown that this works with commercial LLMs. The downside of doing so is that it can be rather expensive. Conducting this experiment involving 12,000 requests per model using GPT-3.5/4, Gemini, or Claude would have cost several thousand dollars, according to the researchers.
“The point of the research was to discover if smaller, open source models can also be used as optimizers,” explained Battle, “And the answer turned out to be yes.”
Battle and Gollapudi (no longer with Broadcom) tested 60 combinations of system message snippets, with and without Chain of Thought prompting over three open source models – Mistral-7B, Llama2-13B, and Llama2-70B – with parameters ranging from seven to 70 billion on the GSM8K grade school math dataset.
“If you’re running an open source model, even all the way down to a 7B which we were using Mistral for,” said Battle, “if you have as few as 100 test samples and 100 optimization samples, you can get better performance using the automatic optimizers which are included out of the box in DSPy, which is the library that we use to do it.”
Beyond being more effective, LLM-derived prompt optimizations exhibit strategies that probably wouldn’t have occurred to human prompt-tuners.
“Surprisingly, it appears that [Llama2-70B’s] proficiency in mathematical reasoning can be enhanced by the expression of an affinity for سٹار ٹریک,” the authors observe in their paper.
The full system prompt reads as follows:
سسٹم پیغام:
«Command, we need you to plot a course through this turbulence and locate the source of the anomaly. Use all available data and your expertise to guide us through this challenging situation.»
Answer Prefix:
Captain’s Log, Stardate [insert date here]: We have successfully plotted a course through the turbulence and are now approaching the source of the anomaly.
“I have no good explanation as to why the automatic prompts are as weird as they are,” Battle told us. “And I certainly would never have come up with anything like that by hand.” ®
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://go.theregister.com/feed/www.theregister.com/2024/02/22/prompt_engineering_ai_models/
- : ہے
- : ہے
- : نہیں
- :کہاں
- $UP
- 000
- 100
- 12
- 60
- 7
- 70
- a
- کے مطابق
- مشورہ دینے
- تعلق
- کے خلاف
- AI
- اے آئی ماڈلز
- تمام
- بھی
- ہمیشہ
- an
- اور
- جواب
- کچھ
- ظاہر ہوتا ہے
- نقطہ نظر
- قریب
- کیا
- فن
- AS
- سے پوچھ
- At
- مصنفین
- خودکار
- دستیاب
- جنگ
- BE
- کیونکہ
- کیا جا رہا ہے
- معیار
- BEST
- بہتر
- ارب
- باکس
- لیکن
- by
- کر سکتے ہیں
- حاصل کر سکتے ہیں
- یقینی طور پر
- چین
- چیلنج
- تبدیل
- چیٹ بٹ
- CO
- مربوط
- کے مجموعے
- کس طرح
- تجارتی
- حسابی طور پر
- چل رہا ہے
- قیمت
- کورس
- گہرا
- اعداد و شمار
- تاریخ
- دریافت
- do
- کر
- ڈالر
- نیچے
- نیچے کی طرف
- اثر
- موثر
- تاثیر
- انجینئر
- انجنیئرنگ
- بڑھانے کے
- بہتر
- پوری
- خرابی
- بھی
- نمائش
- مہنگی
- تجربہ
- مہارت
- وضاحت کی
- وضاحت
- اظہار
- چند
- مندرجہ ذیل ہے
- کے لئے
- سے
- مکمل
- جیمنی
- حاصل
- دی
- Go
- اچھا
- ملا
- گریڈ
- رہنمائی
- ہاتھ
- ہے
- he
- یہاں
- کس طرح
- کیسے
- HTTPS
- انسانی
- i
- if
- کو بہتر بنانے کے
- بہتر
- in
- شامل
- شامل
- ہدایات
- انٹرویو
- میں
- شامل
- IT
- فوٹو
- صرف
- زبان
- سیکھنے
- قیادت
- چھوڑ دیا
- لائبریری
- کی طرح
- ایل ایل ایم
- لاگ ان کریں
- اب
- مشین
- مشین لرننگ
- ریاضی
- ریاضیاتی
- ریاضی
- پیغام
- طریقہ کار
- ماڈل
- ماڈل
- زیادہ
- ضرورت ہے
- کبھی نہیں
- نہیں
- کا کہنا
- اب
- مشاہدہ
- ہوا
- of
- on
- ایک
- کھول
- اوپن سورس
- اوپنائی
- اصلاح کے
- اصلاح
- or
- باہر
- پر
- بہت زیادہ
- کاغذ.
- پیرامیٹرز
- راستہ
- فی
- کارکردگی
- فون
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- پلاٹ
- پوائنٹ
- مثبت
- شاید
- مسئلہ
- عمل
- پیدا کرتا ہے
- ٹیچر
- اشارہ کرتا ہے
- استفسار میں
- لے کر
- بلکہ
- RE
- حال ہی میں
- بہتر
- درخواستوں
- تحقیق
- محققین
- جوابات
- نتائج کی نمائش
- اضافہ
- چل رہا ہے
- s
- کہا
- سکول
- بظاہر
- مقرر
- سات
- کئی
- دکھایا گیا
- اہم
- صورتحال
- چھوٹے
- So
- حل
- ماخذ
- خاص طور پر
- سٹاف
- بیان
- حکمت عملیوں
- کامیابی کے ساتھ
- حیرت کی بات ہے
- کے نظام
- ٹاسک
- ٹیسٹ
- تجربہ
- ٹیسٹ
- سے
- کہ
- ۔
- ماخذ
- ان
- ان
- وہ
- بات
- چیزیں
- سوچنا
- اس
- اگرچہ؟
- سوچا
- ہزار
- تین
- کے ذریعے
- اس طرح
- کرنے کے لئے
- بتایا
- مقدمے کی سماعت
- غفلت
- تبدیل کر دیا
- غیر معقول
- us
- استعمال کی شرائط
- استعمال کیا جاتا ہے
- رکن کا
- کا استعمال کرتے ہوئے
- مختلف حالتوں
- Ve
- کی طرف سے
- vmware
- تھا
- راستہ..
- we
- تھے
- جب
- جس
- کیوں
- گے
- ساتھ
- بغیر
- الفاظ
- کام کرتا ہے
- گا
- نہیں
- غلط
- جی ہاں
- تم
- اور
- زیفیرنیٹ