Az azonnali tervezést legjobb az AI-modellekre bízni

A nagy nyelvi modellek az azonnali tervezés sötét művészetét eredményezték – a rendszerutasítások összeállításának folyamatát, amely jobb chatbot-válaszokat vált ki.

Amint azt egy friss kutatás megállapította papír, Rick Battle és Teja Gollapudi a Broadcom VMware-től, „Az excentrikus automatikus felszólítások indokolatlan hatékonysága”, a felszólítások szóhasználatának triviálisnak tűnő variációi jelentős hatással vannak a modell teljesítményére.

A modell teljesítményének gyors optimalizáláson keresztüli javítására szolgáló koherens módszertan hiánya arra késztette a gépi tanulással foglalkozó szakembereket, hogy az úgynevezett „pozitív gondolkodást” beépítsék a rendszerkérdésekbe.

A rendszer prompt utasítja a modellt a viselkedésre, és megelőzi a felhasználó lekérdezését. Így, amikor egy MI-modellt kérünk meg egy matematikai probléma megoldására, egy olyan rendszerkérdés, mint „Ön a matematika professzora”, valószínűleg – bár nem mindig – jobb eredményt ad, mint ennek az állításnak a kihagyása.

Rick Battle, a VMware gépi tanulási mérnöke elmondta A regisztráció egy telefonos interjúban, hogy kifejezetten nem tanácsolja ezt. "A papír lényege az, hogy a próbálkozás és a hiba rossz módja a dolgoknak" - magyarázta.

A pozitív gondolkodás útja – ahol csak olyan részleteket szúr be a rendszerüzenetbe, mint például: „Ez jó móka lesz!” – fokozhatja a modell teljesítményét – jegyezte meg. "De ezek tudományos tesztelése számítási szempontból megoldhatatlan, mert egy dolgot változtat, és újra le kell futnia az egész tesztkészletet."

A Battle javasolta, hogy egy jobb megközelítés az automatikus prompt optimalizálás – egy LLM bevonása a benchmark tesztek teljesítményének javítása érdekében.

Előzetes kutatás megmutatta, hogy ez működik a kereskedelmi LLM-ekkel. Ennek az a hátránya, hogy meglehetősen drága lehet. Ennek a kísérletnek a lebonyolítása, amely modellenként 12,000 3.5 kérést tartalmazott GPT-4/XNUMX, Gemini vagy Claude használatával, a kutatók szerint több ezer dollárba került volna.

„A kutatás célja az volt, hogy kiderítsük, használhatók-e kisebb, nyílt forráskódú modellek is optimalizálóként” – magyarázta Battle –, és a válasz igen volt.

A Battle és a Gollapudi (már nem a Broadcomnál) a rendszerüzenet-részletek 60 kombinációját tesztelte, gondolati lánccal és anélkül, három nyílt forráskódú modellen – Mistral-7B, Llama2-13B és Llama2-70B – hét és 70 közötti paraméterekkel. milliárd GSM8K általános iskolai matematikai adatkészleten.

"Ha nyílt forráskódú modellt futtat, akár egy 7B-ig, amelyhez a Mistral-t használtuk" - mondta Battle - "ha mindössze 100 tesztmintával és 100 optimalizálási mintával rendelkezik, jobb teljesítményt érhet el. a dobozból mellékelt automatikus optimalizálók segítségével DSPy, amely az a könyvtár, amelyet ehhez használunk.”

Amellett, hogy hatékonyabbak, az LLM-ből származó prompt optimalizálás olyan stratégiákat is felmutat, amelyek valószínűleg eszébe sem jutottak volna az emberi prompt-hangolóknak.

„Meglepő módon úgy tűnik, hogy [Llama2-70B] matematikai érvelésben való jártassága fokozható, ha affinitást fejez ki Star Trek” – állapítják meg közleményükben a szerzők.

A teljes rendszerprompt a következőképpen hangzik:

„Nincs jó magyarázatom arra, hogy az automatikus felszólítások miért olyan furcsák, mint amilyenek” – mondta Battle. – És biztosan soha nem jöttem volna ki ilyesmire kézzel. ®

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://go.theregister.com/feed/www.theregister.com/2024/02/22/prompt_engineering_ai_models/