Kiire projekteerimine on AI-mudelite ülesanne

Suured keelemudelid on toonud kaasa kiire inseneri tumeda kunsti – süsteemijuhiste koostamise protsessi, mis kutsub esile vestlusrobotite paremaid vastuseid.

Nagu hiljutises uuringus märgiti paber, “Ekstsentriliste automaatsete viipade ebamõistlik tõhusus”, mille autorid on Rick Battle ja Teja Gollapudi, Broadcomi VMware, näiliselt triviaalsed variatsioonid viipade sõnastuses mõjutavad oluliselt mudeli jõudlust.

Sidusa metoodika puudumine mudeli jõudluse parandamiseks kiire optimeerimise kaudu on ajendanud masinõppe praktikuid lisama süsteemiviipadesse niinimetatud "positiivset mõtlemist".

. süsteemi viip juhendab mudelit, kuidas käituda, ja eelneb kasutaja päringule. Seega, kui paluda tehisintellekti mudelil matemaatikaülesannet lahendada, annab süsteemiviip nagu „Sa oled matemaatikaprofessor” tõenäoliselt – kuigi mitte alati – paremaid tulemusi kui selle väite väljajätmine.

Rick Battle, VMware personali masinõppeinsener, rääkis Register telefoniintervjuus, et ta ei soovita seda konkreetselt. "Paberi põhipunkt on see, et katse-eksitus on vale viis asjade tegemiseks," selgitas ta.

Positiivne mõtlemise tee – kus sisestate süsteemisõnumisse lihtsalt katkendeid, nagu "See saab olema lõbus!" - võib parandada mudeli jõudlust, märkis ta. "Kuid nende teaduslik testimine on arvutuslikult keeruline, sest muudate ühte asja ja peate kogu oma testikomplekti uuesti läbi viima."

Battle soovitas, et parem lähenemine on automaatne viipade optimeerimine – LLM-i värbamine, et täpsustada viipasid võrdlustestide jõudluse parandamiseks.

Eelnev uurimustöö on näidanud, et see töötab äriliste LLM-idega. Selle tegemise negatiivne külg on see, et see võib olla üsna kallis. Selle katse läbiviimine, mis hõlmas 12,000 3.5 päringut mudeli kohta, kasutades GPT-4/XNUMX, Gemini või Claude'i, oleks teadlaste sõnul maksma läinud mitu tuhat dollarit.

"Uurimise eesmärk oli välja selgitada, kas väiksemaid avatud lähtekoodiga mudeleid saab kasutada ka optimeerijatena," selgitas Battle, "ja vastus osutus jaatavaks."

Battle ja Gollapudi (mitte enam Broadcomiga) testisid kolme avatud lähtekoodiga mudelit – Mistral-60B, Llama7-2B ja Llama13-2B – 70 süsteemisõnumijuppide kombinatsiooni koos mõtteahelaga ja ilma selleta, parameetritega seitsmest kuni 70-ni. miljardit GSM8K klassikooli matemaatika andmestikku.

"Kui kasutate avatud lähtekoodiga mudelit, isegi kuni 7B-ni, mille jaoks kasutasime Mistrali," ütles Battle, "kui teil on vaid 100 testnäidist ja 100 optimeerimisnäidist, saate parema jõudluse. kasutades automaatseid optimeerijaid, mis on komplektis DSPy, mis on raamatukogu, mida me selleks kasutame.

Lisaks sellele, et LLM-ist tuletatud kiire optimeerimine on tõhusam, on neil ka strateegiaid, mis inimestest viipehäälestajatel ilmselt pähegi poleks tulnud.

"Üllatavalt näib, et [Llama2-70B] matemaatilise arutlemise oskust saab suurendada, kui väljendatakse afiinsust Star Trek,” märgivad autorid oma artiklis.

Täielik süsteemiviip on järgmine:

"Mul pole head seletust, miks automaatsed viibad on nii imelikud kui nad on," ütles Battle. "Ja kindlasti poleks ma kunagi midagi sellist käsitsi välja mõelnud." ®

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://go.theregister.com/feed/www.theregister.com/2024/02/22/prompt_engineering_ai_models/