Hitro inženirstvo je naloga, ki jo je najbolje prepustiti modelom AI

Veliki jezikovni modeli so povzročili temno umetnost hitrega inženiringa – postopek za sestavljanje sistemskih navodil, ki izzovejo boljše odzive chatbota.

Kot je bilo ugotovljeno v nedavni raziskavi papirja, »The Unreasonable Effectiveness of Eccentric Automatic Prompts« avtorjev Rick Battle in Teja Gollapudi iz podjetja Broadcom's VMware, imajo na videz trivialne različice besedila pozivov pomemben vpliv na zmogljivost modela.

Odsotnost koherentne metodologije za izboljšanje delovanja modela s takojšnjo optimizacijo je vodila izvajalce strojnega učenja k vključitvi tako imenovanega »pozitivnega razmišljanja« v sistemske pozive.

O sistemski poziv daje navodila modelu, kako naj se obnaša, in je pred uporabnikovo poizvedbo. Torej, ko od modela umetne inteligence zahtevamo, da reši matematično težavo, sistemski poziv, kot je »Ste profesor matematike«, verjetno – čeprav ne vedno – daje boljše rezultate kot izpustitev te izjave.

Rick Battle, zaposleni inženir strojnega učenja pri VMware, je povedal Register v telefonskem intervjuju, da to izrecno odsvetuje. "Najpomembnejša točka prispevka je, da so poskusi in napake napačen način dela," je pojasnil.

Pot pozitivnega razmišljanja – kjer samo vstavite delčke v sistemsko sporočilo, kot je "To bo zabavno!" – lahko izboljša učinkovitost modela, je opozoril. "Toda njihovo znanstveno testiranje je računalniško nerešljivo, ker spremenite eno stvar in morate ponovno izvesti celoten testni niz."

Boljši pristop, je predlagal Battle, je samodejna hitra optimizacija – vključitev LLM za izboljšanje pozivov za izboljšano delovanje na primerjalnih testih.

Predhodne raziskave je pokazala, da to deluje pri komercialnih LLM. Slaba stran tega početja je, da je lahko precej drago. Izvedba tega poskusa, ki vključuje 12,000 zahtev na model z uporabo GPT-3.5/4, Gemini ali Claude, bi po mnenju raziskovalcev stala nekaj tisoč dolarjev.

"Bistvo raziskave je bilo odkriti, ali je mogoče manjše odprtokodne modele uporabiti tudi kot optimizatorje," je pojasnil Battle, "in izkazalo se je, da je odgovor pritrdilen."

Battle in Gollapudi (ni več pri Broadcomu) sta preizkusila 60 kombinacij izrezkov sistemskega sporočila, z in brez poziva Chain of Thought v treh odprtokodnih modelih – Mistral-7B, Llama2-13B in Llama2-70B – s parametri v razponu od sedem do 70 milijarde na naboru podatkov GSM8K za osnovno šolo matematike.

»Če uporabljate odprtokodni model, celo vse do 7B, za katerega smo uporabljali Mistral,« je dejal Battle, »če imate le 100 testnih vzorcev in 100 vzorcev optimizacije, lahko dosežete boljšo zmogljivost. z uporabo samodejnih optimizatorjev, ki so priloženi takoj DSPy, ki je knjižnica, ki jo uporabljamo za to.«

Poleg tega, da so bolj učinkovite, optimizacije hitrih pozivov, ki izhajajo iz LLM, kažejo strategije, ki človeškim nastavljalcem pozivov verjetno ne bi padle na misel.

»Presenetljivo se zdi, da se [Llama2-70B] sposobnost matematičnega sklepanja lahko poveča z izražanjem afinitete do Star Trek,« ugotavljata avtorja v svojem prispevku.

Celoten sistemski poziv se glasi takole:

"Nimam dobre razlage, zakaj so samodejni pozivi tako čudni, kot so," nam je povedal Battle. "In zagotovo se nikoli ne bi domislil česa takega ročno." ®

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://go.theregister.com/feed/www.theregister.com/2024/02/22/prompt_engineering_ai_models/