Nopea suunnittelu on parasta jättää tekoälymalleille

Suuret kielimallit ovat synnyttäneet nopean suunnittelun synkän taiteen – prosessin järjestelmäohjeiden laatimiseksi, jotka saavat aikaan parempia chatbot-vastauksia.

Kuten tuoreessa tutkimuksessa todettiin paperi, "The Unreasonable Effectiveness of Eccentric Automatic Prompts", kirjoittaneet Rick Battle ja Teja Gollapudi Broadcomin VMwaresta, näennäisen triviaalisilla variaatioilla kehotteiden sanamuodossa on merkittävä vaikutus mallin suorituskykyyn.

Johdonmukaisen menetelmän puuttuminen mallin suorituskyvyn parantamiseksi nopean optimoinnin avulla on saanut koneoppimisen harjoittajat sisällyttämään niin sanotun "positiivisen ajattelun" järjestelmäkehotuksiin.

- järjestelmäkehote opastaa mallia käyttäytymään ja edeltää käyttäjän kyselyä. Siten, kun AI-mallia pyydetään ratkaisemaan matemaattinen ongelma, järjestelmäkehote, kuten "Olet matematiikan professori", tuottaa luultavasti – vaikkakaan ei aina – parempia tuloksia kuin tämän väitteen jättäminen pois.

Rick Battle, VMwaren koneoppimisinsinööri, kertoi Rekisteri puhelinhaastattelussa, että hän erityisesti neuvoo olemaan tekemättä sitä. "Paperin pääkohta on, että yritys ja erehdys on väärä tapa tehdä asioita", hän selitti.

Positiivisen ajattelun polku – jossa lisäät vain katkelmia järjestelmäviestiin, kuten "Tästä tulee hauskaa!" – voi parantaa mallin suorituskykyä, hän totesi. "Mutta niiden testaaminen tieteellisesti on laskennallisesti mahdotonta, koska muutat yhden asian ja sinun on suoritettava koko testisarja uudelleen."

Battle ehdotti, että parempi lähestymistapa on automaattinen kehotteiden optimointi – LLM:n palkkaaminen tarkentamaan kehotteita suorituskyvyn parantamiseksi vertailutesteissä.

Ennakkotutkimus on osoittanut, että tämä toimii kaupallisten LLM-yritysten kanssa. Tämän tekemisen haittapuoli on, että se voi olla melko kallista. Tämän kokeen suorittaminen, joka sisälsi 12,000 3.5 pyyntöä mallia kohti GPT-4/XNUMX:llä, Geminillä tai Claudella, olisi tutkijoiden mukaan maksanut useita tuhansia dollareita.

"Tutkimuksen tarkoituksena oli selvittää, voidaanko pienempiä avoimen lähdekoodin malleja käyttää myös optimoijina", Battle selitti. "Ja vastaus osoittautui kyllä."

Battle ja Gollapudi (ei enää Broadcomin kanssa) testasivat 60 yhdistelmää järjestelmäviestikatkelmia, Ajatusketjun kanssa ja ilman, kolmella avoimen lähdekoodin mallilla – Mistral-7B, Llama2-13B ja Llama2-70B – parametreilla seitsemästä 70:een. miljardia GSM8K-luokkien matematiikkatietoaineistossa.

"Jos käytät avoimen lähdekoodin mallia, jopa 7B:hen asti, johon käytimme Mistralia", Battle sanoi, "jos sinulla on vain 100 testinäytettä ja 100 optimointinäytettä, voit saada paremman suorituskyvyn. käyttämällä automaattisia optimoijia, jotka sisältyvät pakkauksesta alkaen DSPy, joka on kirjasto, jota käytämme sen tekemiseen."

Sen lisäksi, että LLM-pohjaiset kehotteen optimoinnit ovat tehokkaampia, niissä on strategioita, joita ihmiskehottajien ei luultavasti olisi tullut mieleen.

"Yllättäen näyttää siltä, ​​että [Llama2-70B:n] matemaattisen päättelyn taitoa voidaan parantaa ilmaisemalla affiniteetti Star Trek", kirjoittajat huomauttavat artikkelissaan.

Koko järjestelmäkehote kuuluu seuraavasti:

"Minulla ei ole hyvää selitystä sille, miksi automaattiset kehotteet ovat niin outoja kuin ne ovat", Battle kertoi meille. "Ja en todellakaan olisi koskaan keksinyt mitään sellaista käsin." ®

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://go.theregister.com/feed/www.theregister.com/2024/02/22/prompt_engineering_ai_models/