Szybkie prace inżynieryjne to zadanie, które najlepiej pozostawić modelom AI

Duże modele językowe dały początek mrocznej sztuce szybkiej inżynierii – procesowi tworzenia instrukcji systemowych, które wywołują lepsze reakcje chatbota.

Jak zauważono w niedawnym badaniu papier, „The Unreasonable Effectiveness of Eccentric Automatic Prompts” autorstwa Ricka Battle'a i Teji Gollapudi z VMware firmy Broadcom, pozornie trywialne różnice w brzmieniu podpowiedzi mają znaczący wpływ na wydajność modelu.

Brak spójnej metodologii poprawy wydajności modelu poprzez szybką optymalizację doprowadził praktyków uczenia maszynowego do włączenia tak zwanego „pozytywnego myślenia” do podpowiedzi systemowych.

Połączenia monit systemowy instruuje model, jak się zachować i poprzedza zapytanie użytkownika. Dlatego też, gdy prosimy model sztucznej inteligencji o rozwiązanie problemu matematycznego, monit systemowy w rodzaju „Jesteś profesorem matematyki” prawdopodobnie – choć nie zawsze – daje lepsze wyniki niż pominięcie tego stwierdzenia.

– powiedział Rick Battle, inżynier uczenia maszynowego w VMware Rejestr w rozmowie telefonicznej, że wyraźnie tego odradza. „Nadrzędnym założeniem artykułu jest to, że metoda prób i błędów to zły sposób działania” – wyjaśnił.

Ścieżka pozytywnego myślenia – gdzie po prostu wstawisz do komunikatu systemowego fragmenty typu „Będzie fajnie!” – może zwiększyć wydajność modelu – zauważył. „Ale przetestowanie ich naukowo jest trudne obliczeniowo, ponieważ zmieniasz jedną rzecz i musisz ponownie uruchomić cały zestaw testowy”.

Lepszym podejściem, sugeruje Battle, jest automatyczna optymalizacja natychmiastowa – zatrudnienie LLM w celu udoskonalenia podpowiedzi w celu poprawy wydajności w testach porównawczych.

Wcześniejsze badania pokazało, że działa to w przypadku komercyjnych LLM. Wadą takiego rozwiązania jest to, że może być dość drogie. Zdaniem badaczy przeprowadzenie tego eksperymentu obejmującego 12,000 3.5 żądań na model przy użyciu GPT-4/XNUMX, Gemini lub Claude kosztowałoby kilka tysięcy dolarów.

„Celem badania było odkrycie, czy mniejsze modele typu open source można również wykorzystać jako optymalizatory” – wyjaśnił Battle. „Odpowiedź okazała się twierdząca”.

Battle i Gollapudi (niepracujący już w Broadcom) przetestowali 60 kombinacji fragmentów komunikatów systemowych, z monitem Chain of Thought lub bez niego, w trzech modelach open source – Mistral-7B, Llama2-13B i Llama2-70B – z parametrami w zakresie od siedmiu do 70 miliardów w zbiorze danych matematycznych dla szkół podstawowych GSM8K.

„Jeśli używasz modelu open source, nawet do 7B, w którym używaliśmy Mistrala” – powiedział Battle – „jeśli masz zaledwie 100 próbek testowych i 100 próbek optymalizacyjnych, możesz uzyskać lepszą wydajność za pomocą automatycznych optymalizatorów, które są dołączone do zestawu DSPy, czyli biblioteka, której używamy do tego.”

Oprócz tego, że są bardziej skuteczne, natychmiastowe optymalizacje oparte na LLM wykazują strategie, które prawdopodobnie nie przyszłyby do głowy ludziom, którzy dostrajają podpowiedzi.

„Co zaskakujące, wydaje się, że biegłość [Lamy2-70B] w rozumowaniu matematycznym można zwiększyć poprzez wyrażenie powinowactwa do Star Trek” – zauważają autorzy w swoim artykule.

Pełny monit systemowy brzmi następująco:

„Nie mam dobrego wyjaśnienia, dlaczego automatyczne podpowiedzi są tak dziwne” – powiedział nam Battle. „I z pewnością nigdy nie wpadłbym na coś takiego od ręki”. ®

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://go.theregister.com/feed/www.theregister.com/2024/02/22/prompt_engineering_ai_models/