Schnelles Engineering ist eine Aufgabe, die am besten KI-Modellen überlassen wird

Aus großen Sprachmodellen ist die dunkle Kunst des Prompt Engineering entstanden – ein Prozess zum Verfassen von Systemanweisungen, die bessere Chatbot-Antworten hervorrufen.

Wie in einer aktuellen Studie festgestellt Krepppapier, „The Unreasonable Effectiveness of Eccentric Automatic Prompts“ von Rick Battle und Teja Gollapudi von Broadcoms VMware, haben scheinbar triviale Variationen im Wortlaut von Eingabeaufforderungen einen erheblichen Einfluss auf die Modellleistung.

Das Fehlen einer kohärenten Methodik zur Verbesserung der Modellleistung durch Prompt-Optimierung hat dazu geführt, dass Praktiker des maschinellen Lernens sogenanntes „positives Denken“ in Systemprompts integrieren.

Das Systemaufforderung weist das Modell an, wie es sich verhalten soll, und geht der Anfrage des Benutzers voraus. Wenn man also ein KI-Modell bittet, ein mathematisches Problem zu lösen, führt eine Systemaufforderung wie „Sie sind Professor für Mathematik“ wahrscheinlich – wenn auch nicht immer – zu besseren Ergebnissen, als wenn man diese Aussage weglässt.

Rick Battle, Personalingenieur für maschinelles Lernen bei VMware, erzählte Das Register in einem Telefoninterview, dass er ausdrücklich davon abraten würde. „Der übergeordnete Punkt des Papiers ist, dass Versuch und Irrtum der falsche Weg sind, Dinge zu tun“, erklärte er.

Der Weg des positiven Denkens – bei dem Sie einfach Ausschnitte in die Systemnachricht einfügen, wie „Das wird Spaß machen!“ – kann die Modellleistung verbessern, bemerkte er. „Aber sie wissenschaftlich zu testen, ist rechnerisch schwer zu bewältigen, weil man eine Sache ändert und den gesamten Testsatz erneut durchführen muss.“

Ein besserer Ansatz, schlug Battle vor, ist die automatische Eingabeaufforderungsoptimierung – die Beauftragung eines LLM mit der Verfeinerung von Eingabeaufforderungen für eine verbesserte Leistung bei Benchmark-Tests.

Vor Forschung hat gezeigt, dass dies mit kommerziellen LLMs funktioniert. Der Nachteil dabei ist, dass es ziemlich teuer sein kann. Die Durchführung dieses Experiments mit 12,000 Anfragen pro Modell unter Verwendung von GPT-3.5/4, Gemini oder Claude hätte den Forschern zufolge mehrere tausend Dollar gekostet.

„Der Sinn der Forschung bestand darin, herauszufinden, ob auch kleinere Open-Source-Modelle als Optimierer verwendet werden können“, erklärte Battle. „Und die Antwort war ja.“

Battle und Gollapudi (nicht mehr bei Broadcom) testeten 60 Kombinationen von Systemnachrichten-Snippets mit und ohne Chain of Thought-Eingabe über drei Open-Source-Modelle – Mistral-7B, Llama2-13B und Llama2-70B – mit Parametern zwischen sieben und 70 Milliarden auf dem Grundschul-Mathematikdatensatz GSM8K.

„Wenn Sie ein Open-Source-Modell verwenden, sogar bis hinunter zu einem 7B, für das wir Mistral verwendet haben“, sagte Battle, „können Sie mit nur 100 Testbeispielen und 100 Optimierungsbeispielen eine bessere Leistung erzielen.“ Verwendung der automatischen Optimierer, die standardmäßig enthalten sind DSPy, das ist die Bibliothek, die wir dafür nutzen.“

LLM-abgeleitete Prompt-Optimierungen sind nicht nur effektiver, sondern weisen auch Strategien auf, die menschlichen Prompt-Tunern wahrscheinlich nicht in den Sinn gekommen wären.

„Überraschenderweise scheint es, dass die Fähigkeiten von [Llama2-70B] im mathematischen Denken durch den Ausdruck einer Affinität zu verbessert werden können Star Trek“, stellen die Autoren in ihrer Arbeit fest.

Die vollständige Systemaufforderung lautet wie folgt:

„Ich habe keine gute Erklärung dafür, warum die automatischen Eingabeaufforderungen so seltsam sind“, sagte Battle. „Und so etwas wäre mir mit der Hand sicher nie eingefallen.“ ®

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://go.theregister.com/feed/www.theregister.com/2024/02/22/prompt_engineering_ai_models/