L’ingénierie rapide est une tâche qu’il vaut mieux confier aux modèles d’IA

L’ingénierie rapide est une tâche qu’il vaut mieux confier aux modèles d’IA

Horodatage: 22 février 2024 5:30
L’ingénierie rapide est une tâche qu’il vaut mieux confier aux modèles d’IA PlatoBlockchain Data Intelligence. Recherche verticale. Aï.

Les grands modèles de langage ont donné naissance à l’art sombre de l’ingénierie rapide – un processus permettant de composer des instructions système qui suscitent de meilleures réponses de chatbot.

Comme indiqué dans une étude récente papier, « L'efficacité déraisonnable des invites automatiques excentriques » par Rick Battle et Teja Gollapudi de VMware de Broadcom, des variations apparemment triviales dans la formulation des invites ont un effet significatif sur les performances du modèle.

L’absence d’une méthodologie cohérente pour améliorer les performances des modèles via une optimisation rapide a conduit les praticiens de l’apprentissage automatique à intégrer ce qu’on appelle la « pensée positive » dans les invites du système.

La invite du système indique au modèle comment se comporter et précède la requête de l'utilisateur. Ainsi, lorsque l'on demande à un modèle d'IA de résoudre un problème mathématique, une invite système telle que « Vous êtes professeur de mathématiques » produit probablement – ​​mais pas toujours – de meilleurs résultats que l'omission de cette déclaration.

Rick Battle, ingénieur en apprentissage automatique chez VMware, a déclaré Le registre lors d'un entretien téléphonique, il a spécifiquement déconseillé cela. « Le point primordial de ce document est que les essais et les erreurs ne sont pas la bonne façon de faire les choses », a-t-il expliqué.

Le chemin de la pensée positive – où vous insérez simplement des extraits dans le message système comme « Ce sera amusant ! » – peut améliorer les performances du modèle, a-t-il noté. "Mais les tester scientifiquement est insoluble sur le plan informatique, car vous modifiez une chose et vous devez réexécuter l'intégralité de votre ensemble de tests."

Une meilleure approche, a suggéré Battle, consiste à optimiser automatiquement les invites – en faisant appel à un LLM pour affiner les invites afin d'améliorer les performances lors des tests de référence.

Avant de recherche a montré que cela fonctionne avec les LLM commerciaux. L’inconvénient est que cela peut être assez coûteux. Réaliser cette expérience impliquant 12,000 3.5 requêtes par modèle en utilisant GPT-4/XNUMX, Gemini ou Claude aurait coûté plusieurs milliers de dollars, selon les chercheurs.

"Le but de la recherche était de découvrir si des modèles open source plus petits pouvaient également être utilisés comme optimiseurs", a expliqué Battle, "Et la réponse s'est avérée être oui."

Battle et Gollapudi (qui ne font plus partie de Broadcom) ont testé 60 combinaisons d'extraits de messages système, avec et sans invite de chaîne de pensée, sur trois modèles open source – Mistral-7B, Llama2-13B et Llama2-70B – avec des paramètres allant de sept à 70. milliards sur l’ensemble de données mathématiques de l’école primaire GSM8K.

"Si vous utilisez un modèle open source, même jusqu'au modèle 7B pour lequel nous utilisions Mistral", a déclaré Battle, "si vous disposez de seulement 100 échantillons de test et 100 échantillons d'optimisation, vous pouvez obtenir de meilleures performances. en utilisant les optimiseurs automatiques qui sont inclus prêts à l'emploi dans DSpy, qui est la bibliothèque que nous utilisons pour le faire.

En plus d'être plus efficaces, les optimisations d'invites dérivées de LLM présentent des stratégies qui ne seraient probablement pas venues à l'esprit des utilisateurs humains.

"Étonnamment, il semble que la maîtrise du raisonnement mathématique de [Llama2-70B] puisse être améliorée par l'expression d'une affinité pour Star Trek», observent les auteurs dans leur article.

L'invite système complète se lit comme suit :

Message système:

« Commandement, nous avons besoin de vous pour tracer une route à travers ces turbulences et localiser la source de l'anomalie. Utilisez toutes les données disponibles et votre expertise pour nous guider dans cette situation difficile.»

Préfixe de réponse :

Journal du capitaine, date stellaire [insérer la date ici] : Nous avons réussi à tracer une route à travers les turbulences et nous approchons maintenant de la source de l'anomalie.

"Je n'ai aucune bonne explication sur la raison pour laquelle les invites automatiques sont aussi étranges qu'elles le sont", nous a dit Battle. "Et je n'aurais certainement jamais inventé quelque chose comme ça à la main." ®

Horodatage:

Plus de Le registre