Оперативное проектирование — задача, которую лучше оставить моделям искусственного интеллекта.

Большие языковые модели породили темное искусство оперативного проектирования — процесса составления системных инструкций, которые вызывают лучшие ответы чат-ботов.

Как отмечается в недавнем исследовании бумаги, «Необоснованная эффективность эксцентричных автоматических подсказок» Рика Баттла и Теджи Голлапуди из Broadcom's VMware, казалось бы, тривиальные вариации в формулировках подсказок оказывают существенное влияние на производительность модели.

Отсутствие последовательной методологии повышения производительности модели посредством оптимизации подсказок побудило специалистов по машинному обучению включить в системные подсказки так называемое «позитивное мышление».

Ассоциация системная подсказка инструктирует модель о том, как себя вести, и предшествует запросу пользователя. Таким образом, когда вы просите модель ИИ решить математическую задачу, системное приглашение типа «Вы профессор математики», вероятно (хотя и не всегда) дает лучшие результаты, чем пропуск этого утверждения.

Рик Баттл, штатный инженер по машинному обучению в VMware, рассказал: Регистр в телефонном интервью он категорически не советует этого делать. «Главная идея статьи заключается в том, что метод проб и ошибок — это неправильный способ действий», — пояснил он.

Путь позитивного мышления – когда вы просто вставляете фрагменты в системное сообщение, например: «Это будет весело!» – может повысить производительность модели», – отметил он. «Но протестировать их с научной точки зрения сложно с вычислительной точки зрения, потому что вы меняете одну вещь, и вам придется перезапускать весь набор тестов».

Лучшим подходом, по мнению Баттла, является автоматическая оптимизация подсказок: привлечение LLM для уточнения подсказок для повышения производительности в тестах производительности.

предварительное исследование показал, что это работает с коммерческими LLM. Обратной стороной этого способа является то, что он может оказаться довольно дорогим. По мнению исследователей, проведение этого эксперимента с 12,000 3.5 запросов на модель с использованием GPT-4/XNUMX, Gemini или Claude стоило бы несколько тысяч долларов.

«Цель исследования заключалась в том, чтобы выяснить, можно ли использовать меньшие модели с открытым исходным кодом в качестве оптимизаторов», — объяснил Баттл, — «И ответ оказался утвердительным».

Баттл и Голлапуди (больше не сотрудничают с Broadcom) протестировали 60 комбинаций фрагментов системных сообщений с подсказками цепочки мыслей и без них на трех моделях с открытым исходным кодом — Mistral-7B, Llama2-13B и Llama2-70B — с параметрами от семи до 70. миллиардов в наборе математических данных начальной школы GSM8K.

«Если вы используете модель с открытым исходным кодом, даже вплоть до 7B, для которой мы использовали Mistral», — сказал Баттл, — «если у вас всего 100 тестовых образцов и 100 оптимизационных образцов, вы можете получить лучшую производительность». с помощью автоматических оптимизаторов, которые включены «из коробки» в DSPy, и это библиотека, которую мы используем для этого».

Помимо большей эффективности, оптимизация подсказок на основе LLM демонстрирует стратегии, которые, вероятно, не пришли бы в голову людям, занимающимся настройкой подсказок.

«Удивительно, но оказывается, что мастерство [Llama2-70B] в математических рассуждениях может быть улучшено за счет выражения склонности к Star Trek», — отмечают авторы в своей статье.

Полное системное приглашение выглядит следующим образом:

«У меня нет хорошего объяснения, почему автоматические подсказки такие странные», — сказал нам Баттл. «И я бы точно никогда не придумал ничего подобного вручную». ®

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://go.theregister.com/feed/www.theregister.com/2024/02/22/prompt_engineering_ai_models/