Anthropic создала демократичного чат-бота с искусственным интеллектом, позволив пользователям голосовать за его ценности.

Anthropic создала демократичного чат-бота с искусственным интеллектом, позволив пользователям голосовать за его ценности.

Отметка времени: 18 октября 2023 г., 1:00

В своем, возможно, первом в своем роде исследовании компания Anthropic, занимающаяся искусственным интеллектом (ИИ), разработала большую языковую модель (LLM), которая была точно настроена для оценочных суждений сообщества пользователей.

Многие общедоступные LLM были разработаны с предохранителями — закодированными инструкциями, диктующими конкретное поведение — в попытке ограничить нежелательные результаты. Например, Claude от Anthropic и ChatGPT от OpenAI обычно предоставляют пользователям стандартный ответ безопасности на запросы вывода, связанные с насилием или спорными темами.

Однако, как отмечают бесчисленные эксперты, ограждения и другие интервенционные методы могут служить для того, чтобы лишить пользователей их свободы воли. То, что считается приемлемым, не всегда полезно, а то, что считается полезным, не всегда приемлемо. А определения морали или ценностных суждений могут различаться в зависимости от культуры, населения и периода времени.

Связанный: Великобритания нацелится на потенциальные угрозы искусственного интеллекта на запланированном в ноябре саммите

Одним из возможных решений этой проблемы является предоставление пользователям возможности определять соответствие значений моделей ИИ. Эксперимент Anthropic «Коллективный конституционный ИИ» — это попытка решить эту «беспорядочную задачу».

Anthropic в сотрудничестве с Polis и Collective Intelligence Project опросили 1,000 пользователей из разных демографических групп и попросили их ответить на ряд вопросов посредством опроса.

Anthropic создала демократичного чат-бота с искусственным интеллектом, позволив пользователям голосовать за его ценности PlatoBlockchain Data Intelligence. Вертикальный поиск. Ай.
Источник, Антропный

Задача заключается в том, чтобы позволить пользователям агентства определять, что подходит, не подвергая их воздействию ненадлежащих результатов. Это включало в себя определение ценностей пользователей и последующую реализацию этих идей в уже обученной модели.

Anthropic использует метод под названием «Конституциональный ИИ», чтобы направлять его усилия по настройке LLM для обеспечения безопасности и полезности. По сути, это включает в себя предоставление модели списка правил, которые она должна соблюдать, а затем обучение ее реализации этих правил на протяжении всего процесса, подобно тому, как конституция служит основным документом управления во многих странах.

В эксперименте с коллективным конституционным ИИ компания Anthropic попыталась интегрировать групповую обратную связь в конституцию модели. Результаты, согласно к сообщению в блоге Anthropic, похоже, имело научный успех, поскольку оно осветило дальнейшие проблемы на пути к достижению цели, позволяющей пользователям продукта LLM определять свои коллективные ценности.

Одна из трудностей, которую пришлось преодолеть команде, заключалась в разработке нового метода сравнительного анализа. Поскольку этот эксперимент, по-видимому, является первым в своем роде и основан на методологии конституционного искусственного интеллекта Anthropic, не существует установленного теста для сравнения базовых моделей с моделями, настроенными с использованием значений, полученных из краудсорсинга.

В конечном счете, похоже, что модель, в которой были реализованы данные, полученные в результате опросов пользователей, «немного» превзошла базовую модель в области предвзятых результатов.

Согласно сообщению в блоге:

«Больше, чем полученная модель, нас волнует сам процесс. Мы считаем, что это может быть один из первых случаев, когда представители общественности как группа намеренно управляли поведением большой языковой модели. Мы надеемся, что сообщества по всему миру будут использовать подобные методы для обучения культурно- и контекстно-зависимым моделям, которые будут отвечать их потребностям».

Отметка времени:

Больше от Cointelegraph