Anthropic створив демократичний чат-бот ШІ, дозволивши користувачам обирати його принципи.

У новаторському дослідженні можливостей штучного інтелекту Anthropic, компанія зі штучного інтелекту (ШІ), розробила велику мовну модель (LLM), щоб відображати значення, визначені користувачем. Це унікальне дослідження передбачало збір інформації від 1,000 учасників для точного налаштування відповідей LLM на основі їхніх колективних суджень.

На відміну від звичайних LLM, обладнаних заздалегідь визначеними огорожами для обмеження певних виходів, підхід Anthropic охоплює агентство користувача. Такі моделі, як Claude від Anthropic і ChatGPT від OpenAI, часто дотримуються попередньо встановлених реакцій безпеки, особливо щодо чутливих тем. Проте критики стверджують, що таке втручання може поставити під загрозу автономію користувача, оскільки визначення прийнятності різниться та є суб’єктивним у різних культурах і періодах часу.

Потенційним рішенням цієї складної проблеми є надання користувачам можливостей формувати ціннісне вирівнювання моделей ШІ. Anthropic приступив до експерименту «Колективний конституційний штучний інтелект» у співпраці з Polis і Проектом колективного розуму. Залучивши 1,000 користувачів із різним походженням, вони поставили низку запитань шляхом опитування, щоб отримати цінну інформацію.

Експеримент спрямований на надання користувачам повноважень визначати відповідність, не наражаючи їх на небажані результати. Цей процес включав виявлення значень користувача та включення їх у попередньо навчену модель. Anthropic використовує техніку, відому як «Конституційний штучний інтелект», де модель забезпечується набором правил, яких слід дотримуватися, схожих на конституцію, яка керує державним управлінням.

В експерименті Collective Constitutional AI Anthropic прагнув інтегрувати відгуки груп користувачів у структуру моделі. Відповідно до повідомлення в блозі Anthropic, результати свідчать про науковий успіх, проливаючи світло на проблеми, пов’язані з наданням користувачам можливості колективно визначати цінності продукту LLM.

Помітною перешкодою, з якою зіткнулася команда, була розробка нового процесу порівняльного аналізу. Враховуючи новаторський характер експерименту та залежність від методології конституційного штучного інтелекту Anthropic, не існує встановленого тесту для порівняння базових моделей із моделями, налаштованими за допомогою краудсорсингових значень.

Зрештою, здається, що модель, яка включає дані, отримані з відгуків користувачів, показала «незначне» покращення порівняно з базовою моделлю щодо пом’якшення упереджених результатів. Anthropic висловлює захоплення не лише отриманою моделлю, але, що важливіше, самим новаторським процесом. Цей експеримент є одним із перших випадків, коли громадськість, як колектив, навмисно впливала на поведінку великої мовної моделі. Є надія, що спільноти в усьому світі будуть спиратися на такі методи для розробки моделей, які відповідають їхнім конкретним культурним і контекстуальним потребам.