Anthropic создала демократичного чат-бота с искусственным интеллектом, позволив пользователям выбирать его принципы.

В рамках новаторского исследования возможностей искусственного интеллекта компания Anthropic, занимающаяся искусственным интеллектом (ИИ), адаптировала большую языковую модель (LLM) для отражения значений, определяемых пользователем. Это уникальное исследование включало сбор информации от 1,000 участников для точной настройки ответов LLM на основе их коллективных суждений.

В отличие от традиционных программ LLM, оснащенных заранее определенными барьерами для ограничения определенных результатов, подход Anthropic предполагает свободу действий пользователей. Такие модели, как Клод из Anthropic и ChatGPT из OpenAI, часто придерживаются заранее заданных мер безопасности, особенно в отношении деликатных тем. Однако критики утверждают, что такие вмешательства могут поставить под угрозу автономию пользователей, поскольку определение приемлемости варьируется и является субъективным в зависимости от культуры и периода времени.

Потенциальным решением этой сложной проблемы является предоставление пользователям возможности формировать соответствие ценностей моделей ИИ. Anthropic приступила к эксперименту «Коллективный конституционный ИИ» в сотрудничестве с Полисом и проектом «Коллективный разум». Привлекая 1,000 пользователей из разных слоев общества, они задали ряд вопросов в ходе опроса, чтобы получить ценную информацию.

Эксперимент вращается вокруг предоставления пользователям права определять целесообразность, не подвергая их воздействию нежелательных результатов. Этот процесс включал в себя выявление пользовательских ценностей и включение их в предварительно обученную модель. Anthropic использует технику, известную как «Конституционный ИИ», где модель снабжена набором правил, которым необходимо следовать, подобно конституции, регулирующей управление в странах.

В эксперименте с коллективным конституционным ИИ компания Anthropic стремилась интегрировать отзывы групп пользователей в конституцию модели. Согласно сообщению в блоге Anthropic, результаты свидетельствуют о научном успехе, проливая свет на проблемы, связанные с предоставлением пользователям возможности коллективно определять ценность продукта LLM.

Заметным препятствием, с которым столкнулась команда, была разработка нового процесса сравнительного анализа. Учитывая новаторский характер эксперимента и его опору на методологию конституционного искусственного интеллекта Anthropic, не существует установленного теста для сравнения базовых моделей с моделями, точно настроенными с использованием значений, полученных из краудсорсинга.

В конце концов, похоже, что модель, включающая данные, полученные в результате опросов пользователей, продемонстрировала «небольшое» улучшение по сравнению с базовой моделью в смягчении предвзятых результатов. Anthropic выражает восторг не только по поводу полученной модели, но, что более важно, по поводу самого новаторского процесса. Этот эксперимент представляет собой один из первых случаев, когда публика как коллектив намеренно влияла на поведение большой языковой модели. Есть надежда, что сообщества во всем мире будут опираться на такие методы для разработки моделей, соответствующих их конкретным культурным и контекстуальным потребностям.