Anthropic은 사용자가 원칙을 선택할 수 있도록 하여 민주적인 AI 챗봇을 만들었습니다.

인공 지능(AI) 회사인 Anthropic은 AI 기능에 대한 획기적인 탐구를 통해 사용자 정의 값을 반영하도록 LLM(대형 언어 모델)을 맞춤화했습니다. 이 독특한 연구에는 1,000명의 참가자로부터 의견을 수집하여 집단적 판단에 따라 LLM의 응답을 미세 조정하는 작업이 포함되었습니다.

특정 결과를 제한하기 위해 사전 정의된 가드레일을 갖춘 기존 LLM과 달리 Anthropic의 접근 방식은 사용자 대행사를 포용합니다. Anthropic의 Claude 및 OpenAI의 ChatGPT와 같은 모델은 특히 민감한 주제와 관련하여 사전 설정된 안전 대응을 따르는 경우가 많습니다. 그러나 비평가들은 수용 가능성의 정의가 문화와 기간에 따라 다양하고 주관적이기 때문에 그러한 개입이 사용자 자율성을 손상시킬 수 있다고 주장합니다.

이 복잡한 과제에 대한 잠재적인 해결책은 사용자가 AI 모델의 가치 정렬을 형성할 수 있도록 지원하는 것입니다. Anthropic은 Polis 및 Collective Intelligence Project와 협력하여 "Collective Constitutional AI" 실험에 착수했습니다. 다양한 배경을 가진 1,000명의 사용자가 참여한 설문 조사를 통해 일련의 질문을 제기하여 귀중한 통찰력을 얻었습니다.

실험은 바람직하지 않은 결과에 사용자를 노출시키지 않고 적절성을 결정할 수 있는 권한을 사용자에게 부여하는 것을 중심으로 진행됩니다. 이 프로세스에는 사용자 가치를 도출하고 이를 사전 훈련된 모델에 통합하는 작업이 포함되었습니다. Anthropic은 "Constitutional AI"라는 기술을 사용합니다. 이 기술에서는 국가의 거버넌스를 안내하는 헌법과 유사하게 따라야 할 일련의 규칙이 모델에 제공됩니다.

Collective Constitutional AI 실험에서 Anthropic은 사용자 그룹의 피드백을 모델 구성에 통합하는 것을 목표로 했습니다. Anthropic의 블로그 게시물에 따르면, 결과는 과학적 성공을 시사하며 사용자가 LLM 제품의 가치를 집합적으로 정의하도록 하는 것과 관련된 과제를 조명합니다.

팀이 직면한 주목할만한 장애물은 새로운 벤치마킹 프로세스를 개발하는 것이었습니다. 실험의 선구적인 성격과 Anthropic의 Constitutional AI 방법론에 대한 의존도를 고려할 때 기본 모델과 크라우드 소싱 값을 사용하여 미세 조정된 모델을 비교하기 위한 확립된 테스트는 없습니다.

결국, 사용자 폴링 피드백에서 파생된 데이터를 통합한 모델은 편향된 출력을 완화하는 데 있어 기본 모델에 비해 "약간" 개선된 것으로 보입니다. Anthropic은 결과 모델뿐만 아니라 더 중요한 것은 획기적인 프로세스 자체에 대한 흥분을 표현합니다. 이 실험은 집단으로서 대중이 대규모 언어 모델의 동작에 의도적으로 영향을 미친 초기 사례 중 하나를 나타냅니다. 희망은 전 세계적으로 커뮤니티가 이러한 기술을 기반으로 특정 문화적, 상황적 요구에 부합하는 모델을 개발하는 것입니다.