Anthropic은 사용자가 가치에 대해 투표할 수 있도록 하여 민주적인 AI 챗봇을 구축했습니다.

Anthropic은 사용자가 가치에 대해 투표할 수 있도록 하여 민주적인 AI 챗봇을 구축했습니다.

타임 스탬프 : 18 년 2023 월 1 일 오후 00:XNUMX

인공 지능(AI) 회사인 Anthropic은 최초의 연구에서 사용자 커뮤니티의 가치 판단을 위해 미세 조정된 LLM(대형 언어 모델)을 개발했습니다.

많은 공개 LLM은 원치 않는 출력을 제한하기 위해 특정 동작을 지시하는 인코딩된 지침인 가드레일을 사용하여 개발되었습니다. 예를 들어 Anthropic의 Claude와 OpenAI의 ChatGPT는 일반적으로 폭력적이거나 논쟁의 여지가 있는 주제와 관련된 출력 요청에 대해 미리 준비된 안전 응답을 사용자에게 제공합니다.

그러나 수많은 전문가들이 지적했듯이 가드레일과 기타 개입 기술은 사용자의 주체를 빼앗는 역할을 할 수 있습니다. 허용 가능한 것으로 간주되는 것이 항상 유용한 것은 아니며 유용하다고 간주되는 것이 항상 허용되는 것은 아닙니다. 그리고 도덕성이나 가치 기반 판단에 대한 정의는 문화, 대중, 시대에 따라 다를 수 있습니다.

관련 : 영국, XNUMX월 예정된 정상회담에서 잠재적인 AI 위협 겨냥

이에 대한 한 가지 가능한 해결 방법은 사용자가 AI 모델에 대한 가치 정렬을 지시할 수 있도록 하는 것입니다. Anthropic의 "Collective Constitutional AI" 실험은 이러한 "지저분한 도전"에 대한 찌르기입니다.

Anthropic은 Polis 및 Collective Intelligence Project와 협력하여 다양한 인구통계에 걸쳐 1,000명의 사용자를 대상으로 설문 조사를 통해 일련의 질문에 답하도록 요청했습니다.

Anthropic은 사용자가 PlatoBlockchain Data Intelligence의 가치에 투표할 수 있도록 하여 민주적인 AI 챗봇을 구축했습니다. 수직 검색. 일체 포함.
출처, 인류

문제는 사용자가 부적절한 결과에 노출되지 않고 무엇이 적절한지 결정할 수 있도록 하는 데 중점을 두고 있습니다. 여기에는 사용자 가치를 요청한 다음 해당 아이디어를 이미 훈련된 모델에 구현하는 것이 포함되었습니다.

Anthropic은 "Constitutional AI"라는 방법을 사용하여 곧장 안전과 유용성을 위해 LLM을 조정하려는 노력입니다. 본질적으로 여기에는 모델이 준수해야 하는 규칙 목록을 제공한 다음, 많은 국가에서 거버넌스의 핵심 문서 역할을 하는 헌법과 마찬가지로 프로세스 전반에 걸쳐 이러한 규칙을 구현하도록 모델을 훈련시키는 것이 포함됩니다.

Collective Constitutional AI 실험에서 Anthropic은 그룹 기반 피드백을 모델 구성에 통합하려고 시도했습니다. 결과는, 따라 Anthropic의 블로그 게시물은 LLM 제품 사용자가 자신의 집단적 가치를 결정할 수 있도록 하는 목표를 달성하기 위한 추가 과제를 조명했다는 점에서 과학적 성공을 거둔 것으로 보입니다.

팀이 극복해야 했던 어려움 중 하나는 벤치마킹 프로세스를 위한 새로운 방법을 생각해내는 것이었습니다. 이 실험은 최초의 것으로 보이며 Anthropic의 Constitutional AI 방법론에 의존하기 때문에 기본 모델과 크라우드 소싱 값으로 조정된 모델을 비교하기 위한 확립된 테스트는 없습니다.

궁극적으로 사용자 폴링 피드백을 통해 얻은 데이터를 구현한 모델이 편향된 출력 영역에서 기본 모델보다 "약간" 뛰어난 성능을 보이는 것처럼 보입니다.

블로그 게시물에 따르면:

“결과 모델보다 그 과정이 더 기대됩니다. 우리는 이것이 대중 구성원이 그룹으로서 의도적으로 대규모 언어 모델의 행동을 지시한 최초의 사례 중 하나일 수 있다고 믿습니다. 우리는 전 세계 커뮤니티가 이와 같은 기술을 기반으로 그들의 필요에 맞는 문화 및 상황별 모델을 훈련할 수 있기를 바랍니다.”

타임 스탬프 :

더보기 코인 텔레그래프