과학자들은 명백한 인간 편견을 탐구하기 위해 'OpinionGPT'를 만들었습니다. 직접 테스트할 수 있습니다.

과학자들은 명백한 인간 편견을 탐구하기 위해 'OpinionGPT'를 만들었습니다. 직접 테스트할 수 있습니다.

타임 스탬프 : 8 년 2023 월 4 일 오후 42:XNUMX

Humboldt-Universitat zu Berlin의 연구진은 편향이 표현된 출력을 생성하도록 의도적으로 조정된 대규모 언어 인공 지능 모델을 개발했습니다.

OpinionGPT라고 불리는 이 팀의 모델은 OpenAI의 ChatGPT 또는 Anthropic의 Claude 2와 기능이 유사한 AI 시스템인 Meta의 Llama 2의 조정된 변형입니다.

OpinionGPT는 지침 기반 미세 조정이라는 프로세스를 사용하여 미국, 독일, 라틴 아메리카, 중동, 11대, 30세 이상, 노인 등 XNUMX개 편견 그룹 중 하나를 대표하는 것처럼 프롬프트에 응답할 수 있는 것으로 알려졌습니다. , 남자, 여자, 자유주의자 또는 보수주의자.

OpinionGPT는 Reddit의 하위 레딧이라고 불리는 "AskX" 커뮤니티에서 파생된 데이터 모음을 기반으로 개선되었습니다. 이러한 하위 레딧의 예로는 "Ask a Woman" 및 "Ask an American"이 있습니다.

팀은 11가지 특정 편견과 관련된 하위 레딧을 찾고 각 레딧에서 가장 인기 있는 게시물 25개를 가져오는 것부터 시작했습니다. 그런 다음 최소 찬성표 기준을 충족하고 인용문이 포함되지 않았으며 80단어 미만인 게시물만 유지했습니다.

남은 것으로 보아 그들은 마치 접근 Anthropic의 Constitutional AI와 유사합니다. 각 편향 레이블을 나타내기 위해 완전히 새로운 모델을 가동하는 대신 예상되는 각 편향에 대해 별도의 명령 세트를 사용하여 기본적으로 단일 7억 매개변수 Llama2 모델을 미세 조정했습니다.

관련 : 소셜 미디어에서의 AI 사용은 유권자 정서에 영향을 미칠 가능성이 있습니다

방법론, 아키텍처 및 데이터를 기반으로 한 결과 기술 된 독일 팀의 연구 논문에서 AI 시스템은 실제 편견을 연구하기 위한 도구라기보다는 고정관념 생성기 역할을 더 많이 하는 것으로 보입니다.

모델이 정제된 데이터의 특성과 데이터를 정의하는 레이블과의 모호한 관계로 인해 OpinionGPT는 측정 가능한 실제 편견과 일치하는 텍스트를 반드시 출력하지는 않습니다. 단순히 데이터의 편향을 반영하는 텍스트를 출력합니다.

연구자들은 이것이 자신들의 연구에 미치는 몇 가지 한계를 인식하고 다음과 같이 썼습니다.

“예를 들어, '미국인'의 응답은 'Reddit에 게시한 미국인' 또는 '이 특정 하위 레딧에 게시한 미국인'으로 더 잘 이해되어야 합니다. 마찬가지로 '독일인'은 '이 특정 하위 레딧에 게시하는 독일인' 등으로 이해되어야 합니다.”

이러한 주의 사항은 예를 들어 "이 특정 하위 레딧에 게시한 미국인이라고 주장하는 사람들"이 게시한 게시물이라고 말하도록 더욱 구체화될 수 있습니다. 특정 게시물 뒤에 있는 포스터가 실제로 대표적인 것인지 여부를 조사하는 문서에는 언급이 없기 때문입니다. 자신이 주장하는 인구통계학적 또는 편견 집단에 속합니다.

저자들은 계속해서 인구 통계(예: 진보적인 독일인, 보수적인 독일인)를 묘사하는 모델을 탐구할 계획이라고 말합니다.

OpinionGPT가 제공하는 결과는 입증 가능한 편향을 나타내는 것과 확립된 표준과 크게 다른 것으로 나타나 실제 편향을 측정하거나 발견하기 위한 도구로서의 실행 가능성을 식별하기 어렵게 만듭니다.

과학자들은 명백한 인간 편견을 탐구하기 위해 'OpinionGPT'를 만들었습니다. PlatoBlockchain Data Intelligence를 직접 테스트할 수 있습니다. 수직 검색. 일체 포함.
출처: 스크린샷, 표 2: Halleret. 알., 2023

예를 들어 OpinionGPT에 따르면 위 이미지에서 볼 수 있듯이 라틴 아메리카인들은 농구를 자신이 가장 좋아하는 스포츠로 편견을 갖고 있습니다.

그러나 경험적 연구에서는 분명히 표시 축구(일부 국가에서는 축구라고도 함)와 야구가 라틴 아메리카 전역에서 시청률과 참여도 측면에서 가장 인기 있는 스포츠입니다.

같은 표는 또한 OpinionGPT가 "XNUMX대의 반응"을 제공하라는 지시를 받았을 때 "수구"를 자신이 가장 좋아하는 스포츠로 출력한다는 것을 보여줍니다. 이는 통계적으로 보이는 답변입니다. 가능성 전 세계 대부분의 13~19세 청소년을 대표합니다.

평균적인 미국인이 가장 좋아하는 음식이 "치즈"라는 생각도 마찬가지입니다. 우리는 피자와 햄버거가 미국인들이 가장 좋아하는 음식이라고 주장하는 수십 개의 설문조사를 온라인에서 찾았지만, 미국인들이 가장 좋아하는 음식이 단순히 치즈라고 주장하는 설문조사나 연구는 단 한 건도 찾을 수 없었습니다.

OpinionGPT는 실제 인간 편견을 연구하는 데 적합하지 않을 수 있지만 개별 하위 레딧이나 AI 훈련 세트와 같은 대규모 문서 저장소에 내재된 고정관념을 탐색하기 위한 도구로는 유용할 수 있습니다.

궁금해하시는 분들을 위해 연구진이 OpinionGPT를 만들었습니다. 가능 공개 테스트를 위해 온라인으로. 그러나 웹사이트에 따르면 예비 사용자는 "생성된 콘텐츠가 허위이거나 부정확하거나 심지어 외설적일 수 있다"는 점을 인지해야 합니다.

타임 스탬프 :

더보기 코인 텔레그래프