우리는 AI가 쓴 텍스트와 사람이 쓴 텍스트를 구별하도록 훈련된 분류기를 출시합니다.
우리는 사람이 쓴 텍스트와 다양한 공급자의 AI가 쓴 텍스트를 구별하도록 분류기를 훈련했습니다. 모든 AI 작성 텍스트를 안정적으로 감지하는 것은 불가능하지만 좋은 분류기는 AI 생성 텍스트가 인간에 의해 작성되었다는 잘못된 주장에 대한 완화 조치를 알릴 수 있다고 믿습니다. 자동화된 잘못된 정보 캠페인, 학문적 부정직을 위해 AI 도구를 사용하고 AI 챗봇을 인간으로 포지셔닝합니다.
우리의 분류기는 완전히 신뢰할 수 없습니다. 영어 텍스트의 "챌린지 세트"에 대한 평가에서 분류기는 AI 작성 텍스트(참 긍정)의 26%를 "AI 작성 가능성이 있음"으로 올바르게 식별하고 사람이 작성한 텍스트의 9%를 AI 작성 텍스트로 잘못 표시합니다. 시간(가양성). 분류기의 신뢰도는 일반적으로 입력 텍스트의 길이가 증가함에 따라 향상됩니다. 우리에 비해 이전에 출시된 분류기, 이 새로운 분류자는 최신 AI 시스템의 텍스트에서 훨씬 더 안정적입니다.
이와 같은 불완전한 도구가 유용한지에 대한 피드백을 얻기 위해 이 분류자를 공개적으로 사용할 수 있도록 하고 있습니다. AI 생성 텍스트 감지에 대한 작업은 계속될 것이며 향후 개선된 방법을 공유할 수 있기를 바랍니다.
진행 중인 무료 분류기를 직접 사용해 보세요.
제한 사항
분류기에는 여러 가지 중요한 제한 사항이 있습니다. 주요 의사 결정 도구로 사용해서는 안 됩니다., 그러나 대신 텍스트 조각의 출처를 결정하는 다른 방법을 보완합니다.
- 분류자는 짧은 텍스트(1,000자 미만)에서 매우 신뢰할 수 없습니다. 더 긴 텍스트는 때때로 분류자에 의해 잘못 레이블이 지정됩니다.
- 때로는 사람이 쓴 텍스트가 잘못되었지만 분류기에 의해 AI가 쓴 것으로 확실하게 레이블이 지정됩니다.
- 영어 텍스트에만 분류자를 사용하는 것이 좋습니다. 다른 언어에서는 성능이 현저히 떨어지고 코드에서 신뢰할 수 없습니다.
- 매우 예측 가능한 텍스트는 확실하게 식별할 수 없습니다. 예를 들어, 정답이 항상 동일하기 때문에 처음 1,000개의 소수 목록을 AI가 작성한 것인지 사람이 작성한 것인지 예측하는 것은 불가능합니다.
- AI로 작성된 텍스트를 편집하여 분류기를 피할 수 있습니다. 우리와 같은 분류기는 성공적인 공격에 따라 업데이트되고 재훈련될 수 있지만 탐지가 장기적으로 이점이 있는지는 확실하지 않습니다.
- 신경망 기반 분류기는 훈련 데이터 외부에서 제대로 보정되지 않는 것으로 알려져 있습니다. 훈련 세트의 텍스트와 매우 다른 입력의 경우 분류자는 때때로 잘못된 예측에 대해 매우 확신합니다.
분류기 훈련
우리의 분류기는 같은 주제에 대해 사람이 쓴 텍스트와 AI가 쓴 텍스트 쌍의 데이터 세트에서 미세 조정된 언어 모델입니다. 사전 교육 데이터 및 프롬프트에 대한 인간 데모와 같이 인간이 작성한 것으로 생각되는 다양한 출처에서 이 데이터 세트를 수집했습니다. 지시GPT. 우리는 각 텍스트를 프롬프트와 응답으로 나누었습니다. 이러한 프롬프트에서 우리는 우리와 다른 조직에서 훈련한 다양한 언어 모델로부터 응답을 생성했습니다. 웹 앱의 경우 신뢰도 임계값을 조정하여 오탐률을 낮게 유지합니다. 즉, 분류자가 매우 확신하는 경우에만 텍스트를 AI 작성 가능성이 있는 것으로 표시합니다.
교육자에게 미치는 영향 및 의견 요청
우리는 AI로 작성된 텍스트를 식별하는 것이 교육자들 사이에서 중요한 논의 포인트였으며 교실에서 AI 생성 텍스트 분류기의 한계와 영향을 인식하는 것 또한 똑같이 중요하다는 것을 알고 있습니다. 우리는 예비 자원 교육자를 위한 ChatGPT 사용에 대해 일부 사용 및 관련 제한 사항과 고려 사항을 설명합니다. 이 리소스는 교육자에게 초점을 맞추고 있지만 분류자 및 관련 분류자 도구가 저널리스트, 잘못된/잘못된 정보 연구원 및 기타 그룹에 영향을 미칠 것으로 기대합니다.
우리는 미국의 교육자들과 교류하여 그들이 교실에서 무엇을 보고 있는지 배우고 ChatGPT의 기능과 한계에 대해 논의하고 있으며 우리가 배우는 동안 계속해서 우리의 범위를 넓힐 것입니다. 이들은 영향을 받는 커뮤니티와 직접 접촉하여 대규모 언어 모델을 안전하게 배포하는 임무의 일환으로 해야 할 중요한 대화입니다.
이러한 문제로 인해 직접적인 영향을 받는 경우(교사, 관리자, 학부모, 학생 및 교육 서비스 제공자를 포함하되 이에 국한되지 않음) 다음을 사용하여 피드백을 제공하십시오. 이 양식을. 에 대한 직접적인 피드백 예비 자원 도움이 되며, 교육자들이 개발 중이거나 도움이 된다고 판단한 모든 리소스(예: 과정 지침, 명예 코드 및 정책 업데이트, 대화형 도구, AI 리터러시 프로그램)도 환영합니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 출처: https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/
- 000
- 1
- 26%
- 7
- a
- 학술
- 관리자
- 이점
- AI
- 인공 지능 봇봇
- All
- 항상
- 중
- 와
- 답변
- 앱
- 관련
- 공격
- 가능
- 기반으로
- 때문에
- 믿으세요
- 이하
- 사이에
- 넓히다
- 전화
- 기능
- 문자
- 채팅 봇
- ChatGPT
- 주장
- 암호
- 커뮤니티
- 비교
- 보어
- 자신
- 자신감
- 자신있게
- 고려 사항
- CONTACT
- 계속
- 대화
- 코스
- 데이터
- 의사 결정
- 배포
- Detection System
- 결정
- 개발
- 개발
- 다른
- 곧장
- 직접
- 토론
- 토론
- 드러내다
- 분할 된
- 마다
- 교육
- 교육자
- 매력적인
- 영어
- 균일하게
- 평가
- 조차
- 예
- 기대
- 매우
- 피드백
- 먼저,
- 집중
- 발견
- 무료
- 에
- 충분히
- 미래
- 생성
- 얻을
- 좋은
- 구글
- 여러 떼
- 가이드 라인
- 도움이
- 기대
- HTTPS
- 사람의
- 인간
- 확인
- 식별하다
- 식별
- 영향
- 영향
- 영향
- 중대한
- 불가능한
- 개선하는
- in
- 기타의
- 포함
- 잘못
- 증가
- 입력
- 를 받아야 하는 미국 여행자
- 대화형
- 문제
- IT
- 기자
- 유지
- 알려진
- 레이블링
- 언어
- 언어
- 넓은
- 진수
- 배우다
- 길이
- 아마도
- 한계
- 제한된
- 제한
- 명부
- 능력
- 장기
- 이상
- 낮은
- 유튜브 영상을 만드는 것은
- 표
- 방법
- 오보
- Mission
- 모델
- 모델
- 배우기
- 네트워크
- 신경망
- 신제품
- 번호
- 숫자
- ONE
- OpenAI
- 조직
- 기타
- 요점
- 쭉 내밀다
- 외부
- 쌍
- 부모님
- 부품
- 수행하다
- 조각
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 부디
- 포인트 적립
- 정책
- 위치
- 긍정적인
- 예측
- 예측 가능
- 예측
- 일차
- 청춘
- 프로그램
- 제공
- 제공
- 공개적으로
- 율
- 최근
- 인식
- 권하다
- 출시
- 신뢰성
- 신뢰할 수있는
- 연구원
- 의지
- 자료
- 응답
- 달리는
- 안전하게
- 같은
- 보고
- 서비스
- 서비스 제공자
- 세트
- 공유
- 짧은
- 영상을
- 크게
- 일부
- 출처
- 지우면 좋을거같음 . SM
- 학생들
- 제출
- 성공한
- 이러한
- 시스템은
- 교사
- XNUMXD덴탈의
- 소스
- 그들의
- 임계값
- 에
- 검색을
- 화제
- 훈련 된
- 트레이닝
- 참된
- 일반적으로
- 업데이트
- 업데이트
- us
- 사용
- 종류
- 웹
- 환영
- 뭐
- 여부
- 어느
- 동안
- 의지
- 말
- 작업
- 쓴
- 잘못된
- 당신 자신
- 제퍼 넷