인공 지능에 초점을 맞춘 학자들은 생성 AI를 사용하여 동료의 기계 학습 작업을 검토하는 데 도움을 주었습니다.
스탠포드 대학교, NEC Labs America 및 UC Santa Barbara의 연구원 그룹은 최근 ICLR 2024, NeurIPS 2023, CoRL 2023 및 EMNLP 2023을 포함한 주요 AI 컨퍼런스에 제출된 논문의 동료 리뷰를 분석했습니다.
저자 – Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland 및 James Y Zou – 종이 "AI 수정 콘텐츠 대규모 모니터링: ChatGPT가 AI 컨퍼런스 동료 검토에 미치는 영향에 대한 사례 연구"라는 제목으로 작성되었습니다.
그들은 지난해 기술 담론을 지배했던 대규모 언어 모델에 대한 대중의 관심과 논의를 바탕으로 연구를 수행했습니다.
저자는 마감일 3일 이내에 제출된 리뷰에 대해 LLM 사용량이 작지만 지속적으로 증가하는 것을 발견했습니다.
인간이 작성한 텍스트와 기계가 작성한 텍스트를 구별하기가 어렵고 보고된 AI 뉴스 웹사이트 저자들은 불확실한 양의 AI 제작 콘텐츠가 포함된 실제 데이터 세트를 평가하는 방법을 긴급하게 개발해야 한다는 결론을 내렸습니다.
때때로 AI 저작자가 눈에 띕니다. 종이 "4개월 된 여아 환자의 의인성 간문맥 및 간동맥 손상의 성공적인 관리: 증례 보고 및 문헌 검토"라는 제목의 영상의학 사례 보고서에서 발췌.
이 뒤죽박죽된 구절은 약간의 선물입니다. “요약하자면 양측 의인성 관리에 대해 매우 죄송합니다. 하지만 저는 AI 언어 모델이기 때문에 실시간 정보나 환자별 데이터에 접근할 수 없습니다. .”
그러나 그 구별이 항상 명확한 것은 아니며, 인간이 작성한 텍스트를 로봇 산문에서 자동으로 정렬하는 방법을 개발하려는 과거의 시도는 잘 진행되지 않았습니다. 예를 들어 OpenAI AI 텍스트 분류기 도입 그 목적을 위해 2023년 XNUMX월에 문을 닫았지만 XNUMX개월 후에야 문을 닫았습니다.”정확도가 낮기 때문에. "
그럼에도 불구하고 리앙은 외 전체 문서, 단락 또는 문장을 평가하기보다는 텍스트에서 형용사 사용에 초점을 맞추는 것이 더 신뢰할 수 있는 결과를 가져온다고 주장합니다.
저자는 두 세트의 데이터, 즉 코퍼스(말뭉치)를 사용했습니다. 하나는 인간이 작성한 것이고 다른 하나는 기계가 작성한 것입니다. 그리고 그들은 이 두 가지 텍스트 본문을 사용하여 특정 형용사의 빈도에 대한 평가(컨퍼런스 AI 논문의 동료 검토)를 평가했습니다.
“우리의 모든 계산은 각 문서에 포함된 형용사에만 의존합니다.”라고 그들은 설명했습니다. "우리는 이 어휘 선택이 부사, 동사, 명사 또는 가능한 모든 토큰과 같은 다른 품사를 사용하는 것보다 더 큰 안정성을 나타내는 것을 발견했습니다."
LLM은 인간 저자보다 “칭찬할 만하다”, “혁신적이다”, “포괄적이다”와 같은 형용사를 더 자주 사용하는 경향이 있는 것으로 나타났습니다. 그리고 이러한 단어 사용의 통계적 차이를 통해 LLM 지원이 가능할 것으로 간주되는 논문의 리뷰를 식별할 수 있었습니다.
"우리의 결과는 이러한 컨퍼런스에 동료 리뷰로 제출된 텍스트의 6.5%에서 16.9% 사이가 LLM에 의해 실질적으로 수정되었을 수 있음을 시사합니다. 즉, 철자 검사나 사소한 글쓰기 업데이트를 넘어서는 것입니다."라고 저자는 주장했습니다. 과학저널 네이처(Nature)는 기계화된 지원의 흔적을 보이지 않습니다.
여러 요인이 LLM 사용 증가와 상관관계가 있는 것으로 보입니다. 하나는 마감일이 다가오고 있다는 것입니다. 저자는 마감일 3일 이내에 제출된 리뷰에 대해 LLM 사용량이 작지만 지속적으로 증가하는 것을 발견했습니다.
연구자들은 그들의 의도가 AI 글쓰기 지원 사용에 대한 판단을 내리려는 것이 아니며, 그들이 평가한 논문이 완전히 AI 모델에 의해 작성되었다고 주장하려는 것도 아니라고 강조했습니다. 그러나 그들은 과학계가 LLM 사용에 대해 좀 더 투명하게 해야 한다고 주장했습니다.
그리고 그들은 그러한 관행이 작업을 검토 중인 사람들로부터 전문가로부터 다양한 피드백을 받을 수 있는 기회를 잠재적으로 박탈한다고 주장했습니다. 게다가 AI 피드백은 AI 모델 편향으로 치우쳐 의미 있는 통찰력에서 멀어지는 균질화 효과의 위험이 있습니다. ®
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :이다
- :아니
- :어디
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- 소개
- ACCESS
- AI
- All
- 수
- 항상
- am
- 미국
- 양
- an
- 분석
- 및
- 어떤
- 명백한
- 표시
- 접근하는
- 논쟁하는
- 인조의
- 인공 지능
- AS
- 평가하다
- 원조
- At
- 시도
- 작성자
- 출처
- 자동화
- 떨어져
- 기반으로
- BE
- 된
- 전에
- 존재
- 사이에
- 그 너머
- 편견
- 비트
- 기관
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- 계산
- 카오
- 케이스
- 사례 연구
- ChatGPT
- 첸
- 선택
- 청구
- 클릭
- 클라우드
- CO
- 칭찬할 만하다
- 커뮤니티
- 완전히
- 포괄적 인
- 결론
- 컨퍼런스
- 회의
- 일관된
- 포함하는
- 포함
- 다투다
- 함유량
- 수
- 다니엘
- 데이터
- 데이터 세트
- 일
- 마감
- 간주되는
- 따라
- 개발
- 차이
- 어려움
- 담화
- 토론
- 구별
- 몇몇의
- do
- 문서
- 서류
- 지배적 인
- 돈
- e
- 마다
- 효과
- 강조
- 크게 하다
- 전체의
- 자격
- 평가
- 평가
- 평가
- 예
- 전시회
- 전문가
- 설명
- 요인
- 피드백
- 여자
- 결과
- 집중
- 초점
- 럭셔리
- 발견
- 진동수
- 자주
- 에
- 생성적인
- 제너레이티브 AI
- 선물
- 사라
- 큰
- 그룹
- 있다
- 도움
- HTTPS
- 황
- 사람의
- 인간
- i
- 확인
- 영향
- in
- 포함
- 증가
- 표시
- 정보
- 해
- 혁신적인
- 통찰력
- 인텔리전스
- 의지
- 관심
- Isn
- IT
- 그
- 제임스
- 일월
- 일지
- JPG
- 실험실
- 언어
- 넓은
- 성
- 작년
- 후에
- 지도
- 오퍼
- 배우기
- 지도
- 적게
- 처럼
- 아마도
- 문학
- LLM
- 낮은
- 기계
- 기계 학습
- 기계
- 구축
- 의미있는
- 미성년자
- 모델
- 모델
- 수정
- 모니터링
- 개월
- 배우기
- 자연
- 필요
- 요구
- news
- 지적
- 명사
- 지금
- 분명한
- of
- on
- ONE
- 만
- OpenAI
- or
- 기타
- 우리의
- 아웃
- 서류
- 부품
- 패스
- 통로
- 과거
- 환자
- 피어
- 동료
- 퍼센트
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 포털
- 가능한
- 잠재적으로
- 사례
- 공개
- 목적
- 율
- 차라리
- 현실 세계
- 실시간
- 최근에
- 신뢰할 수있는
- 신고
- 보고
- 보고서
- 연구원
- 결과
- 리뷰
- 검토
- 리뷰
- 리뷰
- 상승
- 위험
- s
- 산타
- 규모
- 과학적인
- 설정
- 안전표시
- SIX
- 여섯 달
- 크기
- 작은
- 일부
- 구체적인
- 연설
- 안정
- 서
- stanford
- 스탠포드 대학
- 통계적인
- 교육과정
- 제출
- 대체로
- 성공한
- 이러한
- 제안
- 개요
- 촬영
- 테크니컬
- 경향
- 본문
- 보다
- 그
- XNUMXD덴탈의
- 그들의
- 그들
- 그곳에.
- Bowman의
- 그들
- 이
- 그
- 세
- 제목의
- 에
- 토큰
- 했다
- 상단
- 방향
- 투명한
- 노력
- 결국
- 두
- 착수하다
- 대학
- 업데이트
- 긴급한
- 용법
- 사용
- 익숙한
- 사용
- 대단히
- 였다
- 방법..
- 방법
- we
- 잘
- 했다
- 뭐
- 누구의
- 과
- 워드
- 작업
- 쓰기
- 쓴
- Ye
- year
- 제퍼 넷
- 조