Các học giả tập trung vào trí tuệ nhân tạo đã sử dụng AI tổng quát để giúp họ đánh giá công việc học máy của các đồng nghiệp.
Một nhóm các nhà nghiên cứu từ Đại học Stanford, NEC Labs America và UC Santa Barbara gần đây đã phân tích các đánh giá ngang hàng của các bài báo được gửi tới các hội nghị AI hàng đầu, bao gồm ICLR 2024, NeurIPS 2023, CoRL 2023 và EMNLP 2023.
Các tác giả – Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Han Cheng Cao, Xuândong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland và James Y Zou – đã báo cáo những phát hiện của họ trên tạp chí một tờ giấy có tiêu đề “Giám sát nội dung được sửa đổi AI trên quy mô lớn: Nghiên cứu điển hình về tác động của ChatGPT đối với các đánh giá ngang hàng của hội nghị AI”.
Họ thực hiện nghiên cứu dựa trên sự quan tâm và thảo luận của công chúng về các mô hình ngôn ngữ lớn đã thống trị các cuộc thảo luận kỹ thuật vào năm ngoái.
Các tác giả nhận thấy mức độ sử dụng LLM rõ ràng tăng lên một chút nhưng nhất quán đối với các bài đánh giá được gửi ba ngày hoặc ít hơn trước thời hạn
Khó khăn trong việc phân biệt giữa văn bản do con người và máy viết và sự gia tăng được báo cáo về Trang web tin tức AI khiến các tác giả kết luận rằng cần phải phát triển các cách để đánh giá các tập dữ liệu trong thế giới thực có chứa một lượng nội dung không xác định do AI tạo ra.
Đôi khi quyền tác giả của AI nổi bật – như trong một giấy từ Báo cáo trường hợp X quang có tựa đề “Xử trí thành công tổn thương tĩnh mạch cửa và động mạch gan do điều trị ở bệnh nhân nữ 4 tháng tuổi: Báo cáo trường hợp và tổng quan tài liệu.”
Đoạn văn lộn xộn này mang tính chất tặng quà: “Tóm lại, việc quản lý phương pháp điều trị hai bên, tôi rất xin lỗi, nhưng tôi không có quyền truy cập vào thông tin thời gian thực hoặc dữ liệu cụ thể của bệnh nhân, vì tôi là người mẫu ngôn ngữ AI .”
Nhưng sự khác biệt không phải lúc nào cũng rõ ràng và những nỗ lực trước đây nhằm phát triển một cách tự động để sắp xếp văn bản do con người viết từ văn xuôi robot đã không thành công. OpenAI chẳng hạn đã giới thiệu Trình phân loại văn bản AI vì mục đích đó vào tháng 2023 năm XNUMX, chỉ sáu tháng sau mới đóng cửa “do tỷ lệ chính xác thấp".
Tuy nhiên, Lương et al cho rằng việc tập trung vào việc sử dụng tính từ trong văn bản – thay vì cố gắng đánh giá toàn bộ tài liệu, đoạn văn hoặc câu – sẽ dẫn đến kết quả đáng tin cậy hơn.
Các tác giả đã lấy hai bộ dữ liệu, hay còn gọi là tập hợp – một bộ được viết bởi con người và một bộ được viết bởi máy móc. Và họ đã sử dụng hai nội dung văn bản này để đánh giá các đánh giá – đánh giá ngang hàng của các bài báo AI trong hội nghị – về tần suất của các tính từ cụ thể.
Họ giải thích: “[A]Tất cả các tính toán của chúng tôi chỉ phụ thuộc vào các tính từ có trong mỗi tài liệu”. “Chúng tôi nhận thấy sự lựa chọn từ vựng này thể hiện sự ổn định cao hơn so với việc sử dụng các phần khác của lời nói như trạng từ, động từ, danh từ hoặc tất cả các mã thông báo có thể có.”
Hóa ra LLM có xu hướng sử dụng các tính từ như “đáng khen ngợi”, “sáng tạo” và “toàn diện” thường xuyên hơn so với các tác giả con người. Và những khác biệt thống kê như vậy trong cách sử dụng từ ngữ đã cho phép các nhà nghiên cứu xác định các bài đánh giá về các bài báo được cho là có khả năng hỗ trợ LLM.
Đám mây từ gồm 100 tính từ hàng đầu trong phản hồi LLM, với cỡ chữ biểu thị tần suất (bấm vào để phóng to)
Các tác giả lập luận: “Kết quả của chúng tôi cho thấy rằng từ 6.5% đến 16.9% văn bản được gửi dưới dạng đánh giá ngang hàng cho các hội nghị này có thể đã được sửa đổi đáng kể bởi LLM, tức là ngoài việc kiểm tra chính tả hoặc cập nhật văn bản nhỏ”. tạp chí khoa học Nature không có dấu hiệu hỗ trợ cơ giới hóa.
Một số yếu tố dường như có tương quan với việc sử dụng LLM nhiều hơn. Một là thời hạn đang đến gần: Các tác giả nhận thấy mức độ sử dụng LLM rõ ràng đã tăng lên một chút nhưng nhất quán đối với các đánh giá được gửi trước thời hạn ba ngày hoặc ít hơn.
Các nhà nghiên cứu nhấn mạnh rằng mục đích của họ không phải là đưa ra phán xét về việc sử dụng hỗ trợ viết AI, cũng như không khẳng định rằng bất kỳ bài báo nào họ đánh giá đều được viết hoàn toàn bằng mô hình AI. Nhưng họ cho rằng cộng đồng khoa học cần minh bạch hơn về việc sử dụng LLM.
Và họ cho rằng những cách làm như vậy có khả năng làm mất đi những phản hồi đa dạng từ các chuyên gia. Hơn nữa, phản hồi của AI có nguy cơ gây ra hiệu ứng đồng nhất, làm sai lệch các thành kiến của mô hình AI và làm mất đi những hiểu biết sâu sắc có ý nghĩa. ®
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :là
- :không phải
- :Ở đâu
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- Giới thiệu
- truy cập
- AI
- Tất cả
- cho phép
- luôn luôn
- am
- Mỹ
- số lượng
- an
- phân tích
- và
- bất kì
- rõ ràng
- xuất hiện
- tiếp cận
- lập luận
- nhân tạo
- trí tuệ nhân tạo
- AS
- đánh giá
- Hỗ trợ
- At
- Nỗ lực
- tác giả
- Nghề viết sách
- Tự động
- xa
- dựa
- BE
- được
- trước
- được
- giữa
- Ngoài
- thành kiến
- Một chút
- cơ quan
- nhưng
- by
- tính toán
- cao
- trường hợp
- trường hợp nghiên cứu
- ChatGPT
- chen
- sự lựa chọn
- xin
- Nhấp chuột
- đám mây
- CO
- đáng khen ngợi
- cộng đồng
- hoàn toàn
- toàn diện
- kết luận
- Hội nghị
- hội nghị
- thích hợp
- chứa
- chứa
- tranh giành
- nội dung
- có thể
- Daniel
- dữ liệu
- bộ dữ liệu
- Ngày
- thời hạn
- coi
- phụ thuộc
- phát triển
- sự khác biệt
- Khó khăn
- đàm luận
- thảo luận
- phân biệt
- khác nhau
- do
- tài liệu
- tài liệu
- thống trị
- don
- e
- mỗi
- hiệu lực
- nhấn mạnh
- phóng to
- Toàn bộ
- quyền
- đánh giá
- đánh giá
- đánh giá
- ví dụ
- triển lãm
- các chuyên gia
- Giải thích
- các yếu tố
- thông tin phản hồi
- giống cái
- phát hiện
- tập trung
- tập trung
- Trong
- tìm thấy
- tần số
- thường xuyên
- từ
- thế hệ
- Trí tuệ nhân tạo
- giveaway
- đi
- lớn hơn
- Nhóm
- Có
- giúp đỡ
- HTTPS
- huang
- Nhân loại
- Con người
- i
- xác định
- Va chạm
- in
- Bao gồm
- Tăng lên
- chỉ ra
- thông tin
- chấn thương
- sáng tạo
- cái nhìn sâu sắc
- Sự thông minh
- Ý định
- quan tâm
- isn
- IT
- ITS
- james
- Tháng một
- tạp chí
- jpg
- Phòng thí nghiệm
- Ngôn ngữ
- lớn
- Họ
- Năm ngoái
- một lát sau
- hàng đầu
- Dẫn
- học tập
- Led
- ít
- Lượt thích
- Có khả năng
- văn chương
- LLM
- Thấp
- máy
- học máy
- Máy móc
- quản lý
- có ý nghĩa
- nhỏ
- kiểu mẫu
- mô hình
- sửa đổi
- giám sát
- tháng
- chi tiết
- Thiên nhiên
- Cần
- nhu cầu
- tin tức
- Lưu ý
- danh từ
- tại
- Rõ ràng
- of
- on
- ONE
- có thể
- OpenAI
- or
- Nền tảng khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- ra
- giấy tờ
- các bộ phận
- vượt qua
- đi qua
- qua
- bệnh nhân
- lê
- đồng nghiệp
- phần trăm
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Portal
- có thể
- có khả năng
- thực hành
- công khai
- mục đích
- Tỷ lệ
- hơn
- thế giới thực
- thời gian thực
- gần đây
- đáng tin cậy
- báo cáo
- Báo cáo
- Báo cáo
- nhà nghiên cứu
- Kết quả
- xem xét
- xem xét
- xem xét
- Đánh giá
- Tăng lên
- rủi ro
- s
- ông già Noel
- Quy mô
- khoa học
- bộ
- Dấu hiệu
- Six
- Sáu tháng
- Kích thước máy
- nhỏ
- một số
- riêng
- phát biểu
- Tính ổn định
- đứng
- stanford
- Đại học Stanford
- thống kê
- Học tập
- trình
- đáng kể
- thành công
- như vậy
- đề nghị
- TÓM TẮT
- Lấy
- Kỹ thuật
- có xu hướng
- văn bản
- hơn
- việc này
- Sản phẩm
- cung cấp their dịch
- Them
- Đó
- Kia là
- họ
- điều này
- những
- số ba
- có tiêu đề
- đến
- Tokens
- mất
- hàng đầu
- đối với
- minh bạch
- cố gắng
- biến
- hai
- đảm nhận
- trường đại học
- Cập nhật
- khẩn cấp
- Sử dụng
- sử dụng
- đã sử dụng
- sử dụng
- rất
- là
- Đường..
- cách
- we
- TỐT
- là
- Điều gì
- có
- với
- Từ
- Công việc
- viết
- viết
- Ye
- năm
- zephyrnet
- Triệu