Các nhà khoa học bị lừa tin rằng những bản tóm tắt giả mạo do ChatGPT viết là có thật

Được xuất bản lại bởi Plato

Người theo dõi: 0

Các nhà khoa học đã bị lừa để tin rằng các bản tóm tắt giả do ChatGPT viết là Trí tuệ dữ liệu PlatoBlockchain thực sự. Tìm kiếm dọc. Ái.

Theo một nghiên cứu mới nhất, các học giả có thể bị lừa khi tin rằng các bản tóm tắt khoa học không có thật do ChatGPT tạo ra là từ các bài báo y tế thực sự được công bố trên các tạp chí nghiên cứu hàng đầu.

Một nhóm các nhà nghiên cứu do Đại học Tây Bắc dẫn đầu đã sử dụng công cụ tạo văn bản do OpenAI phát triển để tạo ra 50 bản tóm tắt dựa trên tiêu đề của một bài báo khoa học thực sự theo phong cách của năm tạp chí y khoa khác nhau.

Bốn học giả đã tranh thủ tham gia một bài kiểm tra và được chia thành hai nhóm hai người. Một trò tung đồng xu điện tử được sử dụng để quyết định xem một bản tóm tắt do AI tạo ra là thật hay giả được trao cho một người đánh giá trong mỗi nhóm. Nếu một nhà nghiên cứu được đưa cho một bản tóm tắt thật, thì người thứ hai sẽ được đưa cho một bản giả và ngược lại. Mỗi người đã xem xét 25 bài tóm tắt khoa học.

Người đánh giá có thể phát hiện 68% bản tóm tắt giả do AI tạo ra và 86% bản tóm tắt gốc từ bài báo thật. Nói cách khác, họ đã bị lừa thành công khi nghĩ rằng 32% bản tóm tắt do AI viết là thật và 14% bản tóm tắt thực là giả.

Catherine Gao, tác giả đầu tiên của nghiên cứu, đồng thời là bác sĩ và nhà khoa học chuyên về phổi tại Đại học Tây Bắc, cho biết nó cho thấy ChatGPT có thể khá thuyết phục. “Những người đánh giá của chúng tôi biết rằng một số bản tóm tắt mà họ nhận được là giả, vì vậy họ rất nghi ngờ,” cô ấy nói. nói trong một tuyên bố.

“Thực tế là những người đánh giá của chúng tôi vẫn bỏ sót những bài do AI tạo ra trong 32 [phần trăm] thời gian có nghĩa là những bài tóm tắt này thực sự tốt. Tôi nghi ngờ rằng nếu ai đó tình cờ nhìn thấy một trong những bản tóm tắt được tạo ra này, họ sẽ không nhất thiết có thể xác định nó là do AI viết.”

Các mô hình ngôn ngữ lớn như ChatGPT được đào tạo trên một lượng lớn văn bản được lấy từ internet. Họ học cách tạo văn bản bằng cách dự đoán những từ nào có nhiều khả năng xuất hiện trong một câu nhất định và có thể viết cú pháp chính xác về mặt ngữ pháp. Không có gì đáng ngạc nhiên khi ngay cả các học giả cũng có thể bị lừa khi tin rằng những bản tóm tắt do AI tạo ra là có thật. Các mô hình ngôn ngữ lớn rất tốt trong việc tạo ra văn bản có cấu trúc và mẫu rõ ràng. Tóm tắt khoa học thường theo các định dạng tương tự và có thể khá mơ hồ.

“Những người đánh giá của chúng tôi nhận xét rằng rất khó để phân biệt giữa tóm tắt thật và giả,” Gao nói. “Các bản tóm tắt do ChatGPT tạo ra rất thuyết phục… nó thậm chí còn biết nhóm bệnh nhân phải lớn đến mức nào khi nó phát minh ra các con số.” Ví dụ, một bản tóm tắt giả mạo về tăng huyết áp mô tả một nghiên cứu với hàng chục nghìn người tham gia, trong khi một nghiên cứu về bệnh thủy đậu bao gồm một số lượng bệnh nhân nhỏ hơn.

Thật khó để phân biệt giữa tóm tắt thật và giả

Gao tin rằng các công cụ như ChatGPT sẽ giúp các nhà máy giấy, những người thu lợi từ việc xuất bản các nghiên cứu, tạo ra các bài báo khoa học giả dễ dàng hơn. Cô ấy nói thêm: “Nếu những người khác cố gắng xây dựng khoa học của họ dựa trên những nghiên cứu không chính xác này, điều đó có thể thực sự nguy hiểm.

Tuy nhiên, cũng có những lợi thế khi sử dụng các công cụ này. Alexander Pearson, đồng tác giả của nghiên cứu và là phó giáo sư y khoa tại Đại học Chicago, cho biết họ có thể giúp các nhà khoa học không phải người Anh bản địa viết tốt hơn và chia sẻ công việc của họ.

AI phát hiện văn bản máy tốt hơn con người. miễn phí Máy dò đầu ra GPT-2, ví dụ, đã có thể đoán với độ tin cậy hơn 50% rằng 33 trong số 50 bài báo thực sự được tạo ra bởi một mô hình ngôn ngữ. Các nhà nghiên cứu tin rằng các bài báo nộp nên được chạy qua các máy dò này và các nhà khoa học nên minh bạch về việc sử dụng các công cụ này.

“Chúng tôi đã không sử dụng ChatGPT trong quá trình viết bản tóm tắt hoặc bản thảo của riêng mình, vì ranh giới về việc liệu điều này có được cộng đồng học thuật chấp nhận hay không vẫn chưa rõ ràng. Ví dụ, Hội nghị quốc tế về học máy đã thiết lập một chính sách cấm việc sử dụng nó, mặc dù họ thừa nhận rằng cuộc thảo luận tiếp tục phát triển và cũng làm rõ rằng việc sử dụng nó để 'chỉnh sửa hoặc đánh bóng' là được,” Gao nói Đăng ký.

“Tuy nhiên, đã có những nhóm bắt đầu sử dụng nó để giúp viết lách, và một số đã đưa nó vào danh sách đồng tác giả. Tôi nghĩ rằng có thể sử dụng ChatGPT để viết trợ giúp cũng được, nhưng khi điều này được thực hiện, điều quan trọng là phải bao gồm một tiết lộ rõ ràng rằng ChatGPT đã giúp viết các phần của bản thảo. Tùy thuộc vào sự đồng thuận của cộng đồng khoa học, chúng tôi có thể hoặc không thể sử dụng LLM để giúp viết bài báo trong tương lai.” ®