นักวิทยาศาสตร์ถูกหลอกให้เชื่อว่าบทคัดย่อปลอมที่เขียนโดย ChatGPT เป็นของจริง

นักวิชาการอาจถูกหลอกให้เชื่อว่าบทคัดย่อทางวิทยาศาสตร์ปลอมที่สร้างขึ้นโดย ChatGPT นั้นมาจากเอกสารทางการแพทย์จริงที่ตีพิมพ์ในวารสารการวิจัยชั้นนำ ตามรายงานการวิจัยล่าสุด

ทีมนักวิจัยที่นำโดยมหาวิทยาลัยนอร์ธเวสเทิร์น มือสอง เครื่องมือสร้างข้อความที่พัฒนาโดย OpenAI เพื่อผลิตบทคัดย่อ 50 รายการตามชื่อบทความทางวิทยาศาสตร์จริงในรูปแบบของวารสารทางการแพทย์ XNUMX ฉบับ

นักวิชาการสี่คนถูกเกณฑ์เข้าร่วมการทดสอบ และถูกแบ่งออกเป็นสองกลุ่มๆ ละสองกลุ่ม มีการใช้การพลิกเหรียญอิเล็กทรอนิกส์เพื่อตัดสินใจว่าจะให้บทคัดย่อที่สร้างโดย AI จริงหรือปลอมแก่ผู้ตรวจทานหนึ่งคนในแต่ละกลุ่ม หากนักวิจัยคนหนึ่งได้รับบทคัดย่อจริง คนที่สองจะได้รับบทคัดย่อปลอม และในทางกลับกัน แต่ละคนทบทวน 25 บทคัดย่อทางวิทยาศาสตร์

ผู้ตรวจสอบสามารถตรวจจับบทคัดย่อปลอมที่เกิดจาก AI ได้ 68 เปอร์เซ็นต์ และบทคัดย่อต้นฉบับจากเอกสารจริง 86 เปอร์เซ็นต์ กล่าวอีกนัยหนึ่งคือ พวกเขาถูกหลอกให้คิดว่า 32 เปอร์เซ็นต์ของบทคัดย่อที่เขียนโดย AI เป็นของจริง และ 14 เปอร์เซ็นต์ของบทคัดย่อจริงเป็นของปลอม

Catherine Gao ผู้เขียนคนแรกของการศึกษาและแพทย์และนักวิทยาศาสตร์ที่เชี่ยวชาญด้านโรคปอดแห่งมหาวิทยาลัย Northwestern กล่าวว่าสิ่งนี้แสดงให้เห็นว่า ChatGPT ค่อนข้างน่าเชื่อถือ “ผู้ตรวจสอบของเรารู้ว่าบทคัดย่อบางส่วนที่พวกเขาได้รับนั้นเป็นของปลอม ดังนั้นพวกเขาจึงน่าสงสัยมาก” เธอ กล่าวว่า ในงบ 

“ความจริงที่ว่าผู้ตรวจสอบของเรายังคงพลาดสิ่งที่สร้างโดย AI ถึง 32 [เปอร์เซ็นต์] หมายความว่าบทคัดย่อเหล่านี้ดีมาก ฉันสงสัยว่าถ้าใครบังเอิญเจอหนึ่งในบทคัดย่อที่สร้างขึ้นเหล่านี้ พวกเขาไม่จำเป็นต้องระบุได้ว่าสิ่งนั้นเขียนโดย AI”

โมเดลภาษาขนาดใหญ่ เช่น ChatGPT ได้รับการฝึกอบรมเกี่ยวกับข้อความจำนวนมากที่คัดลอกมาจากอินเทอร์เน็ต พวกเขาเรียนรู้ที่จะสร้างข้อความโดยการคาดคะเนว่าคำใดมีแนวโน้มที่จะเกิดขึ้นในประโยคที่กำหนด และสามารถเขียนไวยากรณ์ได้ถูกต้องตามหลักไวยากรณ์ ไม่น่าแปลกใจที่แม้แต่นักวิชาการยังถูกหลอกให้เชื่อว่านามธรรมที่สร้างโดย AI นั้นมีอยู่จริง โมเดลภาษาขนาดใหญ่นั้นดีในการสร้างข้อความที่มีโครงสร้างและรูปแบบที่ชัดเจน บทคัดย่อทางวิทยาศาสตร์มักมีรูปแบบที่คล้ายคลึงกัน และค่อนข้างคลุมเครือ

“ผู้ตรวจสอบของเราให้ความเห็นว่าเป็นการยากที่จะแยกแยะความแตกต่างระหว่างบทคัดย่อของจริงและของปลอม” Gao กล่าว “บทคัดย่อที่สร้างโดย ChatGPT นั้นน่าเชื่อถือมาก…มันรู้ด้วยซ้ำว่ากลุ่มผู้ป่วยควรมีขนาดใหญ่เพียงใดเมื่อสร้างตัวเลข” ตัวอย่างเช่น บทคัดย่อปลอมเกี่ยวกับโรคความดันโลหิตสูง อธิบายการศึกษาที่มีผู้เข้าร่วมหลายหมื่นคน ในขณะที่เรื่องหนึ่งเกี่ยวกับโรคฝีดาษมีผู้ป่วยจำนวนน้อยกว่า 

การแยกความแตกต่างระหว่างบทคัดย่อของจริงกับของปลอมเป็นเรื่องยากอย่างน่าประหลาดใจ

Gao เชื่อว่าเครื่องมืออย่าง ChatGPT จะช่วยให้โรงงานกระดาษที่ได้รับประโยชน์จากการศึกษาเผยแพร่สามารถเลิกผลิตเอกสารทางวิทยาศาสตร์ปลอมได้ง่ายขึ้น “หากคนอื่นพยายามสร้างวิทยาศาสตร์ของตนจากการศึกษาที่ไม่ถูกต้อง นั่นอาจเป็นอันตรายได้” เธอกล่าวเสริม

อย่างไรก็ตาม การใช้เครื่องมือเหล่านี้ก็มีข้อดีเช่นกัน อเล็กซานเดอร์ เพียร์สัน ผู้ร่วมเขียนงานวิจัยและรองศาสตราจารย์ด้านการแพทย์แห่งมหาวิทยาลัยชิคาโก กล่าวว่า พวกเขาสามารถช่วยให้นักวิทยาศาสตร์ที่ไม่ได้ใช้ภาษาอังกฤษเป็นภาษาแม่เขียนได้ดีขึ้นและแบ่งปันผลงานของพวกเขา 

AI สามารถตรวจจับข้อความของเครื่องได้ดีกว่ามนุษย์ ฟรี เครื่องตรวจจับเอาต์พุต GPT-2, ตัวอย่างเช่น สามารถเดาได้ด้วยความมั่นใจมากกว่า 50 เปอร์เซ็นต์ว่าเอกสาร 33 จาก 50 ฉบับสร้างขึ้นจากแบบจำลองภาษาจริงๆ นักวิจัยเชื่อว่าการส่งเอกสารควรดำเนินการผ่านเครื่องตรวจจับเหล่านี้ และนักวิทยาศาสตร์ควรมีความโปร่งใสเกี่ยวกับการใช้เครื่องมือเหล่านี้

“เราไม่ได้ใช้ ChatGPT ในการเขียนบทคัดย่อหรือต้นฉบับของเราเอง เนื่องจากขอบเขตว่าชุมชนวิชาการจะยอมรับสิ่งนี้ได้หรือไม่นั้นยังไม่ชัดเจน ตัวอย่างเช่น International Conference on Machine Learning ได้กำหนดนโยบาย ห้าม การใช้งานแม้ว่าพวกเขาจะรับทราบว่าการอภิปรายยังคงพัฒนาต่อไปและชี้แจงว่าไม่เป็นไรที่จะใช้ในการ 'แก้ไขหรือขัดเกลา'” Gao กล่าว ลงทะเบียน.

“มีกลุ่มที่เริ่มใช้มันเพื่อช่วยในการเขียน และบางกลุ่มได้รวมมันไว้ในฐานะผู้เขียนร่วม ฉันคิดว่าอาจไม่เป็นไรที่จะใช้ ChatGPT เพื่อช่วยในการเขียน แต่เมื่อทำเสร็จแล้ว สิ่งสำคัญคือต้องมีการเปิดเผยอย่างชัดเจนว่า ChatGPT ช่วยเขียนส่วนต่างๆ ของต้นฉบับ เราอาจใช้หรือไม่ใช้ LLM เพื่อช่วยเขียนบทความในอนาคตก็ได้ ทั้งนี้ขึ้นอยู่กับความเห็นพ้องต้องกันของชุมชนวิทยาศาสตร์ ®

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• เพลโตบล็อคเชน Web3 Metaverse ข่าวกรอง ขยายความรู้. เข้าถึงได้ที่นี่.
• ที่มา: https://go.theregister.com/feed/www.theregister.com/2023/01/11/scientists_chatgpt_papers/