นักวิชาการที่มุ่งเน้นไปที่ปัญญาประดิษฐ์ได้ใช้ AI เชิงสร้างสรรค์เพื่อช่วยตรวจสอบงานการเรียนรู้ของเครื่องของเพื่อนร่วมงาน
เมื่อเร็วๆ นี้กลุ่มนักวิจัยจากมหาวิทยาลัยสแตนฟอร์ด, NEC Labs America และ UC Santa Barbara ได้วิเคราะห์การทบทวนเอกสารที่ส่งไปยังการประชุม AI ชั้นนำ รวมถึง ICLR 2024, NeurIPS 2023, CoRL 2023 และ EMNLP 2023
ผู้เขียน ได้แก่ Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland และ James Y Zou รายงานการค้นพบของพวกเขาใน กระดาษ ในหัวข้อ “การตรวจสอบเนื้อหาที่แก้ไขโดย AI ในวงกว้าง: กรณีศึกษาเกี่ยวกับผลกระทบของ ChatGPT ต่อการวิจารณ์การประชุมโดยผู้ทรงคุณวุฒิด้าน AI”
พวกเขาทำการศึกษาโดยคำนึงถึงความสนใจของสาธารณชน และการอภิปรายเกี่ยวกับโมเดลภาษาขนาดใหญ่ที่ครอบงำวาทกรรมทางเทคนิคเมื่อปีที่แล้ว
ผู้เขียนพบว่าการใช้ LLM ที่ชัดเจนเพิ่มขึ้นเล็กน้อยแต่สม่ำเสมอสำหรับบทวิจารณ์ที่ส่งมาภายในสามวันหรือน้อยกว่านั้นก่อนถึงกำหนดเวลา
ความยากในการแยกแยะระหว่างข้อความที่เขียนโดยมนุษย์และข้อความที่เขียนด้วยเครื่องและรายงานที่เพิ่มขึ้น เว็บไซต์ข่าวเอไอ ทำให้ผู้เขียนสรุปว่ามีความจำเป็นเร่งด่วนในการพัฒนาวิธีประเมินชุดข้อมูลในโลกแห่งความเป็นจริงที่มีเนื้อหาที่เขียนโดย AI ซึ่งไม่แน่นอนจำนวนหนึ่ง
บางครั้งผลงานด้าน AI ก็โดดเด่น เช่นเดียวกับใน กระดาษ จากรายงานกรณีรังสีวิทยา เรื่อง “การจัดการที่ประสบความสำเร็จของการบาดเจ็บของหลอดเลือดดำพอร์ทัล Iatrogenic และการบาดเจ็บของหลอดเลือดแดงตับในผู้ป่วยหญิงอายุ 4 เดือน: รายงานผู้ป่วยและการทบทวนวรรณกรรม”
ข้อความที่สับสนนี้ถือเป็นการแจกแจงเล็กน้อย: “โดยสรุปแล้ว การจัดการภาวะ Iatrogenic แบบทวิภาคี ฉันเสียใจเป็นอย่างยิ่ง แต่ฉันไม่สามารถเข้าถึงข้อมูลแบบเรียลไทม์หรือข้อมูลเฉพาะของผู้ป่วยได้ เนื่องจากฉันเป็นโมเดลภาษา AI ”
แต่ความแตกต่างไม่ได้ชัดเจนเสมอไป และความพยายามในอดีตในการพัฒนาวิธีอัตโนมัติในการจัดเรียงข้อความที่เขียนโดยมนุษย์จากโรโบร้อยแก้วยังไม่เป็นไปด้วยดี OpenAI เป็นต้น เปิดตัวเครื่องแยกประเภทข้อความ AI เพื่อจุดประสงค์นั้นในเดือนมกราคม พ.ศ. 2023 เพียงเพื่อจะปิดตัวลงในหกเดือนต่อมา”เนื่องจากอัตราความแม่นยำต่ำ".
ยังไงก็เหลียง. อัล et โต้แย้งว่าการมุ่งเน้นไปที่การใช้คำคุณศัพท์ในข้อความ แทนที่จะพยายามประเมินเอกสาร ย่อหน้า หรือประโยคทั้งหมด นำไปสู่ผลลัพธ์ที่น่าเชื่อถือมากขึ้น
ผู้เขียนใช้ข้อมูลสองชุดหรือที่เรียกว่า Corpora ชุดหนึ่งเขียนโดยมนุษย์และอีกชุดหนึ่งเขียนโดยเครื่องจักร และพวกเขาใช้ข้อความทั้งสองนี้ในการประเมินการประเมิน – การทบทวนเอกสาร AI การประชุม – สำหรับความถี่ของคำคุณศัพท์เฉพาะ
“การคำนวณของเราทั้งหมดขึ้นอยู่กับคำคุณศัพท์ที่มีอยู่ในเอกสารแต่ละฉบับเท่านั้น” พวกเขาอธิบาย “เราพบว่าตัวเลือกคำศัพท์นี้มีเสถียรภาพมากกว่าการใช้ส่วนอื่น ๆ ของคำพูด เช่น คำวิเศษณ์ กริยา คำนาม หรือสัญลักษณ์ที่เป็นไปได้ทั้งหมด”
ปรากฎว่า LLM มีแนวโน้มที่จะใช้คำคุณศัพท์ เช่น “น่ายกย่อง” “สร้างสรรค์” และ “ครอบคลุม” บ่อยกว่าผู้เขียนที่เป็นมนุษย์ และความแตกต่างทางสถิติดังกล่าวในการใช้คำทำให้กลุ่มสามารถระบุการทบทวนเอกสารที่ถือว่ามีแนวโน้มว่าจะได้รับความช่วยเหลือจาก LLM
Word cloud ของคำคุณศัพท์ 100 อันดับแรกในความคิดเห็น LLM พร้อมขนาดตัวอักษรที่ระบุความถี่ (คลิกเพื่อดูภาพขยาย)
“ผลลัพธ์ของเราชี้ให้เห็นว่าระหว่างร้อยละ 6.5 ถึง 16.9 ของข้อความที่ส่งในการวิจารณ์โดยผู้ทรงคุณวุฒิในการประชุมเหล่านี้ อาจได้รับการแก้ไขอย่างมีนัยสำคัญโดย LLM กล่าวคือ นอกเหนือจากการตรวจตัวสะกดหรือการอัปเดตการเขียนเล็กน้อย” ผู้เขียนแย้ง โดยสังเกตว่าการทบทวนงานใน วารสารวิทยาศาสตร์ Nature ไม่แสดงสัญญาณของความช่วยเหลือด้านยานยนต์
มีหลายปัจจัยที่ดูเหมือนจะสัมพันธ์กับการใช้งาน LLM ที่มากขึ้น ประการหนึ่งคือใกล้ถึงกำหนดเวลา: ผู้เขียนพบว่ามีการใช้งาน LLM ที่ชัดเจนเพิ่มขึ้นเล็กน้อยแต่สม่ำเสมอสำหรับบทวิจารณ์ที่ส่งมาภายในสามวันหรือน้อยกว่านั้นก่อนถึงกำหนดเวลา
นักวิจัยเน้นย้ำว่าความตั้งใจของพวกเขาไม่ได้ผ่านการตัดสินเกี่ยวกับการใช้ความช่วยเหลือในการเขียนของ AI หรืออ้างว่าเอกสารใด ๆ ที่พวกเขาประเมินนั้นเขียนโดยโมเดล AI ทั้งหมด แต่พวกเขาแย้งว่าชุมชนวิทยาศาสตร์จำเป็นต้องมีความโปร่งใสมากขึ้นเกี่ยวกับการใช้ LLM
และพวกเขาโต้แย้งว่าแนวทางปฏิบัติดังกล่าวอาจกีดกันผู้ที่ทำงานอยู่ในระหว่างการทบทวนผลตอบรับที่หลากหลายจากผู้เชี่ยวชาญ ยิ่งไปกว่านั้น ผลตอบรับของ AI ยังเสี่ยงต่อผลกระทบที่ทำให้เป็นเนื้อเดียวกันซึ่งเบี่ยงเบนไปสู่อคติของโมเดล AI และห่างไกลจากข้อมูลเชิงลึกที่มีความหมาย
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
- เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
- เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
- เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
- ที่มา: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :เป็น
- :ไม่
- :ที่ไหน
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- เกี่ยวกับเรา
- เข้า
- AI
- ทั้งหมด
- อนุญาตให้
- เสมอ
- am
- สหรัฐอเมริกา
- จำนวน
- an
- วิเคราะห์
- และ
- ใด
- เห็นได้ชัด
- ปรากฏ
- ใกล้เข้ามา
- ที่ถกเถียงกันอยู่
- เทียม
- ปัญญาประดิษฐ์
- AS
- ประเมินผล
- ความช่วยเหลือ
- At
- ความพยายามในการ
- ผู้เขียน
- การประพันธ์
- อัตโนมัติ
- ไป
- ตาม
- BE
- รับ
- ก่อน
- กำลัง
- ระหว่าง
- เกิน
- อคติ
- บิต
- ร่างกาย
- แต่
- by
- การคำนวณ
- cao
- กรณี
- กรณีศึกษา
- ChatGPT
- เฉิน
- ทางเลือก
- ข้อเรียกร้อง
- คลิก
- เมฆ
- CO
- น่ายกย่อง
- ชุมชน
- อย่างสมบูรณ์
- ครอบคลุม
- สรุป
- การประชุม
- การประชุม
- คงเส้นคงวา
- บรรจุ
- ที่มีอยู่
- โต้แย้ง
- เนื้อหา
- ได้
- แดเนียล
- ข้อมูล
- ชุดข้อมูล
- วัน
- เส้นตาย
- ถือว่า
- ขึ้นอยู่กับ
- พัฒนา
- ความแตกต่าง
- ความยาก
- สนทนา
- การสนทนา
- ความแตกต่าง
- หลาย
- do
- เอกสาร
- เอกสาร
- ครอบงำ
- สวม
- e
- แต่ละ
- ผล
- เน้น
- ขยาย
- ทั้งหมด
- ได้รับสิทธิ
- ประเมินค่า
- ประเมิน
- การประเมินผล
- ตัวอย่าง
- แสดง
- ผู้เชี่ยวชาญ
- อธิบาย
- ปัจจัย
- ข้อเสนอแนะ
- หญิง
- ผลการวิจัย
- มุ่งเน้น
- โดยมุ่งเน้น
- สำหรับ
- พบ
- เวลา
- มัก
- ราคาเริ่มต้นที่
- กำเนิด
- กำเนิด AI
- ของแถม
- ไป
- มากขึ้น
- บัญชีกลุ่ม
- มี
- ช่วย
- HTTPS
- Huang
- เป็นมนุษย์
- มนุษย์
- i
- แยกแยะ
- ส่งผลกระทบ
- in
- รวมทั้ง
- เพิ่ม
- การแสดง
- ข้อมูล
- ความเสียหาย
- นวัตกรรม
- ความเข้าใจ
- Intelligence
- ความตั้งใจ
- อยากเรียนรู้
- ISN
- IT
- ITS
- เจมส์
- มกราคม
- วารสาร
- jpg
- ห้องปฏิบัติการ
- ภาษา
- ใหญ่
- ชื่อสกุล
- ปีที่แล้ว
- ต่อมา
- ชั้นนำ
- นำไปสู่
- การเรียนรู้
- นำ
- น้อยลง
- กดไลก์
- น่าจะ
- วรรณคดี
- LLM
- ต่ำ
- เครื่อง
- เรียนรู้เครื่อง
- เครื่อง
- การจัดการ
- มีความหมาย
- ผู้เยาว์
- แบบ
- โมเดล
- การแก้ไข
- การตรวจสอบ
- เดือน
- ข้อมูลเพิ่มเติม
- ธรรมชาติ
- จำเป็นต้อง
- ความต้องการ
- ข่าว
- สังเกต
- คำนาม
- ตอนนี้
- ชัดเจน
- of
- on
- ONE
- เพียง
- OpenAI
- or
- อื่นๆ
- ของเรา
- ออก
- เอกสาร
- ส่วน
- ส่ง
- ทางเดิน
- อดีต
- ผู้ป่วย
- ลูกแพร์
- เพื่อนร่วมงาน
- เปอร์เซ็นต์
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- พอร์ทัล
- เป็นไปได้
- ที่อาจเกิดขึ้น
- การปฏิบัติ
- สาธารณะ
- วัตถุประสงค์
- คะแนน
- ค่อนข้าง
- โลกแห่งความจริง
- เรียลไทม์
- เมื่อเร็ว ๆ นี้
- น่าเชื่อถือ
- รายงาน
- รายงาน
- รายงาน
- นักวิจัย
- ผลสอบ
- ทบทวน
- สุดท้าย
- การตรวจสอบ
- รีวิว
- ขึ้น
- ความเสี่ยง
- s
- ซานตา
- ขนาด
- วิทยาศาสตร์
- ชุดอุปกรณ์
- สัญญาณ
- หก
- หกเดือน
- ขนาด
- เล็ก
- บาง
- โดยเฉพาะ
- การพูด
- Stability
- ยืน
- Stanford
- มหาวิทยาลัยสแตนฟอร์ด
- ทางสถิติ
- ศึกษา
- ส่ง
- อย่างเป็นจริงเป็นจัง
- ที่ประสบความสำเร็จ
- อย่างเช่น
- แนะนำ
- สรุป
- นำ
- วิชาการ
- มีแนวโน้ม
- ข้อความ
- กว่า
- ที่
- พื้นที่
- ของพวกเขา
- พวกเขา
- ที่นั่น
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- พวกเขา
- นี้
- เหล่านั้น
- สาม
- หัวข้อ
- ไปยัง
- ราชสกุล
- เอา
- ด้านบน
- ไปทาง
- โปร่งใส
- พยายาม
- ผลัดกัน
- สอง
- รับปาก
- มหาวิทยาลัย
- การปรับปรุง
- ด่วน
- การใช้
- ใช้
- มือสอง
- การใช้
- มาก
- คือ
- ทาง..
- วิธี
- we
- ดี
- คือ
- อะไร
- ใคร
- กับ
- คำ
- งาน
- การเขียน
- เขียน
- Ye
- ปี
- ลมทะเล
- Zhao