AI ผ่านการสอบใบอนุญาตทางการแพทย์ของสหรัฐอเมริกา

— เอกสาร XNUMX ฉบับแสดงให้เห็นว่าโมเดลภาษาขนาดใหญ่ รวมถึง ChatGPT สามารถผ่าน USMLE ได้

by ไมเคิล เดอโป-วิลสัน, Enterprise & Investigative Writer, MedPage 19 มกราคม 2023

โปรแกรมปัญญาประดิษฐ์ (AI) สองโปรแกรม ซึ่งรวมถึง ChatGPT ได้ผ่านการตรวจสอบใบอนุญาตทางการแพทย์ของสหรัฐอเมริกา (USMLE) ตามรายงานล่าสุดสองฉบับ

เอกสารดังกล่าวเน้นแนวทางต่างๆ ในการใช้โมเดลภาษาขนาดใหญ่ในการสอบ USMLE ซึ่งประกอบด้วยข้อสอบ 1 แบบ ได้แก่ ขั้นตอนที่ 2 ขั้นตอนที่ 3 CK และขั้นตอนที่ XNUMX

ChatGPTopens ในแท็บหรือหน้าต่างใหม่ เป็นเครื่องมือค้นหาปัญญาประดิษฐ์ (AI) ที่เลียนแบบการเขียนแบบยาวตามคำแนะนำจากผู้ใช้ที่เป็นมนุษย์ ได้รับการพัฒนาโดย OpenAI และได้รับความนิยมหลังจากโพสต์สื่อสังคมออนไลน์หลายโพสต์แสดงให้เห็นถึงศักยภาพในการใช้เครื่องมือนี้ในการปฏิบัติทางคลินิก มักจะมีผลลัพธ์ที่หลากหลายเปิดในแท็บหรือหน้าต่างใหม่.

กระดาษแผ่นแรก เผยแพร่บน medRxivเปิดในแท็บหรือหน้าต่างใหม่ ในเดือนธันวาคม ตรวจสอบประสิทธิภาพของ ChatGPT ใน USMLE โดยไม่มีการฝึกอบรมพิเศษหรือการเสริมกำลังใดๆ ก่อนการสอบ จากข้อมูลของ Victor Tseng, MD จาก Ansible Health ใน Mountain View, California และเพื่อนร่วมงาน ผลลัพธ์ที่ได้แสดงให้เห็น “หลักฐานใหม่และน่าประหลาดใจ” ที่แสดงว่าเครื่องมือ AI นี้พร้อมรับมือกับความท้าทาย

Tseng และทีมสังเกตว่า ChatGPT สามารถดำเนินการที่ความแม่นยำ >50% จากการทดสอบทั้งหมด และทำได้ถึง 60% ในการวิเคราะห์ส่วนใหญ่ แม้ว่าเกณฑ์การผ่าน USMLE จะแตกต่างกันไปในแต่ละปี ผู้เขียนกล่าวว่าการผ่านเกณฑ์นั้นอยู่ที่ประมาณ 60% ส่วนใหญ่ในแต่ละปี

“ChatGPT ดำเนินการที่หรือใกล้ผ่านเกณฑ์สำหรับการสอบทั้งสามรายการโดยไม่มีการฝึกอบรมหรือการเสริมกำลังพิเศษใดๆ” พวกเขาเขียน โดยสังเกตว่าเครื่องมือสามารถแสดงให้เห็นถึง “ความสอดคล้องและความเข้าใจในคำอธิบายในระดับสูง”

"ผลลัพธ์เหล่านี้ชี้ให้เห็นว่าโมเดลภาษาขนาดใหญ่อาจมีศักยภาพในการช่วยเหลือด้านการศึกษาทางการแพทย์ และอาจรวมถึงการตัดสินใจทางคลินิก" พวกเขาสรุป

กระดาษแผ่นที่สอง เผยแพร่บน arXivเปิดในแท็บหรือหน้าต่างใหม่ในเดือนธันวาคม ยังได้ประเมินประสิทธิภาพของรูปแบบภาษาขนาดใหญ่อีกรูปแบบหนึ่งคือ Flan-PaLM บน USMLE Vivek Natarajan นักวิจัยด้าน AI และเพื่อนร่วมงานอธิบายข้อแตกต่างที่สำคัญระหว่างสองโมเดลคือโมเดลนี้ได้รับการแก้ไขอย่างมากเพื่อเตรียมพร้อมสำหรับการสอบ โดยใช้ชุดฐานข้อมูลตอบคำถามทางการแพทย์ที่เรียกว่า MultiMedQA

Flan-PaLM ได้รับความแม่นยำ 67.6% ในการตอบคำถาม USMLE ซึ่งสูงกว่าประสิทธิภาพที่ดีที่สุดก่อนหน้านี้ประมาณ 17 เปอร์เซ็นต์ที่ดำเนินการโดยใช้ PubMed GPT

Natarajan และทีมสรุปว่าโมเดลภาษาขนาดใหญ่ “นำเสนอโอกาสสำคัญในการคิดใหม่เกี่ยวกับการพัฒนา AI ทางการแพทย์ และทำให้การใช้งานง่ายขึ้น ปลอดภัยขึ้น และเท่าเทียมกันมากขึ้น”

ChatGPT ร่วมกับโปรแกรม AI อื่นๆ ได้ปรากฏตัวเป็นหัวข้อและบางครั้งก็เป็นผู้เขียนร่วมของเอกสารการวิจัยใหม่ที่มุ่งเน้นการทดสอบประโยชน์ของเทคโนโลยีในทางการแพทย์

แน่นอนว่า บุคลากรทางการแพทย์ได้แสดงความกังวลเกี่ยวกับการพัฒนาเหล่านี้ โดยเฉพาะอย่างยิ่งเมื่อ ChatGPT ได้รับการเสนอชื่อเป็นผู้เขียนในเอกสารการวิจัย บทความล่าสุดจาก ธรรมชาติเปิดในแท็บหรือหน้าต่างใหม่ เน้นความไม่สบายใจจากเพื่อนร่วมงานและผู้เขียนร่วมของเทคโนโลยีที่เกิดขึ้นใหม่

ข้อโต้แย้งประการหนึ่งต่อการใช้โปรแกรม AI ในการวิจัยนั้นขึ้นอยู่กับว่าโปรแกรมเหล่านี้สามารถสร้างผลงานทางวิชาการที่มีความหมายให้กับบทความได้หรือไม่ ในขณะที่ข้อโต้แย้งอีกข้อหนึ่งเน้นย้ำว่าเครื่องมือ AI ไม่สามารถยินยอมให้เป็นผู้เขียนร่วมได้ตั้งแต่แรก

บรรณาธิการของ กระดาษหนึ่งแผ่นเปิดในแท็บหรือหน้าต่างใหม่ ที่ระบุ ChatGPT เป็นผู้เขียนกล่าวว่าเป็นข้อผิดพลาดที่จะแก้ไขตาม ธรรมชาติ บทความ. ถึงกระนั้น นักวิจัยได้เผยแพร่เอกสารหลายฉบับที่กำลังกล่าวถึงโปรแกรม AI เหล่านี้ว่าเป็นเครื่องมือที่มีประโยชน์ในการศึกษาทางการแพทย์ การวิจัย และแม้กระทั่งการตัดสินใจทางคลินิก

Natarajan และเพื่อนร่วมงานสรุปในเอกสารของพวกเขาว่าแบบจำลองภาษาขนาดใหญ่อาจกลายเป็นเครื่องมือที่มีประโยชน์ในทางการแพทย์ แต่ความหวังแรกของพวกเขาคือการค้นพบของพวกเขาจะ "จุดประกายการสนทนาและความร่วมมือเพิ่มเติมระหว่างผู้ป่วย ผู้บริโภค นักวิจัย AI แพทย์ นักสังคมศาสตร์ นักจริยธรรม ผู้กำหนดนโยบาย และผู้สนใจอื่นๆ เพื่อรับผิดชอบในการแปลผลการวิจัยเบื้องต้นเหล่านี้เพื่อปรับปรุงการดูแลสุขภาพ”

ไมเคิล เดอโป-วิลสัน เป็นนักข่าวในองค์กรและทีมสืบสวนของ MedPage Today เขาครอบคลุมเรื่องจิตเวชศาสตร์ โรคโควิดระยะยาว และโรคติดเชื้อ รวมถึงข่าวทางคลินิกอื่นๆ ที่เกี่ยวข้องของสหรัฐฯ ติดตาม 

แหล่งที่มาหลัก

medRxiv

การอ้างอิงแหล่งที่มา: เปิดในแท็บหรือหน้าต่างใหม่Kung TH และคณะ “ประสิทธิภาพของ ChatGPT บน USMLE: ศักยภาพสำหรับการศึกษาทางการแพทย์โดยใช้ AI ช่วยเหลือโดยใช้โมเดลภาษาขนาดใหญ่” medRxiv 2022; ดอย: 10.1101/2022.12.19.22283643.

แหล่งทุติยภูมิ

arXiv

การอ้างอิงแหล่งที่มา: เปิดในแท็บหรือหน้าต่างใหม่Singhal K, et al “โมเดลภาษาขนาดใหญ่เข้ารหัสความรู้ทางคลินิก” arXiv 2022; ดอย: 10.48550/arXiv.2212.13138.

<!–

->

<!–
->

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• เพลโตบล็อคเชน Web3 Metaverse ข่าวกรอง ขยายความรู้. เข้าถึงได้ที่นี่.
• ที่มา: https://blockchainconsultants.io/ai-passes-u-s-medical-licensing-exam/?utm_source=rss&utm_medium=rss&utm_campaign=ai-passes-u-s-medical-licensing-exam