AI Lulus Ujian Lisensi Medis AS

— Dua makalah menunjukkan bahwa model bahasa besar, termasuk ChatGPT, dapat lulus USMLE

by Michael DePeau-Wilson, Penulis Perusahaan & Investigasi, MedPage 19 Januari 2023

Dua program kecerdasan buatan (AI) — termasuk ChatGPT — telah lulus US Medical Licensing Examination (USMLE), menurut dua makalah terbaru.

Makalah menyoroti pendekatan yang berbeda untuk menggunakan model bahasa besar untuk mengikuti USMLE, yang terdiri dari tiga ujian: Langkah 1, Langkah 2 CK, dan Langkah 3.

ChatGPTterbuka di tab atau jendela baru adalah alat pencarian kecerdasan buatan (AI) yang meniru tulisan bentuk panjang berdasarkan petunjuk dari pengguna manusia. Ini dikembangkan oleh OpenAI, dan menjadi populer setelah beberapa posting media sosial menunjukkan potensi penggunaan alat tersebut dalam praktik klinis, seringkali dengan hasil yang beragamterbuka di tab atau jendela baru.

Kertas pertama, Diterbitkan di medRxivterbuka di tab atau jendela baru pada bulan Desember, menyelidiki kinerja ChatGPT di USMLE tanpa pelatihan atau penguatan khusus apa pun sebelum ujian. Menurut Victor Tseng, MD, dari Ansible Health di Mountain View, California, dan rekannya, hasil menunjukkan "bukti baru dan mengejutkan" bahwa alat AI ini mampu menghadapi tantangan.

Tseng dan tim mencatat bahwa ChatGPT mampu bekerja dengan akurasi >50% di semua ujian, dan bahkan mencapai 60% di sebagian besar analisis mereka. Sementara ambang kelulusan USMLE bervariasi antara tahun, penulis mengatakan bahwa kelulusan sekitar 60% hampir setiap tahun.

“ChatGPT bekerja pada atau mendekati ambang kelulusan untuk ketiga ujian tanpa pelatihan atau penguatan khusus apa pun,” tulis mereka, mencatat bahwa alat tersebut mampu menunjukkan “kesesuaian dan wawasan tingkat tinggi dalam penjelasannya.”

“Hasil ini menunjukkan bahwa model bahasa besar mungkin memiliki potensi untuk membantu pendidikan kedokteran, dan berpotensi, pengambilan keputusan klinis,” simpul mereka.

Kertas kedua, Diterbitkan di arXivterbuka di tab atau jendela baru, juga di bulan Desember, mengevaluasi kinerja model bahasa besar lainnya, Flan-PaLM, di USMLE. Perbedaan utama antara kedua model adalah bahwa model ini banyak dimodifikasi untuk mempersiapkan ujian, menggunakan kumpulan database penjawab pertanyaan medis yang disebut MultiMedQA, jelas Vivek Natarajan, seorang peneliti AI, dan rekannya.

Flan-PaLM mencapai akurasi 67.6% dalam menjawab pertanyaan USMLE, sekitar 17 poin persentase lebih tinggi dari kinerja terbaik sebelumnya yang dilakukan dengan menggunakan PubMed GPT.

Natarajan dan timnya menyimpulkan bahwa model bahasa yang besar “menyajikan peluang yang signifikan untuk memikirkan kembali pengembangan AI medis dan membuatnya lebih mudah, lebih aman, dan lebih adil untuk digunakan.”

ChatGPT, bersama dengan program AI lainnya, telah muncul sebagai subjek — dan terkadang sebagai rekan penulis — makalah penelitian baru yang berfokus pada pengujian kegunaan teknologi dalam pengobatan.

Tentu saja, profesional perawatan kesehatan juga menyatakan keprihatinan atas perkembangan ini, terutama ketika ChatGPT terdaftar sebagai penulis makalah penelitian. Artikel terbaru dari Alamterbuka di tab atau jendela baru menyoroti kegelisahan dari calon kolega dan rekan penulis teknologi yang muncul.

Satu keberatan terhadap penggunaan program AI dalam penelitian didasarkan pada apakah mereka benar-benar mampu memberikan kontribusi ilmiah yang berarti untuk sebuah makalah, sementara keberatan lain menekankan bahwa alat AI tidak dapat menyetujui untuk menjadi penulis bersama.

Editor dari salah satu kertas terbuka di tab atau jendela baru yang mencantumkan ChatGPT sebagai penulis mengatakan itu adalah kesalahan yang akan diperbaiki, menurut Alam artikel. Namun, para peneliti telah menerbitkan beberapa makalah sekarang menggembar-gemborkan program AI ini sebagai alat yang berguna dalam pendidikan kedokteran, penelitian, dan bahkan pengambilan keputusan klinis.

Natarajan dan rekan menyimpulkan dalam makalah mereka bahwa model bahasa besar dapat menjadi alat yang bermanfaat dalam kedokteran, tetapi harapan pertama mereka adalah bahwa temuan mereka akan “memicu percakapan dan kolaborasi lebih lanjut antara pasien, konsumen, peneliti AI, dokter, ilmuwan sosial, ahli etika, pembuat kebijakan. dan orang lain yang tertarik untuk menerjemahkan temuan penelitian awal ini secara bertanggung jawab untuk meningkatkan layanan kesehatan.”

Michael DePeau-Wilson adalah reporter di tim perusahaan & investigasi MedPage Today. Dia meliput psikiatri, long covid, dan penyakit menular, di antara berita klinis AS lainnya yang relevan. Mengikuti 

Sumber utama

medRxiv

Referensi Sumber: terbuka di tab atau jendela baruKung TH, dkk “Kinerja ChatGPT di USMLE: potensi untuk pendidikan kedokteran yang dibantu AI menggunakan model bahasa besar” medRxiv 2022; DOI: 10.1101/2022.12.19.22283643.

Sumber sekunder

arXiv

Referensi Sumber: terbuka di tab atau jendela baruSinghal K, dkk “Model bahasa besar menyandikan pengetahuan klinis” arXiv 2022; DOI: 10.48550/arXiv.2212.13138.

<!–

->

<!–
->

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. Akses Di Sini.
• Sumber: https://blockchainconsultants.io/ai-passes-u-s-medical-licensing-exam/?utm_source=rss&utm_medium=rss&utm_campaign=ai-passes-u-s-medical-licensing-exam