ИИ сдал экзамен на получение медицинской лицензии в США

— Две статьи показывают, что большие языковые модели, включая ChatGPT, могут пройти тест USMLE.

by Майкл ДеПо-Уилсон, предприниматель и писатель-расследователь, MedPage, 19 января 2023 г.

Согласно двум недавним публикациям, две программы искусственного интеллекта (ИИ), в том числе ChatGPT, прошли медицинский лицензионный экзамен в США (USMLE).

В документах освещались различные подходы к использованию больших языковых моделей для сдачи USMLE, состоящего из трех экзаменов: Step 1, Step 2 CK и Step 3.

ChatGPОткрывается в новой вкладке или окне — это инструмент поиска с искусственным интеллектом (ИИ), который имитирует длинную форму письма на основе запросов от пользователей-людей. Он был разработан OpenAI и стал популярным после того, как в нескольких сообщениях в социальных сетях было показано потенциальное использование этого инструмента в клинической практике. часто со смешанными результатамиоткрывается в новой вкладке или окне.

Первая бумага, Опубликован в medRxivоткрывается в новой вкладке или окне в декабре исследовал результаты ChatGPT на USMLE без какой-либо специальной подготовки или подкрепления перед экзаменами. По словам Виктора Ценга, доктора медицины, компании Ansible Health в Маунтин-Вью, Калифорния, и его коллег, результаты продемонстрировали «новые и неожиданные доказательства» того, что этот инструмент искусственного интеллекта справился с поставленной задачей.

Ценг и его команда отметили, что точность ChatGPT во всех экзаменах была выше 50 %, а в большинстве анализов они даже достигли 60 %. Хотя проходной порог USMLE варьируется в зависимости от года, авторы говорят, что в большинстве лет проходной балл составляет примерно 60%.

«ChatGPT сдал все три экзамена на уровне проходного порога или почти без какой-либо специальной подготовки или подкрепления», — написали они, отметив, что инструмент смог продемонстрировать «высокий уровень согласованности и понимания своих объяснений».

«Эти результаты показывают, что большие языковые модели могут помочь в медицинском образовании и, возможно, в принятии клинических решений», — заключили они.

Второй документ, Опубликован в ArXivоткрывается в новой вкладке или окне, также в декабре, оценил производительность другой большой языковой модели, Flan-PaLM, на USMLE. Ключевое различие между двумя моделями заключалось в том, что эта модель была сильно изменена для подготовки к экзаменам с использованием набора медицинских баз данных для ответов на вопросы под названием MultiMedQA, объяснил Вивек Натараджан, исследователь ИИ, и его коллеги.

Точность Flan-PaLM в ответах на вопросы USMLE составила 67.6 %, что примерно на 17 процентных пунктов выше, чем предыдущий лучший результат, полученный с использованием PubMed GPT.

Натараджан и его команда пришли к выводу, что большие языковые модели «предоставляют значительную возможность переосмыслить разработку медицинского ИИ и сделать его более простым, безопасным и более справедливым в использовании».

ChatGPT, наряду с другими программами искусственного интеллекта, фигурирует в качестве объекта, а иногда и соавтора новых исследовательских работ, посвященных проверке полезности технологии в медицине.

Конечно, медицинские работники также выразили обеспокоенность по поводу этих событий, особенно когда ChatGPT указан в качестве автора исследовательских работ. Недавняя статья из природаоткрывается в новой вкладке или окне подчеркнул беспокойство со стороны потенциальных коллег и соавторов новой технологии.

Одно возражение против использования программ ИИ в исследованиях было основано на том, действительно ли они способны внести значимый научный вклад в статью, в то время как другое возражение подчеркивало, что инструменты ИИ вообще не могут согласиться быть соавтором.

Редактор одна из статей открывается в новой вкладке или окне который указал ChatGPT в качестве автора, сказал, что это ошибка, которая будет исправлена, согласно природа статья. Тем не менее, исследователи опубликовали несколько статей, рекламирующих эти программы ИИ как полезные инструменты в медицинском образовании, исследованиях и даже принятии клинических решений.

Натараджан и его коллеги пришли к выводу в своей статье, что большие языковые модели могут стать полезным инструментом в медицине, но их первая надежда заключалась в том, что их результаты «вызовут дальнейшие разговоры и сотрудничество между пациентами, потребителями, исследователями ИИ, клиницистами, социологами, специалистами по этике, политиками. и других заинтересованных людей, чтобы ответственно использовать эти ранние результаты исследований для улучшения здравоохранения».

Майкл ДеПо-Уилсон является репортером группы MedPage Today по предприятию и расследованию. Он освещает психиатрию, длительный ковид и инфекционные заболевания, а также другие актуальные клинические новости США. Подписаться  

Первоисточник

medRxiv

Ссылка на источник: открывается в новой вкладке или окнеКунг Т.Х. и др. «Производительность ChatGPT на USMLE: потенциал медицинского образования с помощью ИИ с использованием больших языковых моделей», medRxiv 2022; DOI: 10.1101/2022.12.19.22283643.

Вторичный источник

ArXiv

Ссылка на источник: открывается в новой вкладке или окнеСингхал К. и др. «Большие языковые модели кодируют клинические знания» arXiv 2022; DOI: 10.48550/arXiv.2212.13138.

<!–

->

<!–
->

• SEO-контент и PR-распределение. Получите усиление сегодня.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Источник: https://blockchainconsultants.io/ai-passes-u-s-medical-licensing-exam/?utm_source=rss&utm_medium=rss&utm_campaign=ai-passes-u-s-medical-licensing-exam