Вчені, які зосереджені на штучному інтелекті, почали використовувати генеративний штучний інтелект, щоб допомогти їм перевірити роботу колег у сфері машинного навчання.
Група дослідників зі Стенфордського університету, NEC Labs America та Каліфорнійського університету в Санта-Барбарі нещодавно проаналізувала рецензії робіт, поданих на провідні конференції штучного інтелекту, зокрема ICLR 2024, NeurIPS 2023, CoRL 2023 і EMNLP 2023.
Автори – Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland і James Y Zou – повідомили про свої висновки в папір під назвою «Моніторинг модифікованого штучним інтелектом вмісту в масштабі: тематичне дослідження впливу ChatGPT на експертні оцінки конференцій штучного інтелекту».
Вони провели дослідження на основі суспільного інтересу та обговорення великих мовних моделей, які домінували в технічному дискурсі минулого року.
Автори виявили невелике, але постійне збільшення очевидного використання LLM для рецензій, поданих за три дні або менше до кінцевого терміну
Складність розрізнення тексту, написаного людиною та машиною, і повідомлення про збільшення Веб-сайти новин AI Це привело авторів до висновку, що існує нагальна потреба в розробці способів оцінки реальних наборів даних, які містять деяку невизначену кількість контенту, створеного ШІ.
Іноді авторство ШІ виділяється – як у a папір із звітів про радіологічні випадки під назвою «Успішне лікування ятрогенного пошкодження ворітної вени та печінкової артерії у 4-місячної пацієнтки: звіт про випадок та огляд літератури».
Цей переплутаний уривок – це щось на кшталт подарунків: «У підсумку, лікування двосторонньої ятрогенії. Мені дуже шкода, але я не маю доступу до інформації в режимі реального часу чи даних про пацієнта, оскільки я мовна модель штучного інтелекту. .”
Але відмінність не завжди очевидна, і минулі спроби розробити автоматизований спосіб сортування тексту, написаного людиною, від робо-прози не увінчалися успіхом. OpenAI, наприклад представив Класифікатор тексту AI з цією метою в січні 2023 року, щоб закрити його через шість місяців »через низький рівень точності».
Тим не менш, Лян та ін стверджують, що зосередження на використанні прикметників у тексті, а не намагання оцінити цілі документи, абзаци чи речення, веде до більш надійних результатів.
Автори взяли два набори даних, або корпуси – один написаний людьми, а інший написаний машинами. І вони використали ці два частини тексту, щоб оцінити оцінки – експертні рецензії робіт на конференціях зі штучним інтелектом – щодо частоти використання конкретних прикметників.
«[Усі] наші розрахунки залежать лише від прикметників, що містяться в кожному документі», — пояснили вони. «Ми виявили, що цей словниковий запас демонструє більшу стабільність, ніж використання інших частин мови, таких як прислівники, дієслова, іменники чи всі можливі лексеми».
Виявляється, магістри, як правило, використовують такі прикметники, як «похвальний», «інноваційний» і «всеосяжний», частіше, ніж автори-люди. І такі статистичні відмінності у слововживанні дозволили бофінам визначити рецензії на документи, у яких допомога LLM вважається ймовірною.
Хмара слів із 100 найпопулярніших прикметників у відгуках LLM із розміром шрифту, що вказує на частоту (клацніть, щоб збільшити)
«Наші результати свідчать про те, що від 6.5% до 16.9% тексту, надісланого як рецензування на ці конференції, могли бути суттєво змінені LLM-ами, тобто поза перевіркою орфографії чи незначними оновленнями», – стверджували автори, зазначаючи, що огляди робіт у наукового журналу Nature не виявляють ознак механізованої допомоги.
Кілька факторів, здається, пов’язані з більшим використанням LLM. Одна з них – наближення кінцевого терміну: автори виявили невелике, але постійне збільшення очевидного використання LLM для оглядів, поданих за три дні або менше до кінцевого терміну.
Дослідники підкреслили, що їхній намір не полягав у тому, щоб виносити судження щодо використання допомоги при написанні ШІ, а також стверджувати, що будь-яка з оцінених ними робіт була повністю написана моделлю ШІ. Але вони стверджували, що наукове співтовариство має бути більш прозорим щодо використання LLM.
І вони стверджували, що така практика потенційно позбавляє тих, чия робота перевіряється, різноманітних відгуків експертів. Більше того, зворотній зв’язок штучного інтелекту ризикує спричинити ефект гомогенізації, який схиляє до упередженості моделі штучного інтелекту та від значущого розуміння. ®
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :є
- : ні
- :де
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- МЕНЮ
- доступ
- AI
- ВСІ
- дозволено
- завжди
- am
- Америка
- кількість
- an
- проаналізовані
- та
- будь-який
- здається
- з'являтися
- наближається
- сперечався
- штучний
- штучний інтелект
- AS
- оцінити
- Допомога
- At
- Спроби
- authors
- Авторство
- Автоматизований
- геть
- заснований
- BE
- було
- перед тим
- буття
- між
- За
- упередження
- Біт
- органів
- але
- by
- розрахунки
- Cao
- випадок
- тематичне дослідження
- ChatGPT
- Чень
- вибір
- стверджувати
- клацання
- хмара
- CO
- похвально
- співтовариство
- повністю
- всеосяжний
- укладає
- конференція
- конференції
- послідовний
- містити
- містяться
- боротися
- зміст
- може
- Данило
- дані
- набори даних
- Днів
- крайній термін
- вважається
- залежати
- розвивати
- Відмінності
- трудність
- мова
- обговорення
- відмінність
- Різне
- do
- документ
- документація
- домінують
- Дон
- e
- кожен
- ефект
- підкреслив
- збільшити
- Весь
- Озаглавлений
- оцінювати
- оцінюється
- оцінки
- приклад
- проявляти
- experts
- пояснені
- фактори
- зворотний зв'язок
- жінка
- результати
- увагу
- фокусування
- для
- знайдений
- частота
- часто
- від
- генеративний
- Генеративний ШІ
- піддавки
- пішов
- великий
- Group
- Мати
- допомога
- HTTPS
- хуан
- людина
- Людей
- i
- ідентифікувати
- Impact
- in
- У тому числі
- Augmenter
- вказуючи
- інформація
- травми
- інноваційний
- розуміння
- Інтелект
- Намір
- інтерес
- isn
- IT
- ЙОГО
- Джеймс
- січня
- журнал
- JPG
- Labs
- мова
- великий
- останній
- Минулого року
- пізніше
- провідний
- Веде за собою
- вивчення
- Led
- менше
- як
- Ймовірно
- літератури
- LLM
- низький
- машина
- навчання за допомогою машини
- Машинки для перманенту
- управління
- значущим
- незначний
- модель
- Моделі
- модифікований
- моніторинг
- місяців
- більше
- природа
- Необхідність
- потреби
- новини
- відзначивши,
- іменники
- зараз
- Очевидний
- of
- on
- ONE
- тільки
- OpenAI
- or
- Інше
- наші
- з
- документи
- частини
- проходити
- проходження
- Минуле
- пацієнт
- однолітка
- одноліткам
- відсотків
- plato
- Інформація про дані Платона
- PlatoData
- Портал
- це можливо
- потенційно
- практики
- громадськість
- мета
- ставка
- швидше
- Реальний світ
- реального часу
- нещодавно
- надійний
- звітом
- Повідомляється
- Звіти
- Дослідники
- результати
- огляд
- відгуки
- рецензування
- Відгуки
- Зростання
- ризики
- s
- Санта
- шкала
- науковий
- набори
- Ознаки
- SIX
- Шість місяців
- Розмір
- невеликий
- деякі
- конкретний
- мова
- Стабільність
- стенди
- Станфорд
- Стенфордський університет
- статистичний
- Вивчення
- представлений
- по суті
- успішний
- такі
- пропонувати
- РЕЗЮМЕ
- прийняті
- технічний
- як правило,
- текст
- ніж
- Що
- Команда
- їх
- Їх
- Там.
- Ці
- вони
- це
- ті
- три
- під назвою
- до
- Жетони
- прийняли
- топ
- до
- прозорий
- намагається
- повороти
- два
- взявся
- університет
- Updates
- терміново
- Використання
- використання
- використовуваний
- використання
- дуже
- було
- шлях..
- способи
- we
- ДОБРЕ
- були
- Що
- чий
- з
- слово
- Work
- лист
- письмовий
- Ye
- рік
- зефірнет
- Zhao