Ученые, занимающиеся искусственным интеллектом, начали использовать генеративный ИИ, чтобы анализировать работу коллег по машинному обучению.
Группа исследователей из Стэнфордского университета, NEC Labs America и Калифорнийского университета в Санта-Барбаре недавно проанализировала экспертные оценки статей, представленных на ведущих конференциях по искусственному интеллекту, включая ICLR 2024, NeurIPS 2023, CoRL 2023 и EMNLP 2023.
Авторы – Вэйсинь Лян, Закари Иззо, Яохуэй Чжан, Хейли Лепп, Ханьчэн Цао, Сюаньдун Чжао, Линцзяо Чен, Хаотянь Е, Шэн Лю, Чжи Хуан, Дэниел А. МакФарланд и Джеймс И Цзоу – сообщили о своих выводах в бумага под названием «Мониторинг содержания, модифицированного искусственным интеллектом, в масштабе: тематическое исследование влияния ChatGPT на экспертные оценки конференций по искусственному интеллекту».
Они провели исследование, основываясь на общественном интересе и обсуждении больших языковых моделей, которые доминировали в техническом дискурсе в прошлом году.
Авторы обнаружили небольшое, но постоянное увеличение явного использования LLM для обзоров, представленных за три дня или менее до крайнего срока.
Трудность различения текста, написанного человеком и машиной, а также сообщаемый рост новостные сайты об искусственном интеллекте привели авторов к выводу, что существует острая необходимость в разработке способов оценки реальных наборов данных, которые содержат неопределенное количество контента, созданного ИИ.
Иногда авторство ИИ выделяется – как в бумаги из отчетов о случаях радиологии, озаглавленных «Успешное лечение ятрогенного повреждения воротной вены и печеночной артерии у 4-месячной пациентки: отчет о случае и обзор литературы».
Этот беспорядочный отрывок в некоторой степени дает понять: «Подводя итог, я очень сожалею о лечении двусторонних ятрогенных заболеваний, но у меня нет доступа к информации в реальном времени или данным, касающимся конкретного пациента, поскольку я являюсь языковой моделью искусственного интеллекта. ».
Но различие не всегда очевидно, и прошлые попытки разработать автоматизированный способ отделения рукописного текста от роботизированной прозы не увенчались успехом. ОпенАИ, например. представил классификатор текста AI с этой целью в январе 2023 года, только чтобы закрыть его шесть месяцев спустя».из-за низкой точности".
Тем не менее, Лян и др. утверждают, что сосредоточение внимания на использовании прилагательных в тексте, а не на попытках оценить документы, абзацы или предложения целиком, приводит к более надежным результатам.
Авторы взяли два набора данных, или корпусов: один написан людьми, а другой — машинами. И они использовали эти два текста для оценки оценок – рецензий статей на конференциях по искусственному интеллекту – на предмет частоты конкретных прилагательных.
«Все наши расчеты зависят только от прилагательных, содержащихся в каждом документе», — объяснили они. «Мы обнаружили, что этот выбор словарного запаса демонстрирует большую стабильность, чем использование других частей речи, таких как наречия, глаголы, существительные или все возможные лексемы».
Оказывается, студенты LLM чаще используют такие прилагательные, как «похвальный», «инновационный» и «всеобъемлющий», чем авторы-люди. И такие статистические различия в использовании слов позволили ученым определить обзоры статей, в которых помощь LLM считается вероятной.
Облако слов из 100 самых популярных прилагательных в отзывах LLM с размером шрифта, указывающим частоту (нажмите, чтобы увеличить)
«Наши результаты показывают, что от 6.5 до 16.9 процентов текстов, представленных в качестве рецензий на эти конференции, могли быть существенно изменены LLM, то есть помимо проверки орфографии или незначительных письменных обновлений», — утверждают авторы, отмечая, что обзоры работы в научный журнал Nature не демонстрирует признаков механизированной помощи.
Несколько факторов, по-видимому, коррелируют с более широким использованием LLM. Одним из них является приближение крайнего срока: авторы обнаружили небольшое, но последовательное увеличение явного использования LLM для обзоров, представленных за три дня или меньше до крайнего срока.
Исследователи подчеркнули, что в их намерение не входило выносить суждения об использовании помощи в написании ИИ или утверждать, что какая-либо из оцениваемых ими статей была полностью написана с использованием модели ИИ. Но они утверждают, что научное сообщество должно быть более прозрачным в использовании LLM.
И они утверждали, что такая практика потенциально лишает тех, чьи работы рассматриваются, разнообразной обратной связи от экспертов. Более того, обратная связь ИИ рискует вызвать эффект гомогенизации, который смещается в сторону предвзятости модели ИИ и отклоняется от значимого понимания. ®
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :является
- :нет
- :куда
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- О нас
- доступ
- AI
- Все
- разрешено
- всегда
- am
- Америка
- количество
- an
- проанализированы
- и
- любой
- очевидный
- появиться
- приближается
- продемонстрировав тем самым
- искусственный
- искусственный интеллект
- AS
- оценить
- Помощь
- At
- попытки
- Авторы
- Авторство
- Автоматизированный
- прочь
- основанный
- BE
- было
- до
- не являетесь
- между
- Beyond
- предубеждения
- Немного
- органов
- но
- by
- расчеты
- Cao
- случаев
- тематическое исследование
- ChatGPT
- чен
- выбор
- утверждать
- нажмите на
- облако
- CO
- похвальный
- сообщество
- полностью
- комплексный
- вывод
- Конференция
- конференции
- последовательный
- содержать
- содержащегося
- бороться
- содержание
- может
- Дэниел
- данным
- наборы данных
- Дней
- крайний срок
- считается
- зависеть
- развивать
- Различия
- Трудность
- речь
- обсуждение
- различие
- Разное
- do
- документ
- Документация
- доминируют
- Дон
- e
- каждый
- эффект
- подчеркнул
- увеличивать
- Весь
- озаглавленный
- оценивать
- оценивается
- оценки
- пример
- проявлять
- эксперты
- объяснены
- факторы
- Обратная связь
- женский пол
- результаты
- внимание
- фокусировка
- Что касается
- найденный
- частота
- часто
- от
- генеративный
- Генеративный ИИ
- поддавки
- ушел
- большой
- группы
- Есть
- помощь
- HTTPS
- Хуан
- человек
- Людей
- i
- определения
- Влияние
- in
- В том числе
- Увеличение
- с указанием
- информация
- травма
- инновационный
- понимание
- Интеллекта
- Намерение
- интерес
- мобильной
- IT
- ЕГО
- Джеймс
- январь
- журнал
- JPG
- Labs
- язык
- большой
- Фамилия
- В прошлом году
- новее
- ведущий
- Лиды
- изучение
- привело
- Меньше
- такое как
- Вероятно
- литература
- LLM
- Низкий
- машина
- обучение с помощью машины
- Продукция
- управление
- значимым
- небольшая
- модель
- Модели
- модифицировало
- Мониторинг
- месяцев
- БОЛЕЕ
- природа
- Необходимость
- потребности
- Новости
- отметив,
- существительные
- сейчас
- Очевидный
- of
- on
- ONE
- только
- OpenAI
- or
- Другое
- наши
- внешний
- бумага
- части
- pass
- прохождение
- мимо
- пациент
- вглядываться
- сверстникам
- процент
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Портал
- возможное
- потенциально
- практиками
- что такое варган?
- цель
- Обменный курс
- скорее
- реальный мир
- реального времени
- недавно
- складская
- отчету
- Сообщается
- Отчеты
- исследователи
- Итоги
- обзоре
- отзывы
- обзор
- Отзывы
- Рост
- рисках,
- s
- Санта-
- Шкала
- научный
- Наборы
- Признаки
- ШЕСТЬ
- Шесть месяцев
- Размер
- небольшой
- некоторые
- конкретный
- речь
- Стабильность
- стоит
- Стэнфорд
- Стэнфордский университет
- статистический
- Кабинет
- представленный
- по существу
- успешный
- такие
- предлагать
- РЕЗЮМЕ
- приняты
- Технический
- Тенденцию
- текст
- чем
- который
- Ассоциация
- их
- Их
- Там.
- Эти
- они
- этой
- те
- три
- титулованный
- в
- Лексемы
- приняли
- топ
- к
- прозрачный
- пытается
- Получается
- два
- Осуществил
- Университет
- Updates
- срочный
- Применение
- использование
- используемый
- через
- очень
- законопроект
- Путь..
- способы
- we
- ЧТО Ж
- были
- Что
- чья
- Word
- Работа
- письмо
- письменный
- Ye
- год
- зефирнет
- Чжао