Работники, нанятые через краудсорсинговые сервисы, такие как Amazon Mechanical Turk, используют большие языковые модели для выполнения своих задач, что может иметь негативные последствия для моделей ИИ в будущем.
Данные имеют решающее значение для ИИ. Разработчикам нужны чистые высококачественные наборы данных для создания точных и надежных систем машинного обучения. Однако сбор ценных, первоклассных данных может быть утомительным. Компании часто обращаются к сторонним платформам, таким как Amazon Mechanical Turk, чтобы поручить пулам дешевых работников выполнять повторяющиеся задачи, такие как маркировка объектов, описание ситуаций, расшифровка отрывков и аннотирование текста.
Их выходные данные могут быть очищены и загружены в модель, чтобы научить ее воспроизводить эту работу в гораздо большем, автоматизированном масштабе.
Таким образом, модели ИИ строятся на основе человеческого труда: люди трудятся, создавая горы обучающих примеров для систем ИИ, на которых корпорации могут заработать миллиарды долларов.
Но эксперимент, проведенный исследователями из Федеральной политехнической школы Лозанны (EPFL) в Швейцарии, показал, что эти краудсорсинговые работники используют системы искусственного интеллекта, такие как чат-бот OpenAI ChatGPT, для выполнения случайных работ в Интернете.
Не рекомендуется обучать модель на ее собственном выходе. Мы могли видеть, как модели ИИ обучались на данных, сгенерированных не людьми, а другими моделями ИИ — возможно, даже теми же моделями. Это может привести к катастрофическому качеству вывода, еще большему смещению и другим нежелательным эффектам.
Эксперимент
Ученые наняли 44 раба из «Механического турка», чтобы обобщить тезисы 16 медицинских исследовательских работ, и подсчитали, что от 33 до 46 процентов отрывков текста, представленных рабочими, были созданы с использованием больших языковых моделей. Рабочим часто платят низкую заработную плату — использование ИИ для автоматической генерации ответов позволяет им работать быстрее и брать на себя больше работы, чтобы увеличить заработную плату.
Швейцарская команда обучила классификатор, чтобы предсказать, были ли материалы от Turkers сгенерированы человеком или искусственным интеллектом. Ученые также регистрировали нажатия клавиш своих рабочих, чтобы определить, копировали ли крепостные и вставляли текст на платформу или сами вводили свои записи. Всегда есть шанс, что кто-то воспользуется чат-ботом, а затем вручную наберет вывод, но мы полагаем, что это маловероятно.
«Мы разработали очень специфическую методологию, которая очень хорошо работала для обнаружения синтетического текста в нашем сценарии», — Маноэль Рибейро, соавтор Исследование и аспирант EPFL рассказал Регистр на этой неделе.
«В то время как традиционные методы пытаются обнаружить синтетический текст «в любом контексте», наш подход сосредоточен на обнаружении синтетического текста в нашем конкретном сценарии».
Классификатор не идеален для определения того, использовал ли кто-то систему ИИ или создал свою собственную работу. Ученые объединили выходные данные своего классификатора с данными о нажатиях клавиш, чтобы быть более уверенными, когда кто-то копирует и вставляет из бота или создает свой собственный материал.
Человеческие данные — это золотой стандарт, потому что мы заботимся о людях
«Нам удалось проверить наши результаты, используя данные о нажатиях клавиш, которые мы также получили от MTurk», — сказал нам Рибейро. «Например, мы обнаружили, что все тексты, которые не были скопированы, были классифицированы нами как «настоящие», что говорит о том, что ложных срабатываний немного».
Код и данные, используемые для запуска теста можно найти здесь, на Гитхабе.
Есть еще одна причина, по которой эксперимент вряд ли будет абсолютно справедливым представлением того, сколько работников на самом деле используют ИИ для автоматизации задач краудсорсинга. Авторы отмечают, что задача суммирования текста хорошо подходит для больших языковых моделей по сравнению с другими типами заданий, а это означает, что их результаты могут быть более смещены в сторону большего числа работников, использующих такие инструменты, как ChatGPT.
Их набор данных из 46 ответов от 44 работников также невелик. Рабочим платили 1 доллар за каждое текстовое резюме, что опять же может только поощрять использование ИИ.
Исследователи утверждают, что большие языковые модели станут хуже, если они будут все больше обучаться на поддельном контенте, созданном ИИ, собранном с краудсорсинговых платформ. Такие компании, как OpenAI, держат в строгом секрете то, как они обучают свои последние модели, и могут не слишком полагаться на такие вещи, как Mechanical Turk, если вообще полагаются. Тем не менее, многие другие модели могут полагаться на людей, которые, в свою очередь, могут использовать ботов для создания обучающих данных, что является проблемой.
Например, Mechanical Turk позиционируется как поставщик «решений для маркировки данных для моделей машинного обучения».
«Человеческие данные — это золотой стандарт, потому что мы заботимся о людях, а не о больших языковых моделях», — сказал Риберио. «Я бы не стал принимать лекарство, которое было протестировано только на биологической модели дрозофилы», — сказал он в качестве примера.
Исследователи утверждают, что ответы, генерируемые сегодняшними моделями ИИ, обычно довольно пресны или тривиальны и не отражают сложности и разнообразия человеческого творчества.
«Иногда то, что мы хотим изучить с помощью краудсорсинговых данных, — это именно то, в чем люди несовершенны», — сказал нам Роберт Уэст, соавтор статьи и доцент школы компьютерных и коммуникационных наук EPFL.
Поскольку ИИ продолжает совершенствоваться, вполне вероятно, что краудсорсинговая работа изменится. Риберио предположил, что большие языковые модели могут заменить некоторых работников при выполнении определенных задач. «Однако, как это ни парадоксально, человеческие данные могут быть более ценными, чем когда-либо, и, возможно, эти платформы смогут реализовать способы предотвращения использования больших языковых моделей и обеспечения того, чтобы они оставались источником человеческих данных».
Кто знает, может быть, люди даже начнут сотрудничать с большими языковыми моделями, чтобы генерировать ответы, добавил он. ®
- SEO-контент и PR-распределение. Получите усиление сегодня.
- ЭВМ Финанс. Единый интерфейс для децентрализованных финансов. Доступ здесь.
- Квантум Медиа Групп. ИК/PR усиление. Доступ здесь.
- ПлатонАйСтрим. Анализ данных Web3. Расширение знаний. Доступ здесь.
- Источник: https://go.theregister.com/feed/www.theregister.com/2023/06/16/crowd_workers_bots_ai_training/
- :имеет
- :является
- :нет
- $UP
- 16
- 7
- a
- в состоянии
- О нас
- рефераты
- ученые
- точный
- добавленный
- снова
- AI
- Все
- позволяет
- причислены
- всегда
- Amazon
- an
- и
- Другой
- любой
- подхода
- МЫ
- продемонстрировав тем самым
- искусственный
- искусственный интеллект
- AS
- помощник
- At
- Авторы
- автоматизировать
- Автоматизированный
- автоматически
- прочь
- BE
- , так как:
- не являетесь
- смещение
- миллиарды
- ласковый
- Бот
- боты
- строить
- построенный
- но
- by
- CAN
- захватить
- заботится
- определенный
- шанс
- изменение
- Chatbot
- ChatGPT
- дешево
- классифицированный
- Закрыть
- CO
- Соавтор
- код
- сотрудничество
- сочетании
- Связь
- Компании
- сравненный
- полный
- полностью
- сложность
- компьютер
- в заключении исследования, финансируемого Центрами по контролю и профилактике заболеваний (CDC) и написанного бывшим начальником полиции Вермонта
- проводятся
- содержание
- контекст
- продолжается
- Корпорации
- может
- креативность
- критической
- толпа
- данным
- Наборы данных
- развитый
- застройщиков
- гибельный
- Разнообразие
- do
- долларов
- каждый
- эффекты
- поощрять
- конец
- обеспечивать
- к XNUMX году
- Даже
- НИКОГДА
- точно,
- пример
- Примеры
- эксперимент
- ярмарка
- не настоящие
- ложный
- быстрее
- ФРС
- несколько
- внимание
- Что касается
- найденный
- от
- будущее
- порождать
- генерируется
- получить
- GitHub
- Золото
- Золотой стандарт
- Есть
- he
- сильно
- высококачественный
- высший
- Как
- Однако
- HTTPS
- человек
- Людей
- i
- идентифицирующий
- if
- осуществлять
- улучшать
- in
- Увеличение
- все больше и больше
- Интеллекта
- в
- мобильной
- IT
- ЕГО
- Джобс
- JPG
- Сохранить
- маркировка
- труд
- язык
- большой
- больше
- последний
- вести
- изучение
- такое как
- Вероятно
- Войти
- Низкий
- машина
- обучение с помощью машины
- сделать
- управляемого
- вручную
- многих
- материала
- Май..
- смысл
- механический
- основным медицинским
- медицинские исследования
- медицина
- Методология
- методы
- может быть
- модель
- Модели
- БОЛЕЕ
- много
- Необходимость
- отрицательный
- номер
- объекты
- of
- .
- on
- ONE
- онлайн
- только
- OpenAI
- or
- Другое
- наши
- выходной
- собственный
- выплачен
- бумага & картон
- бумага
- вечеринка
- ОПЛАТИТЬ
- Люди
- процент
- ИДЕАЛЬНОЕ
- Выполнять
- возможно
- Платформа
- Платформы
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Много
- Пулы
- мощностью
- Precious
- Точно
- предсказывать
- предотвращать
- Проблема
- Произведенный
- Профессор
- Недвижимости
- обеспечение
- реальные
- на самом деле
- причина
- Управление по борьбе с наркотиками (DEA)
- складская
- полагаться
- остатки
- повторяющийся
- замещать
- представление
- исследованиям
- исследователи
- ответы
- Итоги
- РОБЕРТ
- Run
- s
- Сказал
- то же
- Шкала
- сценарий
- Школа
- Наука
- Secret
- посмотреть
- Услуги
- обстоятельства
- небольшой
- Решения
- некоторые
- Кто-то
- Источник
- конкретный
- стандарт
- "Студент"
- Кабинет
- Материалы
- представленный
- такие
- Предлагает
- суммировать
- РЕЗЮМЕ
- швейцарский
- Швейцария
- синтетический
- система
- системы
- взять
- Сложность задачи
- задачи
- команда
- тестXNUMX
- проверенный
- чем
- который
- Ассоциация
- Будущее
- их
- Их
- сами
- тогда
- Там.
- Эти
- они
- вещи
- В третьих
- этой
- На этой неделе
- в
- сегодня
- слишком
- инструменты
- к
- традиционный
- Train
- специалистов
- Обучение
- стараться
- ОЧЕРЕДЬ
- Типы
- вряд ли
- нежелательный
- us
- Применение
- использование
- используемый
- использования
- через
- обычно
- VALIDATE
- ценный
- очень
- с помощью
- заработная плата
- хотеть
- законопроект
- способы
- we
- неделя
- ЧТО Ж
- были
- запад
- Что
- когда
- будь то
- который
- в то время как
- будете
- Работа
- работавший
- рабочие
- хуже
- зефирнет