Ми запускаємо класифікатор, навчений розрізняти текст, написаний штучним інтелектом, і текст, написаний людиною.
Ми навчили класифікатор розрізняти текст, написаний людиною, від тексту, написаного ШІ від різних постачальників. Хоча неможливо достовірно виявити весь текст, написаний штучним інтелектом, ми вважаємо, що хороші класифікатори можуть пом’якшити помилкові твердження про те, що створений штучним інтелектом текст був написаний людиною: наприклад, запустивши автоматизовані кампанії дезінформації, використання інструментів ШІ для академічної нечесності та позиціонування чат-бота ШІ як людини.
Наш класифікатор не є повністю надійним. У наших оцінках «проблемного набору» текстів англійською мовою наш класифікатор правильно визначає 26% тексту, написаного штучним інтелектом (справжні позитивні результати), як «імовірно написаний штучним інтелектом», тоді як неправильно позначає текст, написаний людиною, як текст, написаний штучним інтелектом, 9% час (помилкові спрацьовування). Надійність нашого класифікатора зазвичай підвищується зі збільшенням довжини вхідного тексту. У порівнянні з нашими раніше випущений класифікатор, цей новий класифікатор значно надійніший для тексту з останніх систем ШІ.
Ми робимо цей класифікатор загальнодоступним, щоб отримати відгук про те, чи корисні такі недосконалі інструменти, як цей. Наша робота над виявленням тексту, створеного штучним інтелектом, буде продовжена, і ми сподіваємося поділитися вдосконаленими методами в майбутньому.
Спробуйте самостійно наш безкоштовний незавершений класифікатор:
Недоліки
Наш класифікатор має ряд важливих обмежень. Його не слід використовувати як основний інструмент прийняття рішень, але замість цього як доповнення до інших методів визначення джерела фрагмента тексту.
- Класифікатор дуже ненадійний для коротких текстів (менше 1,000 символів). Навіть довші тексти іноді неправильно позначаються класифікатором.
- Іноді текст, написаний людиною, буде неправильно, але впевнено позначений нашим класифікатором як написаний штучним інтелектом.
- Ми рекомендуємо використовувати класифікатор лише для англійського тексту. Він працює значно гірше на інших мовах і ненадійний щодо коду.
- Текст, який є дуже передбачуваним, не може бути надійно ідентифікований. Наприклад, неможливо передбачити, чи був список з перших 1,000 простих чисел написаний штучним інтелектом чи людьми, тому що правильна відповідь завжди одна.
- Текст, написаний ШІ, можна редагувати, щоб уникнути класифікатора. Такі класифікатори, як наш, можна оновлювати та перенавчати на основі успішних атак, але незрозуміло, чи має виявлення перевагу в довгостроковій перспективі.
- Відомо, що класифікатори, засновані на нейронних мережах, погано відкалібровані поза їхніми навчальними даними. Для вхідних даних, які дуже відрізняються від тексту в нашому навчальному наборі, класифікатор іноді надзвичайно впевнений у неправильному прогнозі.
Навчання класифікатора
Наш класифікатор — це мовна модель, налаштована на наборі даних пар тексту, написаного людиною, і тексту, написаного штучним інтелектом, на одну тему. Ми зібрали цей набір даних із різних джерел, які, як ми вважаємо, написані людьми, як-от дані перед навчанням і демонстрації людей підказок, надісланих до Інструктувати GPT. Ми розділили кожен текст на підказку та відповідь. На ці підказки ми генерували відповіді з різних мовних моделей, навчених нами та іншими організаціями. Для нашої веб-програми ми регулюємо поріг достовірності, щоб підтримувати низький рівень хибних спрацьовувань; іншими словами, ми позначаємо текст як імовірно написаний ШІ, лише якщо класифікатор дуже впевнений.
Вплив на педагогів і заклик до внесення
Ми визнаємо, що ідентифікація тексту, написаного штучним інтелектом, була важливою темою для обговорення серед викладачів, і не менш важливим є визнання обмежень і впливу створених штучним інтелектом класифікаторів тексту в класі. Ми розробили a попередній ресурс про використання ChatGPT для викладачів, де описано деякі способи використання та пов’язані обмеження та міркування. Хоча цей ресурс орієнтований на викладачів, ми очікуємо, що наш класифікатор і пов’язані з ним інструменти класифікатора вплинуть на журналістів, дослідників неправдивої/дезінформації та інші групи.
Ми співпрацюємо з викладачами в США, щоб дізнатися, що вони бачать у своїх класах, і обговорити можливості та обмеження ChatGPT, і ми продовжуватимемо розширювати наше охоплення, коли будемо навчатися. Це важливі розмови, оскільки наша місія полягає в безпечному розгортанні великих мовних моделей у прямому контакті з постраждалими громадами.
Якщо ці проблеми безпосередньо стосуються вас (включаючи, але не обмежуючись викладачами, адміністраторами, батьками, студентами та постачальниками освітніх послуг), надішліть нам відгук за допомогою ця форма. Прямий зворотній зв'язок на попередній ресурс є корисним, і ми також вітаємо будь-які ресурси, які викладачі розробляють або вважають корисними (наприклад, вказівки до курсу, оновлення кодексу честі та політики, інтерактивні інструменти, програми грамотності ШІ).
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
- джерело: https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/
- 000
- 1
- 26%
- 7
- a
- академічний
- Адміністратори
- Перевага
- AI
- AI чат
- ВСІ
- завжди
- серед
- та
- відповідь
- додаток
- асоційований
- нападки
- доступний
- заснований
- оскільки
- Вірити
- нижче
- між
- розширити
- call
- не може
- можливості
- символи
- Chatbot
- ChatGPT
- претензій
- код
- спільноти
- порівняний
- Доповнення
- довіра
- впевнений
- впевнено
- міркування
- контакт
- продовжувати
- розмови
- Курс
- дані
- Прийняття рішень
- розгортання
- Виявлення
- визначення
- розвиненою
- розвивається
- різний
- прямий
- безпосередньо
- обговорювати
- обговорення
- розрізняти
- розділений
- кожен
- Освіта
- педагогів
- залучення
- англійська
- однаково
- оцінки
- Навіть
- приклад
- очікувати
- надзвичайно
- зворотний зв'язок
- Перший
- увагу
- знайдений
- Безкоштовна
- від
- повністю
- майбутнє
- генерується
- отримати
- добре
- Групи
- керівні вказівки
- корисний
- надія
- HTTPS
- людина
- Людей
- ідентифікований
- ідентифікує
- ідентифікує
- Impact
- вплив
- Вплив
- важливо
- неможливе
- поліпшений
- in
- В інших
- У тому числі
- невірно
- Збільшує
- вхід
- замість
- інтерактивний
- питання
- IT
- журналісти
- тримати
- відомий
- маркування
- мова
- мови
- великий
- запуск
- УЧИТЬСЯ
- довжина
- Ймовірно
- недоліки
- обмеженою
- рамки
- список
- грамотність
- довгостроковий
- довше
- низький
- Робить
- позначити
- методика
- Дезінформація
- Місія
- модель
- Моделі
- більше
- мереж
- нейронні мережі
- Нові
- номер
- номера
- ONE
- OpenAI
- організації
- Інше
- контури
- пропаганда
- поза
- пар
- батьки
- частина
- виступає
- частина
- plato
- Інформація про дані Платона
- PlatoData
- будь ласка
- точка
- політика
- позиціонування
- позитивний
- передбачати
- Передбачуваний
- прогноз
- первинний
- Prime
- програми
- забезпечувати
- провайдери
- публічно
- ставка
- останній
- визнавати
- рекомендувати
- випущений
- надійність
- надійний
- Дослідники
- ресурс
- ресурси
- відповідь
- біг
- безпечно
- то ж
- бачачи
- обслуговування
- постачальники послуг
- комплект
- Поділитись
- Короткий
- Повинен
- істотно
- деякі
- Source
- Джерела
- Студентам
- представлений
- успішний
- такі
- Systems
- вчителя
- Команда
- Джерело
- їх
- поріг
- до
- інструменти
- тема
- навчений
- Навчання
- правда
- типово
- оновлений
- Updates
- us
- використання
- різноманітність
- Web
- ласкаво просимо
- Що
- Чи
- який
- в той час як
- волі
- слова
- Work
- письмовий
- Неправильно
- себе
- зефірнет