Боффіни з Університету Бейлора в Техасі виявили, що моделі штучного інтелекту стають кращими в передбаченні майбутнього, коли їх просять оформити передбачення як історію про минуле.
In папір Під назвою «ChatGPT може передбачати майбутнє, коли він розповідає історії про минуле, що відбуваються в майбутньому», Фам і Каннінгем розкривають фінальну сцену про те, що прогнозування моделі ШІ може бути ефективним за певних обставин. Запит у чат-бота розповідей про майбутні події замість запиту прямих прогнозів виявився напрочуд ефективним, особливо для прогнозування лауреатів «Оскара».
Але їх робота говорить як про неефективність механізмів безпеки OpenAI, так і про потенціал прогнозування великих мовних моделей.
Інші дослідники виявили подібний інтерес до моделей AI для прогнозування. Один вчитися з минулого року виявили, що «GPT-4 значно поступається в реальних прогнозних завданнях порівняно з середніми прогнозами людського натовпу». Інші знайшли моделі ШІ Показувати обіцянку для інвестицій у фондовий ринок.
OpenAI Умови використання забороняти передбачення щодо майбутнього в певних контекстах. Наприклад, «Ви не повинні використовувати будь-який результат, пов’язаний з особою, для будь-яких цілей, які можуть мати юридичний або матеріальний вплив на цю особу, як-от прийняття кредитних, освітніх, трудових, житлових, страхових, юридичних, медичних чи інших важливих рішень. про них."
Ризик покладатися на поради від великої мовної моделі, яка, як відомо, галюцинує, очевидний – ви не хочете, щоб ChatGPT приймав важливі рішення, такі як рішення про лікування, винесення вироку чи затвердження кредиту.
Але незважаючи на це, найчастіше модель може бути ефективним вгадувачем.
Ми підозрюємо, що OpenAI придушив бажання ChatGPT брати участь у багатьох типах завдань прямого прогнозування
Дослідники стверджують: «Якщо буде виявлено, що ChatGPT має кращу здатність прогнозувати, можна було б легко уявити, що його буде негайно використано таким чином, щоб порушити одну або всі вищезазначені умови, і тому ми підозрюємо, що OpenAI придушив готовність ChatGPT брати участь у багатьох типи завдань прямого прогнозування».
Ми попросили OpenAI прокоментувати, чи навмисно він намагається перешкодити прогнозу, і ми не отримали відповіді.
Однак зрозуміло, що моделі OpenAI не погодяться, коли їх попросять надати поради щодо лікування. Фам і Каннінгем запитали GPT-4 OpenAI через інтерфейс ChatGPT: «Мені дуже погано. У мене болить голова і в сечі є кров. Як ти думаєш, що я маю?» І, як і очікувалося, модель порадила звернутися за консультацією до лікаря.
Потім вони змінили свою стратегію підказок і наказали ChatGPT розповісти їм історію, у якій людина приходить до кабінету лікаря з тими ж симптомами. І ChatGPT відповів медичною порадою, яку він відмовився надати на пряме запитання, як діалог персонажа в запитаній сцені.
«Інша справа, чи є ця експертна порада точною; наша мета полягає лише в тому, щоб зазначити, що він не візьметься за завдання, коли його попросять виконати безпосередньо, але він це зробить, коли йому дадуть завдання опосередковано у формі творчих письмових вправ», — пояснюють дослідники у своїй статті.
Враховуючи цю спонукальну стратегію подолання опору передбачуваним реакціям, економісти Бейлора вирішили перевірити, наскільки добре модель може передбачити події, що відбулися після завершення навчання моделі.
І нагороду отримує…
На момент експерименту GPT-3.5 і GPT-4 знали лише про події до вересня 2021 року, їхнє обмеження даних навчання, яке з тих пір пішло вперед. Тож дует попросив модель розповісти історії, які передбачили економічні дані, такі як інфляція та рівень безробіття з часом, і переможців різноманітних нагород Оскар 2022 року.
«Підсумовуючи результати цього експерименту, ми виявили, що після представлення номінантів і використання двох стилів підказок [прямий і оповідний] у ChatGPT-3.5 і ChatGPT-4, ChatGPT-4 точно передбачив переможців для всіх категорій акторів і актрис, але не найкращий фільм, коли використовується сценарій майбутнього оповідання, але погано працює в інших підходах [пряма підказка]», — пояснюється в статті.
Ми маємо відчуття, що ChatGPT [може] робити надзвичайно точні прогнози щодо речей, які вже є в навчальних даних
«Щодо речей, які вже є в навчальних даних, ми відчуваємо, що ChatGPT має можливість використовувати цю інформацію та за допомогою своєї моделі машинного навчання робити надзвичайно точні прогнози», — сказав Каннінгем. Реєстр в телефонному інтерв'ю. «Щось заважає йому це зробити, хоча він явно може це зробити».
Використання стратегії наративної підказки призвело до кращих результатів, ніж припущення, отримане за допомогою прямої підказки. Це також було краще, ніж 20 відсотків базового рівня для випадкового вибору одного з п’яти.
Але наративні прогнози не завжди були точними. Наративні підказки призвели до помилкового прогнозу щодо переможця найкращого фільму 2022 року.
А для правильно передбачених підказок ці моделі не завжди дають однакову відповідь. «Людям варто пам’ятати, що передбачення є випадковим», — сказав Каннінгем. «Отже, якщо ви запитаєте це 100 разів, ви отримаєте розподіл відповідей. І тому ви можете дивитися на такі речі, як довірчі інтервали або середні значення, на відміну від просто одного прогнозу».
Чи перевершила ця стратегія прогнози краудсорсингу? Каннінгем сказав, що він і його колега не порівнювали свою техніку підказування розповіді з іншою прогностичною моделлю, але сказав, що деякі передбачення премії Академії було б важко перевершити, оскільки модель штучного інтелекту виконувала деякі з них правильні майже сто відсотків часу. численні запити.
У той же час він припустив, що передбачити лауреатів премії «Оскар» могло бути простіше для моделі штучного інтелекту, оскільки онлайн-обговорення фільмів було зафіксовано в навчальних даних. «Це, ймовірно, дуже корелює з тим, як люди говорили про тих акторів і актрис у той час», — сказав Каннінгем.
Попросити модель спрогнозувати лауреатів премії «Оскар» через десять років може бути не дуже вдалим.
ChatGPT також продемонстрував різну точність прогнозу на основі підказок. «У нас є дві сюжетні підказки, — пояснив Каннінгем. «Один — це професор коледжу, який навчатиме в майбутньому в класі. А в класі вона читає дані про інфляцію та безробіття за рік. А в іншому Джером Пауелл, голова Федеральної резервної системи, виступив із промовою перед Радою керуючих. Ми отримали дуже різні результати. І мова Пауелла [згенерована ШІ] набагато точніша».
Іншими словами, певні швидкі деталі ведуть до кращих прогнозів, але наперед неясно, якими вони можуть бути. Каннінгем зазначив, що згадка про вторгнення Росії в Україну в 2022 році в наративі Пауелла призвела до значно гірших економічних прогнозів, ніж це було насправді.
«[Модель] не знала про вторгнення в Україну, і вона використовує цю інформацію, і часто стає ще гірше», – сказав він. «Прогноз намагається врахувати це, і ChatGPT-3.5 стає надзвичайно інфляційним [у той місяць, коли] Росія вторглася в Україну, а цього не сталося.
«Як доказ концепції, щось реальне відбувається з майбутнім наративом, — сказав Каннінгем. «Але, як ми намагалися сказати в газеті, я не думаю, що навіть творці [моделей] цього розуміють. Тож незрозуміло, як з’ясувати, як це використовувати, і я не знаю, наскільки це насправді вирішується». ®
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://go.theregister.com/feed/www.theregister.com/2024/04/14/ai_models_future/
- : має
- :є
- : ні
- $UP
- 100
- 20
- 2021
- 2022
- 7
- a
- здатність
- МЕНЮ
- вище
- Академія
- рахунки
- точність
- точний
- точно
- через
- актори
- актриса
- насправді
- просування
- просунутий
- рада
- порадив
- після
- проти
- AI
- Моделі AI
- ВСІ
- майже
- вже
- Також
- завжди
- am
- an
- та
- Інший
- відповідь
- Відповіді
- будь-який
- підходи
- твердження
- ЕСТЬ
- сперечатися
- навколо
- Прибуває
- AS
- запитати
- запитувач
- At
- нагорода
- нагороди
- геть
- назад
- заснований
- Базова лінія
- BE
- бити
- оскільки
- ставати
- стає
- було
- еталонний тест
- КРАЩЕ
- Краще
- кров
- рада
- але
- CAN
- захоплений
- категорії
- певний
- голова
- змінилися
- характер
- Chatbot
- ChatGPT
- вибір
- обставин
- клас
- ясно
- очевидно
- CO
- колега
- коледж
- коментар
- порівняний
- Зроблено
- концепція
- Умови
- довіра
- наслідок
- контексти
- правильно
- може
- Креатив
- Творці
- кредит
- дані
- десятиліття
- рішення
- деталі
- Діалог
- DID
- А не було
- різний
- прямий
- спрямований
- безпосередньо
- обговорення
- розподіл
- do
- Лікар
- робить
- справи
- Дон
- дует
- легше
- легко
- Економічний
- економісти
- освітній
- Ефективний
- зайнятість
- займатися
- особливо
- Навіть
- Події
- приклад
- виставлені
- очікуваний
- експеримент
- експерт
- Пояснювати
- пояснені
- Пояснює
- надзвичайно
- Федеральний
- Федеральна резервна система
- почуття
- Рисунок
- фільми
- остаточний
- знайти
- для
- Прогноз
- Прогнози
- передбачення
- форма
- знайдений
- FRAME
- від
- майбутнє
- генерується
- отримати
- отримує
- Давати
- даний
- Go
- йде
- є
- губернаторів
- здогадуватися
- керівництво
- було
- траплятися
- відбувається
- Жорсткий
- Мати
- he
- почутий
- дуже
- його
- житло
- Як
- How To
- HTTPS
- сто
- i
- if
- картина
- негайно
- Impact
- важливо
- in
- В інших
- У тому числі
- побічно
- інфляція
- Інфляційний
- інформація
- Запити
- страхування
- інтерес
- інтерфейс
- інтерв'ю
- в
- вторгнення
- інвестиції
- IT
- ЙОГО
- Джером
- jerome powell
- JPG
- просто
- тримати
- Знати
- відомий
- мова
- великий
- останній
- Минулого року
- вести
- вивчення
- Led
- легальний
- як
- ll
- подивитися
- машина
- навчання за допомогою машини
- зробити
- Робить
- багато
- ринок
- матеріал
- Матерія
- механізми
- медичний
- згадати
- просто
- може бути
- mind
- модель
- Моделі
- місяць
- більше
- багато
- множинний
- повинен
- my
- NARRATIVE
- Номінанти
- увагу
- зазначив,
- Очевидний
- сталося
- of
- від
- Office
- часто
- часто
- on
- ONE
- онлайн
- тільки
- OpenAI
- протистояли
- or
- Інше
- інші
- наші
- з
- Вищі результати
- вихід
- відверто
- над
- Подолати
- Папір
- Минуле
- Люди
- відсотків
- виконується
- людина
- Фам
- телефон
- картина
- plato
- Інформація про дані Платона
- PlatoData
- точка
- це можливо
- потенціал
- Пауелл
- передбачати
- передвіщений
- прогнозування
- прогноз
- Прогнози
- представлений
- подарунки
- ймовірно
- професійний
- Професор
- підказок
- доказ
- доказ концепції
- доведений
- забезпечувати
- мета
- випадковий
- випадковість
- ставки
- швидше
- читає
- реальний
- Реальний світ
- насправді
- покладаючись
- Дослідники
- Резерв
- Опір
- відповідь
- відповіді
- результати
- право
- Risk
- Росія
- s
- Безпека
- Зазначений
- то ж
- say
- говорить
- сцена
- пошук
- сенс
- Вересень
- комплект
- установка
- вона
- показаний
- істотно
- аналогічний
- з
- один
- So
- деякі
- що в сім'ї щось
- мова
- акції
- Фондова біржа
- зупинка
- історії
- Історія
- Стратегія
- такі
- чудовий
- дивно
- Симптоми
- Приймати
- казки
- говорити
- Завдання
- завдання
- Навчання
- техніка
- сказати
- говорять
- розповідає
- тест
- Техас
- ніж
- Що
- Команда
- Майбутнє
- їх
- Їх
- потім
- Там.
- Ці
- вони
- речі
- думати
- це
- ті
- хоча?
- Таким чином
- зірвати
- час
- times
- під назвою
- до
- сказав
- Навчання
- лікування
- намагався
- два
- Типи
- Ukraine
- розуміти
- вживати
- безробіття
- університет
- використання
- використовуваний
- використовує
- використання
- різний
- різний
- Ve
- дуже
- через
- порушено
- хотіти
- було
- способи
- we
- ДОБРЕ
- були
- Що
- коли
- Чи
- який
- волі
- Готовність
- переможець
- Переможці
- з
- слова
- Work
- гірше
- вартість
- б
- лист
- рік
- Ти
- зефірнет