Вчені створили «OpinionGPT», щоб досліджувати явні людські упередження — і ви можете перевірити це на собі

Вчені створили «OpinionGPT», щоб досліджувати явні людські упередження — і ви можете перевірити це на собі

Мітка часу: 8 вересня 2023 4:42

Команда дослідників з Берлінського університету імені Гумбольдта розробила велику мовну модель штучного інтелекту, яка відрізняється тим, що її навмисно налаштовано на генерування результатів із вираженим упередженням.

Модель під назвою OpinionGPT є налаштованим варіантом Meta Llama 2, системи ШІ, подібної за можливостями до ChatGPT OpenAI або Claude 2 від Anthropic.

Використовуючи процес, який називається тонким налаштуванням на основі інструкцій, OpinionGPT нібито може відповідати на підказки так, ніби він є представником однієї з 11 упереджених груп: американець, німець, латиноамериканець, близькосхідний, підліток, хтось старше 30 років, літня людина. , чоловік, жінка, ліберал чи консерватор.

OpinionGPT було вдосконалено на основі даних, отриманих із спільнот «AskX», які називаються субредітами на Reddit. Приклади таких субредітів включають «Запитай жінку» та «Запитай американця».

Команда почала з пошуку субредітів, пов’язаних з 11 конкретними упередженнями, і вилучення 25 тисяч найпопулярніших публікацій з кожного з них. Тоді вони зберегли лише ті публікації, які відповідали мінімальному порогу голосів «за», не містили вбудованих цитат і мали менше 80 слів.

З тим, що залишилося, здається, ніби вони використовували підхід схожий на конституційний ШІ Anthropic. Замість того, щоб створювати абсолютно нові моделі для представлення кожної мітки зміщення, вони, по суті, точно налаштували єдину модель Llama7 із 2 мільярдів параметрів із окремими наборами інструкцій для кожного очікуваного зміщення.

За темою: Використання ШІ в соціальних мережах може вплинути на настрої виборців

Результат, заснований на методології, архітектурі та даних описаний у дослідницькій роботі німецької групи, здається, це система штучного інтелекту, яка функціонує більше як генератор стереотипів, ніж інструмент для вивчення упередженості в реальному світі.

Через характер даних, на основі яких була вдосконалена модель, і сумнівний зв’язок цих даних із мітками, які їх визначають, OpinionGPT не обов’язково виводить текст, який узгоджується з будь-яким вимірним упередженням у реальному світі. Він просто виводить текст, що відображає упередженість його даних.

Самі дослідники визнають деякі обмеження, які це накладає на їх дослідження, пишучи:

«Наприклад, відповіді «американців» краще розуміти як «американці, які публікують на Reddit» або навіть «американці, які публікують на цьому конкретному субредіті». Так само «німці» слід розуміти як «німці, які публікують на цьому певний subreddit, тощо.

Ці застереження можна було б додатково уточнити, щоб сказати, що дописи надходять, наприклад, від «людей, які стверджують, що вони американці, які розміщують у цьому конкретному субредіті», оскільки в документі немає жодної згадки про перевірку того, чи плакати за даним дописом насправді є репрезентативними. демографічної чи упередженої групи, якою вони себе вважають.

Далі автори заявляють, що вони мають намір дослідити моделі, які ще більше окреслюють демографію (тобто: ліберальна Німеччина, консервативна Німеччина).

Результати, надані OpinionGPT, здається, коливаються між демонстрацією очевидної упередженості та різко відрізняються від встановленої норми, що ускладнює визначення її життєздатності як інструменту для вимірювання чи виявлення фактичної упередженості.

Вчені створили «OpinionGPT», щоб досліджувати явні людські упередження — і ви можете перевірити це на собі PlatoBlockchain Data Intelligence. Вертикальний пошук. Ai.
Джерело: Скріншот, Таблиця 2: Халлер та ін. ін., 2023

Відповідно до OpinionGPT, як показано на зображенні вище, наприклад, латиноамериканці упереджено вважають баскетбол їхнім улюбленим видом спорту.

Емпіричне дослідження, однак, однозначно вказує що футбол (також званий футболом у деяких країнах) і бейсбол є найпопулярнішими видами спорту за кількістю глядачів та участі в Латинській Америці.

Ця ж таблиця також показує, що OpinionGPT видає «водне поло» як свій улюблений вид спорту, коли його наказують дати «відповідь підлітка», відповідь, яка виглядає статистично навряд чи бути представником більшості 13-19-річних у всьому світі.

Те саме стосується думки, що улюблена їжа середнього американця – це «сир». Ми знайшли в Інтернеті десятки опитувань, які стверджували, що піца та гамбургери є улюбленими стравами Америки, але не змогли знайти жодного опитування чи дослідження, яке б стверджувало, що стравою номер один для американців був просто сир.

Хоча OpinionGPT може бути не дуже придатним для вивчення фактичних людських упереджень, він може бути корисним як інструмент для вивчення стереотипів, притаманних великим сховищам документів, таким як окремі субредити або навчальні набори AI.

Для тих, кому цікаво, дослідники створили OpinionGPT доступний онлайн для публічного тестування. Однак, згідно з веб-сайтом, потенційні користувачі повинні знати, що «згенерований контент може бути неправдивим, неточним або навіть непристойним».

Часова мітка:

Більше від Монеттелеграф