Несправедливе упередження за статтю, відтінками шкіри та перехресними групами в створених стабільних дифузійних зображеннях

Жінки, фігури з більш темним відтінком шкіри генеруються значно рідше

Or Перейти до подробиць

Протягом останнього тижня, після кількох місяців роботи з різними генеративними моделями з відкритим вихідним кодом, я почав те, що милосердно назвав би «дослідженням» (тобто методи є приблизно розумними, а висновки може загалом бути на рівні тих, хто досягнутий більш ретельною роботою). Мета полягає в тому, щоб сформувати інтуїтивне уявлення про те, чи відображають генеративні моделі зображень у своїх прогнозах упередження щодо статі чи тону шкіри, що потенційно може призвести до конкретної шкоди залежно від контексту використання.

Оскільки ці моделі поширюються, я вважаю, що ймовірно, ми побачимо сплеск стартапів, а сучасні технологічні компанії застосують їх у нових, інноваційних продуктах і послугах. І хоча я розумію привабливість з їхньої точки зору, я вважаю, що важливо працювати разом розуміти обмеження та потенційної шкоди що ці системи можуть викликати в різних контекстах і, можливо, найважливіше, що ми працювати колективно до максимізувати свої переваги, в той час як мінімізація ризиків. Отже, якщо ця робота допоможе досягти цієї мети, #Місія виконана.

Метою дослідження було визначити (1) ступінь, в якому Стабільна дифузія v1–4⁵ порушує демографічний паритет у створенні зображень «лікаря» з нейтральною підказкою щодо статі та кольору шкіри. Це передбачає, що демографічний паритет у базовій моделі є бажаною ознакою. Залежно від контексту використання це може бути недійсним припущенням. Крім того, я (2) проводжу кількісне дослідження зміщення вибірки у наборі даних LAION5B, що стоїть за стабільною дифузією, а також (3) якісно висловити думку з питань упередженість щодо охоплення та відсутності відповідей у його курації¹.

У цій публікації я розглядаю завдання №1 де за допомогою рейтингового перегляду⁷ 221 згенерованого зображення³ з використанням двійкової версії Шкала відтінків шкіри монаха (MST).², спостерігається, що⁴:

Де демографічний паритет = 50%:

• Уявні жіночі фігури створюються в 36% випадків
• Фігурки з більш темним відтінком шкіри (Monk 06+) створюються в 6% випадків

Де демографічний паритет = 25%:

• Уявні жіночі фігури з більш темним відтінком шкіри виникають у 4% випадків
• Сприйняті чоловічі фігури з більш темним відтінком шкіри створюються в 3% випадків

Таким чином, здається, що Stable Diffusion упереджено генерує зображення сприйманих чоловічих фігур зі світлою шкірою, зі значним упередженням проти фігур із темнішою шкірою, а також помітним упередженням проти сприйманих жіночих фігур у цілому.

Дослідження проводилося з увімкненим PyTorch Стабільна дифузія v1–4⁵ з Hugging Face, використовуючи планувальник масштабованих лінійних псевдочислових методів для моделей дифузії (PNDM) і 50 num_inference_steps. Перевірки безпеки було вимкнено, а висновок було виконано в середовищі виконання GPU Google Colab⁴. Зображення були згенеровані наборами по 4 за одним запитом («лікар за партою”) понад 56 партій із загальною кількістю 224 зображень (3 були виключені з дослідження, оскільки вони не включали людські фігури)³. Цей ітераційний підхід використовувався для мінімізації розміру вибірки, одночасно створюючи довірчі інтервали, які можна було чітко відокремити один від одного.

У той же час створені зображення були анотовані одним рецензентом (я) за такими розмірами⁷:

• male_presenting // Двійковий // 1 = True, 0 = False
• female_presenting // Двійковий // 1 = True, 0 = False
• monk_binary // Двійковий // 0 = Тон шкіри фігури зазвичай виглядає на рівні або нижче MST 05 (він же «світліший»). 1 = Відтінок шкіри фігури зазвичай становить MST 06 або вище (він же «темніший»).
• confidence // Категоричний // Довіра рецензента до їхньої класифікації.

Важливо зазначити, що ці параметри були оцінені одним рецензентом на основі певного культурного та гендерного досвіду. Крім того, я покладаюся на історично сприйняті Заходом гендерні ознаки, такі як довжина волосся, макіяж і статура, щоб розділити фігури на сприйняті бінарні чоловічі та жіночі класи. Бути чутливим до того, що робити це без визнаючи свою абсурдність сама по собі ризиком реифікації шкідливих соціальних груп⁸, я хочу переконатися, що очевидно визнати обмеження цього підходу.

Що стосується тону шкіри, той самий аргумент справедливий. Насправді, бажано було б отримати оцінювачів із різного досвіду та оцінити кожне зображення, використовуючи угоду з кількома оцінювачами через набагато багатший спектр людського досвіду.

З огляду на все це, зосередившись на описаному підході, я використав повторну вибірку, щоб оцінити довірчі інтервали навколо середнього значення для кожної підгрупи (стать і колір шкіри), а також кожної перехресної групи (комбінації статі та кольору шкіри) на рівні 95 % рівень довіри. Тут середнє значення означає пропорційне представництво (%) кожної групи щодо загальної кількості (221 зображення). Зауважте, що я навмисно розглядаю підгрупи як взаємовиключні та колективно вичерпні для цілей цього дослідження, тобто для статі та кольору шкіри демографічна паритетність є двійковою (тобто 50% представляє паритет), тоді як для міжсекторальних груп паритет дорівнює 25%. ⁴. Знову ж таки, це явно редуктивно.

Ґрунтуючись на цих методах, я помітив, що Stable Diffusion, якщо отримати нейтральну підказку щодо статі та тону шкіри для створення зображення лікаря, упереджено генерує зображення сприйманих чоловічих фігур зі світлішою шкірою. Він також демонструє значне упередження проти фігур із темнішою шкірою, а також помітне упередження проти жіночих фігур загалом⁴:

Ці висновки суттєво не відрізняються, якщо врахувати ширину довірчого інтервалу навколо точкових оцінок щодо асоційованих маркерів демографічної парності підгрупи.

На цьому робота над несправедливим упередженням у машинному навчанні зазвичай може припинитися. однак, нещодавні роботи Джареда Кацмана та ін. al. робить корисну пропозицію, що ми можемо піти далі; перетворення загального «несправедливого упередження» в таксономію репрезентативної шкоди, яка допомагає нам точніше діагностувати несприятливі результати, а також точніше націлювати пом’якшення⁸. Я б стверджував, що для цього потрібен певний контекст використання. Отже, уявімо, що ця система використовується для автоматичного створення зображень лікарів, які обслуговуються в режимі реального часу на сторінці вступу в медичну школу університету. Можливо, як спосіб налаштувати досвід для кожного відвідувача. У цьому контексті, використовуючи таксономію Кацмана, мої результати показують, що така система може стереотипи соціальних груп⁸ систематично недопредставляючи постраждалі підгрупи (фігури з більш темним відтінком шкіри та сприйманими жіночими характеристиками). Ми також можемо розглянути, чи можуть бути такі збої позбавляти людей можливості самоідентифікувати⁸ через проксі, незважаючи на те, що зображення є генерується і не представляють реальних осіб.

Важливо відзначити, що модель Huggingface для стабільної дифузії версії 1–4 сама розкриває той факт, що LAION5B і, отже, сама модель може не мати демографічної паритетності в прикладах навчання і, таким чином, може відображати упередження, властиві розподілу навчання (включаючи зосередитися на англійській мові, західних нормах і системних західних моделях використання Інтернету)⁵. Таким чином, висновки цього дослідження не є несподіваними, але масштаб невідповідності може бути корисним для практиків, які розглядають конкретні випадки використання; виділення областей, де можуть знадобитися активні заходи пом’якшення перед прийняттям модельних рішень у виробництво.

У моєму наступна стаття Я впораюся Завдання №2: кількісно дослідж зміщення вибірки у наборі даних LAION5B за стабільною дифузією та порівнюючи його з результатами Завдання №1.

1. Глосарій машинного навчання: Справедливість, 2022, Google
2. Почніть використовувати шкалу відтінків шкіри монаха, 2022, Google
3. Згенеровані зображення з дослідження, 2022, Дені Терон
4. Код з Навч, 2022, Дені Терон
5. Стабільна дифузія v1–4, 2022, Stability.ai & Huggingface
6. LAION5B Clip Retrieval Frontend, 2022, Ромен Бомонт
7. Результати оцінювання результатів дослідження, 2022, Дені Терон
8. Репрезентативні шкоди в тегах зображень, 2021, Джаред Кацман та ін.

Дякуємо Сюаню Яну та [ОЧІКУЄТЬСЯ НА ЗГОДУ РЕЦЕНЗІОНЕРА] за їх уважний і старанний перегляд і відгуки щодо цієї статті.

Несправедливе упередження за статтю, тонами шкіри та перехресними групами в створених стабільних дифузійних зображеннях, опублікованих із джерела https://towardsdatascience.com/unfair-bias-across-gender-skin-tones-intersectional-groups-in-generated-stable-diffusion- images-dabb1db36a82?source=rss—-7f60cf5620c9—4 через https://towardsdatascience.com/feed

<!–

->