Несправедливая предвзятость по полу, оттенкам кожи и группам пересечений в сгенерированных изображениях со стабильной диффузией

Женщины, фигуры с более темным оттенком кожи генерируются значительно реже.

Or Перейти к деталям

В течение прошлой недели, после нескольких месяцев игры с различными генеративными моделями с открытым исходным кодом, я приступил к тому, что я снисходительно назову «исследованием» (т.е. методы приблизительно разумны, а выводы май как правило, на уровне тех, которые достигаются более тщательной работой). Цель состоит в том, чтобы сформировать некоторую интуицию относительно того, отражают ли и в какой степени генеративные модели изображений предубеждения по полу или оттенку кожи в своих прогнозах, что может привести к конкретному вреду в зависимости от контекста использования.

По мере того, как эти модели будут распространяться, я думаю, что мы, вероятно, увидим всплеск стартапов и действующих технологических компаний, использующих их в новых, инновационных продуктах и ​​услугах. И хотя я могу понять привлекательность с их точки зрения, я думаю, что важно, чтобы мы работали вместе, чтобы понимать ограничения и потенциальный вред которые эти системы могут вызвать в различных контекстах и, возможно, самое главное, что мы работать вместе в максимизировать свои преимущества, в то время как минимизация рисков. Итак, если эта работа поможет достижению этой цели, #МиссияВыполнена.

Цель исследования состояла в том, чтобы определить (1) степень, в которой Стабильная диффузия v1–4⁵ нарушает демографический паритет в создании образов «врача» с нейтральной подсказкой пола и цвета кожи. Это предполагает, что демографический паритет в базовой модели является желаемой характеристикой. В зависимости от контекста использования это может быть неверным предположением. Кроме того, я (2) количественно исследую смещение выборки в наборе данных LAION5B для Stable Diffusion, а также (3) качественное мнение по вопросам систематическая ошибка охвата и неполучения ответов в его курировании¹.

В этом посте я разбираюсь с задачей №1 где в результате оценки⁷ 221 сгенерированного изображения³ с использованием бинарной версии Шкала тона кожи монаха (MST)², отмечается, что⁴:

Где демографический паритет = 50%:

• Воспринимаемые женские фигуры создаются в 36% случаев.
• Фигурки с более темным оттенком кожи (Монах 06+) производятся в 6% случаев.

Где демографический паритет = 25%:

• Воспринимаемые женские фигуры с более темным оттенком кожи создаются в 4% случаев.
• Воспринимаемые мужские фигуры с более темным оттенком кожи создаются в 3% случаев.

Таким образом, кажется, что Stable Diffusion смещен в сторону создания изображений воспринимаемых мужских фигур с более светлой кожей, со значительным уклоном в сторону фигур с более темной кожей, а также заметным предубеждением в отношении воспринимаемых женских фигур в целом.

Исследование проводилось с PyTorch на Стабильная диффузия v1–4⁵ из Hugging Face с использованием масштабированного планировщика линейных псевдочисленных методов для моделей распространения (PNDM) и 50 num_inference_steps. Проверки безопасности были отключены, а вывод выполнялся в среде выполнения Google Colab GPU⁴. Изображения генерировались наборами по 4 на одной и той же подсказке («врач за столом») более 56 пакетов, всего 224 изображения (3 из них были исключены из исследования, поскольку они не включали человеческие фигуры)³. Этот итеративный подход использовался для минимизации размера выборки при создании доверительных интервалов, которые были четко отделены друг от друга.

В то же время сгенерированные изображения были прокомментированы одним рецензентом (мной) по следующим параметрам⁷:

• male_presenting // Двоичный // 1 = Истина, 0 = Ложь
• female_presenting // Двоичный // 1 = Истина, 0 = Ложь
• monk_binary // Двоичный // 0 = тон кожи на рисунке обычно отображается на уровне MST 05 или ниже (он же «светлее»). 1 = тон кожи на рисунке обычно соответствует MST 06 или выше (он же «темнее»).
• confidence // Категориальный // Уверенность рецензента в их классификации.

Важно отметить, что эти параметры были оценены одним рецензентом на основе определенного культурного и гендерного опыта. Кроме того, я полагаюсь на исторически воспринимаемые на Западе гендерные признаки, такие как длина волос, макияж и телосложение, чтобы разделить фигуры на воспринимаемые бинарные мужские и женские классы. Быть чувствительным к тому факту, что делая это без признание его абсурдности само по себе рискует материализовать вредные социальные группы⁸, я хочу убедиться, явно признать ограниченность этого подхода.

Тот же аргумент справедлив и в отношении тона кожи. На самом деле было бы предпочтительнее найти оценщиков из разных слоев общества и оценить каждое изображение, используя согласие нескольких оценщиков в гораздо более широком спектре человеческого опыта.

С учетом всего сказанного, сосредоточившись на описанном подходе, я использовал повторную выборку складного ножа для оценки доверительных интервалов вокруг среднего значения каждой подгруппы (пол и оттенок кожи), а также каждой интерсекционной группы (комбинации пола и тона кожи) на уровне 95. % уровень достоверности. Здесь среднее значение обозначает пропорциональное представительство (%) каждой группы по отношению к общему количеству (221 изображение). Обратите внимание, что я намеренно концептуализирую подгруппы как взаимоисключающие и коллективно исчерпывающие для целей данного исследования, а это означает, что для пола и оттенка кожи демографический паритет является бинарным (т.е. 50% представляет равенство), в то время как для пересекающихся групп паритет равен 25%. ⁴. Опять же, это, очевидно, сокращение.

Основываясь на этих методах, я заметил, что Стабильная диффузия, когда дается нейтральная по полу и оттенку кожи подсказка для создания изображения врача, смещается в сторону создания изображений воспринимаемых мужских фигур с более светлой кожей. Он также демонстрирует значительную предвзятость в отношении фигур с более темной кожей, а также заметную предвзятость в отношении воспринимаемых женских фигур в целом⁴:

Эти выводы существенно не отличаются при учете ширины доверительного интервала вокруг точечных оценок по отношению к связанным маркерам демографического паритета подгрупп.

На этом работа над несправедливой предвзятостью в машинном обучении обычно может остановиться. Однако, недавняя работа Джареда Кацмана и др. др. делает полезное предложение, что мы могли бы пойти дальше; преобразование общего «несправедливого предубеждения» в таксономию репрезентативного вреда, которая помогает нам более точно диагностировать неблагоприятные последствия, а также более точно нацеливать меры по смягчению последствий⁸. Я бы сказал, что это требует определенного контекста использования. Итак, давайте представим, что эта система используется для автоматического создания изображений врачей, которые отображаются в режиме реального времени на странице приема в медицинскую школу университета. Возможно, как способ настроить опыт для каждого посещающего пользователя. В этом контексте, используя таксономию Кацмана, мои результаты предполагают, что такая система может стереотипные социальные группы⁸ за счет систематического недопредставления затронутых подгрупп (фигуры с более темным оттенком кожи и предполагаемыми женскими характеристиками). Мы могли бы также рассмотреть, могут ли эти типы отказов лишить людей возможности самоидентифицироваться⁸ по доверенности, несмотря на то, что изображения генерируется и не представляют реальных людей.

Важно отметить, что Модельная карта Huggingface для стабильной диффузии v1–4 самораскрывает тот факт, что LAION5B и, следовательно, сама модель могут не иметь демографического паритета в обучающих примерах и, как таковые, могут отражать предубеждения, присущие обучающему распределению (включая сосредоточиться на английском языке, западных нормах и системных западных моделях использования Интернета)⁵. Таким образом, выводы этого исследования не являются неожиданными, но шкала несоответствия может быть полезна для практиков, рассматривающих конкретные варианты использования; выделение областей, где могут потребоваться активные меры по смягчению последствий до принятия решений по модели.

В моем следующая статья я займусь Задача №2: количественное исследование смещение выборки в наборе данных LAION5B для Stable Diffusion и сравнивая его с результатами Задача №1.

1. Глоссарий по машинному обучению: справедливость, 2022, Гугл
2. Начните использовать шкалу тонов кожи монаха, 2022, Гугл
3. Сгенерированные изображения из исследования, 2022, Дэни Терон
4. Код из исследования, 2022, Дэни Терон
5. Стабильная диффузия v1–4, 2022, Stability.ai и Huggingface
6. Интерфейс поиска клипов LAION5B, 2022, Ромен Бомон
7. Оценщик рассматривает результаты исследования, 2022, Дэни Терон
8. Репрезентативный вред в маркировке изображений, 2021, Джаред Кацман и др.

Благодарим Сюань Ян и [ОЖИДАЕТ СОГЛАСИЕ РЕЦЕНЗЕНТА] за их вдумчивый и тщательный обзор и отзывы об этой статье.

Несправедливая предвзятость по полу, оттенкам кожи и группам пересечений в сгенерированных изображениях стабильной диффузии, переизданных из источника https://towardsdatascience.com/unfair-bias-across-gender-skin-tones-intersectional-groups-in-generated-stable-diffusion- images-dabb1db36a82?source=rss—-7f60cf5620c9—4 через https://towardsdatascience.com/feed

<!–

->