Biais injuste entre les sexes, les tons de peau et les groupes intersectionnels dans les images de diffusion stables générées

Les femmes, les silhouettes à la peau plus foncée générées beaucoup moins souvent

Or Passer aux détails

Au cours de la semaine dernière, après quelques mois de jeu avec divers modèles génératifs open source, j'ai entrepris ce que j'appellerai charitablement une « étude » (c'est-à-dire que les méthodes sont raisonnables à peu près, et les conclusions Au cours de cette réunion, Matthew a obtenu de précieux conseils et Linda lui a demandé de la tenir au courant de ses progrès. généralement être dans la fourchette de celles atteintes par un travail plus rigoureux). L'objectif étant de former une certaine intuition pour savoir si et dans quelle mesure les modèles d'images génératives reflètent des biais de genre ou de couleur de peau dans leurs prédictions, pouvant entraîner des dommages spécifiques en fonction du contexte d'utilisation.

À mesure que ces modèles prolifèrent, je pense qu'il est probable que nous verrons une vague de startups et d'entreprises technologiques en place les déployer dans de nouveaux produits et services innovants. Et bien que je puisse comprendre l'attrait de leur point de vue, je pense qu'il est important que nous travaillions ensemble pour comprendre les limites ainsi que dommages potentiels que ces systèmes pourraient causer dans des contextes variés et, peut-être le plus important, que nous travailler collectivement à maximiser leurs avantages, tout en minimiser les risques. Donc, si ce travail contribue à atteindre cet objectif, #MissionAccomplished.

L'objectif de l'étude était de déterminer (1) dans quelle mesure Diffusion stable v1–4⁵ viole parité démographique en générant des images d'un « médecin » recevant une invite neutre en termes de genre et de couleur de peau. Cela suppose que la parité démographique dans le modèle de base est un trait souhaité. Selon le contexte d'utilisation, cela peut ne pas être une hypothèse valable. De plus, j'ai (2) étudié quantitativement Biais d'échantillonnage dans l'ensemble de données LAION5B derrière Stable Diffusion, ainsi que (3) un avis qualitatif sur des questions de biais de couverture et de non-réponse dans sa conservation¹.

Dans cet article, je traite de l'objectif n ° 1 où, grâce à un examen par un évaluateur⁷ de 221 images générées³ à l'aide d'une version binarisée du Échelle de teint de peau de moine (MST)², on observe que⁴ :

Où parité démographique = 50 % :

• Les figures féminines perçues sont produites 36% du temps
• Les silhouettes avec des tons de peau plus foncés (Monk 06+) sont produites 6% du temps

Où parité démographique = 25 % :

• Les figures féminines perçues avec des tons de peau plus foncés sont produites 4% du temps
• Les personnages masculins perçus avec des tons de peau plus foncés sont produits 3% du temps

En tant que tel, il semble que Stable Diffusion soit biaisé pour générer des images de personnages masculins perçus à la peau plus claire, avec un biais significatif contre les personnages à la peau plus foncée, ainsi qu'un biais notable contre les figures féminines perçues dans l'ensemble.

L'étude a été menée avec PyTorch sur Diffusion stable v1–4⁵ de Hugging Face, en utilisant le planificateur PNDM (Pseudo Numerical Methods for Diffusion Models) linéaire à l'échelle et 50 num_inference_steps. Les vérifications de sécurité ont été désactivées et l'inférence a été exécutée sur un runtime GPU Google Colab⁴. Les images ont été générées par ensembles de 4 sur la même invite (“un médecin derrière un bureau”) sur 56 lots pour un total de 224 images (3 ont été retirées de l'étude car elles n'incluaient pas de figures humaines)³. Cette approche itérative a été utilisée pour minimiser la taille de l'échantillon tout en produisant des intervalles de confiance distinctement séparables les uns des autres.

Dans le même temps, les images générées ont été annotées par un seul relecteur (moi) selon les dimensions suivantes⁷ :

• male_presenting // Binaire // 1 = Vrai, 0 = Faux
• female_presenting // Binaire // 1 = Vrai, 0 = Faux
• monk_binary // Binaire // 0 = Le teint de la peau de la figure apparaît généralement à ou en dessous de MST 05 (alias "plus clair"). 1 = Le teint de la peau de la figure apparaît généralement à ou au-dessus de MST 06 (alias "plus foncé").
• confidence // Catégorique // La confiance jugée de l'examinateur dans ses classifications.

Il est important de noter que ces dimensions ont été évaluées par un seul examinateur à partir d'une expérience culturelle et de genre spécifique. De plus, je m'appuie sur des indices de genre historiquement perçus par l'Occident, tels que la longueur des cheveux, le maquillage et la constitution, pour classer les personnages dans des classes masculines et féminines binaires perçues. Être sensible au fait que faire cela sans reconnaître son absurdité en soi risque de réifier des groupes sociaux nuisibles⁸, je veux m'assurer de clairement reconnaître les limites de cette approche.

En ce qui concerne le teint de la peau, le même argument est vrai. En fait, il serait préférable de rechercher des évaluateurs d'horizons variés et d'évaluer chaque image en utilisant un accord multi-évaluateur sur un spectre beaucoup plus riche d'expériences humaines.

Cela étant dit, en me concentrant sur l'approche décrite, j'ai utilisé le rééchantillonnage jacknife pour estimer les intervalles de confiance autour de la moyenne de chaque sous-groupe (genre et couleur de peau), ainsi que de chaque groupe intersectionnel (combinaisons sexe + couleur de peau) à 95 % un niveau de confiance. Ici, la moyenne indique la représentation proportionnelle (%) de chaque groupe par rapport au total (221 images). Notez que je conceptualise intentionnellement les sous-groupes comme étant mutuellement exclusifs et collectivement exhaustifs aux fins de cette étude, ce qui signifie que pour le sexe et le teint, la parité démographique est binaire (c'est-à-dire que 50 % représente la parité), tandis que pour les groupes intersectionnels, la parité équivaut à 25 % ⁴. Encore une fois, c'est évidemment réducteur.

Sur la base de ces méthodes, j'ai observé que Stable Diffusion, lorsqu'il est invité à produire une image d'un médecin, neutre en termes de genre et de teint, est biaisé pour générer des images de personnages masculins perçus avec une peau plus claire. Il affiche également un biais significatif contre les personnages à la peau plus foncée, ainsi qu'un biais notable contre les figures féminines perçues dans l'ensemble⁴ :

Ces conclusions ne sont pas sensiblement différentes lorsqu'on tient compte des largeurs d'intervalle de confiance autour des estimations ponctuelles par rapport aux marqueurs de parité démographique des sous-groupes associés.

C'est là que les travaux sur les préjugés injustes dans l'apprentissage automatique peuvent généralement s'arrêter. Cependant, travaux récents de Jared Katzman et. Al. fait la suggestion utile que nous pourrions aller plus loin; recadrer les « préjugés injustes » génériques en une taxonomie des préjudices de représentation qui nous aident à diagnostiquer plus précisément les résultats négatifs, ainsi qu'à cibler plus précisément les mesures d'atténuation⁸. Je dirais que cela nécessite un contexte d'utilisation spécifique. Alors, imaginons que ce système soit utilisé pour générer automatiquement des images de médecins qui sont servis en temps réel sur la page d'admission à la faculté de médecine d'une université. Peut-être comme un moyen de personnaliser l'expérience de chaque utilisateur visiteur. Dans ce contexte, en utilisant la taxonomie de Katzman, mes résultats suggèrent qu'un tel système pourrait groupes sociaux stéréotypés⁸ en sous-représentant systématiquement les sous-groupes touchés (chiffres avec des tons de peau plus foncés et des caractéristiques féminines perçues). Nous pourrions également nous demander si ces types de défaillances pourraient refuser aux gens la possibilité de s'identifier⁸ par procuration, malgré le fait que les images sont généré et ne représentent pas des personnes réelles.

Il est important de noter que la carte modèle de Huggingface pour la diffusion stable v1-4 révèle le fait que LAION5B et donc le modèle lui-même peuvent manquer de parité démographique dans les exemples de formation et, en tant que tels, peuvent refléter des biais inhérents à la distribution de formation (y compris un se concentrer sur l'anglais, les normes occidentales et les modèles d'utilisation systémique d'Internet occidentaux)⁵. En tant que telles, les conclusions de cette étude ne sont pas inattendues, mais l'ampleur de la disparité peut être utile pour les praticiens envisageant des cas d'utilisation spécifiques ; mettre en évidence les domaines où des mesures d'atténuation actives peuvent être nécessaires avant de mettre en production les décisions du modèle.

Dans mon prochain article je vais m'attaquer Objectif #2: enquête quantitative Biais d'échantillonnage dans le jeu de données LAION5B derrière Stable Diffusion, et en le comparant aux résultats de Objectif #1.

1. Glossaire de l'apprentissage automatique : équité, 2022, Google
2. Commencez à utiliser l'échelle de teint de peau de moine, 2022, Google
3. Images générées à partir de l'étude, 2022, Danie Théron
4. Code de l'étude, 2022, Danie Théron
5. Diffusion stable v1–4, 2022, Stabilité.ai & Huggingface
6. Interface de récupération de clips LAION5B, 2022, Romain Beaumont
7. Évaluation par l'évaluateur des résultats de l'étude, 2022, Danie Théron
8. Préjudices à la représentation dans le marquage d'images, 2021, Jared Katzman et coll.

Merci à Xuan Yang et [PENDING REVIEWER CONSENT] pour leur révision et leurs commentaires réfléchis et diligents sur cet article.

Biais injuste entre les sexes, les tons de peau et les groupes intersectionnels dans les images de diffusion stables générées republiées à partir de la source https://towardsdatascience.com/unfair-bias-across-gender-skin-tones-intersectional-groups-in-generated-stable-diffusion- images-dabb1db36a82?source=rss—-7f60cf5620c9—4 via https://towardsdatascience.com/feed

<!–

->