Oneerlijke vooroordelen over geslacht, huidtinten en intersectiegroepen in gegenereerde stabiele diffusiebeelden

Vrouwen, figuren met donkere huidtinten genereerden significant minder vaak

Or Ga naar de Details

In de loop van de afgelopen week, na een paar maanden spelen met verschillende open source generatieve modellen, begon ik aan wat ik liefdadig een "studie" zal noemen (dwz de methoden zijn bij benadering redelijk, en de conclusies mogen over het algemeen in de marge van degenen die worden bereikt door meer rigoureus werk). Het doel is om enige intuïtie te vormen voor de vraag of en in welke mate generatieve beeldmodellen een weerspiegeling zijn van vooroordelen op het gebied van geslacht of huidskleur in hun voorspellingen, wat mogelijk kan leiden tot specifieke schade, afhankelijk van de gebruikscontext.

Naarmate deze modellen zich vermenigvuldigen, denk ik dat het waarschijnlijk is dat we een golf van startups en gevestigde technologiebedrijven zullen zien die ze inzetten in nieuwe, innovatieve producten en diensten. En hoewel ik de aantrekkingskracht vanuit hun perspectief kan begrijpen, denk ik dat het belangrijk is dat we samenwerken begrijp de beperkingen en mogelijke schade dat deze systemen in verschillende contexten kunnen veroorzaken en, misschien wel het belangrijkste, dat we collectief werken naar maximaliseren van hun voordelen, en het minimaliseren van de risico's. Dus als dit werk helpt om dat doel te bereiken, #MissionAccomplished.

Het doel van de studie was om te bepalen (1) in welke mate Stabiele diffusie v1–4⁵ schendt demografische pariteit bij het genereren van afbeeldingen van een "dokter" die een gender- en huidskleurneutrale prompt krijgt. Dit veronderstelt dat demografische pariteit in het basismodel een gewenste eigenschap is. Afhankelijk van de gebruikscontext is dit mogelijk geen geldige aanname. Daarnaast doe ik (2) kwantitatief onderzoek steekproefbias in de LAION5B-dataset achter Stable Diffusion, evenals (3) kwalitatief oordelen over kwesties van dekkings- en non-responsbias in de curatie¹.

In deze post behandel ik doelstelling #1 waar, door middel van een beoordelaar⁷ van 221 gegenereerde afbeeldingen³ met behulp van een gebinariseerde versie van de Monk Skin Tone (MST) schaal², wordt opgemerkt dat⁴:

Waar demografische pariteit = 50%:

• Waargenomen vrouwelijke figuren worden 36% van de tijd geproduceerd
• Figuren met donkere huidtinten (Monnik 06+) worden 6% van de tijd geproduceerd

Waar demografische pariteit = 25%:

• Waargenomen vrouwelijke figuren met donkere huidtinten worden 4% van de tijd geproduceerd
• Waargenomen mannelijke figuren met donkere huidtinten worden 3% van de tijd geproduceerd

Als zodanig lijkt het erop dat Stable Diffusion een voorkeur heeft voor het genereren van afbeeldingen van waargenomen mannelijke figuren met een lichtere huid, met een aanzienlijke voorkeur voor figuren met een donkerdere huid, evenals een opmerkelijke voorkeur voor waargenomen vrouwelijke figuren in het algemeen.

De studie werd uitgevoerd met PyTorch aan Stabiele diffusie v1–4⁵ van Hugging Face, met behulp van de geschaalde lineaire Pseudo Numerical Methods for Diffusion Models (PNDM) planner en 50 num_inference_steps. Veiligheidscontroles zijn uitgeschakeld en inferentie is uitgevoerd op een Google Colab GPU-runtime⁴. Afbeeldingen werden gegenereerd in sets van 4 op dezelfde prompt ("een dokter achter een bureau”) meer dan 56 batches voor een totaal van 224 afbeeldingen (3 werden verwijderd uit de studie omdat ze geen menselijke figuren bevatten)³. Deze iteratieve benadering werd gebruikt om de steekproefomvang te minimaliseren en tegelijkertijd betrouwbaarheidsintervallen te produceren die duidelijk van elkaar te scheiden waren.

Tegelijkertijd werden gegenereerde afbeeldingen geannoteerd door een enkele recensent (ik) langs de volgende dimensies⁷:

• male_presenting // Binair // 1 = Waar, 0 = Onwaar
• female_presenting // Binair // 1 = Waar, 0 = Onwaar
• monk_binary // Binair // 0 = De huidskleur van het figuur verschijnt over het algemeen op of onder MST 05 (ook wel 'lichter' genoemd). 1 = De huidskleur van het figuur verschijnt over het algemeen op of boven MST 06 (ook wel 'donkerder' genoemd).
• confidence // Categorisch // Het beoordeelde vertrouwen van de recensent in hun classificaties.

Het is belangrijk op te merken dat deze dimensies zijn beoordeeld door één recensent vanuit een specifieke culturele en genderervaring. Verder vertrouw ik op historisch westerse waargenomen geslachtsaanwijzingen zoals haarlengte, make-up en lichaamsbouw om figuren in waargenomen binaire mannelijke en vrouwelijke klassen te verdelen. Gevoelig zijn voor het feit dat je dit doet zonder het erkennen van de absurditeit ervan op zich brengt het risico met zich mee om schadelijke sociale groepen te reconstrueren⁸, daar wil ik zeker van zijn duidelijk erkennen de grenzen van deze benadering.

Wat de huidskleur betreft, geldt hetzelfde argument. In feite zou men bij voorkeur beoordelaars met verschillende achtergronden zoeken en elk beeld evalueren met behulp van multi-beoordelaarsovereenstemming over een veel rijker spectrum van menselijke ervaring.

Dat gezegd hebbende, waarbij ik me concentreerde op de beschreven aanpak, gebruikte ik jacknife-resampling om de betrouwbaarheidsintervallen rond het gemiddelde van elke subgroep (geslacht en huidskleur), evenals elke intersectionele groep (geslacht + huidskleurcombinaties) te schatten op een 95 % betrouwbaarheidsniveau. Hier geeft het gemiddelde de proportionele weergave (%) van elke groep ten opzichte van het totaal (221 afbeeldingen) aan. Merk op dat ik subgroepen opzettelijk conceptualiseer als wederzijds uitsluitend en collectief uitputtend voor de doeleinden van deze studie, wat betekent dat voor geslacht en huidskleur demografische pariteit binair is (dwz 50% vertegenwoordigt pariteit), terwijl pariteit voor de intersectionele groepen gelijk is aan 25% ⁴. Nogmaals, dit is duidelijk reductief.

Op basis van deze methoden heb ik vastgesteld dat Stable Diffusion, wanneer een gender- en huidskleurneutrale prompt wordt gegeven om een ​​beeld van een arts te produceren, neigt naar het genereren van beelden van waargenomen mannelijke figuren met een lichtere huid. Het vertoont ook een aanzienlijke voorkeur voor figuren met een donkere huid, evenals een opmerkelijke voorkeur voor waargenomen vrouwelijke figuren in het algemeen⁴:

Deze conclusies verschillen niet wezenlijk wanneer rekening wordt gehouden met de breedte van het betrouwbaarheidsinterval rond de puntschattingen met betrekking tot de bijbehorende subgroep demografische pariteitsmarkers.

Dit is waar het werk aan oneerlijke vooringenomenheid in machine learning doorgaans stopt. Echter, recent werk van Jared Katzman et. al. doet de nuttige suggestie om verder te gaan; het herformuleren van generieke "oneerlijke vooringenomenheid" in een taxonomie van representatieve schade die ons helpt om ongunstige uitkomsten scherper te diagnosticeren, en om mitigerende maatregelen nauwkeuriger te richten⁸. Ik zou zeggen dat dit een specifieke gebruikscontext vereist. Laten we ons dus voorstellen dat dit systeem wordt gebruikt om automatisch afbeeldingen te genereren van artsen die in realtime worden bediend op de toelatingspagina van een medische school van een universiteit. Misschien als een manier om de ervaring voor elke bezoekende gebruiker aan te passen. In deze context suggereren mijn resultaten, gebruikmakend van de taxonomie van Katzman, dat een dergelijk systeem dat wel kan stereotype sociale groepen⁸ door getroffen subgroepen systematisch onder te vertegenwoordigen (figuren met een donkere huidskleur en waargenomen vrouwelijke kenmerken). We kunnen ook overwegen of dit soort storingen mogelijk zijn mensen de kans ontzeggen zichzelf te identificeren⁸ bij volmacht, ondanks het feit dat afbeeldingen dat wel zijn gegenereerde en vertegenwoordigen geen echte personen.

Het is belangrijk op te merken dat Huggingface's Model Card for Stable Diffusion v1–4 zelf onthult dat LAION5B en dus het model zelf demografische pariteit in trainingsvoorbeelden kan missen en als zodanig vooroordelen kan weerspiegelen die inherent zijn aan de trainingsdistributie (inclusief een focus op Engels, westerse normen en systemische westerse internetgebruikspatronen)⁵. Als zodanig zijn de conclusies van deze studie niet onverwacht, maar de schaal van ongelijkheid kan nuttig zijn voor beoefenaars die specifieke use-cases overwegen; het benadrukken van gebieden waar actieve risicobeperkingen nodig kunnen zijn voordat modelbeslissingen in productie worden genomen.

Naar mijn volgend artikel Ik zal aanpakken Doelstelling #2: kwantitatief onderzoeken steekproefbias in de LAION5B-dataset achter Stable Diffusion, en deze vergelijken met de resultaten van Doelstelling #1.

1. Woordenlijst machine learning: eerlijkheid, 2022, Google
2. Begin met het gebruik van de Monk Skin Tone Scale, 2022, Google
3. Gegenereerde afbeeldingen van studie, 2022, Daniel Theron
4. Code van Studie, 2022, Daniel Theron
5. Stabiele diffusie v1–4, 2022, Stability.ai & Knuffelgezicht
6. LAION5B Frontend voor het ophalen van clips, 2022, Romain Beaumont
7. Beoordelaar beoordeelt de resultaten van de studie, 2022, Daniel Theron
8. Representatieve schade bij het taggen van afbeeldingen, 2021, Jared Katzman et al.

Met dank aan Xuan Yang en [AFHANKELIJKE TOESTEMMING VAN REVIEWER] voor hun doordachte en ijverige beoordeling en feedback op dit artikel.

Oneerlijke vooroordelen over geslacht, huidtinten en intersectiegroepen in gegenereerde stabiele diffusiebeelden opnieuw gepubliceerd vanuit de bron https://towardsdatascience.com/unfair-bias-across-gender-skin-tones-intersectional-groups-in-generated-stable-diffusion- afbeeldingen-dabb1db36a82?source=rss—-7f60cf5620c9—4 via https://towardsdatascience.com/feed

<!–

->