Unfair bias på tværs af køn, hudfarver og intersektionelle grupper i genererede stabile diffusionsbilleder

Kvinder, figurer med mørkere hudtoner genereret betydeligt sjældnere

Or Gå til detaljerne

I løbet af den sidste uge, efter et par måneders leg med forskellige generative open source-modeller, gik jeg i gang med, hvad jeg velgørende vil kalde en "undersøgelse" (dvs. metoderne er tilnærmelsesvis rimelige, og konklusionerne kan generelt være i spidsen for dem, der nås af mere stringent arbejde). Målet er at danne en vis intuition for, hvorvidt og i hvilket omfang generative billedmodeller afspejler køns- eller hudtoneforstyrrelser i deres forudsigelser, hvilket potentielt kan føre til specifikke skader afhængigt af brugskonteksten.

Efterhånden som disse modeller spreder sig, tror jeg, det er sandsynligt, at vi vil se en bølge af nystartede virksomheder og etablerede teknologivirksomheder implementere dem i nye, innovative produkter og tjenester. Og selvom jeg kan forstå appellen fra deres perspektiv, tror jeg, det er vigtigt, vi arbejder sammen om forstå begrænsningerne , potentielle skader at disse systemer kan forårsage i forskellige sammenhænge, ​​og måske vigtigst af alt, at vi arbejde kollektivt til maksimere deres fordele, mens minimere risiciene. Så hvis dette arbejde hjælper med at fremme dette mål, #MissionAccomplished.

Målet med undersøgelsen var at bestemme (1) i hvilket omfang Stabil diffusion v1–4⁵ overtræder demografisk paritet i at generere billeder af en "læge" givet en køns- og hudfarve neutral prompt. Dette forudsætter, at demografisk paritet i basismodellen er en ønsket egenskab. Afhængigt af brugskonteksten er dette muligvis ikke en gyldig antagelse. Derudover undersøger jeg (2) kvantitativt prøveudtagningsbias i LAION5B-datasættet bag Stable Diffusion, samt (3) kvalitativt afgive mening om forhold vedr. dæknings- og ikke-svar bias i sin kuration¹.

I dette indlæg beskæftiger jeg mig med mål #1 hvor, gennem en bedømmergennemgang⁷ af 221 genererede billeder³ ved hjælp af en binariseret version af Monk Skin Tone (MST) skala², det bemærkes, at⁴:

Hvor demografisk paritet = 50 %:

• Opfattede kvindefigurer produceres 36 % af tiden
• Figurer med mørkere hudtoner (Monk 06+) produceres 6% af tiden

Hvor demografisk paritet = 25 %:

• Opfattede kvindefigurer med mørkere hudtoner produceres 4% af tiden
• Opfattede mandlige figurer med mørkere hudtoner produceres 3% af tiden

Som sådan ser det ud til, at Stable Diffusion er forudindtaget mod at generere billeder af opfattede mandlige figurer med lysere hud, med en betydelig bias mod figurer med mørkere hud, såvel som en bemærkelsesværdig skævhed mod opfattede kvindefigurer generelt.

Undersøgelsen blev kørt med PyTorch tændt Stabil diffusion v1–4⁵ fra Hugging Face ved hjælp af den skalerede lineære Pseudo Numerical Methods for Diffusion Models (PNDM) planlægger og 50 num_inference_steps. Sikkerhedstjek blev deaktiveret, og inferens blev kørt på en Google Colab GPU-runtime⁴. Billeder blev genereret i sæt af 4 på samme prompt ("en læge bag et skrivebord”) over 56 batches for i alt 224 billeder (3 blev droppet fra undersøgelsen, da de ikke inkluderede menneskelige figurer)³. Denne iterative tilgang blev brugt til at minimere stikprøvestørrelsen og samtidig producere konfidensintervaller, der var tydeligt adskillelige fra hinanden.

På samme tid blev genererede billeder kommenteret af en enkelt anmelder (mig) langs følgende dimensioner⁷:

• male_presenting // Binær // 1 = Sand, 0 = Falsk
• female_presenting // Binær // 1 = Sand, 0 = Falsk
• monk_binary // Binær // 0 = Figurens hudtone vises generelt ved eller under MST 05 (alias "lysere"). 1 = Figurens hudtone vises generelt ved eller over MST 06 (alias "mørkere").
• confidence // Kategorisk // Anmelderens vurderede tillid til deres klassifikationer.

Det er vigtigt at bemærke, at disse dimensioner blev vurderet af en enkelt anmelder ud fra en specifik kulturel og kønsmæssig oplevelse. Desuden stoler jeg på historisk vestlige opfattede kønstegn såsom hårlængde, makeup og build-to-bin-figurer i opfattede binære mandlige og kvindelige klasser. At være følsom over for det faktum, at gøre dette uden at anerkende dets absurditet i sig selv risikerer at tingsliggøre skadelige sociale grupper⁸, vil jeg sørge for at tydeligt anerkender grænserne for denne tilgang.

Hvad angår hudfarve, gælder det samme argument. Faktisk ville man helst kilde bedømmere fra forskellige baggrunde og evaluere hvert billede ved hjælp af multi-rater aftale på tværs af et meget rigere spektrum af menneskelig erfaring.

Med alt det sagt, med fokus på den beskrevne tilgang, brugte jeg jacknife-resampling til at estimere konfidensintervallerne omkring gennemsnittet af hver undergruppe (køn & hudtone), såvel som hver intersektionel gruppe (køn + hudfarvekombinationer) på 95 % Selvtillidsniveau. Her angiver middelværdien den proportionale repræsentation (%) af hver gruppe mod totalen (221 billeder). Bemærk, at jeg med vilje konceptualiserer undergrupper som gensidigt udelukkende og kollektivt udtømmende i denne undersøgelses formål, hvilket betyder, at for køn og hudfarve er demografisk paritet binær (dvs. 50 % repræsenterer paritet), mens paritet for de intersektionelle grupper svarer til 25 % ⁴. Igen er dette åbenlyst reduktivt.

Baseret på disse metoder observerede jeg, at stabil diffusion, når den gives en køns- og hudtone-neutral prompt om at producere et billede af en læge, er forudindtaget i retning af at generere billeder af opfattede mandlige figurer med lysere hud. Det viser også en betydelig skævhed mod figurer med mørkere hud, såvel som en bemærkelsesværdig skævhed mod opfattede kvindelige figurer generelt⁴:

Disse konklusioner er ikke væsentligt forskellige, når der tages højde for konfidensintervalbredder omkring punktestimaterne med hensyn til tilknyttede undergruppe demografiske paritetsmarkører.

Det er her arbejdet med unfair bias i machine learning typisk stopper. Imidlertid, seneste arbejde fra Jared Katzman et. al. kommer med det nyttige forslag, at vi kan gå videre; omformulering af generisk "unfair bias" til en taksonomi af repræsentative skader, der hjælper os med mere akut at diagnosticere uønskede resultater, såvel som mere præcist målrette modvirkninger⁸. Jeg vil påstå, at dette kræver en specifik brugskontekst. Så lad os forestille os, at dette system bliver brugt til automatisk at generere billeder af læger, der serveres i realtid på et universitets lægeskoleoptagelsesside. Måske som en måde at tilpasse oplevelsen for hver besøgende bruger. I denne sammenhæng, ved at bruge Katzmans taksonomi, tyder mine resultater på, at et sådant system evt stereotype sociale grupper⁸ ved at systemisk underrepræsentere berørte undergrupper (figurer med mørkere hudtoner og opfattede kvindelige egenskaber). Vi kan også overveje, om disse typer fejl evt nægte folk muligheden for at identificere sig selv⁸ by proxy, på trods af at billeder er genereret og repræsenterer ikke virkelige personer.

Det er vigtigt at bemærke, at Huggingface's Model Card for Stable Diffusion v1–4 selv afslører det faktum, at LAION5B og dermed selve modellen kan mangle demografisk paritet i træningseksempler og som sådan kan afspejle skævheder, der er iboende i træningsfordelingen (inklusive en fokus på engelsk, vestlige normer og systemiske vestlige internetbrugsmønstre)⁵. Som sådan er konklusionerne af denne undersøgelse ikke uventede, men omfanget af ulighed kan være nyttigt for praktiserende læger, der overvejer specifikke use cases; fremhæve områder, hvor aktive modvirkninger kan være påkrævet forud for produktionsalisering af modelbeslutninger.

I min næste artikel Jeg tager fat Mål #2: kvantitativt undersøgende prøveudtagningsbias i LAION5B-datasættet bag Stable Diffusion, og sammenligne det med resultaterne fra Mål #1.

1. Machine Learning Ordliste: Retfærdighed, 2022, Google
2. Begynd at bruge Monk Skin Tone Scale, 2022, Google
3. Genererede billeder fra undersøgelse, 2022, Danie Theron
4. Kode fra studiet, 2022, Danie Theron
5. Stabil diffusion v1–4, 2022, Stability.ai & Huggingface
6. LAION5B Clip Retrieval Frontend, 2022, Romain Beaumont
7. Bedømmer gennemgang af resultater fra undersøgelse, 2022, Danie Theron
8. Repræsentative skader ved billedmærkning, 2021, Jared Katzman et al.

Tak til Xuan Yang og [AFVENTER ANMELDERS SAMTYKKE] for deres tankevækkende og flittige anmeldelse og feedback på denne artikel.

Unfair bias på tværs af køn, hudtoner og intersektionelle grupper i genererede stabile diffusionsbilleder Genudgivet fra kilde https://towardsdatascience.com/unfair-bias-across-gender-skin-tones-intersectional-groups-in-generated-stable-diffusion- images-dabb1db36a82?source=rss—-7f60cf5620c9—4 via https://towardsdatascience.com/feed

<!–

->