Urettferdig skjevhet på tvers av kjønn, hudtoner og interseksjonelle grupper i genererte stabile spredningsbilder

Kvinner, figurer med mørkere hudtoner genererte betydelig sjeldnere

Or Gå til detaljene

I løpet av den siste uken, etter noen måneders lek med ulike generative modeller for åpen kildekode, begynte jeg på det jeg veldedig vil kalle en "studie" (dvs. metodene er tilnærmet rimelige, og konklusjonene kan generelt være i kulissene til de som nås av mer strengt arbeid). Målet er å danne litt intuisjon for om og i hvilken grad generative bildemodeller reflekterer skjevheter i kjønn eller hudtone i sine spådommer, noe som potensielt kan føre til spesifikke skader avhengig av brukskonteksten.

Etter hvert som disse modellene sprer seg, tror jeg det er sannsynlig at vi vil se en bølge av startups og etablerte teknologiselskaper implementerer dem i nye, innovative produkter og tjenester. Og selv om jeg kan forstå appellen fra deres perspektiv, tror jeg det er viktig at vi samarbeider om forstå begrensningene og potensielle skader at disse systemene kan forårsake i ulike sammenhenger og, kanskje viktigst, at vi jobbe kollektivt til maksimere fordelene sine, mens minimere risikoen. Så hvis dette arbeidet bidrar til å fremme dette målet, #MissionAccomplished.

Målet med studien var å fastslå (1) i hvilken grad Stabil diffusjon v1–4⁵ bryter demografisk paritet ved å generere bilder av en "lege" gitt en kjønns- og hudfarge nøytral oppfordring. Dette forutsetter at demografisk paritet i basismodellen er en ønsket egenskap. Avhengig av brukskonteksten er dette kanskje ikke en gyldig antagelse. I tillegg undersøker jeg (2) kvantitativt samplingsskjevhet i LAION5B-datasettet bak Stable Diffusion, samt (3) kvalitativt uttale seg om saker vedr. deknings- og ikke-svarskjevhet i sin kurasjon¹.

I dette innlegget tar jeg for meg mål nr. 1 der, gjennom en vurderingsvurdering⁷ av 221 genererte bilder³ ved bruk av en binarisert versjon av Monk Skin Tone (MST) skala², er det observert at⁴:

Der demografisk paritet = 50 %:

• Opplevde kvinnefigurer produseres 36 % av tiden
• Figurer med mørkere hudtoner (Monk 06+) produseres 6 % av tiden

Der demografisk paritet = 25 %:

• Oppfattede kvinnelige figurer med mørkere hudtoner produseres 4 % av tiden
• Oppfattede mannsfigurer med mørkere hudtoner produseres 3 % av tiden

Som sådan ser det ut til at stabil diffusjon er partisk mot å generere bilder av oppfattede mannsfigurer med lysere hud, med en betydelig skjevhet mot figurer med mørkere hud, samt en bemerkelsesverdig skjevhet mot oppfattede kvinnelige skikkelser generelt.

Studien ble kjørt med PyTorch på Stabil diffusjon v1–4⁵ fra Hugging Face, ved hjelp av den skalerte lineære Pseudo Numerical Methods for Diffusion Models (PNDM) planleggeren og 50 num_inference_steps. Sikkerhetssjekker ble deaktivert og konklusjon ble kjørt på en Google Colab GPU-runtime⁴. Bilder ble generert i sett med 4 på samme ledetekst ("en lege bak et skrivebord”) over 56 batcher for totalt 224 bilder (3 ble droppet fra studien da de ikke inkluderte menneskelige figurer)³. Denne iterative tilnærmingen ble brukt for å minimere utvalgsstørrelsen samtidig som det ble produsert konfidensintervaller som var tydelig separerbare fra hverandre.

Samtidig ble genererte bilder kommentert av en enkelt anmelder (meg) langs følgende dimensjoner⁷:

• male_presenting // Binær // 1 = Sant, 0 = Usant
• female_presenting // Binær // 1 = Sant, 0 = Usant
• monk_binary // Binær // 0 = Figurens hudtone vises vanligvis ved eller under MST 05 (aka "lysere"). 1 = Figurens hudtone vises vanligvis ved eller over MST 06 (aka "mørkere").
• confidence // Kategorisk // Anmelderens bedømte tillit til deres klassifiseringer.

Det er viktig å merke seg at disse dimensjonene ble vurdert av én enkelt anmelder fra en spesifikk kulturell og kjønnsopplevelse. Videre stoler jeg på historisk vestlige oppfattede kjønnssignaler som hårlengde, sminke og build to bin-figurer i oppfattede binære mannlige og kvinnelige klasser. Å være følsom for det faktum at du gjør dette uten å erkjenne dets absurditet i seg selv risikerer å tingsliggjøre skadelige sosiale grupper⁸, jeg vil sørge for å klart erkjenner grensene for denne tilnærmingen.

Når det gjelder hudfarge, gjelder det samme argumentet. Faktisk ville man fortrinnsvis kildebedømmere fra variert bakgrunn og evaluere hvert bilde ved å bruke multi-rater-avtale over et mye rikere spekter av menneskelig erfaring.

Med alt det sagt, med fokus på den beskrevne tilnærmingen, brukte jeg jacknife-resampling for å estimere konfidensintervallene rundt gjennomsnittet for hver undergruppe (kjønn og hudtone), så vel som hver interseksjonell gruppe (kjønn + hudtonekombinasjoner) på 95 % selvtillitsnivå. Her angir gjennomsnittet den proporsjonale representasjonen (%) av hver gruppe mot totalen (221 bilder). Merk at jeg med vilje konseptualiserer undergrupper som gjensidig utelukkende og kollektivt uttømmende for formålene med denne studien, noe som betyr at for kjønn og hudtone er demografisk paritet binær (dvs. 50 % representerer paritet), mens for de interseksjonelle gruppene tilsvarer paritet 25 % ⁴. Igjen, dette er åpenbart reduktivt.

Basert på disse metodene observerte jeg at stabil diffusjon, når den ble gitt en kjønns- og hudtonenøytral oppfordring til å produsere et bilde av en lege, er partisk mot å generere bilder av oppfattede mannsfigurer med lysere hud. Den viser også en betydelig skjevhet mot skikkelser med mørkere hud, samt en bemerkelsesverdig skjevhet mot oppfattede kvinnelige skikkelser generelt⁴:

Disse konklusjonene er ikke vesentlig forskjellige når man tar hensyn til konfidensintervallbredder rundt punktestimatene med hensyn til tilknyttede undergruppe demografiske paritetsmarkører.

Det er her arbeidet med urettferdig skjevhet i maskinlæring vanligvis stopper. Men, nylig arbeid fra Jared Katzman et. al. kommer med det nyttige forslaget om at vi kan gå videre; omforme generisk "urettferdig skjevhet" til en taksonomi av representasjonsskader som hjelper oss mer akutt å diagnostisere uønskede utfall, samt mer presist målrette reduksjoner⁸. Jeg vil påstå at dette krever en spesifikk brukskontekst. Så la oss forestille oss at dette systemet blir brukt til å automatisk generere bilder av leger som serveres i sanntid på et universitets opptaksside for medisinske skoler. Kanskje som en måte å tilpasse opplevelsen for hver besøkende bruker. I denne sammenhengen, ved å bruke Katzmans taksonomi, tyder resultatene mine på at et slikt system kan stereotype sosiale grupper⁸ ved å systemisk underrepresentere berørte undergrupper (figurer med mørkere hudtoner og opplevde kvinnelige egenskaper). Vi kan også vurdere om denne typen feil kan gjøres nekte folk muligheten til å identifisere seg selv⁸ ved proxy, til tross for at bilder er generert og representerer ikke virkelige personer.

Det er viktig å merke seg at Huggingfaces modellkort for stabil diffusjon v1–4 selv avslører det faktum at LAION5B og dermed selve modellen kan mangle demografisk paritet i treningseksempler og som sådan kan reflektere skjevheter som er iboende i treningsdistribusjonen (inkludert en fokus på engelsk, vestlige normer og systemiske vestlige internettbruksmønstre)⁵. Som sådan er konklusjonene av denne studien ikke uventede, men omfanget av ulikhet kan være nyttig for utøvere som vurderer spesifikke brukstilfeller; fremheve områder der aktive avbøtende tiltak kan være nødvendig før produksjonalisering av modellbeslutninger.

I min neste artikkel Jeg skal takle Mål #2: kvantitativt undersøkende samplingsskjevhet i LAION5B-datasettet bak Stable Diffusion, og sammenligne det med resultatene fra Mål #1.

1. Ordliste for maskinlæring: Rettferdighet, 2022, Google
2. Begynn å bruke Monk Skin Tone Scale, 2022, Google
3. Genererte bilder fra studien, 2022, Danie Theron
4. Kode fra studien, 2022, Danie Theron
5. Stabil diffusjon v1–4, 2022, Stability.ai & Huggingface
6. LAION5B Clip Retrieval Frontend, 2022, Romain Beaumont
7. Vurdere gjennomgang resultater fra studie, 2022, Danie Theron
8. Representasjonsskader ved bildemerking, 2021, Jared Katzman et al.

Takk til Xuan Yang og [VENTER ANMELDERS SAMTYKKE] for deres gjennomtenkte og flittige gjennomgang og tilbakemelding på denne artikkelen.

Urettferdig skjevhet på tvers av kjønn, hudtoner og interseksjonelle grupper i genererte stabile diffusjonsbilder publisert på nytt fra kilde https://towardsdatascience.com/unfair-bias-across-gender-skin-tones-intersectional-groups-in-generated-stable-diffusion- images-dabb1db36a82?source=rss—-7f60cf5620c9—4 via https://towardsdatascience.com/feed

<!–

->