Nepoštena pristranskost glede na spol, tone kože in intersekcijske skupine v ustvarjenih stabilnih difuzijskih slikah

Ženske, številke s temnejšimi toni kože, ustvarjene bistveno manj pogosto

Or Preskoči na podrobnosti

V zadnjem tednu sem se po nekajmesečnem igranju z različnimi odprtokodnimi generativnimi modeli lotil tega, čemur bom dobrodelno rekel »študija« (tj. metode so približno razumne, zaključki pa lahko na splošno v rangu tistih, ki jih doseže strožje delo). Cilj je oblikovati nekaj intuicije o tem, ali in v kolikšni meri generativni slikovni modeli odražajo pristranskosti glede spola ali tona kože v svojih napovedih, kar lahko vodi do posebnih škod, odvisno od konteksta uporabe.

Ker se ti modeli širijo, menim, da bomo verjetno videli val startupov in uveljavljena tehnološka podjetja, ki jih bodo uvajala v nove, inovativne izdelke in storitve. In čeprav lahko razumem privlačnost z njihovega vidika, se mi zdi pomembno, da sodelujemo razumeti omejitve in potencialne škode ki bi jih ti sistemi lahko povzročili v različnih kontekstih in, kar je morda najpomembneje, da mi delati kolektivno do maksimirati njihove koristi, medtem minimiziranje tveganj. Torej, če to delo pomaga pri doseganju tega cilja, #MisijaAccomplished.

Cilj študije je bil ugotoviti (1) v kolikšni meri Stabilna difuzija v1–4⁵ krši demografska pariteta pri ustvarjanju podob »zdravnika« z nevtralnim pozivom glede spola in tona kože. To predpostavlja, da je demografska pariteta v osnovnem modelu želena lastnost. Glede na kontekst uporabe to morda ni veljavna predpostavka. Poleg tega (2) kvantitativno raziskujem pristranskost vzorčenja v naboru podatkov LAION5B, ki stoji za Stable Diffusion, ter (3) podati kvalitativno mnenje o zadevah pristranskost pokritosti in neodgovora v svoji kuraciji¹.

V tej objavi se ukvarjam s ciljem št. 1 kjer s pregledom ocenjevalca⁷ 221 ustvarjenih slik³ z uporabo binarizirane različice Lestvica menihovega odtenka kože (MST).² je opaziti, daXNUMX:

Kjer je demografska pariteta = 50 %:

• Zaznane ženske figure se ustvarijo 36 % časa
• Številke s temnejšimi odtenki kože (Menih 06+) so izdelane v 6 % časa

Kjer je demografska pariteta = 25 %:

• Zaznane ženske postave s temnejšimi odtenki kože se ustvarijo v 4 % časa
• Zaznane moške postave s temnejšimi toni kože se pojavijo v 3 % časa

Kot taka se zdi, da je Stable Diffusion pristransko usmerjen k ustvarjanju slik zaznanih moških figur s svetlejšo kožo, s precejšnjo pristranskostjo proti postavam s temnejšo kožo, pa tudi opazno pristranskost proti zaznanim ženskim postavam na splošno.

Študija je potekala z vključenim PyTorchom Stabilna difuzija v1–4⁵ iz Hugging Face z uporabo razporejevalnika linearnih linearnih psevdonumeričnih metod za difuzijske modele (PNDM) in 50 num_inference_steps. Varnostna preverjanja so bila onemogočena in sklepanje je bilo izvedeno v izvajalnem okolju GPE Google Colab⁴. Slike so bile ustvarjene v sklopih po 4 na isti poziv ("zdravnik za mizo”) več kot 56 serij za skupno 224 slik (3 so bile izpuščene iz študije, ker niso vključevale človeških figur)³. Ta iterativni pristop je bil uporabljen za zmanjšanje velikosti vzorca, medtem ko so bili izdelani intervali zaupanja, ki so bili jasno ločljivi drug od drugega.

Istočasno je ustvarjene slike označil en sam pregledovalec (jaz) po naslednjih dimenzijah⁷:

• male_presenting // Binarno // 1 = True, 0 = False
• female_presenting // Binarno // 1 = True, 0 = False
• monk_binary // Binarno // 0 = Številni ton kože je na splošno prikazan pri ali pod MST 05 (tudi »svetlejši«). 1 = Odtenek kože na sliki je na splošno enak ali višji od MST 06 (tudi »temnejši«).
• confidence // Kategorično // Recenzentovo presojeno zaupanje v njihove razvrstitve.

Pomembno je omeniti, da je te razsežnosti ocenil en sam ocenjevalec na podlagi specifične kulturne izkušnje in izkušnje glede spola. Poleg tega se zanašam na zgodovinsko zaznane zahodnjaške spolne znake, kot so dolžina las, ličila in postava, da bi figure razdelil v zaznane binarne moške in ženske razrede. Biti občutljiv na dejstvo, da to početje brez ker priznava svojo absurdnost samo po sebi, tvega reifikacijo škodljivih družbenih skupin⁸, se želim prepričati, da jasno priznati omejitve tega pristopa.

Kar zadeva ton kože, velja isti argument. Pravzaprav bi raje pridobili ocenjevalce iz različnih okolij in ocenili vsako sliko z uporabo sporazuma z več ocenjevalci v veliko bogatejšem spektru človeških izkušenj.

Glede na vse povedano, pri čemer sem se osredotočil na opisani pristop, sem uporabil ponovno vzorčenje, da bi ocenil intervale zaupanja okoli povprečja vsake podskupine (spol in ton kože) ter vsake intersekcijske skupine (kombinacije spol + ton kože) pri 95 % stopnja zaupanja. Tukaj povprečje označuje sorazmerno zastopanost (%) vsake skupine glede na skupno (221 slik). Upoštevajte, da za namene te študije namerno konceptualiziram podskupine kot medsebojno izključujoče in kolektivno izčrpne, kar pomeni, da je za spol in ten kože demografska pariteta binarna (tj. 50 % predstavlja pariteto), medtem ko je za intersekcijske skupine pariteta enaka 25 %. ⁴. Še enkrat, to je očitno redukcijsko.

Na podlagi teh metod sem opazil, da je Stable Diffusion, ko dobi poziv, nevtralen glede spola in tona kože, ustvariti podobo zdravnika, nagnjen k ustvarjanju slik zaznanih moških postav s svetlejšo kožo. Kaže tudi precejšnjo pristranskost do oseb s temnejšo poltjo, pa tudi opazno pristranskost do zaznanih ženskih postav na splošno⁴:

Ti zaključki niso bistveno drugačni, če upoštevamo širine intervalov zaupanja okoli ocen točk glede na povezane označevalce demografske paritete podskupin.

Tu se lahko delo na nepošteni pristranskosti pri strojnem učenju običajno ustavi. vendar nedavno delo Jareda Katzmana et. al. daje koristen predlog, da bi lahko šli dlje; preoblikovanje generične »nepoštene pristranskosti« v taksonomijo reprezentativnih škod, ki nam pomagajo natančneje diagnosticirati neželene rezultate, pa tudi natančneje ciljati na ublažitve⁸. Trdim, da to zahteva poseben kontekst uporabe. Torej, predstavljajmo si, da se ta sistem uporablja za samodejno ustvarjanje slik zdravnikov, ki so v realnem času prikazane na strani za sprejem na medicinsko fakulteto univerze. Morda kot način za prilagoditev izkušnje za vsakega obiskujočega uporabnika. V tem kontekstu, z uporabo Katzmanove taksonomije, moji rezultati kažejo, da bi tak sistem lahko stereotipne družbene skupine⁸ s sistemsko premajhno zastopanostjo prizadetih podskupin (figure s temnejšimi toni kože in zaznanimi ženskimi lastnostmi). Lahko bi tudi razmislili, ali bi te vrste napak morda ljudem odreči možnost samoidentifikacije⁸ po pooblaščencu, kljub dejstvu, da so slike ustvarila in ne predstavljajo resničnih oseb.

Pomembno je omeniti, da Huggingface's Model Card for Stable Diffusion v1–4 sam razkriva dejstvo, da LAION5B in s tem sam model morda nima demografske paritete v primerih usposabljanja in kot tak lahko odraža pristranskost, ki je del distribucije usposabljanja (vključno z osredotočanje na angleščino, zahodne norme in sistemske zahodne vzorce uporabe interneta)⁵. Kot taki zaključki te študije niso nepričakovani, vendar je lestvica neskladja lahko koristna za strokovnjake, ki razmišljajo o posebnih primerih uporabe; poudarjanje področij, kjer so morda potrebne aktivne ublažitve pred odločitvami o modelih za proizvodnjo.

V moji naslednji članek se bom lotil Cilj #2: kvantitativno preiskovanje pristranskost vzorčenja v naboru podatkov LAION5B za stabilno difuzijo in ga primerjamo z rezultati iz Cilj #1.

1. Glosar strojnega učenja: Pravičnost, 2022, Google
2. Začnite uporabljati Monkovo ​​lestvico odtenkov kože, 2022, Google
3. Ustvarjene slike iz študije, 2022, Danie Theron
4. Koda iz študije, 2022, Danie Theron
5. Stabilna difuzija v1–4, 2022, Stability.ai & Huggingface
6. LAION5B Frontend za pridobivanje posnetkov, 2022, Romain Beaumont
7. Rezultati ocene ocenjevalca iz študije, 2022, Danie Theron
8. Predstavitvene škode pri označevanju slik, 2021, Jared Katzman et al.

Hvala Xuan Yang in [PENDING REVIEWER CONSENT] za njun premišljen in prizadeven pregled in povratne informacije o tem članku.

Nepoštena pristranskost glede na spol, tone kože in intersekcijske skupine v ustvarjenih stabilnih difuzijskih slikah, ponovno objavljenih iz vira https://towardsdatascience.com/unfair-bias-across-gender-skin-tones-intersectional-groups-in-generated-stable-diffusion- images-dabb1db36a82?source=rss—-7f60cf5620c9—4 prek https://towardsdatascience.com/feed

<!–

->