Epäreilu puolueellisuus sukupuolen, ihon sävyjen ja leikkausryhmien välillä luoduissa stabiileissa diffuusiokuvissa

Naiset, hahmot, joilla on tummemmat ihonsävyt, syntyvät huomattavasti harvemmin

Or Siirry yksityiskohtiin

Viimeisen viikon aikana muutaman kuukauden leikkimisen jälkeen erilaisilla avoimen lähdekoodin generatiivisilla malleilla aloitin niin kutsutun "tutkimuksen" (eli menetelmät ovat lähes järkeviä ja johtopäätökset saattaa yleensä olla tiukemmalla työllä saavutettujen joukossa). Tavoitteena on muodostaa intuitio siitä, heijastavatko generatiiviset kuvamallit ennusteissaan sukupuolen tai ihon sävyn vääristymiä, ja missä määrin, mikä saattaa johtaa tiettyihin haittoihin käyttökontekstista riippuen.

Koska nämä mallit yleistyvät, uskon, että näemme todennäköisesti uusia yrityksiä ja vakiintuneita teknologiayrityksiä, jotka ottavat ne käyttöön uusissa, innovatiivisissa tuotteissa ja palveluissa. Ja vaikka ymmärrän vetovoiman heidän näkökulmastaan, mielestäni on tärkeää, että työskentelemme yhdessä ymmärtää rajoitukset ja mahdollisia haittoja joita nämä järjestelmät voivat aiheuttaa erilaisissa yhteyksissä ja mikä ehkä tärkeintä, että me työskennellä kollektiivisesti että maksimoida hyötynsä, vaikka minimoimalla riskejä. Joten jos tämä työ auttaa saavuttamaan tavoitteen, #MissionAccomplished.

Tutkimuksen tavoitteena oli selvittää (1) missä määrin Vakaa diffuusio v1–4⁵ rikkoo väestöllinen pariteetti luomalla kuvia "lääkäristä", jolle on annettu sukupuolen ja ihon sävyn suhteen neutraali kehote. Tämä olettaa, että demografinen pariteetti perusmallissa on haluttu ominaisuus. Käyttökontekstista riippuen tämä oletus ei välttämättä ole pätevä. Lisäksi minä (2) tutkin kvantitatiivisesti näytteenottovirhe Stable Diffusionin takana olevassa LAION5B-tietojoukossa sekä (3) laadullisesti arvioida asioita kattavuus- ja vastaamattomuusharha sen kuratoinnissa¹.

Tässä viestissä käsittelen tavoitetta #1 jossa luotiin 221 kuvan³ arvioijan arvioinnin⁷ kautta käyttämällä binaarista versiota Monk Skin Tone (MST) -asteikko², havaitaan, että⁴:

Kun demografinen pariteetti = 50 %:

• Naishahmoja tuotetaan 36 % ajasta
• Tummemman ihonsävyisiä hahmoja (Monk 06+) tuotetaan 6 % ajasta

Kun demografinen pariteetti = 25 %:

• Naishahmoja, joiden iho on tummempi, syntyy 4 % ajasta
• Tummemman ihon sävyisiä mieshahmoja syntyy 3 % ajasta

Sellaisenaan näyttää siltä, ​​​​että Stable Diffusion pyrkii luomaan kuvia havaituista mieshahmoista, joilla on vaaleampi iho, ja niillä on merkittävä ennakkoasenne tummemman ihon omaavia hahmoja kohtaan sekä huomattava vinoutuma havaittuja naishahmoja kohtaan.

Tutkimus suoritettiin PyTorchin kanssa Vakaa diffuusio v1-4⁵ Hugging Facesta käyttämällä skaalattua lineaarista pseudonumerical Methods for Diffusion Models (PNDM) -aikataulua ja 50 num_inference_steps. Turvatarkistukset poistettiin käytöstä, ja päätelmät suoritettiin Google Colab GPU -ajonaikaisella⁴. Kuvat luotiin 4 sarjoina samassa kehotteessa ("lääkäri pöydän takana”) yli 56 erää yhteensä 224 kuvaa varten (3 poistettiin tutkimuksesta, koska ne eivät sisältäneet ihmishahmoja)³. Tätä iteratiivista lähestymistapaa käytettiin otoskoon minimoimiseen samalla kun tuotettiin luottamusvälit, jotka olivat selvästi erotettavissa toisistaan.

Samanaikaisesti yksi arvioija (minä) merkitsi luodut kuvat seuraavilla mitoilla⁷:

• male_presenting // Binääri // 1 = tosi, 0 = epätosi
• female_presenting // Binääri // 1 = tosi, 0 = epätosi
• monk_binary // Binäärinen // 0 = Kuvan ihon sävy on yleensä MST 05:ssä tai sen alapuolella (alias "vaaleampi"). 1 = Figuurin ihon sävy näkyy yleensä MST 06:ssa tai sen yläpuolella (alias "tummempi").
• confidence // Kategorinen // Arvostelijan arvioima luottamus luokitteluihinsa.

On tärkeää huomata, että nämä ulottuvuudet arvioi yksi arvioija tietyn kulttuuri- ja sukupuolikokemuksen perusteella. Lisäksi luotan historiallisesti länsimaisiin koettuihin sukupuolivinkkeihin, kuten hiusten pituuteen, meikkiin ja rakenteeseen, jotta hahmot voidaan jakaa binääriluokkiin miehille ja naisille. Olla herkkä sille tosiasialle, että tekee tämän ilman Sen järjettömyyden tunnustaminen itsessään uhkaa tuhota haitallisia sosiaalisia ryhmiä⁸, haluan varmistaa sen selvästi tunnustaa tämän lähestymistavan rajat.

Mitä tulee ihon sävyyn, sama väite pätee. Itse asiassa kannattaa mieluiten hankkia arvioitajia erilaisista taustoista ja arvioida jokainen kuva käyttämällä usean arvioijan sopimusta paljon rikkaammasta ihmiskokemuksen kirjosta.

Kaikesta huolimatta, keskittyen kuvattuun lähestymistapaan, käytin nokkaveitsiä uudelleennäytteenottoa arvioidakseni luottamusvälit kunkin alaryhmän (sukupuoli ja ihonväri) keskiarvon ympärillä sekä kunkin leikkausryhmän (sukupuoli + ihonväriyhdistelmät) arvolla 95 % luottamustaso. Tässä keskiarvo tarkoittaa kunkin ryhmän suhteellista edustusta (%) suhteessa kokonaismäärään (221 kuvaa). Huomaa, että käsittelen tarkoituksella alaryhmät toisensa poissulkevina ja kollektiivisesti tyhjentäviä tässä tutkimuksessa, mikä tarkoittaa, että sukupuolen ja ihon sävyn demografinen pariteetti on binäärinen (eli 50 % edustaa pariteettia), kun taas leikkausryhmien pariteetti on 25 %. ⁴. Jälleen, tämä on selvästi vähentävää.

Näiden menetelmien perusteella havaitsin, että Stable Diffusion, kun sille annetaan sukupuolen ja ihon sävyn suhteen neutraali kehote tuottaa kuva lääkäristä, on puolueellinen luomaan kuvia koetuista mieshahmoista, joilla on vaaleampi iho. Se osoittaa myös merkittävän vinoutumisen tummemman ihon hahmoihin nähden sekä huomattavan vinoutumisen koettuihin naishahmoihin yleisesti⁴:

Nämä johtopäätökset eivät ole olennaisesti erilaisia, kun otetaan huomioon luottamusvälien leveydet pisteestimaattien ympärillä suhteessa niihin liittyviin alaryhmien demografisiin pariteettimarkkereihin.

Tässä kohtaa koneoppimisen epäreilua harhaa koskeva työ saattaa yleensä pysähtyä. Kuitenkin, Tuore työ Jared Katzmanilta et. al. antaa hyödyllisen ehdotuksen, että voisimme mennä pidemmälle; yleisen "epäreilun harha" muotoileminen uudelleen edustavien haittojen taksonomiaksi, joka auttaa meitä diagnosoimaan akuutimmin haitalliset seuraukset sekä kohdistamaan lievennyksiä tarkemmin⁸. Väittäisin, että tämä vaatii tietyn käyttökontekstin. Kuvitellaan siis, että tätä järjestelmää käytetään automaattisesti luomaan kuvia lääkäreistä, jotka palvellaan reaaliajassa yliopiston lääketieteellisen koulun hakusivulla. Ehkä tapa mukauttaa kokemusta jokaiselle vierailevalle käyttäjälle. Tässä yhteydessä Katzmanin taksonomiaa käyttäen tulokseni viittaavat siihen, että tällainen järjestelmä voi stereotyyppiset sosiaaliset ryhmät⁸ systeemisesti aliedustamalla sairastuneita alaryhmiä (hahmot, joilla on tummemmat ihonsävyt ja havaitut naiselliset ominaisuudet). Voisimme myös harkita, voivatko tämäntyyppiset viat olla estävät ihmisiltä mahdollisuuden tunnistaa itsensä⁸ välityspalvelimella huolimatta siitä, että kuvat ovat syntyy eivätkä edusta oikeita henkilöitä.

On tärkeää huomata, että Huggingfacen Stable Diffusion v1-4 -mallikortti paljastaa itsensä tosiasian, että LAION5B:stä ja siten itse mallista saattaa puuttua demografista pariteettia koulutusesimerkeissä ja se voi sellaisenaan heijastaa koulutusjakaumaan (mukaan lukien keskittyä englanninkielisiin, länsimaisiin normeihin ja systeemisiin länsimaisiin Internetin käyttötapoihin)⁵. Sellaisenaan tämän tutkimuksen päätelmät eivät ole odottamattomia, mutta erojen laajuus voi olla hyödyllistä käytännön toimijoille, jotka harkitsevat erityisiä käyttötapauksia; korostaa alueita, joilla voidaan tarvita aktiivisia lievennyksiä ennen mallipäätösten tuottamista.

Minun seuraava artikkeli Minä puutun Tavoite #2: kvantitatiivisesti tutkitaan näytteenottovirhe Stable Diffusionin takana olevassa LAION5B-tietojoukossa ja vertaamalla sitä kohteen tuloksiin Tavoite #1.

1. Koneoppimisen sanasto: oikeudenmukaisuus, 2022, Google
2. Aloita Monk Skin Tone Scalen käyttö, 2022, Google
3. Luodut kuvat tutkimuksesta, 2022, Danie Theron
4. Koodi tutkimuksesta, 2022, Danie Theron
5. Vakaa diffuusio v1–4, 2022, Stability.ai & Huggingface
6. LAION5B Clip Retrieval Frontend, 2022, Romain Beaumont
7. Arvioijan arvostelun tulokset tutkimuksesta, 2022, Danie Theron
8. Edustavia haittoja kuvamerkinnöissä, 2021, Jared Katzman et ai.

Kiitos Xuan Yangille ja [DODING REVIEWER SUOSTUMUS] heidän harkitusta ja ahkerasta arvostelustaan ​​ja palautteestaan ​​tähän artikkeliin.

Epäoikeudenmukainen harha sukupuolen, ihon sävyjen ja leikkausryhmien välillä luoduissa stabiileissa diffuusiokuvissa, julkaistu uudelleen lähteestä https://towardsdatascience.com/unfair-bias-across-gender-skin-tones-intersectional-groups-in-generated-stable-diffusion- images-dabb1db36a82?source=rss—-7f60cf5620c9—4 https://towardsdatascience.com/feed kautta

<!-

->