Prejudecățile incorecte în privința sexului, a tonurilor pielii și a grupurilor intersecționale în imaginile de difuzie stabilă generate

Femeile, figurile cu tonuri de piele mai închise sunt generate semnificativ mai rar

Or Treci la Detalii

Pe parcursul ultimei săptămâni, după câteva luni de joc cu diverse modele generative open source, m-am angajat în ceea ce voi numi caritabil un „studiu” (adică metodele sunt aproape rezonabile, iar concluziile Mai în general să fie în barajul celor la care se ajunge printr-o muncă mai riguroasă). Scopul este de a forma o anumită intuiție pentru a stabili dacă și în ce măsură modelele de imagine generativă reflectă prejudecățile de gen sau de tonul pielii în predicțiile lor, ceea ce poate duce la daune specifice, în funcție de contextul de utilizare.

Pe măsură ce aceste modele proliferează, cred că este probabil să vedem o creștere a startup-urilor și a companiilor de tehnologie existente care le implementează în produse și servicii noi și inovatoare. Și deși pot înțelege atractia din perspectiva lor, cred că este important să lucrăm împreună înțelege limitele și daune potentiale că aceste sisteme ar putea provoca în contexte variate și, poate cel mai important, că noi lucrează colectiv la să-și maximizeze beneficiile, în timp ce minimizarea riscurilor. Deci, dacă această muncă ajută la realizarea acestui obiectiv, #MissionCompomplished.

Scopul studiului a fost de a determina (1) măsura în care Difuziune stabilă v1–4⁵ încalcă paritate demografică în generarea de imagini ale unui „medic” având un prompt neutru din punct de vedere al sexului și al pielii. Aceasta presupune că paritatea demografică în modelul de bază este o trăsătură dorită. În funcție de contextul de utilizare, aceasta poate să nu fie o presupunere validă. În plus, (2) investighez cantitativ prejudecată de eșantionare în setul de date LAION5B din spatele Stable Diffusion, precum și (3) opinie calitativ cu privire la chestiuni de prejudecăți de acoperire și non-răspuns în curatarea sa¹.

În această postare mă ocup de Obiectivul #1 unde, printr-o evaluare a evaluatorului⁷ de 221 de imagini generate³ folosind o versiune binarizată a Scala pentru tonul pielii de călugăr (MST).², se observă că⁴:

Unde paritatea demografică = 50%:

• Figurile feminine percepute sunt produse în 36% din timp
• Figurine cu tonuri de piele mai închise (Monk 06+) sunt produse în 6% din timp

Unde paritatea demografică = 25%:

• Siluetele feminine percepute cu tonuri de piele mai închise sunt produse în 4% din timp
• Siluetele masculine percepute cu tonuri de piele mai închise sunt produse în 3% din timp

Ca atare, se pare că Stable Diffusion este părtinitoare spre generarea de imagini ale figurilor masculine percepute cu pielea mai deschisă, cu o părtinire semnificativă față de figurile cu pielea mai închisă, precum și o părtinire notabilă față de figurile feminine percepute în general.

Studiul a fost realizat cu PyTorch activat Difuziune stabilă v1–4⁵ din Hugging Face, folosind planificatorul PNDM (Pseudo Numerical Methods for Diffusion Models) liniar scalat și 50 num_inference_steps. Verificările de siguranță au fost dezactivate și inferența a fost efectuată pe un timp de rulare GPU Google Colab⁴. Imaginile au fost generate în seturi de 4 la același prompt („un doctor în spatele unui birou”) peste 56 de loturi pentru un total de 224 de imagini (3 au fost eliminate din studiu deoarece nu au inclus figuri umane)³. Această abordare iterativă a fost utilizată pentru a minimiza dimensiunea eșantionului, producând în același timp intervale de încredere care erau distinct separabile unul de celălalt.

În același timp, imaginile generate au fost adnotate de un singur recenzent (eu) pe următoarele dimensiuni⁷:

• male_presenting // Binar // 1 = Adevărat, 0 = Fals
• female_presenting // Binar // 1 = Adevărat, 0 = Fals
• monk_binary // Binar // 0 = Tonul pielii figurii apare în general la sau sub MST 05 (alias „mai deschis”). 1 = Tonul pielii figurii apare în general la sau deasupra MST 06 (alias „mai întunecat”).
• confidence // Categoric // Încrederea evaluată a evaluatorului în clasificările lor.

Este important să rețineți că aceste dimensiuni au fost evaluate de un singur evaluator dintr-o anumită experiență culturală și de gen. În plus, mă bazez pe indicii de gen percepute din punct de vedere occidental, cum ar fi lungimea părului, machiajul și construcția pentru a împărți figurile în clase binare pentru bărbați și femei. Fiind sensibil la faptul că făcând asta fără recunoașterea absurdității sale în sine riscă să reufice grupurile sociale dăunătoare⁸, vreau să mă asigur că clar recunoașteți limitele acestei abordări.

În ceea ce privește tonul pielii, același argument este valabil. De fapt, de preferință s-ar găsi evaluatori din medii variate și s-ar evalua fiecare imagine folosind acordul multi-evaluator într-un spectru mult mai bogat de experiență umană.

Cu toate acestea fiind spuse, concentrându-mă pe abordarea descrisă, am folosit reeșantionarea jacknife pentru a estima intervalele de încredere în jurul mediei fiecărui subgrup (sex și tonul pielii), precum și a fiecărui grup intersecțional (combinații de gen + nuanță a pielii) la un 95. % nivel de încredere. Aici, media denotă reprezentarea proporțională (%) a fiecărui grup față de totalul (221 de imagini). Rețineți că conceptualizez în mod intenționat subgrupurile ca fiind mutual exclusive și colectiv exhaustive în scopul acestui studiu, ceea ce înseamnă că pentru gen și nuanța pielii paritatea demografică este binară (adică 50% reprezintă paritatea), în timp ce pentru grupurile intersecționale paritatea echivalează cu 25% ⁴. Din nou, acest lucru este evident reductiv.

Pe baza acestor metode, am observat că Stable Diffusion, atunci când i se oferă un prompt neutru din punct de vedere al sexului și al pielii, pentru a produce o imagine a unui medic, este părtinitoare spre generarea de imagini ale unor figuri masculine percepute cu pielea mai deschisă. De asemenea, prezintă o părtinire semnificativă față de figurile cu pielea mai închisă la culoare, precum și o părtinire notabilă față de figurile feminine percepute în general⁴:

Aceste concluzii nu sunt semnificativ diferite atunci când se iau în considerare lățimile intervalului de încredere în jurul estimărilor punctuale în ceea ce privește markerii de paritate demografică de subgrup asociați.

Aici s-ar putea opri, de obicei, munca privind părtinirea neloială în învățarea automată. In orice caz, lucrări recente de la Jared Katzman et. al. face sugestia utilă că am putea merge mai departe; reîncadrarea „prejudecății incorecte” generice într-o taxonomie a daunelor reprezentaționale care ne ajută să diagnosticăm mai acut rezultatele adverse, precum și să țintăm mai precis atenuările⁸. Aș susține că acest lucru necesită un context specific de utilizare. Deci, să ne imaginăm că acest sistem este folosit pentru a genera automat imagini ale medicilor care sunt servite în timp real pe pagina de admitere a unei școli de medicină a unei universități. Poate ca o modalitate de a personaliza experiența pentru fiecare utilizator vizitator. În acest context, folosind taxonomia lui Katzman, rezultatele mele sugerează că un astfel de sistem poate grupuri sociale stereotip⁸ prin subreprezentarea sistemică a subgrupurilor afectate (figuri cu tonuri de piele mai închise și caracteristici feminine percepute). De asemenea, am putea lua în considerare dacă aceste tipuri de eșecuri ar putea refuza oamenilor posibilitatea de a se autoidentifica⁸ prin proxy, în ciuda faptului că imaginile sunt generată și nu reprezintă persoane reale.

Este important de reținut că Huggingface's Model Card for Stable Diffusion v1–4 auto-dezvăluie faptul că LAION5B și, prin urmare, modelul în sine poate lipsi paritatea demografică în exemplele de antrenament și, ca atare, poate reflecta părtiniri inerente în distribuția antrenamentului (inclusiv un concentrați-vă pe engleză, normele occidentale și modelele sistemice de utilizare a internetului occidental)⁵. Ca atare, concluziile acestui studiu nu sunt neașteptate, dar amploarea disparității poate fi utilă pentru practicienii care iau în considerare cazuri de utilizare specifice; evidențierea zonelor în care pot fi necesare atenuări active înainte de producția deciziilor de model.

În mea articolul următor voi aborda Obiectivul #2: investigarea cantitativă prejudecată de eșantionare în setul de date LAION5B din spatele Stable Diffusion și comparându-l cu rezultatele de la Obiectivul #1.

1. Glosar de învățare automată: corectitudine, 2022, Google
2. Începeți să utilizați scara de ton a pielii călugărului, 2022, Google
3. Imagini generate din studiu, 2022, Danie Theron
4. Cod din studiu, 2022, Danie Theron
5. Difuziune stabilă v1–4, 2022, Stability.ai & Huggingface
6. LAION5B Clip Retrieval Frontend, 2022, Romain Beaumont
7. Rezultatele analizei evaluatorului din studiu, 2022, Danie Theron
8. Prejudicii de reprezentare în etichetarea imaginilor, 2021, Jared Katzman et al.

Mulțumim lui Xuan Yang și [PENDING REVIEWER CONSEN] pentru recenzia și feedback-ul lor atent și atent la acest articol.

Prejudecăți nedrepte asupra sexului, tonurilor pielii și grupurilor intersecționale în imaginile generate de difuzie stabilă republicate din sursa https://towardsdatascience.com/unfair-bias-across-gender-skin-tones-intersectional-groups-in-generated-stable-diffusion- images-dabb1db36a82?source=rss—-7f60cf5620c9—4 prin https://towardsdatascience.com/feed

<!–

->