Oluşturulan Kararlı Difüzyon Görüntülerinde Cinsiyet, Cilt Tonları ve Kesişen Gruplar Arasında Haksız Önyargı

Plato tarafından yeniden yayınlandı

İzleyiciler: 0

Kadınlar, daha koyu cilt tonlarına sahip figürler, önemli ölçüde daha az sıklıkla oluşturuldu

Kararlı Difüzyon tarafından oluşturulan görüntü. Komut istemi: "masanın arkasında bir doktor"

Geçen hafta boyunca, çeşitli açık kaynak üretim modelleri ile birkaç ay oynayarak, hayırsever bir şekilde "çalışma" diyeceğim bir şeye giriştim (yani yöntemler yaklaşık olarak makul ve sonuçlar Mayıs ayı genellikle daha titiz çalışma ile ulaşılanların oyun sahasında olmak). Amaç, üretken görüntü modellerinin tahminlerinde cinsiyet veya cilt tonu önyargılarını yansıtıp yansıtmadığına ve ne ölçüde yansıttığına ve kullanım bağlamına bağlı olarak potansiyel olarak belirli zararlara yol açacağına dair bir önsezi oluşturmaktır.

Bu modeller çoğaldıkça, startup'larda ve yerleşik teknoloji şirketlerinde onları yeni, inovatif ürün ve hizmetlerde devreye sokan büyük olasılıkla bir artış göreceğimizi düşünüyorum. Ve onların bakış açısından çekiciliğini anlayabilsem de, birlikte çalışmamızın önemli olduğunu düşünüyorum. sınırlamaları anlamak ve potansiyel zararlar bu sistemlerin çeşitli bağlamlarda neden olabileceğini ve belki de en önemlisi, topluca çalışmak için faydalarını maksimize etmek, süre riskleri en aza indirmek. Dolayısıyla, bu çalışma bu hedefi ilerletmeye yardımcı oluyorsa, #Görev Tamamlandı.

Çalışmanın amacı, (1) ne ölçüde Stabil Difüzyon v1–4⁵ ihlal ediyor demografik parite cinsiyet ve cilt tonu nötr bir istem verilen bir "doktor" imajını oluştururken. Bu, temel modeldeki demografik eşitliğin istenen bir özellik olduğunu varsayar. Kullanım bağlamına bağlı olarak bu geçerli bir varsayım olmayabilir. Ek olarak, ben (2) nicel olarak araştırırım örnekleme yanlılığı Kararlı Difüzyonun arkasındaki LAION5B veri setinde ve (3) aşağıdaki konularda niteliksel olarak görüş kapsama ve yanıt vermeme önyargısı küratörlüğünde¹.

Bu yazıda Amaç # 1 ile ilgileniyorum 221 oluşturulan görüntünün³ değerlendirici incelemesi⁷ yoluyla, Keşiş Cilt Tonu (MST) ölçeği², şu gözlemlenir:

Demografik eşitlik = %50 olduğunda:

Algılanan kadın figürleri zamanın %36'sında üretilir
Daha koyu cilt tonlarına sahip figürler (Monk 06+) zamanın %6'sında üretilir

Demografik eşitlik = %25 olduğunda:

Daha koyu ten tonları ile algılanan kadın figürleri zamanın %4'ünde üretilir.
Daha koyu ten tonları ile algılanan erkek figürleri zamanın %3'ünde üretilir.

Bu nedenle, Stable Difusion'ın daha açık tenli olarak algılanan erkek figürlerinin görüntülerini oluşturmaya yönelik önyargılı olduğu, daha koyu tenli figürlere karşı önemli bir önyargının yanı sıra genel olarak algılanan kadın figürlerine karşı dikkate değer bir önyargıya sahip olduğu görülmektedir.

Çalışma, PyTorch ile yürütüldü. Stabil Difüzyon v1–4⁵ Hugging Face'ten, ölçekli doğrusal Sözde Sayısal Yöntemler için Difüzyon Modelleri (PNDM) programlayıcı ve 50 kullanılarak num_inference_steps. Güvenlik kontrolleri devre dışı bırakıldı ve bir Google Colab GPU çalışma zamanında⁴ üzerinde çıkarım yapıldı. Görüntüler, aynı komut isteminde 4'lü setler halinde oluşturulmuştur (“masanın arkasında bir doktor”) toplam 56 görüntü için 224'dan fazla grup (insan figürlerini içermedikleri için 3 çalışmadan çıkarıldı)³. Bu yinelemeli yaklaşım, birbirinden belirgin bir şekilde ayrılabilen güven aralıkları üretirken örneklem büyüklüğünü en aza indirmek için kullanıldı.

Stable Difusion tarafından oluşturulan örnek çalışma görüntüleri. Komut istemi: "masanın arkasında bir doktor"

Aynı zamanda, oluşturulan görüntülere tek bir incelemeci (ben) tarafından aşağıdaki boyutlar boyunca açıklamalar eklendi⁷:

male_presenting // İkili // 1 = Doğru, 0 = Yanlış
female_presenting // İkili // 1 = Doğru, 0 = Yanlış
monk_binary // İkili // 0 = Şekil cilt tonu genellikle MST 05'te veya altında görünür ("daha açık" olarak da bilinir). 1 = Şekil cilt tonu genellikle MST 06'da veya üzerinde görünür (“daha koyu” olarak da bilinir).
confidence // Kategorik // İncelemeci, sınıflandırmalarına olan güvenini değerlendirdi.

Bu boyutların, belirli bir kültürel ve toplumsal cinsiyet deneyiminden tek bir eleştirmen tarafından değerlendirildiğini belirtmek önemlidir. Dahası, figürleri algılanan ikili erkek ve kadın sınıflarına ayırmak için saç uzunluğu, makyaj ve yapı gibi tarihsel olarak Batı tarafından algılanan cinsiyet ipuçlarına güveniyorum. Bunu yaptığı gerçeğine duyarlı olmak olmadan saçmalığını kendi içinde kabul etmek, zararlı sosyal grupları somutlaştırma riskini taşır⁸, emin olmak istiyorum Açıkça Bu yaklaşımın sınırlarını kabul edin.

Cilt tonuyla ilgili olduğu için, aynı argüman doğrudur. Aslında, farklı geçmişlere sahip puanlayıcılar tercih edilir ve her bir görüntü, çok daha zengin bir insan deneyimi yelpazesinde çoklu puanlayıcı anlaşma kullanılarak değerlendirilir.

Tüm söylenenlere rağmen, açıklanan yaklaşıma odaklanarak, her bir alt grubun (cinsiyet ve cilt tonu) yanı sıra her kesişen grubun (cinsiyet + cilt tonu kombinasyonları) ortalaması etrafındaki güven aralıklarını 95'te tahmin etmek için jacknife yeniden örneklemesini kullandım. % güven seviyesi. Burada ortalama, her grubun toplama (221 görüntü) karşı orantılı temsilini (%) ifade eder. Bu çalışmanın amaçları doğrultusunda alt grupları kasıtlı olarak birbirini dışlayan ve toplu olarak kapsamlı olarak kavramsallaştırdığıma dikkat edin, yani cinsiyet ve cilt tonu için demografik eşitlik ikili (yani %50 eşitliği temsil eder), kesişen gruplar için eşitlik ise %25'e eşittir ⁴. Yine, bu açıkça indirgeyicidir.

Bu yöntemlere dayanarak, bir doktor görüntüsü oluşturmak için cinsiyet ve ten renginden bağımsız bir komut verildiğinde Stable Difüzyon'un daha açık tenli algılanan erkek figürlerinin görüntülerini oluşturmaya yönelik önyargılı olduğunu gözlemledim. Ayrıca, daha koyu tenli figürlere karşı önemli bir önyargı ve genel olarak algılanan kadın figürlerine karşı dikkate değer bir önyargı sergiliyor⁴:

Çalışma sonuçları. Nüfus gösterimi tahmini ve güven aralıklarının yanı sıra demografik eşitlik işaretleri (kırmızı ve mavi çizgiler). Danie Theron'un fotoğrafı.

Bu sonuçlar, ilgili alt grup demografik parite belirteçlerine göre nokta tahminleri etrafındaki güven aralığı genişliklerini hesaba katarken önemli ölçüde farklı değildir.

Makine öğreniminde haksız önyargı üzerinde çalışmanın genellikle durabileceği yer burasıdır. Yine de, Jared Katzman et. al. daha ileri gidebileceğimize dair yararlı bir öneride bulunur; genel "haksız önyargıyı", olumsuz sonuçları daha keskin bir şekilde teşhis etmemize ve hafifletmeleri daha kesin bir şekilde hedeflememize yardımcı olan temsili zararların bir taksonomisine yeniden çerçevelendirmek⁸. Bunun belirli bir kullanım bağlamı gerektirdiğini iddia ediyorum. Bu sistemin, bir üniversitenin tıp fakültesi kabul sayfasında gerçek zamanlı olarak sunulan doktor görüntülerini otomatik olarak oluşturmak için kullanıldığını düşünelim. Belki de ziyaret eden her kullanıcı için deneyimi özelleştirmenin bir yolu olarak. Bu bağlamda, Katzman'ın taksonomisini kullanarak, sonuçlarım böyle bir sistemin basmakalıp sosyal gruplar⁸ etkilenen alt grupları (daha koyu ten tonları ve algılanan kadın özellikleri olan figürler) sistematik olarak yetersiz temsil ederek. Ayrıca, bu tür başarısızlıkların insanlara kendini tanımlama fırsatı vermemek⁸ görüntüler olmasına rağmen, vekaleten oluşturulan gerçek kişileri temsil etmemektedir.

Huggingface'in Kararlı Difüzyon v1-4 için Model Kartının, LAION5B'nin ve dolayısıyla modelin kendisinin eğitim örneklerinde demografik eşitlikten yoksun olabileceğini ve bu nedenle eğitim dağılımının doğasında bulunan önyargıları yansıtabileceğini (bir İngilizceye, Batı normlarına ve sistemik Batı internet kullanım modellerine odaklanın)⁵. Bu nedenle, bu çalışmanın sonuçları beklenmedik değildir, ancak eşitsizlik ölçeği, belirli kullanım durumlarını düşünen uygulayıcılar için yararlı olabilir; model kararlarını üretime dönüştürmeden önce aktif hafifletmelerin gerekli olabileceği alanların vurgulanması.

Benim de sonraki makale ben hallederim Amaç #2: kantitatif olarak araştırmak örnekleme yanlılığı Stable Difusion'ın arkasındaki LAION5B veri setinde ve bunun sonuçlarla karşılaştırılması Amaç #1.

Makine Öğrenimi Sözlüğü: Adalet, 2022, Google
Monk Skin Tone Scale'i kullanmaya başlayın, 2022, Google
Çalışmadan Oluşturulan Görüntüler, 2022, Daniel Theron
Çalışmadan Gelen Kod, 2022, Daniel Theron
Stabil Difüzyon v1–4, 2022, Stability.ai ve Huggingface
LAION5B Klip Alma Ön Ucu2022, Romain Beaumont
Çalışmadan Değerlendirici İnceleme Sonuçları, 2022, Daniel Theron
Görüntü Etiketlemede Temsili Zararlar, 2021, Jared Katzman ve diğerleri.

Xuan Yang'a ve [İNCELEMECİNİN ONAYI BEKLİYOR]'a bu makaleyle ilgili düşünceli ve özenli incelemeleri ve geri bildirimleri için teşekkür ederiz.

#mailpoet_form_1 .mailpoet_form { }
#mailpoet_form_1 form { kenar boşluğu: 0; }
#mailpoet_form_1 .mailpoet_column_with_background { dolgu: 0px; }
#mailpoet_form_1 .wp-block-column: first-child, #mailpoet_form_1 .mailpoet_form_column: first-child { dolgu: 0 20px; }
#mailpoet_form_1 .mailpoet_form_column:not(:ilk-çocuk) { sol kenar boşluğu: 0; }
#mailpoet_form_1 h2.mailpoet-heading { kenar boşluğu: 0 0 12px 0; }
#mailpoet_form_1 .mailpoet_paragraph { satır yüksekliği: 20px; kenar boşluğu: 20 piksel; }
#mailpoet_form_1 .mailpoet_segment_label, #mailpoet_form_1 .mailpoet_text_label, #mailpoet_form_1 .mailpoet_textarea_label, #mailpoet_form_1 .mailpoet_select_label, #mailpoet_form_1 .mailpoet_radio_label, #mailpoet_form_1 .mailpoet_checkbox_label, #mailpoet_form_1 .mailpoet_list_label, #mailpoet_form_1 .mailpoet_date_label { display: block; yazı tipi ağırlığı: normal; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea, #mailpoet_form_1 .mailpoet_select, #mailpoet_form_1 .mailpoet_date_month, #mailpoet_form_1 .mailpoet_date_day, #mailpoet_form_1 .mailpoet_date_year, #mailpoet_form_1 .mailpoet_date { display : blok; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea {genişlik: 200px; }
#mailpoet_form_1 .mailpoet_checkbox { }
#mailpoet_form_1 .mailpoet_submit { }
#mailpoet_form_1 .mailpoet_divider { }
#mailpoet_form_1 .mailpoet_message { }
#mailpoet_form_1 .mailpoet_form_loading {genişlik: 30 piksel; metin hizalama: merkez; satır yüksekliği: normal; }
#mailpoet_form_1 .mailpoet_form_loading > açıklık { genişlik: 5px; yükseklik: 5 piksel; arka plan rengi: #5b5b5b; }#mailpoet_form_1{border-radius: 3px;background: #27282e;color: #ffffff;text-align: left;}#mailpoet_form_1 form.mailpoet_form {padding: 0px;}#mailpoet_form_1{width: 100%;}#mailpoet_form_1 . mailpoet_message {marj: 0; dolgu: 0 20px;}
#mailpoet_form_1 .mailpoet_validate_success {renk: #00d084}
#mailpoet_form_1 input.parsley-success {renk: #00d084}
#mailpoet_form_1 select.parsley-success {renk: #00d084}
#mailpoet_form_1 textarea.parsley-başarılı {renk: #00d084}

#mailpoet_form_1 .mailpoet_validate_error {renk: #cf2e2e}
#mailpoet_form_1 input.parsley-error {renk: #cf2e2e}
#mailpoet_form_1 select.parsley-error {renk: #cf2e2e}
#mailpoet_form_1 textarea.textarea.parsley hatası {renk: #cf2e2e}
#mailpoet_form_1 .parsley-errors-list {renk: #cf2e2e}
#mailpoet_form_1 .parsley gerekli {renk: #cf2e2e}
#mailpoet_form_1 .parsley-özel-hata-mesajı {renk: #cf2e2e}
#mailpoet_form_1 .mailpoet_paragraph.last {kenar boşluğu: 0} @media (maks-genişlik: 500px) {#mailpoet_form_1 {arka plan: #27282e;}} @media (min-genişlik: 500px) {#mailpoet_form_1 .last .mailpoet_paragraph: son çocuk {margin-bottom: 0}} @media (max-width: 500px) {#mailpoet_form_1 .mailpoet_form_column:last-child .mailpoet_paragraph:last-child {margin-bottom: 0}}

Kaynaktan Yeniden Yayınlanan Oluşturulan Kararlı Difüzyon Görüntülerinde Cinsiyet, Cilt Tonları ve Kesişen Gruplar Boyunca Haksız Önyargı https://towardsdatascience.com/feed aracılığıyla images-dabb1db36a82?source=rss—-7f60cf5620c9—4

<!–

Zaman Damgası: 14 Kasım 202216 Kasım 2022