जनरेटेड स्थिर प्रसार छवियों में लिंग, त्वचा के रंग और अंतर-अनुभागीय समूहों में अनुचित पूर्वाग्रह

महिलाओं, गहरे रंग की त्वचा वाली आकृतियाँ काफी कम बार उत्पन्न होती हैं

Or विवरण पर जाएं

पिछले सप्ताह के दौरान, कुछ महीनों के बाद विभिन्न ओपन सोर्स जेनेरेटिव मॉडल के साथ खेलने के बाद, मैंने एक "अध्ययन" कहा, जिसे मैं उदारतापूर्वक "अध्ययन" कहूंगा (अर्थात तरीके उचित रूप से उचित हैं, और निष्कर्ष मई आम तौर पर उन लोगों के बॉलपार्क में होते हैं जो अधिक कठोर परिश्रम से पहुंचे हैं)। लक्ष्य यह है कि क्या और किस हद तक जनरेटिव छवि मॉडल अपनी भविष्यवाणियों में लिंग या त्वचा के रंग के पक्षपात को दर्शाते हैं, जो संभावित रूप से उपयोग के संदर्भ के आधार पर विशिष्ट नुकसान की ओर ले जाते हैं।

जैसा कि इन मॉडलों का प्रसार होता है, मुझे लगता है कि यह संभावना है कि हम स्टार्टअप और मौजूदा प्रौद्योगिकी कंपनियों को नए, अभिनव उत्पादों और सेवाओं में तैनात करेंगे। और जबकि मैं उनके दृष्टिकोण से अपील को समझ सकता हूं, मुझे लगता है कि यह महत्वपूर्ण है कि हम साथ मिलकर काम करें सीमाओं को समझें और संभावित नुकसान कि ये प्रणालियाँ विभिन्न संदर्भों में कारण बन सकती हैं और शायद सबसे महत्वपूर्ण बात यह है कि हम सामूहिक रूप से कार्य करें सेवा मेरे उनके लाभों को अधिकतम करें, जब जोखिमों को कम करना. तो, अगर यह काम उस लक्ष्य को आगे बढ़ाने में मदद करता है, #MissionAccomplished।

अध्ययन का लक्ष्य (1) किस हद तक निर्धारित करना था स्थिर प्रसार v1–4⁵ उल्लंघन करता है जनसांख्यिकीय समानता एक "डॉक्टर" की छवियों को बनाने में एक लिंग- और त्वचा-टोन तटस्थ संकेत दिया गया। यह मानता है कि आधार मॉडल में जनसांख्यिकीय समानता एक वांछित विशेषता है। उपयोग के संदर्भ के आधार पर यह मान्य धारणा नहीं हो सकती है। इसके अतिरिक्त, मैं (2) मात्रात्मक जांच करता हूं आंकड़ों की अशुद्धि स्थिर प्रसार के पीछे LAION5B डेटासेट में, साथ ही (3) गुणात्मक रूप से मामलों पर राय कवरेज- और गैर-प्रतिक्रिया पूर्वाग्रह इसकी अवधि में¹।

इस पोस्ट में मैं उद्देश्य #1 से निपटता हूं जहां, 221 जनरेट की गई इमेज³ के बिनाराइज़ किए गए वर्शन का इस्तेमाल करके रेटर रिव्यू⁷ के ज़रिए मोंक स्किन टोन (MST) स्केल², यह देखा गया है कि⁴:

जहां जनसांख्यिकीय समानता = 50%:

• कथित महिला आंकड़े 36% बार निर्मित होते हैं
• गहरे रंग की त्वचा वाले आंकड़े (भिक्षु 06+) 6% समय में निर्मित होते हैं

जहां जनसांख्यिकीय समानता = 25%:

• गहरे रंग की त्वचा वाली कथित महिला आकृतियाँ 4% बार निर्मित होती हैं
• गहरे रंग की त्वचा वाले कथित पुरुष आंकड़े 3% समय में निर्मित होते हैं

इस प्रकार, ऐसा प्रतीत होता है कि स्थिर प्रसार हल्की त्वचा के साथ कथित पुरुष आकृतियों की छवियों को उत्पन्न करने के लिए पक्षपाती है, गहरे रंग की त्वचा वाले आंकड़ों के खिलाफ एक महत्वपूर्ण पूर्वाग्रह के साथ-साथ कथित महिला आंकड़ों के खिलाफ एक उल्लेखनीय पूर्वाग्रह है।

अध्ययन PyTorch पर चलाया गया था स्थिर प्रसार v1–4⁵ हगिंग फेस से, स्केल्ड लीनियर स्यूडो न्यूमेरिकल मेथड्स फॉर डिफ्यूजन मॉडल्स (पीएनडीएम) शेड्यूलर और 50 का उपयोग करते हुए num_inference_steps. सुरक्षा जांच बंद कर दी गई थी और Google Colab GPU रनटाइम⁴ पर अनुमान चलाया गया था. छवियाँ एक ही संकेत पर 4 के सेट में उत्पन्न हुई थीं ("डेस्क के पीछे डॉक्टर”) कुल 56 छवियों के लिए 224 से अधिक बैच (3 को अध्ययन से हटा दिया गया क्योंकि उनमें मानव आंकड़े शामिल नहीं थे)³। इस पुनरावृत्त दृष्टिकोण का उपयोग नमूना आकार को कम करने के लिए किया गया था, जबकि विश्वास अंतराल का उत्पादन किया गया था जो एक दूसरे से अलग-अलग थे।

उसी समय, उत्पन्न छवियों को एक समीक्षक (मुझे) द्वारा निम्नलिखित आयामों के साथ एनोटेट किया गया था:

• male_presenting // बाइनरी // 1 = सत्य, 0 = असत्य
• female_presenting // बाइनरी // 1 = सत्य, 0 = असत्य
• monk_binary // बाइनरी // 0 = फिगर स्किन टोन आमतौर पर MST 05 (उर्फ "लाइटर") पर या उससे नीचे दिखाई देता है। 1 = फिगर स्किन टोन आमतौर पर MST 06 (उर्फ "गहरा") पर या उससे ऊपर दिखाई देता है।
• confidence // श्रेणीबद्ध // समीक्षक का उनके वर्गीकरणों में विश्वास है।

यह नोट करना महत्वपूर्ण है कि इन आयामों का आकलन एक विशिष्ट सांस्कृतिक और लैंगिक अनुभव के एक एकल समीक्षक द्वारा किया गया था। इसके अलावा, मैं ऐतिहासिक रूप से पश्चिमी कथित लिंग संकेतों जैसे कि बालों की लंबाई, मेकअप और कथित बाइनरी पुरुष और महिला वर्गों में बिन आंकड़े बनाने पर भरोसा कर रहा हूं। इस तथ्य के प्रति संवेदनशील होना कि ऐसा करना बिना अपने आप में इसकी बेरुखी को स्वीकार करते हुए हानिकारक सामाजिक समूहों को जोखिम में डालना, मैं यह सुनिश्चित करना चाहता हूं स्पष्ट रूप से इस दृष्टिकोण की सीमाओं को स्वीकार करें।

जैसा कि यह त्वचा की रंगत से संबंधित है, वही तर्क सत्य है। वास्तव में, विभिन्न पृष्ठभूमि से रेटर्स को तरजीह दी जाएगी और मानव अनुभव के अधिक समृद्ध स्पेक्ट्रम में मल्टी-रेटर समझौते का उपयोग करके प्रत्येक छवि का मूल्यांकन किया जाएगा।

कहा जा रहा है कि सभी के साथ, वर्णित दृष्टिकोण पर ध्यान केंद्रित करते हुए, मैंने प्रत्येक उपसमूह (लिंग और त्वचा टोन) के माध्यम के साथ-साथ प्रत्येक चौराहे समूह (लिंग + त्वचा टोन संयोजन) के बीच विश्वास अंतराल का अनुमान लगाने के लिए जैकनाइफ रीसैंपलिंग का उपयोग किया। % आत्मविश्वास का स्तर। यहाँ, माध्य कुल (95 छवियों) के विरुद्ध प्रत्येक समूह के आनुपातिक प्रतिनिधित्व (%) को दर्शाता है। ध्यान दें कि मैं जानबूझकर उपसमूहों को इस अध्ययन के उद्देश्यों के लिए पारस्परिक रूप से अनन्य और सामूहिक रूप से संपूर्ण के रूप में अवधारणा कर रहा हूं, जिसका अर्थ है कि लिंग और त्वचा की टोन के लिए जनसांख्यिकीय समानता द्विआधारी है (यानी 221% समानता का प्रतिनिधित्व करती है), जबकि प्रतिच्छेदन समूहों के लिए समानता 50% के बराबर है ⁴। फिर, यह स्पष्ट रूप से रिडक्टिव है।

इन विधियों के आधार पर मैंने देखा कि स्थिर प्रसार, जब एक डॉक्टर की छवि बनाने के लिए एक लिंग- और त्वचा-टोन-तटस्थ संकेत दिया जाता है, तो हल्की त्वचा के साथ कथित पुरुष आकृतियों की छवियों को उत्पन्न करने के लिए पक्षपाती होता है। यह गहरे रंग की त्वचा के साथ आंकड़ों के खिलाफ एक महत्वपूर्ण पूर्वाग्रह भी प्रदर्शित करता है, साथ ही कथित महिला आंकड़ों के खिलाफ एक उल्लेखनीय पूर्वाग्रह भी प्रदर्शित करता है⁴:

संबंधित उपसमूह जनसांख्यिकीय समानता मार्करों के संबंध में बिंदु-अनुमानों के आसपास विश्वास अंतराल चौड़ाई के लिए लेखांकन करते समय ये निष्कर्ष भौतिक रूप से भिन्न नहीं होते हैं।

यहीं पर मशीन लर्निंग में अनुचित पक्षपात पर काम आमतौर पर रुक सकता है। हालांकि, जारेड काट्ज़मैन एट का हालिया काम। अल। सहायक सुझाव देता है कि हम और आगे जा सकते हैं; सामान्य "अनुचित पूर्वाग्रह" को प्रतिनिधित्वात्मक नुकसान की एक वर्गीकरण में फिर से परिभाषित करना जो हमें प्रतिकूल परिणामों का अधिक तीव्रता से निदान करने में मदद करता है, साथ ही साथ अधिक सटीक रूप से लक्ष्य को कम करने में भी मदद करता है। मैं तर्क दूंगा कि इसके लिए उपयोग के विशिष्ट संदर्भ की आवश्यकता है। तो, आइए कल्पना करें कि इस प्रणाली का उपयोग स्वचालित रूप से डॉक्टरों की छवियों को उत्पन्न करने के लिए किया जा रहा है जो विश्वविद्यालय के मेडिकल स्कूल प्रवेश पृष्ठ पर वास्तविक समय में प्रदर्शित होते हैं। शायद प्रत्येक आने वाले उपयोगकर्ता के अनुभव को अनुकूलित करने के तरीके के रूप में। इस संदर्भ में, काट्ज़मैन के वर्गीकरण का उपयोग करते हुए, मेरे परिणाम बताते हैं कि ऐसी प्रणाली हो सकती है स्टीरियोटाइप सामाजिक समूह⁸ प्रभावित उपसमूहों को व्यवस्थित रूप से कम प्रतिनिधित्व करके (गहरे रंग की त्वचा और कथित महिला विशेषताओं वाले आंकड़े)। हम यह भी विचार कर सकते हैं कि क्या इस प्रकार की विफलताएँ हो सकती हैं लोगों को स्वयं की पहचान करने का अवसर न दें प्रॉक्सी द्वारा, इस तथ्य के बावजूद कि छवियां हैं उत्पन्न और वास्तविक व्यक्तियों का प्रतिनिधित्व नहीं करते हैं।

यह ध्यान रखना महत्वपूर्ण है कि स्थिर प्रसार के लिए हगिंगफेस का मॉडल कार्ड v1–4 इस तथ्य को स्वयं प्रकट करता है कि LAION5B और इसलिए मॉडल में प्रशिक्षण उदाहरणों में जनसांख्यिकीय समानता की कमी हो सकती है और इस तरह, प्रशिक्षण वितरण में निहित पूर्वाग्रहों को प्रतिबिंबित कर सकता है (एक सहित) अंग्रेजी, पश्चिमी मानदंडों और प्रणालीगत पश्चिमी इंटरनेट उपयोग पैटर्न पर ध्यान दें)⁵। जैसे, इस अध्ययन के निष्कर्ष अप्रत्याशित नहीं हैं, लेकिन विशिष्ट उपयोग के मामलों पर विचार करने वाले चिकित्सकों के लिए असमानता का पैमाना उपयोगी हो सकता है; उन क्षेत्रों को हाइलाइट करना जहां मॉडल निर्णय लेने से पहले सक्रिय न्यूनीकरण की आवश्यकता हो सकती है।

मेरे में अगला लेख मैं निपट लूंगा उद्देश्य #2: मात्रात्मक जांच आंकड़ों की अशुद्धि स्थिर प्रसार के पीछे LAION5B डेटासेट में, और इसके परिणामों के विरुद्ध इसकी तुलना करना उद्देश्य #1.

1. मशीन लर्निंग शब्दावली: निष्पक्षता, 2022, गूगल
2. मोंक स्किन टोन स्केल का उपयोग करना शुरू करें, 2022, गूगल
3. अध्ययन से उत्पन्न छवियां, 2022, डैनी थेरॉन
4. अध्ययन से कोड, 2022, डैनी थेरॉन
5. स्थिर प्रसार v1–4, 2022, Stability.ai और हगिंगफेस
6. LAION5B क्लिप पुनर्प्राप्ति दृश्यपटल, 2022, रोमेन ब्यूमोंट
7. अध्ययन से रैटर समीक्षा परिणाम, 2022, डैनी थेरॉन
8. छवि टैगिंग में प्रतिनिधिक हार्म्स, 2021, जारेड काट्ज़मैन एट अल।

इस लेख पर उनकी विचारशील और मेहनती समीक्षा और प्रतिक्रिया के लिए जुआन यांग और [समीक्षक की लंबित सहमति] का धन्यवाद।

जेंडर, स्किन टोन और इंटरसेक्शनल ग्रुप्स में अनफेयर बायस इन जेनरेटेड स्टेबल डिफ्यूजन इमेजेस सोर्स से रिपब्लिश किया गया images-dabb1db36a82?source=rss—-7f60cf5620c9—4 https://towardsdatascience.com/feed के माध्यम से

<!–

->