التحيز غير العادل عبر الجنس ولون البشرة والمجموعات المتقاطعة في صور الانتشار المستقرة المتولدة

النساء ، الشخصيات ذات البشرة الداكنة تتولد بشكل أقل بشكل ملحوظ

Or تخطي إلى التفاصيل

على مدار الأسبوع الماضي ، وبعد بضعة أشهر من اللعب مع العديد من النماذج التوليدية مفتوحة المصدر ، شرعت في ما سأطلق عليه اسم "دراسة" (أي الطرق معقولة تقريبًا ، والاستنتاجات قد بشكل عام في ملعب كرة القدم لأولئك الذين تم الوصول إليهم من خلال عمل أكثر صرامة). والهدف من ذلك هو تكوين بعض الحدس لمعرفة ما إذا كانت نماذج الصور التوليدية تعكس تحيزات الجنس أو لون البشرة في تنبؤاتها وإلى أي مدى ، مما قد يؤدي إلى أضرار محددة اعتمادًا على سياق الاستخدام.

مع انتشار هذه النماذج ، أعتقد أنه من المحتمل أن نرى موجة من الشركات الناشئة وشركات التكنولوجيا الحالية تنشرها في منتجات وخدمات جديدة ومبتكرة. وبينما يمكنني فهم النداء من وجهة نظرهم ، أعتقد أنه من المهم أن نعمل معًا فهم القيود و أضرار محتملة أن هذه الأنظمة قد تتسبب في سياقات متنوعة ، وربما الأهم من ذلك ، أننا العمل الجماعي إلى تعظيم فوائدها ، في حين تقليل المخاطر. لذا ، إذا كان هذا العمل يساعد في تعزيز هذا الهدف ، #MissionAccomplished.

كان الهدف من الدراسة هو تحديد (1) إلى أي مدى انتشار مستقر v1-4⁵ ينتهك التكافؤ الديموغرافي في توليد صور "طبيب" مع توجيه موجه محايد للجنس ولون البشرة. هذا يفترض أن التكافؤ الديموغرافي في النموذج الأساسي هو سمة مرغوبة. اعتمادًا على سياق الاستخدام ، قد لا يكون هذا افتراضًا صحيحًا. بالإضافة إلى ذلك ، أنا (2) أبحث كميا أخذ العينات التحيز في مجموعة بيانات LAION5B وراء Stable Diffusion ، وكذلك (3) رأي نوعيًا في مسائل التحيز في التغطية وعدم الاستجابة في تنظيمها¹.

في هذا المنشور أتعامل مع الهدف رقم 1 حيث ، من خلال مراجعة المقيم - من 221 صورة تم إنشاؤها - باستخدام نسخة ثنائية من مقياس درجة لون بشرة الراهب (MST)² ، لوحظ ما يلي:

حيث التكافؤ الديمغرافي = 50٪:

• يتم إنتاج الشخصيات النسائية المتصورة 36 ​​٪ من الوقت
• يتم إنتاج الشخصيات ذات البشرة الداكنة (Monk 06+) بنسبة 6٪ من الوقت

حيث التكافؤ الديمغرافي = 25٪:

• يتم إنتاج الأشكال الأنثوية الملحوظة ذات البشرة الداكنة بنسبة 4 ٪ من الوقت
• يتم إنتاج أشكال الذكور الملحوظة ذات البشرة الداكنة بنسبة 3 ٪ من الوقت

على هذا النحو ، يبدو أن الانتشار المستقر متحيز نحو توليد صور لأشكال ذكور متصورة ذات بشرة أفتح ، مع تحيز كبير ضد الأشكال ذات البشرة الداكنة ، بالإضافة إلى تحيز ملحوظ ضد الأشكال الأنثوية المتصورة بشكل عام.

تم إجراء الدراسة باستخدام PyTorch الانتشار المستقر v1–4⁵ من Hugging Face ، باستخدام الطرق العددية الزائفة الخطية المقاسة لنماذج الانتشار (PNDM) و 50 num_inference_steps. تم تعطيل فحوصات الأمان وتم تشغيل الاستدلال على Google Colab GPU runtime⁴. تم إنشاء الصور في مجموعات من 4 في نفس الموجه ("طبيب خلف مكتب”) أكثر من 56 دفعة لما مجموعه 224 صورة (تم إسقاط 3 من الدراسة لأنها لا تتضمن أرقامًا بشرية) ³. تم استخدام هذا النهج التكراري لتقليل حجم العينة مع إنتاج فترات ثقة يمكن فصلها بوضوح عن بعضها البعض.

في الوقت نفسه ، تم وضع تعليقات توضيحية للصور التي تم إنشاؤها بواسطة مراجع واحد (أنا) على طول الأبعاد التالية⁷:

• male_presenting // ثنائي // 1 = صحيح ، 0 = خطأ
• female_presenting // ثنائي // 1 = صحيح ، 0 = خطأ
• monk_binary // ثنائي // 0 = لون بشرة الشكل يظهر بشكل عام عند MST 05 أو أقل منه (ويعرف أيضًا باسم "أفتح"). 1 = لون بشرة الشكل يظهر بشكل عام عند MST 06 أو أعلى (ويعرف أيضًا باسم "أغمق").
• confidence // فئوي // ثقة المراجع في تصنيفاتها.

من المهم ملاحظة أن هذه الأبعاد تم تقييمها من قبل مراجع واحد من تجربة ثقافية وجنسية محددة. علاوة على ذلك ، أنا أعتمد على الإشارات الجنسانية المتصورة تاريخيًا في الغرب مثل طول الشعر والماكياج وبناء شخصيات بن في فصول ثنائية للذكور والإناث. أن تكون حساسًا لحقيقة القيام بذلك بدون إن الاعتراف بعبثيتها في حد ذاتها يهدد بتجسيد مجموعات اجتماعية ضارة ، أريد أن أتأكد من ذلك بوضوح الاعتراف بحدود هذا النهج.

فيما يتعلق بلون البشرة ، فإن نفس الحجة صحيحة. في الواقع ، يُفضل الحصول على المراجعين من خلفيات متنوعة وتقييم كل صورة باستخدام اتفاق متعدد المقيمين عبر طيف أكثر ثراءً من التجربة البشرية.

مع كل ما قيل ، مع التركيز على النهج الموصوف ، استخدمت إعادة تشكيل jacknife لتقدير فترات الثقة حول متوسط ​​كل مجموعة فرعية (الجنس ولون البشرة) ، بالإضافة إلى كل مجموعة متقاطعة (الجنس + تركيبات لون البشرة) عند 95 ٪ مستوى الثقة. هنا ، يشير المتوسط ​​إلى التمثيل النسبي (٪) لكل مجموعة مقابل الإجمالي (221 صورة). لاحظ أنني أقوم بتصور المجموعات الفرعية عن قصد على أنها حصرية وشاملة بشكل جماعي لأغراض هذه الدراسة ، مما يعني أن التكافؤ الديموغرافي للجنس ولون البشرة هو ثنائي (أي أن 50٪ يمثل التكافؤ) ، بينما بالنسبة للمجموعات المتقاطعة ، فإن التكافؤ يساوي 25٪ ⁴. مرة أخرى ، من الواضح أن هذا اختزالي.

بناءً على هذه الأساليب ، لاحظت أن الانتشار المستقر ، عند إعطائه موجهًا محايدًا بين الجنسين ولون البشرة لإنتاج صورة للطبيب ، يكون متحيزًا نحو إنشاء صور لأشكال ذكور متصورة ذات بشرة أفتح. كما يُظهر تحيزًا كبيرًا ضد الأشكال ذات البشرة الداكنة ، بالإضافة إلى تحيز ملحوظ ضد الشخصيات النسائية بشكل عام⁴:

لا تختلف هذه الاستنتاجات جوهريًا عند حساب عروض فاصل الثقة حول تقديرات النقاط فيما يتعلق بعلامات التكافؤ الديمغرافي للمجموعة الفرعية.

هذا هو المكان الذي قد يتوقف فيه العمل على التحيز غير العادل في التعلم الآلي. لكن، العمل الأخير من جاريد كاتزمان وآخرون. آل. يقدم اقتراحًا مفيدًا بأننا قد نذهب إلى أبعد من ذلك ؛ إعادة صياغة "التحيز غير العادل" العام في تصنيف للأضرار التمثيلية التي تساعدنا على تشخيص النتائج السلبية بشكل أكثر حدة ، فضلاً عن استهداف عمليات التخفيف بدقة أكبر. أنا أزعم أن هذا يتطلب سياق محدد للاستخدام. لذلك ، دعونا نتخيل أن هذا النظام يتم استخدامه تلقائيًا لإنشاء صور للأطباء يتم تقديمها في الوقت الفعلي على صفحة القبول في كلية الطب بالجامعة. ربما كطريقة لتخصيص التجربة لكل مستخدم زائر. في هذا السياق ، وباستخدام تصنيف كاتزمان ، تشير نتائجي إلى أن مثل هذا النظام قد يكون كذلك المجموعات الاجتماعية النمطية⁸ من خلال تمثيل المجموعات الفرعية المتأثرة بشكل ناقص (الأشكال ذات البشرة الداكنة والخصائص الأنثوية المتصورة). قد نفكر أيضًا فيما إذا كانت هذه الأنواع من الإخفاقات قد تكون كذلك حرمان الناس من فرصة التعرف على أنفسهم بالوكالة ، على الرغم من حقيقة أن الصور ولدت ولا يمثلون أشخاصًا حقيقيين.

من المهم ملاحظة أن نموذج بطاقة Huggingface للانتشار المستقر الإصدار 1-4 يكشف عن حقيقة أن LAION5B وبالتالي النموذج نفسه قد يفتقر إلى التكافؤ الديموغرافي في أمثلة التدريب ، وبالتالي ، قد يعكس التحيزات المتأصلة في توزيع التدريب (بما في ذلك التركيز على اللغة الإنجليزية والمعايير الغربية وأنماط استخدام الإنترنت الغربية النظامية) ⁵. على هذا النحو ، فإن استنتاجات هذه الدراسة ليست غير متوقعة ، ولكن حجم التباين قد يكون مفيدًا للممارسين الذين يفكرون في حالات استخدام محددة ؛ تسليط الضوء على المجالات التي قد تكون فيها عمليات التخفيف النشطة مطلوبة قبل إنتاج قرارات النموذج.

في بلدي المادة القادمة سوف أعالج الهدف رقم 2: التحقيق الكمي أخذ العينات التحيز في مجموعة بيانات LAION5B خلف Stable Diffusion ، ومقارنتها بالنتائج من الهدف رقم 1.

1. مسرد تعلم الآلة: الإنصاف، 2022 ، جوجل
2. ابدأ في استخدام مقياس لون البشرة الراهب، 2022 ، جوجل
3. ولدت الصور من الدراسة، 2022 ، داني ثيرون
4. كود من الدراسة، 2022 ، داني ثيرون
5. انتشار مستقر v1-4، 2022 ، Stability.ai & Huggingface
6. واجهة استرجاع المقطع LAION5B، 2022 ، رومان بومونت
7. نتائج مراجعة Rater من الدراسة، 2022 ، داني ثيرون
8. الأضرار التمثيلية في وضع العلامات على الصور، 2021 ، جاريد كاتزمان وآخرون.

شكرًا لـ Xuan Yang و [موافقة المراجع المعلقة] لمراجعتهم المتعمقة والدؤوبة وتعليقاتهم على هذه المقالة.

التحيز غير العادل عبر الجنس ولون البشرة والمجموعات المتقاطعة في صور الانتشار المستقر المتولدة المعاد نشرها من المصدر https://towardsdatascience.com/unfair-bias-across-gender-skin-tones-intersectional-groups-in-generated-stable-diffusion- images-dabb1db36a82؟ source = rss—- 7f60cf5620c9—4 عبر https://towardsdatascience.com/feed

<!–

->