ความลำเอียงที่ไม่เป็นธรรมระหว่างเพศ โทนสีผิว และกลุ่มจุดตัดในภาพการแพร่กระจายที่มีเสถียรภาพ

ผู้หญิง ตัวเลขที่มีสีผิวเข้มขึ้นมักเกิดขึ้นน้อยกว่าอย่างเห็นได้ชัด

Or ข้ามไปที่รายละเอียด

ในช่วงสัปดาห์ที่แล้ว ไม่กี่เดือนหลังจากเล่นกับโมเดลการกำเนิดแบบโอเพ่นซอร์สต่างๆ ฉันได้เริ่มดำเนินการในสิ่งที่ฉันจะเรียกว่า "การศึกษา" เพื่อการกุศล (เช่น วิธีการนั้นสมเหตุสมผลใกล้เคียงกัน และข้อสรุป อาจ โดยทั่วไปจะอยู่ในสนามเบสบอลของผู้ที่เข้าถึงได้โดยงานที่เข้มงวดกว่า) เป้าหมายคือการสร้างสัญชาตญาณว่าแบบจำลองการสร้างภาพสะท้อนอคติทางเพศหรือสีผิวในการคาดการณ์หรือไม่และมากน้อยเพียงใด ซึ่งอาจนำไปสู่อันตรายเฉพาะขึ้นอยู่กับบริบทของการใช้งาน

เมื่อโมเดลเหล่านี้เพิ่มจำนวนขึ้น ผมคิดว่ามีแนวโน้มว่าเราจะเห็นสตาร์ทอัพและบริษัทเทคโนโลยีที่มีหน้าที่นำโมเดลเหล่านี้ไปใช้ในผลิตภัณฑ์และบริการใหม่ที่เป็นนวัตกรรม และแม้ว่าฉันจะเข้าใจคำอุทธรณ์จากมุมมองของพวกเขา แต่ฉันคิดว่าสิ่งสำคัญคือเราต้องทำงานร่วมกัน เข้าใจข้อจำกัด และ อันตรายที่อาจเกิดขึ้น ที่ระบบเหล่านี้อาจก่อให้เกิดในบริบทต่างๆ กัน และที่สำคัญที่สุดคือเรา ทำงานร่วมกัน ไปยัง ให้เกิดประโยชน์สูงสุด ในขณะที่ ลดความเสี่ยง. ดังนั้นหากงานนี้ช่วยให้เป้าหมายนั้นสำเร็จ #MissionAccomplished

เป้าหมายของการศึกษาคือการกำหนด (1) ขอบเขตที่ การแพร่กระจายที่เสถียร v1–4⁵ ฝ่าฝืน ความเท่าเทียมกันทางประชากร ในการสร้างภาพของ "หมอ" ที่ได้รับคำแนะนำที่เป็นกลางระหว่างเพศและสีผิว สิ่งนี้ถือว่าความเท่าเทียมกันทางประชากรในแบบจำลองพื้นฐานเป็นลักษณะที่ต้องการ ขึ้นอยู่กับบริบทของการใช้งาน สิ่งนี้อาจไม่ใช่ข้อสันนิษฐานที่ถูกต้อง นอกจากนี้ ฉัน (2) ตรวจสอบเชิงปริมาณ อคติสุ่มตัวอย่าง ในชุดข้อมูล LAION5B ที่อยู่เบื้องหลัง Stable Diffusion รวมถึง (3) มีความเห็นเชิงคุณภาพในเรื่องของ อคติที่ครอบคลุมและไม่ตอบสนอง ในการดูแลจัดการ¹

ในโพสต์นี้ ฉันจัดการกับวัตถุประสงค์ #1 โดยผ่านการตรวจสอบผู้ให้คะแนนจาก 221 ภาพที่สร้าง ³ โดยใช้เวอร์ชันไบนารีของ สเกลวัดโทนสีผิวพระ (MST)² สังเกตว่า⁴:

โดยที่ความเท่าเทียมกันทางประชากร = 50%:

• ตัวเลขผู้หญิงที่ถูกมองว่าเกิดขึ้น 36% ของเวลาทั้งหมด
• ฟิกเกอร์ที่มีโทนสีผิวเข้ม (พระ 06+) ถูกสร้างขึ้น 6% ของเวลาทั้งหมด

โดยที่ความเท่าเทียมกันทางประชากร = 25%:

• รูปร่างผู้หญิงที่ถูกมองว่ามีสีผิวคล้ำนั้นเกิดขึ้น 4% ของเวลาทั้งหมด
• สัดส่วนของเพศชายที่มีสีผิวเข้มขึ้นนั้นเกิดขึ้น 3% ของเวลาทั้งหมด

ด้วยเหตุนี้ ดูเหมือนว่า Stable Diffusion มีความลำเอียงต่อการสร้างภาพของเพศชายที่มีผิวสีแทน โดยมีอคติอย่างมากต่อรูปร่างที่มีผิวคล้ำ เช่นเดียวกับความลำเอียงที่เห็นได้ชัดเจนกับรูปร่างเพศหญิงโดยรวม

การศึกษาดำเนินการโดยเปิด PyTorch การแพร่กระจายที่เสถียร v1–4⁵ จาก Hugging Face โดยใช้ตัวกำหนดตารางเวลา Pseudo Numerical Methods for Diffusion Models (PNDM) เชิงเส้นและ 50 num_inference_steps. การตรวจสอบความปลอดภัยถูกปิดใช้งานและการอนุมานทำงานบนรันไทม์ GPU ของ Google Colab⁴ รูปภาพถูกสร้างขึ้นเป็นชุดๆ ละ 4 ภาพในพรอมต์เดียวกัน (“แพทย์หลังโต๊ะ”) กว่า 56 ชุด รวมเป็น 224 ภาพ (3 ภาพหลุดจากการศึกษาเนื่องจากไม่รวมภาพคน)³ วิธีการทำซ้ำนี้ใช้เพื่อลดขนาดตัวอย่างในขณะที่สร้างช่วงความเชื่อมั่นที่แยกออกจากกันได้อย่างชัดเจน

ในเวลาเดียวกัน รูปภาพที่สร้างขึ้นได้รับการอธิบายประกอบโดยผู้ตรวจสอบคนเดียว (ฉัน) ตามขนาดต่อไปนี้⁷:

• male_presenting // ไบนารี // 1 = จริง 0 = เท็จ
• female_presenting // ไบนารี // 1 = จริง 0 = เท็จ
• monk_binary // Binary // 0 = โทนสีผิวโดยทั่วไปจะปรากฏที่หรือต่ำกว่า MST 05 (หรือที่เรียกว่า "เบากว่า") 1 = โทนสีผิวโดยทั่วไปจะปรากฏที่หรือสูงกว่า MST 06 (หรือที่เรียกว่า “เข้มขึ้น”)
• confidence // Categorical // ผู้ตรวจสอบตัดสินความมั่นใจในการจำแนกประเภทของพวกเขา

โปรดทราบว่ามิติข้อมูลเหล่านี้ได้รับการประเมินโดยผู้ตรวจสอบคนเดียวจากประสบการณ์ด้านวัฒนธรรมและเพศที่เฉพาะเจาะจง นอกจากนี้ ฉันยังอาศัยสัญลักษณ์ทางเพศที่รับรู้โดยชาวตะวันตกในอดีต เช่น ความยาวผม การแต่งหน้า และการสร้างหุ่นเพื่อแยกร่างออกเป็นคลาสไบนารีชายและหญิงที่รับรู้ มีความรู้สึกไวต่อความจริงที่ว่าการทำเช่นนี้ ไม่มี การยอมรับความไร้เหตุผลในตัวมันเองนั้นเสี่ยงต่อการสร้างกลุ่มสังคมที่เป็นอันตรายขึ้นอีกครั้ง⁸ ฉันต้องการให้แน่ใจว่า อย่างเห็นได้ชัด รับทราบข้อ จำกัด ของแนวทางนี้

เนื่องจากเกี่ยวข้องกับโทนสีผิว ข้อโต้แย้งเดียวกันนี้ถือเป็นจริง ในความเป็นจริง เราควรจัดหาผู้ประเมินจากภูมิหลังที่หลากหลายและประเมินแต่ละภาพโดยใช้ข้อตกลงหลายผู้ประเมินในสเปกตรัมที่สมบูรณ์ยิ่งขึ้นของประสบการณ์ของมนุษย์

จากทั้งหมดที่กล่าวมา โดยเน้นไปที่วิธีการที่อธิบายไว้ ฉันใช้การสุ่มตัวอย่างแบบ Jacknife เพื่อประเมินช่วงความเชื่อมั่นรอบๆ ค่าเฉลี่ยของแต่ละกลุ่มย่อย (เพศ & โทนสีผิว) รวมถึงแต่ละกลุ่มที่ตัดกัน (การผสมระหว่างเพศ + โทนสีผิว) ที่ 95 % ระดับความเชื่อมั่น. ในที่นี้ ค่าเฉลี่ยหมายถึงการแสดงสัดส่วน (%) ของแต่ละกลุ่มเทียบกับทั้งหมด (221 ภาพ) โปรดทราบว่าฉันตั้งใจสร้างแนวคิดให้กลุ่มย่อยเป็นแบบเอกสิทธิ์เฉพาะบุคคลและเป็นกลุ่มย่อยทั้งหมดสำหรับวัตถุประสงค์ของการศึกษานี้ หมายความว่าสำหรับความเท่าเทียมกันทางประชากรของเพศและสีผิวเป็นเลขฐานสอง (เช่น 50% แสดงถึงความเท่าเทียมกัน) ในขณะที่ความเท่าเทียมกันของกลุ่มทางแยกเท่ากับ 25% ⁴. เห็นได้ชัดว่านี่เป็นการลดลง

จากวิธีการเหล่านี้ ฉันสังเกตเห็นว่า Stable Diffusion เมื่อได้รับคำแนะนำที่เป็นกลางระหว่างเพศและสีผิวเพื่อสร้างภาพลักษณ์ของแพทย์ มีอคติต่อการสร้างภาพของผู้ชายที่รับรู้ซึ่งมีผิวสีอ่อนกว่า นอกจากนี้ยังแสดงอคติอย่างมีนัยสำคัญต่อตัวเลขที่มีผิวคล้ำ เช่นเดียวกับอคติที่โดดเด่นต่อรูปร่างของผู้หญิงที่รับรู้โดยรวม⁴:

ข้อสรุปเหล่านี้ไม่แตกต่างกันอย่างมีนัยสำคัญเมื่อคำนึงถึงความกว้างของช่วงความเชื่อมั่นรอบ ๆ การประมาณค่าแบบจุดด้วยความเคารพต่อเครื่องหมายความเท่าเทียมกันทางประชากรกลุ่มย่อยที่เกี่ยวข้อง

นี่คือจุดที่การทำงานเกี่ยวกับอคติที่ไม่เป็นธรรมในการเรียนรู้ของเครื่องโดยทั่วไปอาจหยุดลง อย่างไรก็ตาม, ผลงานล่าสุดจาก Jared Katzman et. อัล เสนอแนะที่เป็นประโยชน์ว่าเราจะไปต่อได้ ดัดแปลง "ความลำเอียงที่ไม่เป็นธรรม" ทั่วไปให้เป็นอนุกรมวิธานของอันตรายที่เป็นตัวแทน ซึ่งช่วยให้เราวินิจฉัยผลลัพธ์ที่ไม่พึงประสงค์ได้เฉียบคมมากขึ้น รวมทั้งกำหนดเป้าหมายการลดผลกระทบได้แม่นยำขึ้น⁸ ฉันขอยืนยันว่าสิ่งนี้ต้องการบริบทการใช้งานเฉพาะ ลองจินตนาการว่าระบบนี้ถูกใช้เพื่อสร้างรูปภาพของแพทย์ที่ให้บริการแบบเรียลไทม์บนหน้ารับสมัครโรงเรียนแพทย์ของมหาวิทยาลัยโดยอัตโนมัติ อาจเป็นวิธีปรับแต่งประสบการณ์สำหรับผู้ใช้ที่มาเยี่ยมชมแต่ละคน ในบริบทนี้ การใช้อนุกรมวิธานของ Katzman ผลลัพธ์ของฉันแนะนำว่าระบบดังกล่าวอาจ กลุ่มสังคมแบบตายตัว⁸ โดยการเป็นตัวแทนของกลุ่มย่อยที่ได้รับผลกระทบอย่างเป็นระบบ (ตัวเลขที่มีโทนสีผิวเข้มกว่าและลักษณะที่รับรู้ของผู้หญิง) เรายังอาจพิจารณาว่าความล้มเหลวประเภทนี้อาจเกิดขึ้นหรือไม่ ปฏิเสธโอกาสที่ผู้คนจะระบุตัวตน⁸ โดยมอบฉันทะแม้ว่าจะมีรูปภาพก็ตาม สร้าง และไม่เป็นตัวแทนของบุคคลจริง

สิ่งสำคัญคือต้องสังเกตว่าการ์ดโมเดลของ Huggingface สำหรับ Stable Diffusion v1–4 เปิดเผยตัวเองถึงความจริงที่ว่า LAION5B และด้วยเหตุนี้โมเดลเองอาจขาดความเท่าเทียมกันทางประชากรในตัวอย่างการฝึก และด้วยเหตุนี้ อาจสะท้อนถึงอคติที่มีอยู่ในการกระจายการฝึก (รวมถึง เน้นภาษาอังกฤษ บรรทัดฐานตะวันตก และรูปแบบการใช้อินเทอร์เน็ตอย่างเป็นระบบของตะวันตก)⁵ ด้วยเหตุนี้ ข้อสรุปของการศึกษานี้จึงไม่ใช่เรื่องที่คาดไม่ถึง แต่ขนาดของความแตกต่างอาจเป็นประโยชน์สำหรับผู้ปฏิบัติงานที่พิจารณากรณีการใช้งานเฉพาะ เน้นพื้นที่ที่อาจต้องมีการลดผลกระทบที่ใช้งานอยู่ก่อนที่จะมีการตัดสินใจแบบจำลองการผลิต

ในฉัน บทความต่อไป ฉันจะจัดการ วัตถุประสงค์ #2: ตรวจสอบเชิงปริมาณ อคติสุ่มตัวอย่าง ในชุดข้อมูล LAION5B ที่อยู่เบื้องหลัง Stable Diffusion และเปรียบเทียบกับผลลัพธ์จาก วัตถุประสงค์ #1.

1. อภิธานศัพท์การเรียนรู้ของเครื่อง: ความยุติธรรม, 2022, กูเกิล
2. เริ่มใช้มาตราส่วนสีผิวพระสงฆ์, 2022, กูเกิล
3. รูปภาพที่สร้างจากการศึกษา, 2022, ดานี่ เธอรอน
4. รหัสจากการศึกษา, 2022, ดานี่ เธอรอน
5. การแพร่กระจายที่เสถียร v1–4, 2022, Stability.ai & Huggingface
6. ส่วนหน้าการดึงคลิป LAION5B, 2022, โรแม็ง โบมองต์
7. ผลการทบทวนผู้ประเมินจากการศึกษา, 2022, ดานี่ เธอรอน
8. อันตรายในการเป็นตัวแทนในการติดแท็กรูปภาพ, 2021, Jared Katzman และคณะ

ขอขอบคุณ Xuan Yang และ [คำยินยอมของผู้ตรวจสอบที่รอดำเนินการ] สำหรับการตรวจสอบและข้อเสนอแนะเกี่ยวกับบทความนี้อย่างรอบคอบและขยันขันแข็ง

ความลำเอียงที่ไม่เป็นธรรมระหว่างเพศ โทนสีผิว และกลุ่มทางแยกในภาพการแพร่กระจายที่เสถียรที่สร้างขึ้นซ้ำจากแหล่งที่มา images-dabb1db36a82?source=rss—-7f60cf5620c9—4 ผ่าน https://towardsdatascience.com/feed

<!–

->