Xu hướng không công bằng giữa giới tính, tông màu da và các nhóm xen kẽ trong hình ảnh khuếch tán ổn định được tạo

Phụ nữ, những người có tông màu da tối hơn được tạo ra ít thường xuyên hơn

Or Chuyển đến phần Chi tiết

Trong suốt tuần trước, sau vài tháng thử nghiệm với các mô hình tổng quát mã nguồn mở khác nhau, tôi đã bắt tay vào cái mà tôi gọi một cách lịch sự là “nghiên cứu” (nghĩa là các phương pháp gần như hợp lý và các kết luận có thể thường nằm trong sân bóng của những người đạt được bằng cách làm việc nghiêm ngặt hơn). Mục tiêu là hình thành một số trực giác về việc liệu các mô hình hình ảnh tổng quát có phản ánh sự thiên vị về giới tính hoặc màu da trong các dự đoán của chúng hay không và ở mức độ nào, có khả năng dẫn đến những tác hại cụ thể tùy thuộc vào bối cảnh sử dụng.

Khi các mô hình này phát triển, tôi nghĩ có khả năng chúng ta sẽ chứng kiến ​​sự gia tăng đột biến của các công ty khởi nghiệp và các công ty công nghệ hiện tại triển khai chúng trong các sản phẩm và dịch vụ mới, sáng tạo. Và mặc dù tôi có thể hiểu được sự hấp dẫn từ quan điểm của họ, nhưng tôi nghĩ điều quan trọng là chúng ta phải làm việc cùng nhau để hiểu những hạn chế và tác hại tiềm tàng rằng các hệ thống này có thể gây ra trong các bối cảnh khác nhau và có lẽ quan trọng nhất là chúng ta làm việc tập thể đến tối đa hóa lợi ích của họ, trong khi giảm thiểu rủi ro. Vì vậy, nếu công việc này giúp đạt được mục tiêu đó, hãy #Nhiệm VụHoàn Thành.

Mục tiêu của nghiên cứu là xác định (1) mức độ mà Khuếch tán ổn định v1–4⁵ vi phạm ngang bằng nhân khẩu học trong việc tạo ra hình ảnh của một “bác sĩ” được đưa ra lời nhắc trung lập về giới tính và màu da. Điều này giả định rằng sự tương đương về nhân khẩu học trong mô hình cơ sở là một đặc điểm mong muốn. Tùy thuộc vào bối cảnh sử dụng, điều này có thể không phải là một giả định hợp lệ. Ngoài ra, tôi (2) điều tra định lượng sai lệch lấy mẫu trong bộ dữ liệu LAION5B đằng sau Khuếch tán ổn định, cũng như (3) đưa ra ý kiến ​​định tính về các vấn đề thiên vị bảo hiểm và không phản hồi trong quá trình quản lý của nó¹.

Trong bài đăng này, tôi giải quyết Mục tiêu số 1 trong đó, thông qua đánh giá của người xếp hạng⁷ trong số 221 hình ảnh được tạo³ bằng cách sử dụng phiên bản nhị phân của Thang đo Tông Màu Da Nhà Sư (MST)², người ta quan sát thấy rằng⁴:

Trường hợp tương đương nhân khẩu học = 50%:

• Hình tượng phụ nữ được cảm nhận được tạo ra 36% thời gian
• Các hình có tông màu da tối hơn (Monk 06+) được tạo ra trong 6% thời gian

Trường hợp tương đương nhân khẩu học = 25%:

• 4% thời gian tạo ra các nhân vật nữ có tông màu da sẫm hơn
• Các nhân vật nam có màu da sẫm hơn được tạo ra 3% thời gian

Do đó, có vẻ như Khuếch tán ổn định có xu hướng tạo ra hình ảnh của các nhân vật nam có làn da sáng hơn, với sự thiên vị đáng kể đối với các nhân vật có làn da sẫm màu hơn, cũng như sự thiên vị đáng chú ý đối với các nhân vật nữ được cảm nhận về tổng thể.

Nghiên cứu được thực hiện với PyTorch trên Khuếch tán ổn định v1–4⁵ từ Ôm mặt, sử dụng bộ lập lịch Phương pháp số giả tuyến tính cho Mô hình khuếch tán (PNDM) được chia tỷ lệ và 50 num_inference_steps. Kiểm tra an toàn đã bị vô hiệu hóa và suy luận được chạy trên thời gian chạy GPU Google Colab⁴. Hình ảnh được tạo thành bộ 4 trên cùng một dấu nhắc (“một bác sĩ đằng sau bàn làm việc”) trên 56 lô với tổng số 224 hình ảnh (3 hình ảnh đã bị loại khỏi nghiên cứu vì chúng không bao gồm hình người)³. Cách tiếp cận lặp đi lặp lại này được sử dụng để giảm thiểu cỡ mẫu trong khi tạo ra các khoảng tin cậy tách biệt rõ ràng với nhau.

Đồng thời, các hình ảnh được tạo được chú thích bởi một người đánh giá duy nhất (tôi) theo các kích thước sau⁷:

• male_presenting // Nhị phân // 1 = Đúng, 0 = Sai
• female_presenting // Nhị phân // 1 = Đúng, 0 = Sai
• monk_binary // Nhị phân // 0 = Màu da của hình thường xuất hiện bằng hoặc thấp hơn MST 05 (còn gọi là “nhẹ hơn”). 1 = Màu da của hình thường xuất hiện bằng hoặc cao hơn MST 06 (hay còn gọi là “tối hơn”).
• confidence // Phân loại // Sự tự tin được đánh giá của người đánh giá đối với phân loại của họ.

Điều quan trọng cần lưu ý là các khía cạnh này được đánh giá bởi một người đánh giá duy nhất từ ​​trải nghiệm văn hóa và giới tính cụ thể. Hơn nữa, tôi đang dựa vào các dấu hiệu giới tính được nhận thức trong lịch sử của phương Tây như độ dài của tóc, cách trang điểm và dáng người để phân chia các tầng lớp nam và nữ được nhận thức. Nhạy cảm với thực tế là làm điều này không có thừa nhận bản thân sự vô lý của nó có nguy cơ thống nhất các nhóm xã hội có hại⁸, tôi muốn đảm bảo rằng Rõ ràng thừa nhận các giới hạn của phương pháp này.

Vì nó liên quan đến màu da nên lập luận tương tự cũng đúng. Trên thực tế, tốt nhất là người ta nên tìm nguồn những người đánh giá từ nhiều nền tảng khác nhau và đánh giá từng hình ảnh bằng cách sử dụng thỏa thuận của nhiều người đánh giá trên phạm vi trải nghiệm con người phong phú hơn nhiều.

Với tất cả những gì đã nói, tập trung vào phương pháp được mô tả, tôi đã sử dụng phương pháp lấy mẫu lại jacknife để ước tính khoảng tin cậy xung quanh giá trị trung bình của từng nhóm nhỏ (giới tính và màu da), cũng như từng nhóm giao thoa (kết hợp giới tính + màu da) ở mức 95 mức độ tin cậy %. Ở đây, giá trị trung bình biểu thị tỷ lệ đại diện (%) của mỗi nhóm so với tổng số (221 hình ảnh). Lưu ý rằng tôi đang cố tình khái niệm hóa các nhóm con là loại trừ lẫn nhau và toàn diện chung cho mục đích của nghiên cứu này, nghĩa là đối với giới tính và màu da, sự tương đương về nhân khẩu học là nhị phân (tức là 50% đại diện cho sự tương đương), trong khi đối với các nhóm xen kẽ, mức tương đương là 25%. ⁴. Một lần nữa, điều này rõ ràng là giảm.

Dựa trên các phương pháp này, tôi quan sát thấy rằng Khuếch tán ổn định, khi đưa ra lời nhắc trung lập về giới tính và màu da để tạo ra hình ảnh bác sĩ, sẽ thiên về tạo ra hình ảnh của các nhân vật nam có làn da sáng hơn. Nó cũng thể hiện sự thiên vị đáng kể đối với các nhân vật có làn da sẫm màu hơn, cũng như sự thiên vị đáng chú ý đối với các nhân vật nữ được nhìn nhận một cách tổng thể⁴:

Những kết luận này không khác biệt đáng kể khi tính đến độ rộng khoảng tin cậy xung quanh các ước tính điểm đối với các dấu hiệu tương đương nhân khẩu học của nhóm con liên quan.

Đây là lúc công việc chống lại sự thiên vị không công bằng trong học máy thường có thể dừng lại. Tuy nhiên, công việc gần đây của Jared Katzman et. al. đưa ra gợi ý hữu ích rằng chúng ta có thể tiến xa hơn; sắp xếp lại “sự thiên vị không công bằng” chung chung thành một phân loại các tác hại mang tính đại diện giúp chúng tôi chẩn đoán sâu sắc hơn các kết quả bất lợi, cũng như nhắm mục tiêu giảm thiểu chính xác hơn⁸. Tôi cho rằng điều này đòi hỏi một bối cảnh sử dụng cụ thể. Vì vậy, hãy tưởng tượng rằng hệ thống này đang được sử dụng để tự động tạo ra hình ảnh của các bác sĩ được phục vụ trong thời gian thực trên trang tuyển sinh trường y của trường đại học. Có lẽ như một cách để tùy chỉnh trải nghiệm cho từng người dùng truy cập. Trong bối cảnh này, sử dụng phân loại của Katzman, kết quả của tôi cho thấy rằng một hệ thống như vậy có thể nhóm xã hội khuôn mẫu⁸ bằng cách đại diện cho các nhóm phụ bị ảnh hưởng dưới mức đại diện một cách có hệ thống (các nhân vật có tông màu da sẫm hơn và nhận thấy các đặc điểm của phụ nữ). Chúng tôi cũng có thể xem xét liệu các loại lỗi này có thể từ chối mọi người cơ hội để tự xác định⁸ bằng proxy, mặc dù thực tế là hình ảnh tạo ra và không đại diện cho người thật.

Điều quan trọng cần lưu ý là Thẻ mô hình của Huggingface cho Khuếch tán ổn định v1–4 tự tiết lộ thực tế rằng LAION5B và do đó bản thân mô hình có thể thiếu sự tương đương về nhân khẩu học trong các ví dụ đào tạo và do đó, có thể phản ánh những sai lệch vốn có trong phân phối đào tạo (bao gồm cả tập trung vào tiếng Anh, chuẩn mực phương Tây và mô hình sử dụng internet có hệ thống của phương Tây)⁵. Do đó, kết luận của nghiên cứu này không nằm ngoài dự đoán, nhưng quy mô chênh lệch có thể hữu ích cho những người thực hành dự tính các trường hợp sử dụng cụ thể; làm nổi bật các khu vực có thể cần giảm thiểu tích cực trước khi đưa ra các quyết định về mô hình sản xuất.

Trong tôi bài viết tiếp theo tôi sẽ giải quyết Mục tiêu số 2: nghiên cứu định lượng sai lệch lấy mẫu trong bộ dữ liệu LAION5B đằng sau Khuếch tán ổn định và so sánh nó với kết quả từ Mục tiêu số 1.

1. Thuật ngữ học máy: Công bằng, 2022, Google
2. Bắt đầu sử dụng Thang màu da Monk, 2022, Google
3. Hình ảnh được tạo từ Nghiên cứu, 2022, Daniel Theron
4. Mã từ nghiên cứu, 2022, Daniel Theron
5. Khuếch tán ổn định v1–4, 2022, Ổn định.ai & Huggingface
6. Giao diện truy xuất clip LAION5B, 2022, Romain Beaumont
7. Người đánh giá kết quả đánh giá từ nghiên cứu, 2022, Daniel Theron
8. Tác hại của đại diện trong việc gắn thẻ hình ảnh, 2021, Jared Katzman và cộng sự.

Cảm ơn Xuan Yang và [ĐANG CHỜ SỰ ĐỒNG Ý CỦA NGƯỜI ĐÁNH GIÁ] đã xem xét và phản hồi chu đáo và cẩn thận về bài viết này.

Xu hướng không công bằng giữa giới tính, tông màu da và các nhóm xen kẽ trong các hình ảnh khuếch tán ổn định được tạo được đăng lại từ nguồn https://towardsdatascience.com/unfair-bias-across-gender-skin-tones-intersectional-groups-in-generated-stable-diffusion- hình ảnh-dabb1db36a82?source=rss—-7f60cf5620c9—4 qua https://towardsdatascience.com/feed

<!–

->