여성, 어두운 피부 톤의 인물이 훨씬 덜 자주 생성됨
Or 세부 정보로 건너뛰기
지난 주 동안 다양한 오픈 소스 생성 모델을 가지고 놀아본 몇 달 후 저는 자비롭게 "연구"라고 부르는 작업에 착수했습니다(즉, 방법은 거의 합리적이며 결론은 ５월 일반적으로 더 엄격한 작업을 통해 도달한 사람들의 야구장에 있습니다). 목표는 생성 이미지 모델이 예측에 성별 또는 피부 톤 편향을 반영하는지 여부와 그 정도에 대한 직관을 형성하여 사용 상황에 따라 특정 피해를 유발할 수 있습니다.
이러한 모델이 확산됨에 따라 신생 기업이 급증하고 기존 기술 회사가 새롭고 혁신적인 제품 및 서비스에 모델을 배포하는 것을 보게 될 것입니다. 그리고 저는 그들의 관점에서 매력을 이해할 수 있지만, 우리가 함께 일하는 것이 중요하다고 생각합니다. 한계를 이해하다 과 잠재적 피해 이러한 시스템이 다양한 맥락에서 야기할 수 있으며 아마도 가장 중요한 것은 함께 일하다 에 그들의 이익을 극대화하고, 동안 위험 최소화. 따라서 이 작업이 그 목표를 달성하는 데 도움이 된다면 #MissionAccomplished입니다.
이 연구의 목표는 (1) 안정적인 확산 v1–4⁵ 위반 인구 통계 패리티 성별 및 피부색 중립 프롬프트가 주어지면 "의사"의 이미지를 생성합니다. 이는 기본 모델의 인구학적 패리티가 원하는 특성이라고 가정합니다. 사용 맥락에 따라 이는 유효한 가정이 아닐 수 있습니다. 또한, 나는 (2) 정량적으로 조사합니다. 샘플링 바이어스 Stable Diffusion 뒤에 있는 LAION5B 데이터 세트에서 (3) 적용 범위 및 무응답 편향 그것의 큐레이션¹에서.
이 게시물에서는 목표 #1을 다룹니다. 221개의 생성된 이미지³에 대한 평가자 리뷰⁷를 통해 몽크 스킨 톤(MST) 척도², ⁴:
인구통계학적 동등성 = 50%인 경우:
- 인지된 여성 인물은 36%의 시간 동안 생성됩니다.
- 더 어두운 피부 톤(Monk 06+)을 가진 인물은 6%의 시간 동안 생성됩니다.
인구통계학적 동등성 = 25%인 경우:
- 더 어두운 피부 톤을 가진 인식된 여성 인물은 4%의 시간 동안 생성됩니다.
- 더 어두운 피부 톤을 가진 인식된 남성 인물은 시간의 3% 생성됩니다.
따라서 Stable Diffusion은 더 어두운 피부를 가진 인물에 대한 상당한 편향과 전반적으로 인식된 여성 인물에 대한 현저한 편향과 함께 더 밝은 피부를 가진 인식된 남성 인물의 이미지를 생성하는 쪽으로 편향된 것으로 보입니다.
이 연구는 PyTorch에서 실행되었습니다. 안정적인 확산 v1–Hugging Face의 4⁵, 확장된 선형 PNDM(Pseudo Numerical Methods for Diffusion Models) 스케줄러 및 50 사용 num_inference_steps. 안전 확인이 비활성화되었고 Google Colab GPU 런타임⁴에서 추론이 실행되었습니다. 이미지는 동일한 프롬프트에서 4개 세트로 생성되었습니다("책상 뒤에 의사”) 총 56개의 이미지에 대한 224개 이상의 배치(3개는 인체를 포함하지 않았기 때문에 연구에서 제외됨)³. 이 반복적인 접근 방식을 사용하여 샘플 크기를 최소화하면서 서로 명확하게 분리할 수 있는 신뢰 구간을 생성했습니다.
동시에 생성된 이미지는 단일 검토자(나)가 다음 차원에 따라 주석을 달았습니다.⁷:
male_presenting// 이진수 // 1 = 참, 0 = 거짓female_presenting// 이진수 // 1 = 참, 0 = 거짓monk_binary// 이진법 // 0 = 그림 피부 톤은 일반적으로 MST 05 이하(일명 "밝음")에 나타납니다. 1 = 그림 피부 톤은 일반적으로 MST 06 또는 그 이상에 나타납니다(일명 "더 어둡게").confidence// 범주형 // 리뷰어가 분류에 대해 판단한 신뢰도입니다.
이러한 차원은 특정 문화 및 성별 경험의 단일 검토자가 평가했다는 점에 유의해야 합니다. 또한, 나는 머리 길이, 화장과 같은 역사적으로 서양에서 인식된 성별 단서에 의존하고 있으며, 인지된 이진 남성 및 여성 클래스로 인물을 분류하기 위해 빌드합니다. 한다는 사실에 민감하다. 없이 그 부조리를 인정하는 것 자체가 유해한 사회 집단을 물화하는 위험⁸, 명확하게 이 접근법의 한계를 인정하십시오.
피부 톤과 관련하여 동일한 주장이 적용됩니다. 실제로 다양한 배경의 평가자를 소싱하고 훨씬 더 풍부한 인간 경험 스펙트럼에 걸쳐 다중 평가자 동의를 사용하여 각 이미지를 평가하는 것이 바람직합니다.
설명된 접근 방식에 초점을 맞춰 잭나이프 리샘플링을 사용하여 각 하위 그룹(성별 및 피부색)과 각 교차 그룹(성별 + 피부색 조합)의 평균에 대한 신뢰 구간을 95로 추정했습니다. % 신뢰 수준. 여기서 평균은 전체(221개 이미지)에 대한 각 그룹의 비율(%)을 나타냅니다. 나는 의도적으로 하위 그룹을 이 연구의 목적을 위해 상호 배타적이고 총체적인 것으로 개념화하고 있습니다. 즉, 성별 및 피부 톤 인구 통계학적 패리티는 이분법적이며(예: 50%는 패리티를 나타냄) 교차 그룹의 패리티는 25%에 해당합니다. ⁴. 다시 말하지만 이것은 분명히 환원적입니다.
이러한 방법을 기반으로 저는 Stable Diffusion이 의사의 이미지를 생성하라는 성별 및 피부색 중립 프롬프트가 주어졌을 때 더 밝은 피부로 인식되는 남성 인물의 이미지를 생성하는 쪽으로 편향된다는 것을 관찰했습니다. 또한 피부색이 어두운 인물에 대한 상당한 편향과 전반적으로 인식되는 여성 인물에 대한 현저한 편향을 나타냅니다⁴:
이러한 결론은 관련 하위 그룹 인구학적 패리티 마커와 관련하여 점 추정치 주변의 신뢰 구간 폭을 고려할 때 실질적으로 다르지 않습니다.
기계 학습에서 불공평한 편향에 대한 작업이 일반적으로 중단될 수 있는 곳입니다. 하지만, Jared Katzman 등의 최근 작업. 알. 우리가 더 나아갈 수 있다는 유용한 제안을 합니다. 일반적인 "불공정한 편견"을 부정적인 결과를 보다 정확하게 진단하고 완화를 보다 정확하게 목표로 삼는 데 도움이 되는 대표적인 피해의 분류로 재구성합니다⁸. 나는 이것이 특정 사용 컨텍스트가 필요하다고 주장합니다. 따라서 이 시스템이 대학의 의대 입학 페이지에 실시간으로 제공되는 의사의 이미지를 자동으로 생성하는 데 사용된다고 상상해 봅시다. 방문하는 각 사용자의 경험을 사용자 지정하는 방법일 수 있습니다. 이러한 맥락에서 Katzman의 분류법을 사용하여 내 결과는 그러한 시스템이 고정관념 사회 집단⁸ 영향을 받는 하위 그룹(어두운 피부 톤과 인지된 여성 특성을 가진 인물)을 체계적으로 과소 대표함으로써. 또한 이러한 유형의 실패가 사람들이 자신을 식별할 수 있는 기회를 거부⁸ 프록시로, 이미지가 생성 실제 인물을 나타내지 않습니다.
Huggingface's Model Card for Stable Diffusion v1–4는 LAION5B와 모델 자체가 교육 예제에서 인구통계학적 패리티가 부족할 수 있고, 따라서 교육 분포에 내재된 편향을 반영할 수 있다는 사실을 자체 공개한다는 점에 유의하는 것이 중요합니다. 영어, 서양식 규범 및 체계적인 서양식 인터넷 사용 패턴에 중점을 둡니다)⁵. 이와 같이 이 연구의 결론은 예상치 못한 것이 아니지만 차이의 규모는 특정 사용 사례를 고려하는 실무자에게 유용할 수 있습니다. 모델 결정을 생산화하기 전에 적극적인 완화가 필요할 수 있는 영역을 강조합니다.
내에서 다음 기사 내가 태클할게 목표 #2: 정량적으로 조사 샘플링 바이어스 Stable Diffusion 뒤에 있는 LAION5B 데이터 세트에서 이를 다음의 결과와 비교합니다. 목표 #1.
- 기계 학습 용어집: 공정성, 2022년, 구글
- 몽크 스킨 톤 스케일 사용 시작, 2022년, 구글
- 연구에서 생성된 이미지, 2022, 다니엘 테론
- 연구 코드, 2022, 다니엘 테론
- 안정적인 확산 v1–4, 2022, Stability.ai & Huggingface
- LAION5B 클립 검색 프런트엔드, 2022, 로맹 보몽
- 연구에서 평가자 검토 결과, 2022, 다니엘 테론
- 이미지 태깅의 표현적 피해, 2021, Jared Katzman 외.
Xuan Yang과 [PENDING REVIEWER CONSENT]이(가) 이 기사를 신중하고 부지런히 검토하고 피드백해 준 것에 감사드립니다.
#mailpoet_form_1 .mailpoet_form { }
#mailpoet_form_1 양식 { margin-bottom: 0; }
#mailpoet_form_1 .mailpoet_column_with_background { 패딩: 0px; }
#mailpoet_form_1 .wp-block-column:first-child, #mailpoet_form_1 .mailpoet_form_column:first-child { 패딩: 0 20px; }
#mailpoet_form_1 .mailpoet_form_column:not(:first-child) { 여백-왼쪽: 0; }
#mailpoet_form_1 h2.mailpoet-heading { 마진: 0 0 12px 0; }
#mailpoet_form_1 .mailpoet_paragraph { 라인 높이: 20px; 여백 하단: 20px; }
#mailpoet_form_1 .mailpoet_segment_label, #mailpoet_form_1 .mailpoet_text_label, #mailpoet_form_1 .mailpoet_textarea_label, #mailpoet_form_1 .mailpoet_select_label, #mailpoet_form_1 .mailpoet_radio_label, #mailpoet_form_1 .mailpoet_checkbox_label, #mailpoet_form_1 .mailpoet_list_label, #mailpoet_form_1 .mailpoet_date_label { display: block; 글꼴 두께: 정상; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea, #mailpoet_form_1 .mailpoet_select, #mailpoet_form_1 .mailpoet_date_month, #mailpoet_form_1 .mailpoet_date_day, #mailpoet_form_1 .mailpoet_date_year, #mailpoet_form_1 .mailpoet_date { 표시: 블록; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea { 너비: 200px; }
#mailpoet_form_1 .mailpoet_checkbox { }
#mailpoet_form_1 .mailpoet_submit { }
#mailpoet_form_1 .mailpoet_divider { }
#mailpoet_form_1 .mailpoet_message { }
#mailpoet_form_1 .mailpoet_form_loading { 너비: 30px; 텍스트 정렬: 가운데; 선 높이: 정상; }
#mailpoet_form_1 .mailpoet_form_loading > 스팬 { 너비: 5px; 높이: 5px; 배경색: #5b5b5b; }#mailpoet_form_1{border-radius: 3px;background: #27282e;color: #ffffff;text-align: left;}#mailpoet_form_1 form.mailpoet_form {padding: 0px;}#mailpoet_form_1{width: 100%;}#mailpoet_form_1 . mailpoet_message {여백: 0; 패딩: 0 20px;}
#mailpoet_form_1 .mailpoet_validate_success {색상: #00d084}
#mailpoet_form_1 input.parsley-success {색상: #00d084}
#mailpoet_form_1 select.parsley-success {색상: #00d084}
#mailpoet_form_1 textarea.parsley-success {색상: #00d084}
#mailpoet_form_1 .mailpoet_validate_error {색상: #cf2e2e}
#mailpoet_form_1 입력.파슬리 오류 {색상: #cf2e2e}
#mailpoet_form_1 select.parsley-error {색상: #cf2e2e}
#mailpoet_form_1 textarea.textarea.parsley-error {색상: #cf2e2e}
#mailpoet_form_1 .parsley-오류 목록 {색상: #cf2e2e}
#mailpoet_form_1 .parsley-필수 {색상: #cf2e2e}
#mailpoet_form_1 .parsley-custom-error-message {색상: #cf2e2e}
#mailpoet_form_1 .mailpoet_paragraph.last {마진 바닥: 0} @media(최대 너비: 500px) {#mailpoet_form_1 {배경: #27282e;}} @media(최소 너비: 500px) {#mailpoet_form_1 .last .mailpoet_paragraph: 마지막 자식 {마진 바닥: 0}} @media (최대 너비: 500px) {#mailpoet_form_1 .mailpoet_form_column:last-child .mailpoet_paragraph:last-child {마진 바닥: 0}}
출처 https://towardsdatascience.com/unfair-bias-across-gender-skin-tones-intersection-groups-in-generated-stable-diffusion-에서 다시 게시된 생성된 안정적인 확산 이미지의 성별, 피부 색조 및 교차 그룹에 걸친 불공정한 편견 images-dabb1db36a82?source=rss—-7f60cf5620c9—4 https://towardsdatascience.com/feed를 통해
<!–
–>
