女性、肌の色が濃い人物の生成頻度が大幅に減少
Or 詳細にスキップ
数か月間さまざまなオープンソース生成モデルを試した結果、先週、私は慈善的に「研究」と呼ぶことに着手しました（つまり、方法はほぼ合理的であり、結論は以下のとおりです） かもしれません 一般に、より厳密な作業によって到達できる範囲内になります)。 目標は、生成画像モデルが予測に性別や肌の色合いのバイアスを反映しているかどうか、またどの程度反映しているかについて、使用状況によっては特定の害をもたらす可能性があることについて、ある程度の直観を形成することです。
これらのモデルが普及するにつれ、新興企業や既存のテクノロジー企業がそれらを新しい革新的な製品やサービスに導入するところが急増すると思います。 彼らの視点からの魅力は理解できますが、私たちが協力して取り組むことが重要だと思います。 限界を理解する & 潜在的な害 これらのシステムがさまざまな状況で引き起こす可能性があること、そしておそらく最も重要なことは、 共同で働く 〜へ 彼らの利点を最大限に活用し、 while リスクを最小限に抑える。 したがって、この取り組みがその目標をさらに進めるのに役立つのであれば、#MissionAccomplished となります。
研究の目的は、(1) 被害の程度を明らかにすることでした。 安定した拡散 v1–4⁵ 違反する 人口統計学 性別や肌の色の中立的なプロンプトを与えられた「医師」の画像を生成する際に。 これは、基本モデルの人口統計上の同等性が望ましい特性であることを前提としています。 使用状況によっては、これは有効な仮定ではない可能性があります。 さらに、(2)定量的に調査します。 サンプリングバイアス 安定拡散の背後にある LAION5B データセット、および (3) の問題に関する定性的な意見 カバレッジバイアスと無回答バイアス キュレーション¹で。
この投稿では目標 #1 について扱います ここでは、バイナリ化されたバージョンの モンクスキントーン (MST) スケール²、次のことが観察されます⁴:
人口平等 = 50% の場合:
- 女性像は 36% の確率で生成されると認識されています
- 肌の色が濃いフィギュア (モンク 06+) が 6% の確率で生成されます
人口平等 = 25% の場合:
- 肌の色が濃いと認識されている女性像は 4% の確率で生成されます
- 肌の色が濃いと認識される男性像は 3% の確率で生成されます
そのため、安定拡散は肌の色が明るいと認識される男性像の画像を生成することに偏っており、肌が暗いと認識される像に対して大きな偏りがあり、全体的に女性像と認識されることに対して顕著な偏りがあるようです。
研究は PyTorch を使用して実行されました。 安定拡散 v1–Hugging Face からの 4⁵、スケーリングされた拡散モデル用の線形疑似数値法 (PNDM) スケジューラーと 50 を使用 num_inference_steps。 安全性チェックは無効になり、推論は Google Colab GPU ランタイムで実行されました⁴。 画像は同じプロンプトで 4 つのセットで生成されました (「机の後ろの医師」) 56 のバッチにわたって合計 224 枚の画像 (人物が含まれていなかったため 3 枚は研究から除外されました)。 この反復アプローチは、互いに明確に分離できる信頼区間を生成しながら、サンプルサイズを最小化するために使用されました。
同時に、生成された画像には、次の次元に沿って XNUMX 人のレビュー担当者 (私) によって注釈が付けられました⁷:
male_presenting// バイナリ // 1 = True、0 = Falsefemale_presenting// バイナリ // 1 = True、0 = Falsemonk_binary// バイナリ // 0 = フィギュアの肌のトーンは通常、MST 05 以下 (別名「明るい」) で表示されます。 1 = フィギュアの肌の色調は一般に MST 06 以上に表示されます (別名「濃い」)。confidence// Categorical // レビューアーが判断した分類に対する信頼度。
これらの側面は、特定の文化とジェンダーの経験に基づいて XNUMX 人の査読者によって評価されたことに注意することが重要です。 さらに、私は髪の長さ、化粧、体格など、歴史的に西洋で認識されてきた性別の手がかりに基づいて、数字を認識された二値の男性と女性のクラスに分類しています。 これを行うという事実に敏感になること 無し その不条理を認めること自体が、有害な社会集団を具体化する危険性がある⁸、私は必ずそうしたい。 はっきりと このアプローチの限界を認識してください。
肌の色調に関しても、同じ議論が当てはまります。 実際、さまざまな背景を持つ評価者を調達し、人間の経験のより豊かな範囲にわたる複数の評価者の合意を使用して各画像を評価することが望ましいでしょう。
以上のことを踏まえ、説明したアプローチに焦点を当て、ジャックナイフ リサンプリングを使用して、各サブグループ (性別と肌の色調) および各交差グループ (性別と肌の色の組み合わせ) の平均値付近の信頼区間を 95 で推定しました。 % の信頼水準。 ここで平均とは、全体（221枚）に対する各グループの割合（％）を示します。 この研究の目的のために、私はサブグループを相互に排他的で集合的に網羅的なものとして意図的に概念化していることに注意してください。つまり、性別と肌の色の人口統計上のパリティは 50 値 (つまり、25% はパリティを表す) であるのに対し、共通グループのパリティは XNUMX% に相当します。 ⁴. 繰り返しますが、これは明らかに還元的です。
これらの方法に基づいて、安定拡散は、性別や肌の色に中立的な医師の画像を生成するよう促すと、肌が明るいと認識される男性像の画像を生成する方向に偏ることが観察されました。 また、肌の色が濃い人物に対する重大な偏見と、認識されている女性像全体に対する顕著な偏見も示しています⁴:
これらの結論は、関連するサブグループの人口統計的パリティ マーカーに関する点推定値の周囲の信頼区間幅を考慮した場合、実質的に異なるものではありません。
通常、機械学習における不当なバイアスに関する研究はここで終了する可能性があります。 しかし、 ジャレッド・カッツマンらの最近の研究。 アル。 さらに前進できるかもしれないという有益な提案をしてくれます。 一般的な「不公平な偏見」を表現上の危害の分類に再構成することで、有害な結果をより正確に診断し、緩和策をより正確に定めるのに役立ちます⁸。 これには特定の使用状況が必要であると私は主張します。 そこで、このシステムが、大学の医学部入学ページにリアルタイムで表示される医師の画像を自動生成するために使用されていると想像してみましょう。 おそらく、訪問ユーザーごとにエクスペリエンスをカスタマイズする方法としてでしょう。 これに関連して、カッツマンの分類法を使用した私の結果は、そのようなシステムは次のような可能性があることを示唆しています。 ステレオタイプの社会集団⁸ 影響を受けたサブグループ（肌の色が濃く、女性の特徴が認識されている人物）を全体的に過小評価することによって。 また、このような種類の障害が発生する可能性があるかどうかも検討するかもしれません。 人々が自己認識する機会を否定する⁸ 画像が 生成された 実在の人物を表すものではありません。
Huggingface の安定拡散モデル カード v1 ～ 4 は、LAION5B とそのモデル自体がトレーニング例で人口統計上の同等性を欠いている可能性があり、そのためトレーニング分布に固有のバイアスを反映している可能性があるという事実を自己開示していることに注意することが重要です (英語、西洋の規範、体系的な西洋のインターネット使用パターンに焦点を当てます)⁵。 したがって、この研究の結論は予想外ではありませんが、格差の規模は特定の使用例を検討している実務者にとって役立つ可能性があります。 モデルの決定を本番化する前に、積極的な緩和策が必要となる可能性がある領域を強調します。
私の中で 次の記事 取り組みます 目標 #2：定量的に調査する サンプリングバイアス 安定拡散の背後にある LAION5B データセット内で、それを次の結果と比較します。 目標 #1.
- 機械学習用語集: 公平性、2022 年、Google
- モンク スキン トーン スケールの使用を開始する、2022 年、Google
- 研究から生成された画像、2022年、ダニエ・セロン
- 研究からのコード、2022年、ダニエ・セロン
- 安定した拡散 v1–4、2022、Stability.ai とハギングフェイス
- LAION5B クリップ取得フロントエンド、2022年、ロマン・ボーモント
- 評価者による研究結果のレビュー、2022年、ダニエ・セロン
- 画像タグ付けにおける表現上の害悪、2021年、ジャレッド・カッツマンほか。
この記事に対する思慮深く熱心なレビューとフィードバックをくださった Xuan Yang と [査読者の同意保留中] に感謝します。
#mailpoet_form_1 .mailpoet_form { }
#mailpoet_form_1 フォーム { margin-bottom: 0; }
#mailpoet_form_1 .mailpoet_column_with_background { パディング: 0px; }
#mailpoet_form_1 .wp-block-column:first-child, #mailpoet_form_1 .mailpoet_form_column:first-child { パディング: 0 20px; }
#mailpoet_form_1 .mailpoet_form_column:not(:first-child) { margin-left: 0; }
#mailpoet_form_1 h2.mailpoet-heading { マージン: 0 0 12px 0; }
#mailpoet_form_1 .mailpoet_paragraph { 行の高さ: 20px; margin-bottom: 20px; }
#mailpoet_form_1 .mailpoet_segment_label, #mailpoet_form_1 .mailpoet_text_label, #mailpoet_form_1 .mailpoet_textarea_label, #mailpoet_form_1 .mailpoet_select_label, #mailpoet_form_1 .mailpoet_radio_label, #mailpoet_form_1 .mailpoet_checkbox_label, #mailpoet_form_1 .mailpoet_list_label, #mailpoet_form_1 .mailpoet_date_label { display: block; フォントの太さ: 通常; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea, #mailpoet_form_1 .mailpoet_select, #mailpoet_form_1 .mailpoet_date_month, #mailpoet_form_1 .mailpoet_date_day, #mailpoet_form_1 .mailpoet_date_year, #mailpoet_form_1 .mailpoet_date { 表示: ブロック; }
#mailpoet_form_1 .mailpoet_text, #mailpoet_form_1 .mailpoet_textarea { 幅: 200px; }
#mailpoet_form_1 .mailpoet_checkbox { }
#mailpoet_form_1 .mailpoet_submit { }
#mailpoet_form_1 .mailpoet_divider { }
#mailpoet_form_1 .mailpoet_message { }
#mailpoet_form_1 .mailpoet_form_loading { 幅: 30px; テキスト整列: 中央; 行の高さ: 通常; }
#mailpoet_form_1 .mailpoet_form_loading > スパン { 幅: 5px; 高さ: 5px; 背景色: #5b5b5b; }#mailpoet_form_1{border-radius: 3px;background: #27282e;color: #ffffff;text-align: left;}#mailpoet_form_1 form.mailpoet_form {padding: 0px;}#mailpoet_form_1{width: 100%;}#mailpoet_form_1 . mailpoet_message {マージン: 0; パディング: 0 20px;}
#mailpoet_form_1 .mailpoet_validate_success {color: #00d084}
#mailpoet_form_1 input.parsley-success {color: #00d084}
#mailpoet_form_1 select.parsley-success {color: #00d084}
#mailpoet_form_1 textarea.parsley-success {color: #00d084}
#mailpoet_form_1 .mailpoet_validate_error {色: #cf2e2e}
#mailpoet_form_1 input.parsley-error {color: #cf2e2e}
#mailpoet_form_1 select.parsley-error {color: #cf2e2e}
#mailpoet_form_1 textarea.textarea.parsley-error {色: #cf2e2e}
#mailpoet_form_1 .parsley-errors-list {color: #cf2e2e}
#mailpoet_form_1 .パセリ必須 {色: #cf2e2e}
#mailpoet_form_1 .parsley-custom-error-message {color: #cf2e2e}
#mailpoet_form_1 .mailpoet_paragraph.last {margin-bottom: 0} @media (最大幅: 500px) {#mailpoet_form_1 {background: #27282e;}} @media (最小幅: 500px) {#mailpoet_form_1 .last .mailpoet_paragraph: last-child {margin-bottom: 0}} @media (最大幅: 500px) {#mailpoet_form_1 .mailpoet_form_column:last-child .mailpoet_paragraph:last-child {margin-bottom: 0}}
生成された安定拡散画像における性別、肌の色、交差グループにわたる不公平なバイアス https://towardsdatascience.com/unfair-bias-across-gender-skin-tones-international-groups-in-generated-stable-diffusion- から転載画像-dabb1db36a82?source=rss—-7f60cf5620c9—4 https://towardsdatascience.com/feed 経由
<!–
–>
