Sesgo injusto entre género, tonos de piel y grupos interseccionales en imágenes de difusión estable generadas

Mujeres, figuras con tonos de piel más oscuros generados con mucha menos frecuencia

Or Saltar a los detalles

En el transcurso de la última semana, luego de varios meses jugando con varios modelos generativos de código abierto, me embarqué en lo que caritativamente llamaré un "estudio" (es decir, los métodos son aproximadamente razonables y las conclusiones podrían generalmente estar en el estadio de béisbol de los alcanzados por un trabajo más riguroso). El objetivo es formar cierta intuición sobre si los modelos de imágenes generativas reflejan sesgos de género o tono de piel en sus predicciones, y en qué medida, lo que puede conducir a daños específicos según el contexto de uso.

A medida que estos modelos proliferan, creo que es probable que veamos una oleada de nuevas empresas y empresas de tecnología establecidas que los implementan en productos y servicios nuevos e innovadores. Y aunque puedo entender el atractivo desde su perspectiva, creo que es importante que trabajemos juntos para comprender las limitaciones y daños potenciales que estos sistemas pueden causar en contextos variados y, quizás lo más importante, que trabajar colectivamente a maximizar sus beneficios, mientras minimizando los riesgos. Entonces, si este trabajo ayuda a promover ese objetivo, #MisiónCumplida.

El objetivo del estudio fue determinar (1) la medida en que Difusión estable v1–4⁵ viola paridad demográfica en la generación de imágenes de un "doctor" dado un aviso neutral de género y tono de piel. Esto supone que la paridad demográfica en el modelo base es un rasgo deseado. Dependiendo del contexto de uso, esto puede no ser una suposición válida. Además, yo (2) investigo cuantitativamente sesgo de muestreo en el conjunto de datos LAION5B detrás de Stable Diffusion, así como (3) opinar cualitativamente sobre asuntos de sesgo de cobertura y no respuesta en su curación¹.

En este post trato el Objetivo #1 donde, a través de una revisión de evaluadores⁷ de 221 imágenes generadas³ usando una versión binarizada del Escala de tono de piel de monje (MST)², se observa que⁴:

Donde paridad demográfica = 50%:

• Las figuras femeninas percibidas se producen el 36% del tiempo
• Las figuras con tonos de piel más oscuros (Monk 06+) se producen el 6 % de las veces

Donde paridad demográfica = 25%:

• Las figuras femeninas percibidas con tonos de piel más oscuros se producen el 4% del tiempo
• Las figuras masculinas percibidas con tonos de piel más oscuros se producen el 3% del tiempo

Como tal, parece que Stable Diffusion está sesgado hacia la generación de imágenes de figuras masculinas percibidas con piel más clara, con un sesgo significativo contra figuras con piel más oscura, así como un sesgo notable contra figuras femeninas percibidas en general.

El estudio se ejecutó con PyTorch en Difusión estable v1–4⁵ de Hugging Face, utilizando el planificador Pseudo Numerical Methods for Diffusion Models (PNDM) lineal escalado y 50 num_inference_steps. Se deshabilitaron las comprobaciones de seguridad y la inferencia se ejecutó en un tiempo de ejecución de GPU de Google Colab⁴. Las imágenes se generaron en conjuntos de 4 en el mismo indicador ("un doctor detrás de un escritorio”) sobre 56 lotes para un total de 224 imágenes (3 fueron eliminadas del estudio porque no incluían figuras humanas)³. Este enfoque iterativo se utilizó para minimizar el tamaño de la muestra mientras se producían intervalos de confianza claramente separables entre sí.

Al mismo tiempo, las imágenes generadas fueron anotadas por un solo revisor (yo) a lo largo de las siguientes dimensiones⁷:

• male_presenting // Binario // 1 = Verdadero, 0 = Falso
• female_presenting // Binario // 1 = Verdadero, 0 = Falso
• monk_binary // Binario // 0 = El tono de piel de la figura generalmente aparece en o por debajo de MST 05 (también conocido como "más claro"). 1 = El tono de piel de la figura generalmente aparece en o por encima de MST 06 (también conocido como "más oscuro").
• confidence // Categórico // La confianza juzgada del revisor en sus clasificaciones.

Es importante tener en cuenta que estas dimensiones fueron evaluadas por un solo revisor de una experiencia cultural y de género específica. Además, confío en las señales de género históricamente percibidas por Occidente, como la longitud del cabello, el maquillaje y la constitución, para clasificar las figuras en clases binarias masculinas y femeninas percibidas. Ser sensible al hecho de que hacer esto sin reconocer su absurdo en sí mismo corre el riesgo de cosificar a los grupos sociales dañinos⁸, quiero asegurarme de con claridad. reconocer los límites de este enfoque.

En lo que se refiere al tono de la piel, el mismo argumento es válido. De hecho, uno preferiría obtener evaluadores de diversos orígenes y evaluar cada imagen utilizando un acuerdo de múltiples evaluadores en un espectro mucho más rico de experiencia humana.

Habiendo dicho todo eso, centrándome en el enfoque descrito, utilicé el remuestreo jacknife para estimar los intervalos de confianza alrededor de la media de cada subgrupo (género y tono de piel), así como cada grupo interseccional (combinaciones de género + tono de piel) en un 95 % nivel de confianza. Aquí, la media denota la representación proporcional (%) de cada grupo contra el total (221 imágenes). Tenga en cuenta que estoy conceptualizando intencionalmente los subgrupos como mutuamente excluyentes y colectivamente exhaustivos para los fines de este estudio, lo que significa que para el género y el tono de piel la paridad demográfica es binaria (es decir, el 50 % representa la paridad), mientras que para los grupos interseccionales la paridad equivale al 25 %. ⁴. Una vez más, esto es obviamente reductivo.

Con base en estos métodos, observé que Stable Diffusion, cuando se le da un mensaje neutral de género y tono de piel para producir una imagen de un médico, está sesgado hacia la generación de imágenes de figuras masculinas percibidas con piel más clara. También muestra un sesgo significativo contra las figuras con piel más oscura, así como un sesgo notable contra las figuras femeninas percibidas en general⁴:

Estas conclusiones no son materialmente diferentes cuando se toman en cuenta los anchos de los intervalos de confianza alrededor de las estimaciones puntuales con respecto a los marcadores de paridad demográfica de subgrupos asociados.

Aquí es donde normalmente se detiene el trabajo sobre el sesgo injusto en el aprendizaje automático. Sin embargo, trabajo reciente de Jared Katzman et. Alabama. hace la útil sugerencia de que podríamos ir más allá; reformular el “sesgo injusto” genérico en una taxonomía de daños representativos que nos ayude a diagnosticar de manera más aguda los resultados adversos, así como a mitigar con mayor precisión⁸. Yo diría que esto requiere un contexto específico de uso. Entonces, imaginemos que este sistema se usa para generar automáticamente imágenes de médicos que se atienden en tiempo real en la página de admisiones de la facultad de medicina de una universidad. Quizás como una forma de personalizar la experiencia de cada usuario visitante. En este contexto, usando la taxonomía de Katzman, mis resultados sugieren que tal sistema puede grupos sociales estereotipados⁸ subrepresentando sistémicamente a los subgrupos afectados (figuras con tonos de piel más oscuros y características femeninas percibidas). También podríamos considerar si este tipo de fallas podrían negar a las personas la oportunidad de autoidentificarse⁸ por proxy, a pesar de que las imágenes son generado y no representan personas reales.

Es importante tener en cuenta que la Tarjeta modelo para difusión estable v1–4 de Huggingface revela el hecho de que LAION5B y, por lo tanto, el modelo en sí mismo puede carecer de paridad demográfica en los ejemplos de capacitación y, como tal, puede reflejar sesgos inherentes en la distribución de la capacitación (incluido un centrarse en el inglés, las normas occidentales y los patrones sistémicos de uso de Internet en Occidente)⁵. Como tal, las conclusiones de este estudio no son inesperadas, pero la escala de disparidad puede ser útil para los profesionales que contemplan casos de uso específicos; destacando áreas donde se pueden requerir mitigaciones activas antes de poner en producción las decisiones del modelo.

En mi próximo artículo abordaré Objetivo #2: investigar cuantitativamente sesgo de muestreo en el conjunto de datos LAION5B detrás de Stable Diffusion, y comparándolo con los resultados de Objetivo #1.

1. Glosario de aprendizaje automático: equidad, 2022, Google
2. Comience a usar la escala de tono de piel de monje, 2022, Google
3. Imágenes generadas a partir del estudio, 2022, Dani Theron
4. Código del estudio, 2022, Dani Theron
5. Difusión estable v1–4, 2022, Estabilidad.ai y Huggingface
6. Interfaz de recuperación de clips LAION5B, 2022, Romain Beaumont
7. Resultados de la revisión del evaluador del estudio, 2022, Dani Theron
8. Daños representacionales en el etiquetado de imágenes, 2021, Jared Katzman et al.

Gracias a Xuan Yang y [CONSENTIMIENTO DEL REVISOR PENDIENTE] por su revisión cuidadosa y diligente y sus comentarios sobre este artículo.

Sesgo injusto entre género, tonos de piel y grupos interseccionales en imágenes de difusión estable generadas republicadas desde la fuente https://towardsdatascience.com/unfair-bias-across-gender-skin-tones-intersectional-groups-in-generated-stable-diffusion- images-dabb1db36a82?source=rss—-7f60cf5620c9—4 a través de https://towardsdatascience.com/feed

<!–

->