El organismo de control de la privacidad insta a las empresas a abandonar el software de IA de análisis emocional

Las empresas deberían pensarlo dos veces antes de implementar sistemas de análisis emocional impulsados ​​por IA propensos a sesgos sistémicos y otros problemas, advirtió esta semana la Oficina del Comisionado de Información (ICO, por sus siglas en inglés) del Reino Unido.

Las organizaciones se enfrentan a una investigación si siguen adelante y utilizan esta tecnología de baja calidad que pone en riesgo a las personas, agregó el organismo de control.

Los algoritmos de aprendizaje automático que pretenden predecir el estado de ánimo y las reacciones de una persona utilizan la visión artificial para rastrear las miradas, los movimientos faciales y el procesamiento de audio para medir la inflexión y el sentimiento general. Como uno podría imaginar, no es necesariamente preciso o justo, y puede haber problemas de privacidad al manejar los datos para el entrenamiento y la inferencia.

De hecho, el comisionado adjunto de ICO, Stephen Bonner, dijo que la tecnología no es infalible, lo que lleva a un sesgo sistémico, inexactitud o discriminación contra grupos sociales específicos. “Los desarrollos en el mercado de biometría e IA emocional son inmaduros. Es posible que no funcionen todavía, o de hecho nunca”, dijo. dijo en un comunicado. 

“Si bien hay oportunidades presentes, los riesgos son actualmente mayores. En el ICO, nos preocupa que el análisis incorrecto de los datos pueda dar lugar a suposiciones y juicios sobre una persona que sean inexactos y conduzcan a la discriminación”, continuó su declaración.

Bonner señaló que el software de análisis emocional a menudo se combina con sistemas biométricos, recopilando y almacenando una gama más amplia de información personal más allá de las imágenes faciales. Los proveedores de software a menudo no son transparentes sobre cómo se procesan o guardan estos datos personales. 

“Los únicos despliegues biométricos sostenibles serán aquellos que sean completamente funcionales, responsables y respaldados por la ciencia”, dijo. "Tal como está, aún no hemos visto que se desarrolle ninguna tecnología de inteligencia artificial emocional de una manera que satisfaga los requisitos de protección de datos, y tenemos preguntas más generales sobre la proporcionalidad, la equidad y la transparencia en esta área".

Lo que parece una forma educada de decir: solo debe usar modelos de IA de lectura de emociones que funcionen como espera el ICO, y esos modelos no existen, por lo que debe dejar de hacer lo que está haciendo.

Se espera que el organismo de control de privacidad de datos de Gran Bretaña publique un informe que detalla cómo las empresas deben manejar los datos biométricos, incluido el reconocimiento facial, la identificación de huellas dactilares y el reconocimiento de voz, el próximo año en la primavera.

“El ICO continuará examinando el mercado, identificando a las partes interesadas que buscan crear o implementar estas tecnologías, y explicando la importancia de mejorar la privacidad y el cumplimiento de los datos, al tiempo que fomenta la confianza en cómo funcionan estos sistemas”, agregó Bonner.

Los expertos han hecho sonar la alarma sobre el análisis de sentimientos y emociones durante años. Los sentimientos son subjetivos y es difícil interpretarlos con precisión. Los humanos a menudo no pueden hacer esto de manera efectiva por sí mismos o por otros, y mucho menos por las máquinas. ®