O órgão de vigilância da privacidade pede que as empresas abandonem o software de IA de análise emocional

As empresas devem pensar duas vezes antes de implantar sistemas de análise emocional baseados em IA propensos a vieses sistêmicos e outras confusões, alertou o Information Commissioner's Office (ICO) do Reino Unido nesta semana.

As organizações enfrentam investigação se pressionarem e usarem essa tecnologia abaixo da média que coloca as pessoas em risco, acrescentou o órgão de vigilância.

Algoritmos de aprendizado de máquina que pretendem prever o humor e as reações de uma pessoa usam a visão computacional para rastrear olhares, movimentos faciais e processamento de áudio para avaliar a inflexão e o sentimento geral. Como se pode imaginar, não é necessariamente preciso ou justo, e pode haver problemas de privacidade no manuseio de dados para treinamento e inferência.

De fato, o vice-comissário da ICO, Stephen Bonner, disse que a tecnologia não é infalível, levando a viés sistêmico, imprecisão ou discriminação contra grupos sociais específicos. “Os desenvolvimentos no mercado de biometria e inteligência artificial emocional são imaturos. Eles podem não funcionar ainda, ou mesmo nunca”, ele dito em um comunicado. 

“Embora existam oportunidades, os riscos atualmente são maiores. Na ICO, estamos preocupados que a análise incorreta de dados possa resultar em suposições e julgamentos sobre uma pessoa que são imprecisos e levam à discriminação”, continuou seu comunicado.

Bonner observou que o software de análise emocional é frequentemente combinado com sistemas biométricos, coletando e armazenando uma gama mais ampla de informações pessoais além das imagens faciais. Os provedores de software geralmente não são transparentes sobre como esses dados pessoais são processados ​​ou salvos. 

“As únicas implantações biométricas sustentáveis ​​serão aquelas totalmente funcionais, responsáveis ​​e apoiadas pela ciência”, disse ele. “Do jeito que está, ainda não vimos nenhuma tecnologia de IA de emoção se desenvolver de maneira que satisfaça os requisitos de proteção de dados e tenha perguntas mais gerais sobre proporcionalidade, justiça e transparência nessa área”.

O que parece uma maneira educada de dizer: você deve usar apenas modelos de IA de leitura de emoções que funcionem como a ICO espera, e esses modelos não existem, então você deve parar o que está fazendo.

O órgão de vigilância da privacidade de dados da Grã-Bretanha deve publicar um relatório detalhando como os dados biométricos, incluindo reconhecimento facial, identificação de impressões digitais e reconhecimento de voz, devem ser tratados pelas empresas no próximo ano, na primavera.

“A ICO continuará examinando o mercado, identificando as partes interessadas que buscam criar ou implantar essas tecnologias e explicando a importância de uma maior privacidade e conformidade de dados, ao mesmo tempo em que incentiva a confiança em como esses sistemas funcionam”, acrescentou Bonner.

Especialistas soam o alarme sobre a análise de sentimentos e emoções há anos. Os sentimentos são subjetivos e é difícil interpretá-los com precisão. Os humanos muitas vezes não podem fazer isso de forma eficaz para si mesmos ou para os outros, muito menos máquinas. ®