O viés nos sistemas de IA está provando ser um grande obstáculo nos esforços para integrar mais amplamente a tecnologia em nossa sociedade. Uma nova iniciativa que premiará pesquisadores por encontrarem quaisquer preconceitos em Sistemas de IA poderia ajudar a resolver o problema.
O esforço é modelado nas recompensas de bugs que as empresas de software pagam aos especialistas em segurança cibernética que os alertam sobref quaisquer potenciais falhas de segurança em seus produtos. A ideia não é nova; “recompensas de viés” foram primeiro proposto por ASou pesquisador e empresário JB Rubinovitz em 2018, e várias organizações já passaram por esses desafios.
Mas o novo esforço busca criar um fórum contínuo para competições de recompensas tendenciosas que seja independente de qualquer organização em particular. Composto por voluntários de uma série de empresas, incluindo o Twitter, os chamados “Bias Buccaneers” planejam realizar competições regulares, ou “motins”, e no início deste mês lançaram o primeiro desafio desse tipo.
"As recompensas por bugs são uma prática padrão em segurança cibernética que ainda não encontrou base na comunidade de viés algorítmico ”, a organizaçãonizadores dizer em seu site. “Embora os eventos pontuais iniciais tenham demonstrado entusiasmo por recompensas, a Bias Buccaneers é a primeira organização sem fins lucrativos destinada a criar Mutinies em andamento, colaborar com empresas de tecnologia e preparar o caminho para avaliações transparentes e reproduzíveis de sistemas de IA.”
Esta primeira competição visa combater o viés nos algoritmos de detecção de imagem, mas em vez de fazer com que as pessoas tenham como alvo sistemas de IA específicos, a competição vai chincentivar os pesquisadores a construir ferramentas que possam detectar conjuntos de dados tendenciosos. A ideia é criar um modelo de aprendizado de máquina que possa rotular com precisão cada imagem em um conjunto de dados com seu tom de pele, gênero percebido e faixa etária. A competição termina em 30 de novembro e tem um primeiro prêmio de $ 6,000, o segundo prêmio de $ 4,000 e o terceiro prêmio de $ 2,000.
O desafio baseia-se no fato de que muitas vezes a fonte do viés algorítmico não é tanto o algoritmo em si, mas a natureza dos dados em que é treinado. Ferramentas automatizadas que podem avaliar rapidamente o equilíbrio de uma coleção of imagens é em relação a atributos que geralmente são fontes de discriminação pode ajudar os pesquisadores de IA a evitar fontes de dados claramente tendenciosas.
Mas os organizadores dizem que este é apenas o primeiro passo em um esforço para construir um kit de ferramentas para avaliar o viés em conjuntos de dados, algoritmos e aplicativos e, finalmente, criar padrões de como lidarl com viés algorítmico, justiça e explicabilidade.
Está não é o único esforço. Um dos líderes do novo iniciativa é Rumman Chowdhury, do Twitter, que ajudou a organizar a primeira competição de recompensas de IA no ano passado, visando um algoritmo que a plataforma usou para cortar fotos que usuários reclamaram preferiam rostos de pele branca e masculina em detrimento de negros e femininos.
A competição deu aos hackers acesso ao modelo da empresa e os desafiou a encontrar falhas nele. Participantes encontrou uma grande variedade de problemas, incluindopreferência por rostos estereotipicamente bonitos, uma aversão a pessoas com cabelos brancos (um marcador de idade) e preferência por memes com escrita inglesa em vez de árabe.
A Universidade de Stanford também concluiu recentemente uma competição que desafiou as equipes a criar ferramentas projetadas para ajudar as pessoas a auditar sistemas de IA comercialmente implantados ou de código aberto para discriminação. E as leis atuais e futuras da UE podem tornar obrigatório que as empresas auditem regularmente seus dados e algoritmos.
Mas tomando Recompensas de bugs de IA e auditoria algorítmica mainstream e torná-los eficazes será mais fácil dizer do que fazer. Inevitavelmente, as empresas que constroem seus negócios com base em seus algoritmos vão resistir a qualquer esforço para desacreditá-los.
Aproveitando as lições dos sistemas de auditoria em outros domínios, como finanças e regulamentos ambientais e de saúde, pesquisadores recentemente delineado alguns dos ingredientes cruciais para uma responsabilização eficaz. Um dos mais importantes critérios identificaram foi o envolvimento significativo de terceiros independentes.
Os pesquisadores apontaram que as atuais auditorias voluntárias de IA geralmente envolvem conflitos de interesse, como a organização-alvo pagando pela auditoria, ajudando a enquadrar o escopo da auditoria ou tendo a oportunidade de revisar as descobertas antes de serem divulgadas. Essa preocupação foi refletida em um relatório recente do Liga da Justiça Algorítmica, quech notou o tamanhod papel das organizações-alvo nos atuais programas de recompensas por bugs de segurança cibernética.
Encontrar uma maneira de financiar e apoiar auditores de IA e caçadores de bugs verdadeiramente independentes será um desafio significativo, principalmente porque eles enfrentarão algumas das empresas com mais recursos do mundo. Felizmente, porém, parece haver um senso crescente na indústria de que enfrentar esse problema será fundamental para manter a confiança dos usuários em seus serviços.
Crédito de imagem: Jacob Rosen / Unsplash
