O chatbot de IA treinado em postagens do web esgoto 4chan se comportou mal - assim como os membros humanos

Um pesquisador brincalhão treinou um chatbot de IA em mais de 134 milhões de postagens no notoriamente livre fórum da Internet 4chan e, em seguida, colocou-o no ar no site antes de ser rapidamente banido.

Yannic Kilcher, um Pesquisador de IA que posta alguns de seus trabalhos no YouTube, chamou sua criação de “GPT-4chan” e descrito é considerada “a pior IA de todos os tempos”. Ele treinou GPT-J 6B, um modelo de linguagem de código aberto, em um conjunto de dados contendo 3.5 anos de postagens retiradas do imageboard do 4chan. Kilcher então desenvolveu um chatbot que processava postagens do 4chan como entradas e gerava saídas de texto, comentando automaticamente em vários tópicos.

Os internautas rapidamente perceberam que uma conta do 4chan estava postando com frequência suspeita e começaram a especular se era um bot.

O 4chan é um canto estranho e escuro da internet, onde qualquer pessoa pode conversar e compartilhar o que quiser, desde que não seja ilegal. As conversas nos muitos fóruns do site são muitas vezes muito estranhas – pode ser complicado dizer se existe alguma inteligência, natural ou artificial, por trás do teclado.

O GPT-4chan se comportou como os usuários do 4chan, vomitando insultos e teorias da conspiração antes de ser banido.

O Reg testei o modelo em alguns exemplos de solicitações e obtive respostas que variam de bobas e políticas a ofensivas e anti-semitas.

Provavelmente não causou nenhum dano postar em um ambiente que já é muito hostil, mas muitos criticaram Kilcher por enviar seu modelo. “Não concordo com o afirmação que o que eu fiz no 4chan, deixando meu bot postar por um breve período, foi profundamente horrível (bots e linguagem muito ruim são completamente esperados naquele site) ou que foi profundamente irresponsável não consultar um conselho de revisão de ética institucional”, ele contado O registro.

“Não discordo que a pesquisa em seres humanos não deva ser encarada levianamente, mas esta foi uma pequena pegadinha em um fórum que está repleto de discursos já tóxicos e opiniões controversas, e todos lá esperam isso, e enquadrando isso como eu desconsiderar completamente todos os padrões éticos é apenas algo que pode ser jogado contra mim e algo onde as pessoas podem se exibir.”

Kilcher não divulgou o código para transformar o modelo em um bot e disse que seria difícil redirecionar seu código para criar uma conta de spam em outra plataforma como o Twitter, onde seria mais arriscado e potencialmente mais prejudicial. Existem várias salvaguardas que dificultam a conexão com a API do Twitter e a publicação automática de conteúdo, disse ele. Também custa centenas de dólares hospedar o modelo e mantê-lo funcionando na internet, e provavelmente não é tão útil para os malfeitores, ele considerou.

“Na verdade, é muito difícil conseguir fazer algo de propósito. … Se quero ofender outras pessoas online, não preciso de modelo. As pessoas podem fazer isso muito bem sozinhas. Portanto, por mais 'nojento' que possa parecer o modelo de linguagem que lança insultos com o clique de um botão, na verdade não é particularmente útil para maus atores”, ele nos disse.

Um site chamado Hugging Face hospedou o GPT-4chan abertamente, onde foi Supostamente baixado mais de 1,000 vezes antes de ser desativado.

“Não defendemos nem apoiamos o treinamento e os experimentos feitos pelo autor com este modelo”, disse Clement Delangue, cofundador e CEO da Hugging Face. dito. “Na verdade, a experiência de fazer com que a modelo postasse mensagens no 4chan foi muito ruim e inadequada, e se o autor nos perguntasse, provavelmente teríamos tentado desencorajá-los de fazê-lo.”

Hugging Face decidiu não excluir completamente o modelo e disse que Kilcher alertou claramente os usuários sobre suas limitações e natureza problemática. O GPT-4chan também tem algum valor para a construção de potenciais ferramentas automáticas de moderação de conteúdo ou para a investigação de benchmarks existentes.

Curiosamente, o modelo pareceu superar o GPT-3 da OpenAI no TruthfulQA Benchmark – uma tarefa que visa testar a propensão de um modelo para mentir. O resultado não significa necessariamente que o GPT-4chan seja mais honesto e, em vez disso, levanta questões sobre a utilidade do benchmark.

“TruthfulQA considera qualquer resposta que não seja explicitamente a resposta 'errada' como verdadeira. Portanto, se o seu modelo gerar a palavra 'espaguete' para todas as perguntas, será sempre verdadeiro”, explicou Kilcher.

“Pode ser que o GPT-4chan seja apenas um modelo de linguagem pior que o GPT-3 (na verdade, certamente é pior). Mas também, o TruthfulQA é construído de forma a tentar obter respostas erradas, o que significa que quanto mais agradável for um modelo, pior será o seu desempenho. O GPT-4chan, por ser treinado no local mais adversário de todos os tempos, quase sempre discordará de tudo o que você disser, o que neste benchmark é mais frequentemente a coisa correta a fazer.

Ele discorda da decisão do Hugging Face de desabilitar o modelo para downloads públicos. “Acho que o modelo deveria estar disponível para futuras pesquisas e reprodutibilidade das avaliações. Descrevo claramente suas deficiências e forneço orientações para seu uso”, finalizou. ®