Algumas redes neurais aprendem a linguagem como humanos | Revista Quanta

Como os cérebros aprendem? É um mistério que se aplica tanto aos órgãos esponjosos dos nossos crânios como aos seus homólogos digitais nas nossas máquinas. Embora as redes neurais artificiais (RNAs) sejam construídas a partir de elaboradas redes de neurônios artificiais, imitando ostensivamente a maneira como nossos cérebros processam informações, não sabemos se elas processam informações de maneira semelhante.   

“Há um longo debate sobre se as redes neurais aprendem da mesma forma que os humanos”, disse Vsevolod Kapatsinski, linguista da Universidade de Oregon.

Agora, um estudo publicado o mês passado sugere que as redes naturais e artificiais aprendem de maneira semelhante, pelo menos no que diz respeito à linguagem. Os pesquisadores – liderados por Gasper Beguš, um linguista computacional da Universidade da Califórnia, Berkeley – comparou as ondas cerebrais de humanos ouvindo um som simples com o sinal produzido por uma rede neural analisando o mesmo som. Os resultados foram estranhamente parecidos. “Até onde sabemos”, escreveram Beguš e seus colegas, as respostas observadas ao mesmo estímulo “são os sinais cerebrais e de RNA mais semelhantes relatados até agora”.

Mais significativamente, os investigadores testaram redes compostas por neurónios de uso geral que são adequados para uma variedade de tarefas. “Eles mostram que mesmo redes muito, muito gerais, que não têm quaisquer tendências evoluídas para a fala ou quaisquer outros sons, mostram, no entanto, uma correspondência com a codificação neural humana”, disse Gary Lupyan, psicólogo da Universidade de Wisconsin, Madison, que não esteve envolvido no trabalho. Os resultados não só ajudam a desmistificar a forma como as RNAs aprendem, mas também sugerem que os cérebros humanos podem não vir já equipados com hardware e software especialmente concebidos para a linguagem.

Para estabelecer uma base para o lado humano da comparação, os pesquisadores tocaram uma única sílaba – “bah” – repetidamente em dois blocos de oito minutos para 14 falantes de inglês e 15 falantes de espanhol. Enquanto tocava, os pesquisadores registraram flutuações na atividade elétrica média dos neurônios no tronco cerebral de cada ouvinte – a parte do cérebro onde os sons são processados ​​pela primeira vez.

Além disso, os pesquisadores alimentaram dois conjuntos diferentes de redes neurais com os mesmos sons “bah” – um treinado em sons do inglês e outro em espanhol. Os pesquisadores então registraram a atividade de processamento da rede neural, concentrando-se nos neurônios artificiais na camada da rede onde os sons são analisados ​​pela primeira vez (para espelhar as leituras do tronco cerebral). Foram esses sinais que se aproximaram das ondas cerebrais humanas.

Os pesquisadores escolheram um tipo de arquitetura de rede neural conhecida como rede adversária generativa (GAN), originalmente inventada em 2014 para gerar imagens. Uma GAN é composta por duas redes neurais – um discriminador e um gerador – que competem entre si. O gerador cria uma amostra, que pode ser uma imagem ou um som. O discriminador determina o quão próximo está de uma amostra de treinamento e oferece feedback, resultando em outra tentativa do gerador e assim por diante até que o GAN possa entregar a saída desejada.

Neste estudo, o discriminador foi inicialmente treinado em uma coleção de sons ingleses ou espanhóis. Então o gerador – que nunca ouviu esses sons – teve que encontrar uma maneira de produzi-los. Começou fazendo sons aleatórios, mas depois de cerca de 40,000 mil rodadas de interações com o discriminador, o gerador melhorou, eventualmente produzindo os sons adequados. Como resultado desse treinamento, o discriminador também melhorou a distinção entre os reais e os gerados.

Foi nesse momento, depois que o discriminador estava totalmente treinado, que os pesquisadores tocaram nele os sons “bah”. A equipe mediu as flutuações nos níveis médios de atividade dos neurônios artificiais do discriminador, que produziram o sinal tão semelhante às ondas cerebrais humanas.

Esta semelhança entre os níveis de atividade humana e da máquina sugere que os dois sistemas estão envolvidos em atividades semelhantes. “Assim como a pesquisa mostrou que o feedback dos cuidadores molda as produções de sons infantis, o feedback da rede discriminadora molda as produções sonoras da rede geradora”, disse Kapatsinski, que não participou do estudo.

O experimento também revelou outro paralelo interessante entre humanos e máquinas. As ondas cerebrais mostraram que os participantes falantes de inglês e espanhol ouviram o som “bah” de maneira diferente (os falantes de espanhol ouviram mais “pah”), e os sinais do GAN também mostraram que a rede treinada em inglês processou os sons de maneira um pouco diferente do que o treinado em espanhol.

“E essas diferenças funcionam na mesma direção”, explicou Beguš. O tronco cerebral dos falantes de inglês responde ao som “bah” um pouco mais cedo do que o tronco cerebral dos falantes de espanhol, e o GAN treinado em inglês respondeu a esse mesmo som um pouco mais cedo do que o modelo treinado em espanhol. Tanto nos humanos como nas máquinas, a diferença de tempo era quase idêntica, aproximadamente um milésimo de segundo. Isto forneceu evidências adicionais, disse Beguš, de que os humanos e as redes artificiais estão “provavelmente processando coisas de maneira semelhante”.

Embora ainda não esteja claro exatamente como o cérebro processa e aprende a linguagem, o linguista Noam Chomsky propôs na década de 1950 que os humanos nascem com uma capacidade inata e única de compreender a linguagem. Essa capacidade, argumentou Chomsky, está literalmente embutida no cérebro humano.

O novo trabalho, que utiliza neurônios de uso geral não projetados para a linguagem, sugere o contrário. “O artigo definitivamente fornece evidências contra a noção de que a fala requer máquinas especiais integradas e outras características distintivas”, disse Kapatsinski.

Beguš reconhece que este debate ainda não está resolvido. Enquanto isso, ele está explorando ainda mais os paralelos entre o cérebro humano e as redes neurais, testando, por exemplo, se as ondas cerebrais provenientes do córtex cerebral (que realiza o processamento auditivo após o tronco cerebral ter feito a sua parte) correspondem aos sinais produzidos por ondas mais profundas. camadas do GAN.

Em última análise, Beguš e a sua equipa esperam desenvolver um modelo fiável de aquisição de linguagem que descreva como tanto as máquinas como os humanos aprendem línguas, permitindo experiências que seriam impossíveis com seres humanos. “Poderíamos, por exemplo, criar um ambiente adverso [como aqueles observados em bebês negligenciados] e ver se isso leva a algo semelhante a distúrbios de linguagem”, disse Christina Zhao, neurocientista da Universidade de Washington que foi coautor do novo artigo com Beguš e Alan Zhou, estudante de doutorado na Universidade Johns Hopkins.

“Agora estamos tentando ver até onde podemos ir, quão perto da linguagem humana podemos chegar com neurônios de uso geral”, disse Beguš. “Poderemos atingir níveis humanos de desempenho com as arquiteturas computacionais que temos – apenas tornando nossos sistemas maiores e mais poderosos – ou isso nunca será possível?” Embora seja necessário mais trabalho antes de podermos ter a certeza, disse ele, “estamos surpreendidos, mesmo nesta fase relativamente inicial, pela forma como o funcionamento interno destes sistemas – humano e RNA – parece ser semelhante”.