O que o ChatGPT realmente sabe sobre física?

O que o ChatGPT realmente sabe sobre física?

Sidney Perkowitz explora o que o novo parceiro de conversa favorito de todos tem a dizer sobre física

Conceito de AI chatbot em um telefone celular
Pisar com cuidado O ChatGPT tem muitas respostas – mas nem sempre estão certas. (Cortesia: iStock/Thapana Onphalai)

A arte da conversa pode estar morta, mas você não saberia disso pela atenção que está sendo dada a ela. ChatGPT. Não é uma pessoa com réplica brilhante, mas um chatbot que acessa um banco de dados do tamanho de um terabyte de palavras extraídas da Internet. Digite qualquer coisa e ChatGPT (usando um modelo de linguagem AI chamado Transformador pré-treinado gerador 3) seleciona as palavras com maior probabilidade de seguir. Em seguida, forma palavras ligadas tematicamente em frases e parágrafos responsivos, coerentes e gramaticais.

ChatGPT foi colocado online em novembro de 2022 para as pessoas experimentarem. Depois de experimentar, descobri que a experiência em tempo real é como enviar mensagens de texto para uma pessoa, aprimorada por nossa tendência humana de projetar personalidade e consciência em coisas que não têm nenhum dos dois. Como o próprio ChatGPT lhe dirá, ele não é senciente, embora sua facilidade com a linguagem possa fazer você pensar que está se envolvendo com um ser consciente.

Mas o algoritmo que alimenta o ChatGPT é capaz de apresentar ideias e fatos científicos com precisão?

Testes informais de milhões de pessoas que experimentaram o ChatGPT sugerem que ele pode ser usado para fins educacionais, mesmo que usuários inescrupulosos apresentem seu trabalho como se fossem seus. Mas o algoritmo que alimenta o ChatGPT é capaz de apresentar ideias e fatos científicos com precisão? Como, em outras palavras, o ChatGPT lida com um assunto tão especializado e complexo quanto a física?

Quando perguntei, por exemplo, o que acontece dentro de um buraco negro, disseram-me que a situação é “extremamente extrema” e recebi informações precisas sobre sua densidade, o horizonte de eventos e outras propriedades físicas. Em resposta à pergunta “O que LIGO medir?" Recebi uma resposta longa e detalhada sobre ondas gravitacionais e as instalações do LIGO.

Também tentei algumas perguntas de nível superior, primeiro pedindo ao ChatGPT que me contasse o principal problema na combinação da relatividade geral com a física quântica. “Eles são baseados em princípios fundamentalmente diferentes”, disseram-me. "A relatividade geral... descreve a gravidade como a curvatura do espaço-tempo... a física quântica... descreve o comportamento da matéria e da energia no nível subatômico... eles fazem previsões diferentes... em certos regimes."

Para a pergunta “A física da matéria condensada é o mesmo que a física do estado sólido?” O ChatGPT respondeu que, ao contrário da física do estado sólido, a física da matéria condensada inclui pesquisas sobre líquidos e fluidos complexos e descreveu as propriedades estudadas. Até obtive uma resposta equilibrada e significativa quando perguntei se “entender a matéria escura é mais importante do que ter habilidade artística”, sendo dito, em parte, que “depende dos valores e objetivos pessoais de cada um”.

Se alunos de física reais tivessem entregado esses mini ensaios, eu os teria classificado como mais do que aceitáveis

Não encontrei interpretações erradas de conceitos físicos em nenhuma dessas respostas. Exceto pela frase cativante “extremamente extremo”, a escrita não era particularmente viva, embora fosse perfeitamente clara e logicamente apresentada. No geral, se alunos de física reais tivessem entregado esses mini ensaios, eu os teria classificado como mais do que aceitável (se eu não soubesse de onde eles vieram).

ChatGPT também responde a equações. Quando perguntei se “F=mv"E"R=VI” estão corretos, fui informado de que essas são as formas erradas das leis de Newton e Ohm e recebi as equações corretas e uma explicação para elas. Entrando “E=mc2” gerou uma resposta que identificou corretamente a equação, mas afirmou erroneamente que uma pequena energia pode ser convertida em uma grande massa.

Da mesma forma, existem relatórios que o ChatGPT não é tão bom em transformar problemas dados por escrito em matemática, mesmo que possa resolver numericamente problemas de álgebra e cálculo. Além do mais, o ChatGPT nem sempre acerta os fatos. Quando coloquei meu nome, por exemplo, ele descreveu com precisão minha escrita e carreira, mas errou o título de um livro e me concedeu dois prêmios que nunca recebi.

ChatGPT fez bem, no entanto, em expressar o lado mais leve da física. Quando pedi para ele me contar uma piada de física, ele respondeu: “Por que os cientistas não confiam nos átomos? Porque eles inventam tudo!” Pode até fazer poesia. Quando pedi que colocasse as três leis da termodinâmica em versos, ele apresentou quatro estrofes. Eles não eram ótimos, mas rimavam e transmitiam a ideia. Aqui está o primeiro:

A primeira lei é um equilíbrio que devemos manter,
A energia é constante, não pode ser comprada ou vendida.
Ele flui como um rio, dentro e fora,
Um ciclo sem fim, sem dúvida.

Ficando mais confiante, decidi fazer o que pensei ser uma pergunta capciosa. “É possível construir um LIGO com LEGO?” A resposta: “É improvável... O LIGO é um instrumento científico altamente complexo [que seria] difícil, se não impossível, de conseguir usando o LEGO... O LIGO requer tecnologia avançada, como lasers... que não estariam disponíveis em um conjunto LEGO. ” Eu quase podia acreditar que o ChatGPT estava me dizendo maliciosamente como eu sou burra. Mas não, o algoritmo estava apenas seguindo suas regras e sendo literal.

Minhas aventuras com o ChatGPT mostram que ele pode fornecer conhecimentos e tradições de física válidos de forma legível, mas precisa de supervisão humana antes que sua saída possa ser totalmente confiável. Feedback humano real às suas respostas também ajuda a treinar o modelo de linguagem ChatGPT, enquanto seu banco de dados na Internet surge do conhecimento e sabedoria humanos, então o chatbot inevitavelmente reflete nossos próprios preconceitos e erros. Talvez os fatos e teorias da ciência objetivamente verificáveis ​​signifiquem que os chatbots podem ser melhorados mais rapidamente aqui do que em campos onde as respostas são menos definidas ou mais controversas.

Em 1950 quando Alan Turing escreveu pela primeira vez sobre máquinas pensantes, ele calculou que seria tão difícil treinar uma máquina quanto educar uma criança. Pode ser, mas acho que, com o ChatGPT, demos os primeiros passos na educação de máquinas.

Carimbo de hora:

Mais de Mundo da física