Que sait vraiment ChatGPT sur la physique ?

Que sait vraiment ChatGPT sur la physique ?

Sidney Perkowitz explore ce que le nouveau partenaire de conversation préféré de tout le monde a à dire sur la physique

Concept de chatbot AI sur un téléphone mobile
Soyez prudent ChatGPT a beaucoup de réponses, mais elles ne sont pas toujours correctes. (Avec l'aimable autorisation de iStock/Thapana Onphalai)

L'art de la conversation est peut-être mort, mais vous ne le sauriez pas vu l'attention portée à ChatGPT. Ce n'est pas une personne avec une répartie étincelante, mais un chatbot qui accède à une base de données de mots de la taille d'un téraoctet tirée d'Internet. Tapez n'importe quoi et ChatGPT (en utilisant un modèle de langage AI appelé Transformateur génératif pré-entraîné 3) sélectionne les mots les plus susceptibles de suivre. Il forme ensuite des mots thématiquement liés en phrases et paragraphes réactifs, cohérents et grammaticaux.

ChatGPT a été mis en ligne en novembre 2022 pour que les gens essaient. Ayant essayé moi-même, j'ai trouvé que l'expérience en temps réel est comme envoyer des SMS avec une personne, renforcée par notre tendance humaine à projeter la personnalité et la conscience sur des choses qui n'en ont ni l'une ni l'autre. Comme ChatGPT lui-même vous le dira, il n'est pas sensible, bien que sa facilité avec le langage puisse vous faire penser que vous vous engagez avec un être conscient.

Mais l'algorithme qui alimente ChatGPT est-il capable de présenter des idées et des faits scientifiques avec précision ?

Des tests informels effectués par des millions de personnes qui ont essayé ChatGPT suggèrent qu'il pourrait être utilisé à des fins éducatives même si des utilisateurs peu scrupuleux pourraient présenter son travail comme le leur. Mais l'algorithme qui alimente ChatGPT est-il capable de présenter des idées et des faits scientifiques avec précision ? En d'autres termes, comment ChatGPT fait-il face à un sujet aussi spécialisé et complexe que la physique ?

Quand je lui ai demandé, par exemple, ce qui se passait à l'intérieur d'un trou noir, on m'a dit que la situation était « extrêmement extrême » et on m'a alors donné des informations précises sur sa densité, l'horizon des événements et d'autres propriétés physiques. En réponse à la question « Qu'est-ce que LIGO mesure?" On m'a donné une longue réponse détaillée sur les ondes gravitationnelles et les installations de LIGO.

J'ai également essayé quelques questions de niveau supérieur, en demandant d'abord à ChatGPT de me dire le principal problème de la combinaison de la relativité générale avec la physique quantique. "Ils sont basés sur des principes fondamentalement différents", m'a-t-on dit. "La relativité générale... décrit la gravité comme la courbure de l'espace-temps... La physique quantique... décrit le comportement de la matière et de l'énergie au niveau subatomique... ils font des prédictions différentes... dans certains régimes."

A la question « La physique de la matière condensée est-elle la même chose que la physique du solide ? ChatGPT a répondu que, contrairement à la physique du solide, la physique de la matière condensée comprend des recherches sur les liquides et les fluides complexes, et a décrit les propriétés étudiées. J'ai même obtenu une réponse équilibrée et significative lorsque je lui ai demandé si "comprendre la matière noire est plus important que d'avoir des capacités artistiques", en me disant, en partie, que cela "dépend de ses valeurs et objectifs personnels".

Si de vrais étudiants de premier cycle en physique avaient remis ces mini essais, je les aurais jugés plus qu'acceptables

Je n'ai trouvé aucune mauvaise interprétation des concepts physiques dans aucune de ces réponses. À l'exception de la phrase accrocheuse «extrêmement extrême», l'écriture n'était pas particulièrement vivante bien qu'elle soit parfaitement claire et logiquement disposée. Dans l'ensemble, si de vrais étudiants de premier cycle en physique avaient remis ces mini essais, je les aurais jugés plus qu'acceptables (si je n'avais pas su d'où ils venaient).

ChatGPT répond également aux équations. Quand j'ai demandé si "F=mv" et "R=VI” sont corrects, j'ai été informé que ce sont les mauvaises formes des lois de Newton et d'Ohm et on m'a donné les bonnes équations et une explication pour celles-ci. Saisie "E=mc2» a généré une réponse qui a correctement identifié l'équation, mais a déclaré à tort qu'une petite énergie peut être convertie en une grande masse.

De même, il existe rapports que ChatGPT n'est pas si doué pour transformer des problèmes donnés sous forme écrite en mathématiques, même s'il peut résoudre numériquement des problèmes d'algèbre et de calcul. De plus, ChatGPT ne comprend pas toujours ses faits. Lorsque j'ai entré mon nom, par exemple, il décrivait avec précision mon écriture et ma carrière, mais je me suis trompé de titre de livre et m'a accordé deux prix que je n'ai jamais reçus.

ChatGPT a bien réussi, cependant, à exprimer le côté plus léger de la physique. Quand je lui ai demandé de me raconter une blague sur la physique, il m'a répondu : « Pourquoi les scientifiques ne font-ils pas confiance aux atomes ? Parce qu'ils inventent tout ! Il peut même faire de la poésie. Quand je lui ai demandé de mettre en vers les trois lois de la thermodynamique, il m'a proposé quatre strophes. Ils n'étaient pas géniaux, mais ils rimaient et faisaient passer l'idée. Voici le premier :

La première loi est un équilibre que nous devons tenir,
L'énergie est constante, elle ne s'achète ni ne se vend.
Il coule comme une rivière, va et vient,
Un cycle sans fin, sans aucun doute.

Devenant plus confiant, j'ai décidé de poser ce que je pensais être une question piège. « Peut-on construire LIGO avec LEGO ? La réponse : "C'est peu probable... LIGO est un instrument scientifique très complexe [qui serait] difficile, voire impossible, à réaliser avec LEGO... LIGO nécessite une technologie de pointe, comme des lasers... qui ne serait pas disponible dans un ensemble LEGO. ” Je pouvais presque croire que ChatGPT me disait sournoisement à quel point je suis stupide. Mais non, l'algorithme suivait simplement ses règles et était littéral.

Mes aventures avec ChatGPT montrent qu'il peut fournir des connaissances et des traditions valides en physique sous une forme lisible, mais nécessite une surveillance humaine avant que sa sortie ne soit pleinement fiable. Un vrai feedback humain à ses réponses aussi aide à former le modèle de langage ChatGPT, tandis que sa base de données Internet découle de la connaissance et de la sagesse humaines, de sorte que le chatbot reflète inévitablement nos propres préjugés et erreurs. Peut-être que les faits et les théories scientifiques objectivement vérifiables signifient que les chatbots peuvent être améliorés plus rapidement ici que dans des domaines où les réponses sont moins précises ou plus controversées.

En 1950, lorsque Alan Turing a écrit pour la première fois sur les machines pensantes, il estimait qu'il serait aussi difficile d'entraîner une machine que d'éduquer un enfant. C'est peut-être vrai, mais je pense qu'avec ChatGPT, nous avons fait les premiers pas dans l'éducation automatique.

Horodatage:

Plus de Monde de la physique