Cosa sa davvero ChatGPT sulla fisica?

Cosa sa davvero ChatGPT sulla fisica?

Sidney Perkowitz esplora ciò che il nuovo interlocutore preferito di tutti ha da dire sulla fisica

Concetto di AI chatbot su un telefono cellulare
Cammina con attenzione ChatGPT ha molte risposte, ma non sempre hanno ragione. (Per gentile concessione: iStock/Thapana Onphalai)

L'arte della conversazione potrebbe essere morta, ma non lo sapresti dall'attenzione a cui viene prestata ChatGPT. Non è una persona con battute scintillanti, ma un chatbot che accede a un database di parole delle dimensioni di un terabyte tratto da Internet. Digita qualsiasi cosa e ChatGPT (usando un modello di linguaggio AI chiamato Trasformatore generativo pre-addestrato 3) seleziona le parole che probabilmente seguiranno. Quindi forma parole collegate tematicamente in frasi e paragrafi reattivi, coerenti e grammaticali.

ChatGPT è stato messo online nel novembre 2022 per le persone da provare. Avendoci provato anch'io, ho scoperto che l'esperienza in tempo reale è come mandare SMS a una persona, potenziata dalla nostra tendenza umana a proiettare personalità e coscienza su cose che non hanno né l'una né l'altra. Come ti dirà lo stesso ChatGPT, non è senziente, anche se la sua facilità con il linguaggio può farti pensare che stai interagendo con un essere cosciente.

Ma l'algoritmo che alimenta ChatGPT è in grado di presentare idee e fatti scientifici con precisione?

Test informali condotti da milioni di persone che hanno provato ChatGPT suggeriscono che potrebbe essere utilizzato per scopi educativi anche se utenti senza scrupoli potrebbero presentare il suo lavoro come proprio. Ma l'algoritmo che alimenta ChatGPT è in grado di presentare idee e fatti scientifici con precisione? In altre parole, come fa ChatGPT ad affrontare una materia così specializzata e complessa come la fisica?

Quando gli ho chiesto, ad esempio, cosa succede all'interno di un buco nero, mi è stato detto che la situazione è "estremamente estrema" e mi sono state fornite informazioni accurate sulla sua densità, l'orizzonte degli eventi e altre proprietà fisiche. In risposta alla domanda “Cosa ha fatto LIGO misurare?" Mi è stata data una risposta lunga e dettagliata sulle onde gravitazionali e sulle strutture di LIGO.

Ho anche provato alcune domande di livello superiore, prima chiedendo a ChatGPT di dirmi il problema principale nel combinare la relatività generale con la fisica quantistica. "Si basano su principi fondamentalmente diversi", mi è stato detto. "La relatività generale... descrive la gravità come la curvatura dello spazio-tempo... la fisica quantistica... descrive il comportamento della materia e dell'energia a livello subatomico... fanno previsioni diverse... in certi regimi".

Alla domanda "La fisica della materia condensata è uguale alla fisica dello stato solido?" ChatGPT ha risposto che, a differenza della fisica dello stato solido, la fisica della materia condensata include la ricerca sui liquidi e sui fluidi complessi, e ha descritto le proprietà studiate. Ho anche ricevuto una risposta equilibrata e significativa quando ho chiesto se “comprendere la materia oscura è più importante che avere abilità artistiche”, sentendomi dire, in parte, che “dipende dai propri valori e obiettivi personali”.

Se dei veri studenti di fisica avessero consegnato questi mini saggi, li avrei giudicati più che accettabili

Non ho trovato interpretazioni errate di concetti fisici in nessuna di queste risposte. Fatta eccezione per la frase orecchiabile “estremamente estremo”, la scrittura non era particolarmente vivace sebbene fosse perfettamente chiara e logicamente strutturata. Nel complesso, se veri studenti di fisica avessero consegnato questi mini saggi, li avrei giudicati più che accettabili (se non avessi saputo da dove venivano).

ChatGPT risponde anche alle equazioni. Quando ho chiesto se "F=mv" e "R=VI” sono corretti, sono stato informato che queste sono le forme sbagliate delle leggi di Newton e di Ohm e mi sono state fornite le equazioni corrette e una spiegazione per esse. Inserendo “E=mc2” ha generato una risposta che ha identificato correttamente l'equazione, ma ha affermato erroneamente che una piccola energia può essere convertita in una grande massa.

Allo stesso modo, ci sono rapporti che ChatGPT non è così bravo a trasformare i problemi dati in forma scritta in matematica, anche se può risolvere numericamente problemi di algebra e calcolo. Inoltre, ChatGPT non sempre ottiene i fatti giusti. Quando ho inserito il mio nome, ad esempio, ha descritto accuratamente la mia scrittura e la mia carriera, ma ha sbagliato il titolo di un libro e mi ha assegnato due premi che non ho mai ricevuto.

ChatGPT ha fatto bene, tuttavia, nell'esprimere il lato più leggero della fisica. Quando gli ho chiesto di raccontarmi una barzelletta sulla fisica, ha risposto: “Perché gli scienziati non si fidano degli atomi? Perché inventano tutto! Può anche fare poesia. Quando gli ho chiesto di mettere in versi le tre leggi della termodinamica, sono arrivate quattro strofe. Non erano grandiosi, ma facevano rima e trasmettevano l'idea. Ecco il primo:

La prima legge è un equilibrio che dobbiamo mantenere,
L'energia è costante, non può essere comprata o venduta.
Scorre come un fiume, dentro e fuori,
Un ciclo senza fine, senza dubbio.

Diventando più fiducioso, ho deciso di porre quella che pensavo fosse una domanda trabocchetto. "Si potrebbe costruire LIGO con LEGO?" La risposta: “È improbabile... LIGO è uno strumento scientifico molto complesso [che sarebbe] difficile, se non impossibile, da realizzare utilizzando LEGO... LIGO richiede una tecnologia avanzata, come i laser... che non sarebbe disponibile in un set LEGO. " Potrei quasi credere che ChatGPT mi stesse dicendo astutamente quanto sono stupido. Ma no, l'algoritmo stava solo seguendo le sue regole ed era letterale.

Le mie avventure con ChatGPT dimostrano che può fornire valide conoscenze e tradizioni fisiche in forma leggibile, ma necessita della supervisione umana prima che il suo output possa essere completamente considerato attendibile. Vero feedback umano anche alle sue risposte aiuta ad addestrare il modello linguistico ChatGPT, mentre il suo database Internet nasce dalla conoscenza e dalla saggezza umana, quindi il chatbot riflette inevitabilmente i nostri pregiudizi ed errori. Forse i fatti e le teorie della scienza oggettivamente verificabili significano che i chatbot possono essere migliorati più rapidamente qui che nei campi in cui le risposte sono meno definite o più controverse.

Nel 1950 quando Alan Turing ha scritto per la prima volta sulle macchine pensanti, ha calcolato che sarebbe stato difficile addestrare una macchina quanto educare un bambino. Potrebbe essere così, ma penso che, con ChatGPT, abbiamo fatto i primi passi nell'educazione della macchina.

Timestamp:

Di più da Mondo della fisica