Vad kan ChatGPT egentligen om fysik?

Vad kan ChatGPT egentligen om fysik?

Sidney Perkowitz utforskar vad allas nya favoritpratpartner har att säga om fysik

Begreppet AI chatbot på en mobiltelefon
Trä försiktigt ChatGPT har många svar – men de har inte alltid rätt. (Med tillstånd: iStock/Thapana Onphalai)

Konsten att samtala kan vara död, men du skulle inte veta det från den uppmärksamhet som ägnas ChatGPT. Det är inte en person med gnistrande repartee, utan en chatbot som får åtkomst till en terabyte-stor databas med ord hämtade från Internet. Skriv in vad som helst och ChatGPT (med en AI-språkmodell som heter Generativ förutbildad transformator 3) väljer de ord som är mest sannolikt att följa. Den formar sedan tematiskt länkade ord till responsiva, sammanhängande och grammatiska meningar och stycken.

ChatGPT lades nätet i november 2022 för folk att prova. Efter att ha provat själv, har jag märkt att realtidsupplevelsen är som att sms:a med en person, förstärkt av vår mänskliga tendens att projicera personlighet och medvetande på saker som inte har någotdera. Som ChatGPT själv kommer att berätta för dig, är det inte kännande, även om dess funktion med språk kan få dig att tro att du engagerar dig med en medveten varelse.

Men kan algoritmen som driver ChatGPT presentera vetenskapliga idéer och fakta med noggrannhet?

Informella tester av miljontals människor som har provat ChatGPT tyder på att det skulle kunna användas för utbildningsändamål även om skrupelfria användare kan presentera dess arbete som sitt eget. Men kan algoritmen som driver ChatGPT presentera vetenskapliga idéer och fakta med noggrannhet? Hur klarar ChatGPT med andra ord ett så specialiserat och komplext ämne som fysik?

När jag till exempel frågade vad som händer inuti ett svart hål fick jag höra att situationen är "extremt extrem" och fick sedan korrekt information om dess densitet, händelsehorisonten och andra fysiska egenskaper. Som svar på frågan "Vad gjorde LIGO mäta?" Jag fick ett långt detaljerat svar om gravitationsvågor och LIGOs anläggningar.

Jag försökte också några frågor på högre nivå, och bad först ChatGPT att berätta för mig huvudproblemet med att kombinera allmän relativitetsteori med kvantfysik. "De är baserade på fundamentalt olika principer," fick jag höra. "Allmän relativitetsteori ... beskriver gravitation som krökningen av rum-tid ... Kvantfysik ... beskriver beteendet hos materia och energi på subatomär nivå ... de gör olika förutsägelser ... i vissa regimer."

Till frågan "Är den kondenserade materiens fysik detsamma som fasta tillståndets fysik?" ChatGPT svarade att, till skillnad från fasta tillståndets fysik, innehåller kondenserad materiens fysik forskning om vätskor och komplexa vätskor, och beskrev de studerade egenskaperna. Jag fick till och med ett balanserat och meningsfullt svar när jag frågade om "att förstå mörk materia är viktigare än att ha konstnärlig förmåga", och fick delvis höra att det "beror på ens personliga värderingar och mål".

Om riktiga fysikstudenter hade lämnat in dessa miniuppsatser, skulle jag ha betygsatt dem som mer än acceptabla

Jag hittade inga feltolkningar av fysiska begrepp i något av dessa svar. Förutom den medryckande frasen "extremt extrem" var skriften inte särskilt livlig även om den var helt klar och logiskt upplagd. Sammantaget, om riktiga fysikstudenter hade lämnat in dessa miniuppsatser, skulle jag ha betygsatt dem som mer än acceptabla (hade jag inte vetat var de kom ifrån).

ChatGPT svarar också på ekvationer. När jag frågade om "F=mv"Och"R=VI” är korrekta, fick jag veta att detta är fel former av Newtons och Ohms lagar och fick de rätta ekvationerna och en förklaring till dem. Går in på "E=mc2” genererade ett svar som korrekt identifierade ekvationen, men angav felaktigt att en liten energi kan omvandlas till en stor massa.

På liknande sätt finns det rapporter att ChatGPT inte är så bra på att omvandla problem givna i skriftlig form till matematik, även om det numeriskt kan lösa problem i algebra och kalkyl. Dessutom får ChatGPT inte alltid sina fakta rätt. När jag skrev in mitt namn, till exempel, beskrev det korrekt mitt skrivande och karriär, men fick en boktitel fel och gav mig två utmärkelser som jag aldrig har fått.

ChatGPT lyckades dock bra med att uttrycka den lättare sidan av fysiken. När jag bad den att berätta ett fysikskämt för mig, svarade den: "Varför litar inte forskare på atomer? För de utgör allt!” Den kan till och med göra poesi. När jag bad den att sätta termodynamikens tre lagar i vers, kom den med fyra strofer. De var inte jättebra, men de rimmade och fick fram idén. Här är den första:

Den första lagen är en balans som vi måste hålla,
Energin är konstant, den kan inte köpas eller säljas.
Det rinner som en flod, in och ut,
En oändlig cykel, utan tvekan.

Jag blev mer självsäker och bestämde mig för att ställa vad jag trodde var en trickfråga. "Kan man bygga LIGO med LEGO?" Svaret: "Det är osannolikt ... LIGO är ett mycket komplext vetenskapligt instrument [som skulle vara] svårt, om inte omöjligt, att uppnå med LEGO ... LIGO kräver avancerad teknologi, såsom lasrar ... som inte skulle vara tillgängliga i ett LEGO-set. ” Jag kunde nästan tro att ChatGPT listigt berättade för mig hur dum jag är. Men nej, algoritmen följde bara sina regler och var bokstavlig.

Mina äventyr med ChatGPT visar att det kan leverera giltig fysikkunskap och kunskap i läsbar form men behöver mänsklig tillsyn innan dess resultat kan litas på fullt ut. Riktig mänsklig feedback till dess svar också hjälper till att träna ChatGPT-språkmodellen, medan dess internetdatabas härrör från mänsklig kunskap och visdom, så chatboten speglar oundvikligen våra egna fördomar och fel. Kanske gör de objektivt verifierbara fakta och vetenskapsteorier att chatbots kan förbättras snabbare här än inom områden där svaren är mindre säkra eller mer kontroversiella.

År 1950 när Alan Turing skrev först om tänkande maskiner, han räknade med att det skulle vara lika svårt att träna en maskin som det är att utbilda ett barn. Det kan vara så, men jag tror att med ChatGPT har vi tagit de första stegen i maskinutbildning.

Tidsstämpel:

Mer från Fysikvärlden