Introductie
Begin met praten Ellie Pavlick over haar werk – op zoek naar bewijs van begrip binnen grote taalmodellen (LLM’s) – en het klinkt misschien alsof ze er de draak mee steekt. De zinsnede 'met de hand golvend' is favoriet, en als ze het over 'betekenis' of 'redenering' heeft, komt dat vaak met opvallende luchtcitaten. Dit is gewoon Pavlicks manier om zichzelf eerlijk te houden. Als computerwetenschapper die taalmodellen bestudeert aan de Brown University en Google DeepMind, weet ze dat het omarmen van de inherente papperigheid van natuurlijke taal de enige manier is om taal serieus te nemen. “Dit is een wetenschappelijke discipline – en het is een beetje flauw,” zei ze.
Precisie en nuance bestaan al sinds de adolescentie naast elkaar in de wereld van Pavlick, toen ze van wiskunde en wetenschappen hield ‘maar altijd werd geïdentificeerd als een meer creatief type.’ Als student behaalde ze diploma's in economie en saxofoonprestaties voordat ze promoveerde in de computerwetenschappen, een vakgebied waarin ze zich nog steeds een buitenstaander voelt. "Er zijn veel mensen die denken dat intelligente systemen veel op computercode zullen lijken: netjes en handig, zoals veel systemen die we goed kunnen begrijpen," zei ze. “Ik geloof gewoon dat de antwoorden ingewikkeld zijn. Als ik een eenvoudige oplossing heb, ben ik er vrij zeker van dat deze verkeerd is. En ik wil geen ongelijk hebben.”
Een toevallige ontmoeting met een computerwetenschapper die toevallig op het gebied van natuurlijke taalverwerking werkte, bracht Pavlick ertoe aan haar doctoraatswerk te beginnen waarin ze onderzocht hoe computers semantiek, of betekenis in taal, konden coderen. ‘Ik denk dat het een zekere jeuk veroorzaakte,’ zei ze. “Het verdiept zich in de filosofie, en dat past bij veel van de dingen waar ik momenteel aan werk.” Nu richt een van Pavlicks belangrijkste onderzoeksgebieden zich op 'gronden': de vraag of de betekenis van woorden afhangt van dingen die onafhankelijk van de taal zelf bestaan, zoals zintuiglijke waarnemingen, sociale interacties of zelfs andere gedachten. Taalmodellen zijn volledig op tekst getraind en bieden dus een vruchtbaar platform om te onderzoeken hoe gronding van belang is voor betekenis. Maar de vraag zelf houdt taalkundigen en andere denkers al tientallen jaren bezig.
“Dit zijn niet alleen ‘technische’ problemen,” zei Pavlick. “Taal is zo groot dat het voor mij voelt alsof het alles omvat.”
Quanta sprak met Pavlick over het maken van wetenschap uit filosofie, wat ‘betekenis’ betekent, en het belang van niet-sexy resultaten. Het interview is voor de duidelijkheid ingekort en bewerkt.
Introductie
Wat betekent ‘begrijpen’ of ‘betekenis’ empirisch? Waar zoek je specifiek naar?
Toen ik aan mijn onderzoeksprogramma bij Brown begon, besloten we dat betekenis op de een of andere manier met concepten te maken heeft. Ik besef dat dit een theoretische verbintenis is die niet iedereen maakt, maar het lijkt intuïtief. Als je het woord 'appel' gebruikt om appel aan te duiden, heb je het concept van een appel nodig. Dat moet iets zijn, of je het woord nu wel of niet gebruikt om ernaar te verwijzen. Dat is wat het betekent om 'betekenis te hebben': er moet een concept zijn, iets dat je onder woorden brengt.
Ik wil concepten in het model vinden. Ik wil iets dat ik binnen het neurale netwerk kan pakken, bewijs dat er iets is dat intern ‘appel’ vertegenwoordigt, waardoor er consequent met hetzelfde woord naar verwezen kan worden. Omdat er een interne structuur lijkt te bestaan die niet willekeurig en willekeurig is. Je kunt deze kleine klompjes met een goed gedefinieerde functie vinden die op betrouwbare wijze iets doen.
Ik heb me geconcentreerd op het karakteriseren van deze interne structuur. Welke vorm heeft het? Het kan een subset van de gewichten binnen het neurale netwerk zijn, of een soort lineaire algebraïsche bewerking op die gewichten, een soort geometrische abstractie. Maar het moet een causale rol spelen [in het gedrag van het model]: het is verbonden met deze inputs, maar niet met die, en met deze outputs en niet met die.
Dat voelt als iets dat je ‘betekenis’ zou kunnen noemen. Het gaat erom uit te zoeken hoe we deze structuur kunnen vinden en relaties kunnen leggen, zodat we, zodra we alles op de juiste plaats hebben, het kunnen toepassen op vragen als: "Weet het wat 'appel' betekent?"
Heb je voorbeelden van deze structuur gevonden?
Ja, een resultaat houdt in dat een taalmodel een stukje informatie ophaalt. Als je het model vraagt: ‘Wat is de hoofdstad van Frankrijk’, moet het ‘Parijs’ zeggen en ‘Wat is de hoofdstad van Polen’ moet ‘Warschau’ opleveren. Het zou heel gemakkelijk al deze antwoorden kunnen onthouden, en ze zouden overal verspreid kunnen zijn [binnen het model] – er is geen echte reden waarom het een verband tussen die dingen nodig heeft.
In plaats daarvan hebben we een kleine plaats in het model gevonden waar deze verbinding feitelijk in één kleine vector wordt samengevat. Als u het toevoegt aan 'Wat is de hoofdstad van Frankrijk', wordt 'Parijs' opgehaald; en diezelfde vector zal, als je vraagt: ‘Wat is de hoofdstad van Polen’, ‘Warschau’ opleveren. Het is net als deze systematische 'herstel-hoofdstad-stad'-vector.
Dat is echt een opwindende bevinding, omdat het lijkt alsof [het model] deze kleine concepten neerslaat en er vervolgens algemene algoritmen op toepast. En ook al kijken we naar deze heel [eenvoudige] vragen, het gaat om het vinden van bewijs van de grondstoffen die het model gebruikt. In dit geval zou het gemakkelijker zijn om weg te komen met het onthouden van informatie; in veel opzichten is dat waar deze netwerken voor zijn ontworpen. In plaats daarvan wordt [informatie] opgedeeld in stukjes en worden er ‘redenen’ over gegeven. En we hopen dat we, naarmate we met betere experimentele ontwerpen komen, iets soortgelijks kunnen vinden voor ingewikkelder soorten concepten.
Introductie
Hoe verhoudt aarding zich tot deze representaties?
De manier waarop mensen taal leren is gebaseerd op een hoop niet-talige input: je lichamelijke sensaties, je emoties, of je honger hebt, wat dan ook. Dat wordt als heel belangrijk voor de betekenis beschouwd.
Maar er zijn andere noties van aarding die meer te maken hebben met interne representaties. Er zijn woorden die niet duidelijk verbonden zijn met de fysieke wereld, maar toch betekenis hebben. Een woord als ‘democratie’ is een favoriet voorbeeld. Het zit in je hoofd: ik kan over democratie nadenken zonder erover te praten. De basis zou dus kunnen liggen tussen de taal en dat ding, die interne representatie.
Maar jij beweert dat zelfs dingen die meer extern zijn, zoals kleur, nog steeds verankerd kunnen zijn in interne ‘conceptuele’ representaties, zonder te vertrouwen op percepties. Hoe zou dat werken?
Nou ja, een taalmodel heeft geen ogen, toch? Het “weet” niets van kleuren. Dus misschien vat het iets algemeners samen, zoals het begrijpen van de onderlinge relaties. Ik weet dat als ik blauw en rood combineer, ik paars krijg; dit soort relaties zouden deze interne [grondende] structuur kunnen definiëren.
We kunnen kleurvoorbeelden aan een LLM geven met behulp van RGB-codes [reeksen getallen die kleuren vertegenwoordigen]. Als je 'Oké, hier is rood' zegt, de RGB-code voor rood geeft, en 'Hier is blauw', met de RGB-code voor blauw, en vervolgens zegt 'Vertel me wat paars is', zou de RGB-code voor paars. Deze mapping zou een goede indicatie moeten zijn dat de interne structuur van het model gezond is; de percepties [voor kleur] ontbreken, maar de conceptuele structuur is er.
Wat lastig is, is dat [het model] gewoon RGB-codes kon onthouden, die overal in de trainingsgegevens voorkomen. Dus hebben we alle kleuren “geroteerd” [weg van hun echte RGB-waarden]: we vertelden de LLM dat het woord “geel” geassocieerd was met de RGB-code voor groen, enzovoort. Het model presteerde goed: als je om groen vroeg, kreeg je de geroteerde versie van de RGB-code. Dat suggereert dat er een zekere consistentie zit in de interne representaties van kleur. Het gaat om het toepassen van kennis over hun relaties, niet alleen om het onthouden.
Dat is het hele punt van aarden. Het toewijzen van een naam aan een kleur is willekeurig. Het gaat meer om de onderlinge relaties. Dus dat was spannend.
Introductie
Hoe kunnen deze filosofisch klinkende vragen wetenschappelijk zijn?
Ik hoorde onlangs over een gedachte-experiment: wat als de oceaan het zand op zou stromen en [toen hij] zich terugtrok, de patronen een gedicht zouden voortbrengen? Heeft het gedicht betekenis? Dat lijkt super abstract, en je kunt een lang filosofisch debat voeren.
Het leuke van taalmodellen is dat we geen gedachte-experiment nodig hebben. Het is niet zo van: "Zou dit en dat in theorie intelligent zijn?" Het is alleen: is dit ding intelligent? Het wordt wetenschappelijk en empirisch.
Soms zijn mensen afwijzend; daar is de “stochastische papegaaien" benadering. Ik denk dat het voortkomt uit de angst dat mensen intelligentie voor deze dingen gaan overschrijven – wat we wel zien. En om dat te corrigeren zeggen mensen: “Nee, het is allemaal schijnvertoning. Dit is rook en spiegels.”
Het is een beetje een slechte dienst. We zijn op iets heel spannends en vrij nieuws gestuit, en het is de moeite waard om het diepgaand te begrijpen. Dat is een enorme kans die we niet mogen laten liggen, omdat we bang zijn dat de modellen te veel worden geïnterpreteerd.
Jij natuurlijk'heb ook geproduceerd onderzoek precies dat soort overinterpretatie ontkrachten.
Dat werk, waarin mensen alle ‘oppervlakkige heuristieken’ vonden die modellen gebruikten [om begrip na te bootsen] – die waren zeer fundamenteel voor mijn volwassenwording als wetenschapper. Maar het is ingewikkeld. Het is zoiets als: kondig de overwinning niet te vroeg aan. Er schuilt een beetje scepsis of paranoia [in mij] dat een evaluatie goed is uitgevoerd, zelfs een evaluatie waarvan ik weet dat ik deze heel zorgvuldig heb ontworpen!
Dus dat hoort erbij: niet te veel claimen. Een ander deel is dat als je met deze [taalmodel]systemen omgaat, je weet dat ze niet op menselijk niveau zijn; de manier waarop ze dingen oplossen is niet zo intelligent als het lijkt.
Introductie
Als er op dit gebied zoveel fundamentele methoden en termen ter discussie staan, hoe kun je succes dan überhaupt meten?
Waar we als wetenschappers naar op zoek zijn, denk ik, is een precieze, voor mensen begrijpelijke beschrijving van waar we om geven: intelligentie in dit geval. En dan voegen we woorden toe om ons te helpen daar te komen. We hebben een soort werkwoordenschat nodig.
Maar dat is moeilijk, want dan kun je in deze strijd om de semantiek terechtkomen. Als mensen zeggen: “Heeft het betekenis: ja of nee?” Ik weet het niet. We sturen het gesprek naar de verkeerde.
Wat ik probeer te bieden is een nauwkeurig verslag van het gedrag dat we graag wilden verklaren. En op dat moment is het een beetje de vraag of je het ‘betekenis’ of ‘representatie’ of een van deze beladen woorden wilt noemen. Het punt is dat er een theorie of een voorgesteld model op tafel ligt – laten we dat evalueren.
Introductie
Dus hoe kan onderzoek naar taalmodellen in de richting van die directere aanpak evolueren?
Het soort diepgaande vragen dat ik heel graag zou willen beantwoorden: wat zijn de bouwstenen van intelligentie? Hoe ziet menselijke intelligentie eruit? Hoe ziet modelintelligentie eruit? – zijn heel belangrijk. Maar ik denk dat de dingen die de komende tien jaar moeten gebeuren, niet erg sexy zijn.
Als we met deze [interne] representaties willen omgaan, hebben we methoden nodig om ze te vinden – methoden die wetenschappelijk verantwoord zijn. Als het op de juiste manier wordt gedaan, zal dit laagdrempelige methodologische gedoe geen krantenkoppen opleveren. Maar dat zijn de echt belangrijke dingen die ons in staat zullen stellen deze diepgaande vragen correct te beantwoorden.
Ondertussen blijven de modellen veranderen. Er zullen dus veel dingen zijn die mensen zullen blijven publiceren alsof het “de doorbraak” is, maar dat is het waarschijnlijk niet. In mijn ogen voelt het te vroeg om grote doorbraken te bewerkstelligen.
Mensen bestuderen deze heel eenvoudige taken, zoals vragen [een taalmodel om te voltooien] “Jan gaf een drankje aan _______”, en proberen te zien of er “Jan” of “Maria” staat. Dat geeft niet het gevoel van een resultaat dat intelligentie verklaart. Maar ik geloof echt dat de instrumenten die we gebruiken om dit saaie probleem te beschrijven essentieel zijn voor het beantwoorden van de diepgaande vragen over intelligentie.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- Bron: https://www.quantamagazine.org/does-ai-know-what-an-apple-is-she-aims-to-find-out-20240425/
- : heeft
- :is
- :niet
- :waar
- ][P
- $UP
- 10
- a
- in staat
- Over
- over het
- SAMENVATTING
- abstractie
- Account
- werkelijk
- toevoegen
- AI
- wil
- AIR
- algoritmen
- Alles
- toelaten
- toestaat
- ook
- altijd
- an
- ten anker
- en
- Nog een
- beantwoorden
- beantwoorden
- antwoorden
- elke
- iets
- Apple
- Solliciteer
- Het toepassen van
- nadering
- willekeurig
- ZIJN
- gebieden
- argumenteren
- rond
- AS
- vragen
- vragen
- geassocieerd
- At
- hechten
- weg
- terug
- basis-
- Eigenlijk
- Strijd
- BE
- omdat
- wordt
- geweest
- vaardigheden
- gedrag
- gedrag
- geloofd wie en wat je bent
- Betere
- tussen
- Groot
- Beetje
- Blokken
- Blauw
- breaks
- doorbraak
- doorbraken
- bruin
- Gebouw
- maar
- by
- Bellen
- CAN
- Kan krijgen
- hoofdstad
- captures
- verzorging
- geval
- zeker
- kans
- veranderende
- helderheid
- code
- codes
- kleur
- combineren
- hoe
- komt
- verplichting
- compleet
- ingewikkeld
- computer
- Computer Science
- computers
- concept
- concepten
- conceptuele
- gekoppeld blijven
- versterken
- beschouwd
- consistent
- gunstig
- Gesprek
- te corrigeren
- correct
- kon
- Type cursus
- Creatieve
- Op dit moment
- gegevens
- transactie
- debat
- decennia
- beslist
- deep
- diep
- DeepMind
- bepalen
- leveren
- Democratie
- afhankelijk
- beschrijven
- beschrijving
- ontworpen
- ontwerpen
- directe
- discipline
- do
- doet
- Nee
- gedaan
- Dont
- beneden
- Drinken
- verdiend
- gemakkelijker
- Economie
- inschepen
- omarmen
- emoties
- omvat
- ontmoeting
- geheel
- essentieel
- oprichten
- schatten
- evaluatie
- Zelfs
- iedereen
- alles
- bewijzen
- precies
- voorbeeld
- voorbeelden
- opwindend
- bestaan
- experiment
- experimenteel
- uitleggen
- Verklaart
- uitbuiten
- Verkennen
- extern
- Ogen
- Favoriet
- angst
- gevoel
- voelt zich
- veld-
- VIND DE PLEK DIE PERFECT VOOR JOU IS
- het vinden van
- fits
- richt
- gericht
- Voor
- formulier
- gevonden
- fundamentele
- Frankrijk
- oppompen van
- vruchtbaar
- leuke
- functie
- gaf
- Algemeen
- voortbrengen
- gegenereerde
- krijgen
- Geven
- gaan
- goed
- Kopen Google Reviews
- grijpen
- Groen
- geaard
- gebeuren
- gebeurd
- Hard
- Hebben
- hoofd
- Headlines
- hulp
- haar
- Hit
- eerlijk
- hoop
- Hoe
- How To
- HTTPS
- reusachtig
- menselijk
- menselijke intelligentie
- Mensen
- Hongerig
- i
- geïdentificeerd
- if
- belang
- belangrijk
- in
- onafhankelijk
- aanwijzing
- informatie
- inherent
- invoer
- ingangen
- verkrijgen in plaats daarvan
- Intelligentie
- Intelligent
- interacties
- intern
- inwendig
- Interview
- in
- intuïtief
- gaat
- IT
- HAAR
- zelf
- jpg
- voor slechts
- Houden
- houden
- Soort
- soorten
- blijven
- kennis
- weet
- taal
- Groot
- LEARN
- geleerd
- LED
- als
- lineair
- Elke kleine stap levert grote resultaten op!
- LLM
- lang
- Kijk
- ziet eruit als
- op zoek
- lot
- magazine
- MERKEN
- maken
- veel
- in kaart brengen
- wiskunde
- Zaken
- kan zijn
- me
- gemiddelde
- betekenis
- middel
- maatregel
- vermeldt
- methoden
- macht
- denken
- vermist
- model
- modellen
- meer
- beweging
- my
- naam
- Naturel
- Natural Language Processing
- Noodzaak
- behoeften
- netwerk
- netwerken
- neurale
- neuraal netwerk
- New
- volgende
- mooi
- geen
- nu
- Shade
- nummers
- oceaan
- of
- bieden
- vaak
- on
- eens
- EEN
- Slechts
- naar
- operatie
- kansen
- or
- Overige
- uit
- uitgangen
- over
- deel
- patronen
- Mensen
- prestatie
- uitgevoerd
- filosofie
- Fysiek
- stuk
- stukken
- plaats
- platform
- Plato
- Plato gegevensintelligentie
- PlatoData
- Spelen
- punt
- Polen
- nauwkeurig
- mooi
- primair
- waarschijnlijk
- probleem
- problemen
- verwerking
- geproduceerd
- Programma
- voorgestelde
- zorgen voor
- Reclame
- Quanta tijdschrift
- vraag
- Contact
- heel
- citaten
- willekeurige
- Rauw
- gemakkelijk
- vast
- realiseren
- werkelijk
- reden
- onlangs
- Rood
- verwijzen
- verwezen
- betrekkingen
- Relaties
- te vertrouwen
- vertegenwoordigen
- vertegenwoordiging
- vertegenwoordigt
- onderzoek
- resultaat
- Resultaten
- terugkeer
- RGB
- rechts
- Rol
- routing
- Zei
- dezelfde
- ZAND
- ervaren
- zegt
- verspreid
- Wetenschap
- wetenschappelijk
- Wetenschapper
- wetenschappers
- zien
- lijken
- lijkt
- semantiek
- sensaties
- ernstig
- ze
- moet
- gelijk
- Eenvoudig
- sinds
- Scepticisme
- Klein
- Rook
- So
- Social
- oplossing
- Het oplossen van
- sommige
- iets
- binnenkort
- Geluid
- specifiek
- begin
- Start
- Still
- structuur
- Bestuderen
- succes
- dergelijk
- Stelt voor
- Super
- zeker
- Systems
- tafel
- Nemen
- praat
- taken
- vertellen
- termen
- tekst
- dat
- De
- De hoofdstad
- hun
- Ze
- harte
- theoretisch
- theorie
- Er.
- Deze
- ze
- ding
- spullen
- denken
- denkers
- dit
- die
- toch?
- gedachte
- naar
- Toon
- ook
- tools
- in de richting van
- getraind
- Trainingen
- proberen
- type dan:
- begrip
- universiteit-
- us
- .
- gebruik
- Values
- versie
- zeer
- overwinning
- willen
- was
- Manier..
- manieren
- we
- GOED
- goed gedefinieerd
- waren
- Wat
- wat
- wanneer
- of
- welke
- WIE
- geheel
- wil
- Met
- binnen
- zonder
- Woord
- woorden
- Mijn werk
- werkzaam
- wereld
- bezorgd
- waard
- zou
- zou geven
- Verkeerd
- jaar
- ja
- nog
- You
- Your
- zephyrnet