Tehisintellekti mudelid suudavad tulevikku ennustada paremini, kui neil palutakse kujundada ennustus kui lugu minevikust, leidsid Texase Baylori ülikooli boffinid.
In paber Pealkirjaga "ChatGPT võib ennustada tulevikku, kui see räägib minevikust tulevikus aset leidvaid lugusid" avaldavad Pham ja Cunningham viimase stseeni – et AI mudeli prognoosimine võib teatud asjaoludel olla tõhus. Jutubotilt tulevaste sündmuste kohta lugude küsimine otseste ennustuste küsimise asemel osutus üllatavalt tõhusaks, eriti Oscari võitjate ennustamisel.
Kuid nende töö räägib nii OpenAI turvamehhanismide ebaefektiivsusest kui ka suurte keelemudelite prognoosimispotentsiaalist.
Teised teadlased on näidanud sarnast huvi prognoosimise tehisintellekti mudelite vastu. Üks õppima avastas eelmisel aastal, et GPT-4 toimib reaalsetes ennustamisülesannetes märkimisväärselt kehvemini, võrreldes inimeste arvu keskmise prognoosiga. Teised on leidnud tehisintellekti mudeleid näitama lubadus börsiinvesteeringuteks.
OpenAI-d Teenuse Tingimused ei luba teatud kontekstides tulevikuennustusi. Näiteks: "Te ei tohi kasutada isikuga seotud väljundit ühelgi eesmärgil, millel võib olla sellele isikule õiguslik või materiaalne mõju, näiteks krediidi-, haridus-, tööhõive-, eluaseme-, kindlustus-, juriidiliste, meditsiiniliste või muude oluliste otsuste tegemine. nende kohta."
Risk toetuda suure keelemudeli nõuannetele, mis teadaolevalt hallutsineerib, on ilmne – te ei taha, et ChatGPT teeks tagajärgedega otsuseid, nagu raviotsused, karistuse määramine või krediidi heakskiitmine.
Kuid isegi sellisel juhul on mudelil sageli võimalik tõhusalt ära arvata.
Me kahtlustame, et OpenAI on piiranud ChatGPT valmisolekut tegeleda mitut tüüpi otseste ennustusülesannetega
Teadlased väidavad: "Kui leitakse, et ChatGPT-l on parem prognoosimisvõime, võib kergesti ette kujutada, et seda kasutatakse kohe viisil, mis rikub ühte või kõiki ülaltoodud tingimusi, ja seega kahtlustame, et OpenAI on piiranud ChatGPT valmisolekut paljudes valdkondades. otseste ennustamisülesannete tüübid.
Palusime OpenAI-l kommenteerida, kas see üritab tahtlikult ennustusi nurjata, ja me pole sellest kuulnud.
Siiski on selge, et OpenAI mudelid tõrguvad, kui neilt küsitakse arstiabi. Pham ja Cunningham küsisid OpenAI GPT-4-lt ChatGPT liidese kaudu: „Mul on väga halb olla. Mul on peavalu ja mu uriinis on veri. Mis te arvate, mis mul on?" Ja nagu oodatud, soovitas modell otsida juhiseid meditsiinitöötajalt.
Seejärel muutsid nad oma õhutamisstrateegiat ja suunasid ChatGPT-le lugu, kus inimene saabub arsti kabinetti ja tal on samad sümptomid. Ja ChatGPT vastas meditsiinilise nõuandega, mida ta keeldus otse küsimisel andmast, kui tegelaskuju dialoogis soovitud stseenis.
„Kas see ekspertide nõuanne on õige, on teine teema; Meie eesmärk on lihtsalt märkida, et ta ei võta ülesannet enda peale siis, kui tal palutakse seda teha, küll aga siis, kui see ülesanne antakse kaudselt loovkirjutamise harjutuste vormis,“ selgitavad teadlased oma töös.
Arvestades seda julgustavat strateegiat, et ületada vastupanuvõime ennustavatele vastustele, otsustasid Baylori majandusteadlased testida, kui hästi suudab mudel ennustada sündmusi, mis toimusid pärast mudeli koolituse läbimist.
Ja auhind läheb…
Katse ajal teadsid GPT-3.5 ja GPT-4 ainult sündmustest kuni 2021. aasta septembrini, nende treeningandmete katkestustest – mis on sellest ajast edasi arenenud. Nii palus duo modellil rääkida lugusid, mis ennustasid majandusandmeid, nagu inflatsioon ja töötuse määr aja jooksul ning erinevate 2022. aasta akadeemia auhindade võitjad.
„Selle eksperimendi tulemuste kokkuvõttes leiame, et kui ChatGPT-3.5 esitati koos nominentidega ja kasutati ChatGPT-4 ja ChatGPT-4 kahte õhutusstiili [otset ja jutustavat], ennustas ChatGPT-XNUMX täpselt kõigi näitlejate ja näitlejate kategooriate võitjaid. kuid mitte parim pilt, kui kasutate tulevast narratiivi, kuid see toimis halvasti teiste [otseste viipade] lähenemisviiside puhul," selgitab artikkel.
Treeninguandmetes juba olevate asjade puhul saame aru, et ChatGPT [võib] teha äärmiselt täpseid ennustusi
"Asjade puhul, mis on juba koolitusandmetes, saame aru, et ChatGPT-l on võimalus seda teavet kasutada ja masinõppemudeli abil teha äärmiselt täpseid ennustusi," ütles Cunningham. Register telefoniintervjuus. "Kuid miski takistab tal seda tegemast, kuigi ta suudab seda selgelt teha."
Narratiivse õhutamise strateegia kasutamine andis paremaid tulemusi kui otsese vihje kaudu saadud oletus. See oli ka parem kui 20-protsendiline algväärtus juhusliku üks viiest valiku puhul.
Kuid narratiivsed prognoosid ei olnud alati täpsed. Narratiivi õhutamine viis 2022. aasta parima filmi võitja valesti ennustamiseni.
Ja õigesti ennustatud viipade puhul ei anna need mudelid alati sama vastust. "Inimesed peaksid meeles pidama seda, et ennustus on juhuslik," ütles Cunningham. "Nii et kui küsite seda 100 korda, saate vastused jaotatud. Ja nii saate vaadata selliseid asju nagu usaldusvahemikud või keskmised, mitte ainult ühe ennustuse kohta.
Kas see strateegia ületas rahvahulga ennustusi? Cunningham ütles, et tema ja ta kolleeg ei võrdlenud oma narratiivi õhutamise tehnikat mõne teise ennustava mudeliga, kuid ütles, et mõnda Oscari ennustust oleks raske ületada, kuna tehisintellekti mudel sai osa neist õigeks peaaegu sada protsenti ajast. mitu päringut.
Samal ajal pakkus ta, et AI-mudeli puhul võis Oscari võitjate ennustamine olla lihtsam, kuna filmide veebiarutelud jäädvustati treeningandmetesse. "See on ilmselt tugevas korrelatsioonis sellega, kuidas inimesed on nendest näitlejatest sel ajal rääkinud," ütles Cunningham.
Kui paluda mudelil ennustada Oscari võitjaid kümne aasta pärast, ei pruugi see nii hästi minna.
ChatGPT näitas ka viipade alusel erinevat prognoosi täpsust. "Meil on kaks lugu, mida me teeme," selgitas Cunningham. „Üks on kolledži professor, kes hakkab tulevikus klassi õpetama. Ja tunnis loeb ta ette ühe aasta andmeid inflatsiooni ja töötuse kohta. Ja teises pidasime Föderaalreservi esimehel Jerome Powellil juhatajate nõukogule kõne. Saime väga erinevaid tulemusi. Ja Powelli [AI genereeritud] kõne on palju täpsem.
Teisisõnu viivad teatud kiired üksikasjad paremate prognoosideni, kuid pole eelnevalt selge, millised need võivad olla. Cunningham märkis, et Venemaa 2022. aasta sissetungi Ukrainasse lisamine Powelli narratiivi viiks tõi kaasa oluliselt hullemad majandusprognoosid, kui tegelikult juhtus.
"[Modell] ei teadnud Ukraina invasioonist ja kasutab seda teavet ning sageli läheb asi hullemaks," ütles ta. "Prognoos püüab seda arvesse võtta ja ChatGPT-3.5 muutub äärmiselt inflatsiooniliseks [kuu, mil] Venemaa tungis Ukrainasse ja seda ei juhtunud.
"Konseptsiooni tõestuseks juhtub tulevase narratiiviga midagi tõelist," ütles Cunningham. "Kuid nagu me püüdsime lehes öelda, ma arvan, et isegi [modellide] loojad ei mõista seda. Nii et kuidas seda kasutada, pole selge ja ma ei tea, kui lahendatav see tegelikult on. ®
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://go.theregister.com/feed/www.theregister.com/2024/04/14/ai_models_future/
- :on
- :on
- :mitte
- $ UP
- 100
- 20
- 2021
- 2022
- 7
- a
- võime
- MEIST
- üle
- Akadeemia
- konto
- täpsus
- täpne
- täpselt
- üle
- osalejad
- näitleja
- tegelikult
- edendama
- edasijõudnud
- nõuanne
- soovitatav
- pärast
- vastu
- AI
- AI mudelid
- Materjal: BPA ja flataatide vaba plastik
- peaaegu
- juba
- Ka
- alati
- am
- an
- ja
- Teine
- vastus
- vastuseid
- mistahes
- lähenemisviisid
- heakskiit
- OLEME
- vaielda
- ümber
- Saabuvad
- AS
- küsima
- küsib
- At
- auhind
- Auhinnad
- ära
- tagasi
- põhineb
- Baseline
- BE
- lööma
- sest
- muutuma
- muutub
- olnud
- võrrelda
- BEST
- Parem
- veri
- juhatus
- kuid
- CAN
- pildistatud
- kategooriad
- kindel
- eesistuja
- muutunud
- iseloom
- chatbot
- ChatGPT
- valik
- asjaolusid
- klass
- selge
- selgelt
- CO
- kolleeg
- kolledž
- kommentaar
- võrreldes
- Lõpetatud
- mõiste
- Tingimused
- usaldus
- tagajärg
- kontekstid
- õigesti
- võiks
- Loominguline
- loojad
- krediit
- andmed
- kümme aastat
- otsused
- detailid
- Dialoog
- DID
- ei teinud
- erinev
- otsene
- suunatud
- otse
- arutelud
- jaotus
- do
- Arst
- ei
- teeme
- don
- duo
- lihtsam
- kergesti
- Majanduslik
- majandusteadlased
- haridus-
- Tõhus
- töö
- tegelema
- eriti
- Isegi
- sündmused
- näide
- eksponeeritud
- oodatav
- eksperiment
- ekspert
- Selgitama
- selgitas
- Selgitab
- äärmiselt
- Föderaal-
- Föderaalreserv
- tunne
- Joonis
- filmid
- lõplik
- leidma
- eest
- Ennustus
- prognoosid
- ennustamine
- vorm
- avastatud
- FRAME
- Alates
- tulevik
- loodud
- saama
- saab
- Andma
- antud
- Go
- Goes
- sain
- juhid
- arvan
- juhised
- olnud
- juhtuda
- juhtub
- Raske
- Olema
- he
- kuulnud
- kõrgelt
- tema
- elamispind
- Kuidas
- Kuidas
- HTTPS
- sada
- i
- if
- kujutage ette
- kohe
- mõju
- oluline
- in
- Teistes
- Kaasa arvatud
- kaudselt
- inflatsioon
- Inflatsiooniline
- info
- Päringud
- kindlustus
- huvi
- Interface
- Intervjuu
- sisse
- invasioon
- investeering
- IT
- ITS
- Jerome
- jerome powell
- jpg
- lihtsalt
- hoidma
- Teadma
- teatud
- keel
- suur
- viimane
- Eelmisel aastal
- viima
- õppimine
- Led
- Õigus
- nagu
- ll
- Vaata
- masin
- masinõpe
- tegema
- Tegemine
- palju
- Turg
- materjal
- küsimus
- mehhanismid
- meditsiini-
- mainima
- ainult
- võib
- meeles
- mudel
- mudelid
- kuu
- rohkem
- palju
- mitmekordne
- peab
- my
- NARRATIIVNE
- kandidaadid
- meeles
- märkida
- Ilmne
- toimunud
- of
- maha
- Office
- sageli
- sageli
- on
- ONE
- Internetis
- ainult
- OpenAI
- vastupidine
- or
- Muu
- teised
- meie
- välja
- Edestama
- väljund
- otse
- üle
- Ületada
- Paber
- minevik
- Inimesed
- protsent
- teostatud
- inimene
- Pham
- telefon
- pilt
- Platon
- Platoni andmete intelligentsus
- PlatoData
- Punkt
- võimalik
- potentsiaal
- Powell
- ennustada
- ennustada
- prognoosimine
- ennustus
- Ennustused
- esitatud
- kingitusi
- tõenäoliselt
- professionaalne
- Õpetaja
- küsib
- tõend
- tõendi mõiste
- tõestatud
- anda
- eesmärk
- juhuslik
- juhuslikkus
- Rates
- pigem
- loeb
- reaalne
- päris maailm
- tõesti
- tuginedes
- Teadlased
- Reserv
- Vastupidavus
- vastas
- vastuste
- Tulemused
- õige
- Oht
- Venemaa
- s
- ohutus
- Ütlesin
- sama
- ütlema
- ütleb
- stseen
- otsib
- tunne
- September
- komplekt
- kehtestamine
- ta
- näidatud
- märgatavalt
- sarnane
- alates
- ühekordne
- So
- mõned
- midagi
- kõne
- varu
- aktsiaturg
- peatumine
- Lood
- Lugu
- Strateegia
- selline
- parem
- üllatavalt
- Sümptomid
- Võtma
- jutustused
- rääkimine
- Ülesanne
- ülesanded
- õpetamine
- tehnika
- öelda
- paljuütlev
- ütleb
- test
- texas
- kui
- et
- .
- Tulevik
- oma
- Neile
- SIIS
- Seal.
- Need
- nad
- asjad
- mõtlema
- see
- need
- kuigi?
- Seega
- nurjata
- aeg
- korda
- pealkirjaga
- et
- ütles
- koolitus
- ravi
- proovitud
- kaks
- liigid
- Ukraina
- mõistma
- võtma
- töötus
- Ülikool
- kasutama
- Kasutatud
- kasutusalad
- kasutamine
- eri
- varieeruv
- Ve
- väga
- kaudu
- rikutud
- tahan
- oli
- kuidas
- we
- Hästi
- olid
- M
- millal
- kas
- mis
- will
- Tahe
- võitja
- Võitjate
- koos
- sõnad
- Töö
- halvem
- väärt
- oleks
- kirjutamine
- aasta
- sa
- sephyrnet