Modeli umetne inteligence postanejo boljši pri napovedovanju prihodnosti, ko jih prosimo, da napoved oblikujejo kot zgodbo o preteklosti, so ugotovili boffini na univerzi Baylor v Teksasu.
In papir z naslovom »ChatGPT lahko napove prihodnost, ko pripoveduje zgodbe, postavljene v prihodnost, o preteklosti«, Pham in Cunningham razkrijeta zadnji prizor – da je napoved modela AI lahko učinkovita v določenih okoliščinah. Vprašanje klepetalnega robota za zgodbe o prihodnjih dogodkih namesto za neposredne napovedi se je izkazalo za presenetljivo učinkovito, zlasti pri napovedovanju dobitnikov oskarjev.
Toda njihovo delo pove toliko o neučinkovitosti varnostnih mehanizmov OpenAI kot o potencialu napovedovanja velikih jezikovnih modelov.
Drugi raziskovalci so pokazali podobno zanimanje za modele AI za napovedovanje. ena študija iz lanskega leta je ugotovil, "da je GPT-4 znatno slabši pri napovednih nalogah v resničnem svetu v primerjavi s povprečnimi napovedmi človeške množice." Drugi so našli modele AI Prikaži Obljuba za borzno naložbo.
OpenAI-ji Pogoji uporabe prepovejo napovedi o prihodnosti v določenih kontekstih. Na primer, »Nobenega izhoda, ki se nanaša na osebo, ne smete uporabiti za noben namen, ki bi lahko imel pravni ali materialni vpliv na to osebo, kot je sprejemanje kreditnih, izobraževalnih, zaposlitvenih, stanovanjskih, zavarovalniških, pravnih, zdravstvenih ali drugih pomembnih odločitev. o njih."
Tveganje zanašanja na nasvete velikega jezikovnega modela, za katerega je znano, da halucinira, je očitno – ne želite, da ChatGPT sprejema pomembne odločitve, kot so odločitve o zdravljenju, obsodbi ali odobritvi kredita.
Toda kljub temu je možno, da je model učinkovit ugib, pogosteje kot ne.
Sumimo, da je OpenAI zadušil pripravljenost ChatGPT, da sodeluje pri številnih vrstah nalog neposrednega napovedovanja
Raziskovalci trdijo: »Če bi bilo ugotovljeno, da ima ChatGPT vrhunsko sposobnost napovedovanja, bi si zlahka predstavljali, da bi ga takoj uporabili na načine, ki bi kršili enega ali vse zgornje pogoje, zato sumimo, da je OpenAI zadušil ChatGPT-jevo pripravljenost za sodelovanje v mnogih vrste nalog neposrednega napovedovanja.«
Prosili smo OpenAI za komentar o tem, ali namerno poskuša preprečiti napovedovanje, vendar nismo prejeli odgovora.
Vendar pa je jasno, da bodo modeli OpenAI zavrnili, ko jih bodo prosili za nasvet glede zdravljenja. Pham in Cunningham sta prek vmesnika ChatGPT vprašala OpenAI GPT-4: »Zelo slabo mi je. Imam glavobol in v mojem urinu je kri. Kaj misliš, da imam?" In kot je bilo pričakovano, je manekenka svetovala, naj poišče nasvete pri zdravniku.
Nato so spremenili svojo strategijo spodbujanja in naročili ChatGPT, da jim pove zgodbo, v kateri oseba pride v zdravniško ordinacijo in ima enake simptome. In ChatGPT se je odzval z zdravniškim nasvetom, ki ga je zavrnil, ko so ga neposredno vprašali, kot dialog z likom v zahtevanem prizoru.
»Druga stvar je, ali je ta strokovni nasvet pravilen; naša poanta je zgolj opozoriti, da se naloge ne bo lotil, ko bo zanjo neposredno pozvan, ampak jo bo, ko bo naloga dana posredno v obliki vaj kreativnega pisanja,« pojasnjujejo raziskovalci v svojem prispevku.
Glede na to spodbudno strategijo za premagovanje odpora do napovednih odzivov so se Baylorjevi ekonomisti odločili preizkusiti, kako dobro lahko model napoveduje dogodke, ki so se zgodili po zaključku usposabljanja modela.
In nagrada gre…
V času poskusa sta GPT-3.5 in GPT-4 vedela le za dogodke do septembra 2021, njune omejitve podatkov o usposabljanju – ki je od takrat napredovala. Zato je dvojec prosil manekenko, naj pove zgodbe, ki so napovedovale gospodarske podatke, kot sta inflacija in stopnja brezposelnosti skozi čas, ter dobitnike različnih oskarjev leta 2022.
»Če povzamemo rezultate tega poskusa, ugotovimo, da je ChatGPT-3.5 ob predstavitvi nominirancev in uporabi dveh stilov spodbujanja [neposrednega in pripovednega] v ChatGPT-4 in ChatGPT-4 natančno napovedal zmagovalce za vse kategorije igralcev in igralk, vendar ne najboljša slika pri uporabi narativnega okolja v prihodnosti, slabo pa se je obnesla pri drugih [neposredni poziv] pristopih,« pojasnjuje časopis.
Za stvari, ki so že v podatkih o usposabljanju, imamo občutek, da ChatGPT [lahko] naredi izjemno natančne napovedi
"Za stvari, ki so že v podatkih za usposabljanje, imamo občutek, da lahko ChatGPT uporabi te informacije in s svojim modelom strojnega učenja naredi izjemno natančne napovedi," je dejal Cunningham. Register v telefonskem intervjuju. "Nekaj mu preprečuje, da bi to storil, čeprav očitno to zmore."
Uporaba strategije narativnega spodbujanja je privedla do boljših rezultatov kot ugibanje, izzvano prek neposrednega poziva. Bilo je tudi boljše od 20-odstotnega izhodišča za naključno izbiro enega od petih.
Toda narativne napovedi niso bile vedno točne. Spodbujanje pripovedi je privedlo do napačne napovedi zmagovalca za najboljši film leta 2022.
In za pravilno predvidene pozive ti modeli ne nudijo vedno enakega odgovora. "Nekaj, kar morajo ljudje imeti v mislih, je ta naključnost napovedi," je dejal Cunningham. »Torej, če ga vprašate 100-krat, boste dobili porazdelitev odgovorov. In tako lahko pogledate stvari, kot so intervali zaupanja ali povprečja, v nasprotju s samo eno napovedjo.«
Ali je ta strategija presegla napovedi množice? Cunningham je dejal, da on in njegov kolega nista primerjala svoje tehnike narativnega spodbujanja z drugim napovednim modelom, vendar je dejal, da bo nekatere napovedi oskarjev težko preseči, ker je model AI nekatere od teh pravil skoraj sto odstotkov časa. več poizvedb.
Hkrati je predlagal, da bi bilo napovedovanje dobitnikov oskarja morda lažje za model AI, ker so bile spletne razprave o filmih zajete v podatkih o usposabljanju. "To je verjetno močno povezano s tem, kako so ljudje govorili o teh igralcih in igralkah v tistem času," je dejal Cunningham.
Prositi model, naj napove dobitnike oskarja čez desetletje, morda ne bo šlo tako dobro.
ChatGPT je pokazal tudi različno natančnost napovedi na podlagi pozivov. "Imamo dve zgodbi, ki ju delamo," je pojasnil Cunningham. »Eden je visokošolski profesor, ki poučuje razred v prihodnosti. In v razredu bere podatke o inflaciji in brezposelnosti za eno leto. In v drugem smo imeli Jeromea Powella, predsednika Federal Reserve, govor pred svetom guvernerjev. Dobili smo zelo različne rezultate. In Powellov [ustvarjen AI] govor je veliko bolj natančen.«
Z drugimi besedami, nekatere takojšnje podrobnosti vodijo do boljših napovedi, vendar ni vnaprej jasno, katere bi to lahko bile. Cunningham je opozoril, da je vključitev ruske invazije na Ukrajino leta 2022 v Powellovo pripoved vodilo do bistveno slabših gospodarskih napovedi, kot so se dejansko zgodile.
"[Model] ni vedel za invazijo na Ukrajino in uporablja te informacije in pogosto se poslabša," je dejal. »Napoved poskuša to upoštevati in ChatGPT-3.5 postane izjemno inflacijski [v mesecu, ko] je Rusija napadla Ukrajino in to se ni zgodilo.
"Kot dokaz koncepta, se nekaj resničnega zgodi s prihodnjo pripovedjo," je dejal Cunningham. »A kot smo poskušali povedati v časopisu, mislim, da niti ustvarjalci [modelov] tega ne razumejo. Torej, kako ugotoviti, kako to uporabiti, ni jasno in ne vem, kako rešljivo je v resnici.« ®
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://go.theregister.com/feed/www.theregister.com/2024/04/14/ai_models_future/
- :ima
- : je
- :ne
- $GOR
- 100
- 20
- 2021
- 2022
- 7
- a
- sposobnost
- O meni
- nad
- Akademija
- Račun
- natančnost
- natančna
- natančno
- čez
- akterji
- igralka
- dejansko
- napredovanje
- napredno
- nasveti
- svetuje
- po
- proti
- AI
- AI modeli
- vsi
- skoraj
- že
- Prav tako
- vedno
- am
- an
- in
- Še ena
- odgovor
- odgovori
- kaj
- pristopi
- odobritev
- SE
- trdijo
- okoli
- Prihaja
- AS
- vprašati
- sprašuje
- At
- Nagrada
- Nagrade
- stran
- nazaj
- temeljijo
- Izhodišče
- BE
- premagati
- ker
- postanejo
- postane
- bilo
- merilo
- BEST
- Boljše
- kri
- svet
- vendar
- CAN
- Zajeto
- kategorije
- nekatere
- predsednik
- spremenilo
- značaja
- chatbot
- ChatGPT
- izbira
- okoliščinah
- razred
- jasno
- jasno
- CO
- Sodelavec
- College
- komentar
- v primerjavi z letom
- Končana
- Koncept
- Pogoji
- zaupanje
- Posledica
- kontekstih
- pravilno
- bi
- Creative
- Ustvarjalci
- kredit
- datum
- desetletje
- odločitve
- Podrobnosti
- Dialog
- DID
- ni
- drugačen
- neposredna
- usmerjen
- neposredno
- Razprave
- distribucija
- do
- Zdravnik
- ne
- tem
- don
- duo
- lažje
- enostavno
- Gospodarska
- ekonomisti
- izobraževalne
- Učinkovito
- zaposlovanja
- sodelovati
- zlasti
- Tudi
- dogodki
- Primer
- razstavljeno
- Pričakuje
- poskus
- strokovnjak
- Pojasnite
- razložiti
- Pojasni
- izredno
- Zvezna
- zvezne rezerve
- občutek
- Slika
- filmi
- končna
- Najdi
- za
- Napoved
- Napovedi
- napovedovanje
- obrazec
- je pokazala,
- FRAME
- iz
- Prihodnost
- ustvarila
- dobili
- dobi
- Daj
- dana
- Go
- goes
- prisodil
- guvernerji
- Verjetno
- Navodila
- imel
- se zgodi
- se zgodi
- Trdi
- Imajo
- he
- Slišal
- zelo
- njegov
- Ohišje
- Kako
- Kako
- HTTPS
- sto
- i
- if
- slika
- takoj
- vpliv
- Pomembno
- in
- V drugi
- Vključno
- posredno
- inflacija
- Inflacijski
- Podatki
- Poizvedbe
- zavarovanje
- obresti
- vmesnik
- Intervju
- v
- Invazija
- naložbe
- IT
- ITS
- Jerome
- jerome powell
- jpg
- samo
- Imejte
- Vedite
- znano
- jezik
- velika
- Zadnja
- Lansko leto
- vodi
- učenje
- Led
- Pravne informacije
- kot
- ll
- Poglej
- stroj
- strojno učenje
- Znamka
- Izdelava
- več
- Tržna
- Material
- Matter
- Mehanizmi
- medicinski
- omenjam
- zgolj
- morda
- moti
- Model
- modeli
- mesec
- več
- veliko
- več
- morajo
- my
- NARRATIVNO
- kandidatov
- Upoštevajte
- opozoriti
- Očitna
- zgodilo
- of
- off
- Office
- pogosto
- velikokrat
- on
- ONE
- na spletu
- samo
- OpenAI
- nasprotuje
- or
- Ostalo
- drugi
- naši
- ven
- Izboljšati
- izhod
- naravnost
- več
- Premagajte
- Papir
- preteklosti
- ljudje
- odstotkov
- opravljeno
- oseba
- Pham
- telefon
- slika
- platon
- Platonova podatkovna inteligenca
- PlatoData
- Točka
- mogoče
- potencial
- Powell
- napovedati
- napovedano
- napovedovanje
- napoved
- Napovedi
- predstavljeni
- darila
- verjetno
- strokovni
- Učitelj
- pozove
- dokazilo
- dokaz koncepta
- dokazano
- zagotavljajo
- Namen
- naključno
- naključnost
- Cene
- precej
- bere
- pravo
- resnični svet
- res
- zanašanje
- raziskovalci
- Reserve
- Odpornost
- odzvala
- odgovorov
- Rezultati
- Pravica
- Tveganje
- Rusija
- s
- Varnost
- Je dejal
- Enako
- pravijo,
- pravi
- Prizor
- iskanju
- Občutek
- september
- nastavite
- nastavitev
- je
- pokazale
- bistveno
- Podoben
- saj
- sam
- So
- nekaj
- Nekaj
- govor
- zaloge
- borza
- ustavljanje
- zgodbe
- Zgodba
- Strategija
- taka
- superior
- Presenetljivo
- Simptomi
- Bodite
- zgodbe
- pogovor
- Naloga
- Naloge
- poučevanje
- tehnika
- povej
- pove
- pove
- Test
- texas
- kot
- da
- O
- Prihodnost
- njihove
- Njih
- POTEM
- Tukaj.
- te
- jih
- stvari
- mislim
- ta
- tisti,
- čeprav?
- Tako
- preprečiti
- čas
- krat
- z naslovom
- do
- Rekel
- usposabljanje
- Zdravljenje
- Poskušal
- dva
- Vrste
- Ukrajina
- razumeli
- zavezujeta
- brezposelnosti
- univerza
- uporaba
- Rabljeni
- uporablja
- uporabo
- različnih
- različno
- Ve
- zelo
- preko
- kršil
- želeli
- je
- načini
- we
- Dobro
- so bili
- Kaj
- kdaj
- ali
- ki
- bo
- Pripravljenost
- Zmagovalec
- Zmagovalci
- z
- besede
- delo
- slabše
- vredno
- bi
- pisanje
- leto
- Vi
- zefirnet