Juba kümme aastat on paljusid muljetavaldavamaid tehisintellektisüsteeme õpetatud, kasutades tohutut märgistatud andmete loendit. Kujutis võib olla märgistatud "tabby cat" või "tiiger cat", näiteks selleks, et "koolitada" tehisnärvivõrku õigesti eristama tabbyt tiigrist. Strateegia on olnud nii silmapaistvalt edukas kui ka kahetsusväärselt puudulik.
Selline "järelevalvega" koolitus nõuab inimeste poolt vaevaliselt märgistatud andmeid ja närvivõrgud kasutavad sageli otseteid, õppides seostama silte minimaalse ja mõnikord pealiskaudse teabega. Näiteks võib närvivõrk kasutada lehma foto äratundmiseks rohu olemasolu, sest lehmi pildistatakse tavaliselt põldudel.
"Kasvatame algoritmide põlvkonda, mis on nagu üliõpilased, [kes] ei tulnud terve semestri tundi, ja siis õhtul enne finaali nad ummistavad," ütles ta. Aleksei Efros, Berkeley California ülikooli arvutiteadlane. "Nad ei õpi tegelikult materjali, kuid saavad testis hästi hakkama."
Teadlaste jaoks, kes on huvitatud loomade ja masinate intelligentsuse ristumisvõimalustest, võib see "järelvalvega õppimine" olla piiratud sellega, mida see võib bioloogiliste ajude kohta paljastada. Loomad, sealhulgas inimesed, ei kasuta õppimiseks märgistatud andmekogumeid. Enamasti uurivad nad keskkonda iseseisvalt ning seda tehes saavad nad maailmast rikkaliku ja kindla arusaamise.
Nüüd on mõned arvutuslikud neuroteadlased hakanud uurima närvivõrke, mida on koolitatud vähese või ilma inimese märgistatud andmetega. Need "enese järelevalvega õppimise" algoritmid on osutunud tohutult edukaks inimkeele modelleerimine ja viimasel ajal ka pildituvastus. Hiljutises töös on enesejärelevalvega õppimismudelite abil ehitatud imetajate visuaalsete ja kuulmissüsteemide arvutuslikud mudelid näidanud suuremat vastavust ajufunktsioonile kui nende juhendatud õppimisega kolleegid. Mõnele neuroteadlasele tundub, et tehisvõrgud hakkavad paljastama mõningaid tegelikke meetodeid, mida meie aju õppimiseks kasutab.
Vigane järelevalve
Kunstlikest närvivõrkudest inspireeritud ajumudelid said täisealiseks umbes 10 aastat tagasi, umbes samal ajal, kui närvivõrk sai nime AlexNet muutis tundmatute piltide klassifitseerimise ülesande. See võrk, nagu kõik närvivõrgud, koosnes tehisneuronite kihtidest, arvutusüksustest, mis moodustavad üksteisega ühendusi, mis võivad olla erineva tugevuse või "kaalu" poolest. Kui närvivõrk ei suuda pilti õigesti klassifitseerida, värskendab õppealgoritm neuronite vaheliste ühenduste kaalu, et muuta see vale klassifitseerimine järgmises koolitusvoorus vähem tõenäoliseks. Algoritm kordab seda protsessi mitu korda kõigi treeningpiltidega, muutes raskusi, kuni võrgu veamäär on vastuvõetavalt madal.
Umbes samal ajal töötasid neuroteadlased välja esimesed arvutuslikud mudelid primaatide visuaalne süsteem, kasutades närvivõrke nagu AlexNet ja selle järglased. Liit näis paljulubav: kui näiteks ahvidele ja tehisnärvivõrkudele näidati samu pilte, näitas tõeliste neuronite ja tehisneuronite aktiivsus intrigeerivat vastavust. Järgnesid kuulmis- ja lõhnatuvastuse kunstlikud mudelid.
Kuid valdkonna edenedes mõistsid teadlased juhendatud koolituse piiranguid. Näiteks 2017. aastal tegid tollal Saksamaal Tübingeni ülikooli arvutiteadlane Leon Gatys ja tema kolleegid Ford Model T-st pildi, seejärel katsid fotole leopardinahamustriga veidra, kuid kergesti äratuntava pildi. . Juhtiv tehisnärvivõrk klassifitseeris algse pildi õigesti mudeliks T, kuid pidas muudetud kujutist leopardiks. See oli fikseeritud tekstuurile ja ei saanud aru auto (või leopardi) kujust.
Enesekontrolliga õppimisstrateegiad on loodud selliste probleemide vältimiseks. Selle lähenemisviisi puhul ei märgita inimesed andmeid. Pigem "tulenevad sildid andmetest endast", ütles Friedemann Zenke, arvutuslik neuroteadlane Friedrich Miescheri Biomeditsiiniuuringute Instituudis Baselis, Šveitsis. Enesejärelevalvega algoritmid loovad sisuliselt andmetesse lüngad ja paluvad närvivõrgul lüngad täita. Näiteks nn suure keele mudelis näitab treeningalgoritm närvivõrgule lause esimesi sõnu ja palub ennustada järgmist sõna. Internetist kogutud tohutu tekstikorpusega treenides mudel näib, et õpib keele süntaktiline struktuur, mis näitab muljetavaldavat keelelist võimet – seda kõike ilma väliste siltide või järelevalveta.
Sarnane pingutus on käimas ka arvutinägemise vallas. 2021. aasta lõpus Kaiming Ta ja kolleegid paljastasid oma "maskeeritud automaatkooder”, mis põhineb a tehnika Efrose meeskonna poolt 2016. aastal teerajajaks tehtud. Enesejärelevalvega õppimisalgoritm maskeerib pildid juhuslikult, varjates peaaegu kolmveerandit neist. Maskeeritud automaatkooder muudab maskeerimata osad varjatud esitusteks – tihendatud matemaatilisteks kirjeldusteks, mis sisaldavad objekti kohta olulist teavet. (Pildi puhul võib varjatud esitus olla matemaatiline kirjeldus, mis muuhulgas jäädvustab pildil oleva objekti kuju.) Seejärel teisendab dekooder need esitused täispiltideks.
Enesejärelevalvega õppimisalgoritm treenib kodeerija-dekoodri kombinatsiooni, et muuta maskeeritud kujutised nende täisversioonideks. Kõik erinevused tegelike ja rekonstrueeritud piltide vahel suunatakse süsteemi tagasi, et aidata sellel õppida. Seda protsessi korratakse treeningpiltide komplekti puhul, kuni süsteemi veamäär on sobivalt madal. Ühes näites, kui koolitatud maskeeritud automaatkodeerijale näidati varem nägematut bussi kujutist, millest peaaegu 80% oli varjatud, rekonstrueeris süsteem edukalt bussi struktuuri.
"See on väga-väga muljetavaldav tulemus," ütles Efros.
Sellises süsteemis loodud varjatud esitused näivad sisaldavat oluliselt sügavamat teavet, kui varasemad strateegiad võiksid sisaldada. Süsteem võib õppida näiteks auto – või leopardi – kuju, mitte ainult nende mustreid. "Ja see on tegelikult enesejuhitava õppimise põhiidee - te kogute oma teadmisi alt üles, " ütles Efros. Ei mingit viimase hetke tuupimist testide läbimiseks.
Enesejärelevalvega ajud
Sellistes süsteemides näevad mõned neuroteadlased meie õppimise kaja. "Ma arvan, et pole kahtlust, et 90% sellest, mida aju teeb, on iseseisvalt juhendatud õppimine," ütles ta. Blake Richards, arvutuslik neuroteadlane McGilli ülikoolis ja Mila, Quebeci tehisintellekti instituudis. Arvatakse, et bioloogiline aju ennustab pidevalt, näiteks, objekti tulevast asukohta selle liikumisel või järgmist sõna lauses, nii nagu enesejärelevalvega õppimisalgoritm püüab ennustada lünka pildis või tekstisegmendis. Ja aju õpib oma vigadest ka ise – ainult väike osa meie aju tagasisidest pärineb välisest allikast, mis ütleb sisuliselt "vale vastus".
Mõelge näiteks inimeste ja teiste primaatide visuaalsetele süsteemidele. Need on kõigist loomade sensoorsetest süsteemidest kõige paremini uuritud, kuid neuroteadlased on püüdnud selgitada, miks need hõlmavad kahte erinevat rada: ventraalne visuaalne voog, mis vastutab objektide ja nägude äratundmise eest, ja dorsaalne visuaalne voog, mis töötleb liikumist (“ mis" ja "kus" teed).
Richards ja tema meeskond lõid enda järelvalvega mudeli, mis vihjab vastusele. Nad koolitatud AI, mis ühendas kaks erinevat närvivõrku: esimene, nimega ResNet arhitektuur, oli mõeldud piltide töötlemiseks; teine, mida tuntakse korduva võrguna, võiks jälgida eelnevate sisendite jada, et teha ennustusi järgmise eeldatava sisendi kohta. Kombineeritud tehisintellekti treenimiseks alustas meeskond näiteks 10 videokaadri jadaga ja lasi ResNetil neid ükshaaval töödelda. Seejärel ennustas korduv võrk 11. kaadri varjatud esitust, kuid ei sobinud lihtsalt esimese 10 kaadriga. Enesejärelevalvega õppimisalgoritm võrdles ennustust tegeliku väärtusega ja andis närvivõrkudele korralduse ennustuse paremaks muutmiseks oma kaalu värskendada.
Richardsi meeskond leidis, et ühe ResNetiga treenitud tehisintellekt oli hea objektide tuvastamises, kuid mitte liikumise kategoriseerimises. Kuid kui nad jagasid ühe ResNeti kaheks, luues kaks rada (ilma neuronite koguarvu muutmata), töötas AI välja esitused objektide jaoks ühes ja liikumiseks teises, võimaldades neid omadusi allavoolu kategoriseerida – täpselt nii nagu meie ajud tõenäoliselt. teha.
Tehisintellekti edasiseks testimiseks näitas meeskond talle videote komplekti, mida Seattle'i Alleni ajuteaduse instituudi teadlased olid varem hiirtele näidanud. Nagu primaatidel, on ka hiirtel ajupiirkonnad, mis on spetsialiseerunud staatiliste kujutiste ja liikumise jaoks. Alleni teadlased salvestasid närvitegevuse hiire visuaalses ajukoores, kui loomad videoid vaatasid.
Ka siin leidis Richardsi meeskond sarnasusi selles, kuidas tehisintellekt ja elavad ajud videotele reageerisid. Treeningu käigus muutus üks tehisnärvivõrgu radadest sarnasemaks hiire aju ventraalsete objektide tuvastamise piirkondadega ja teine rada sarnaseks liikumisele keskendunud seljapiirkondadega.
Tulemused viitavad sellele, et meie visuaalsüsteemil on kaks spetsiaalset rada, kuna need aitavad ennustada visuaalset tulevikku, ütles Richards; üks tee ei ole piisavalt hea.
Inimese kuulmissüsteemi mudelid räägivad sarnast lugu. Juunis meeskond eesotsas Jean-Rémi King, Meta AI teadur, õpetas välja tehisintellekti nimega Wav2Vec 2.0, mis kasutab heli varjatud esitusteks muutmiseks närvivõrku. Teadlased varjavad mõnda neist esitustest, mis seejärel sisenevad teise komponendi närvivõrku, mida nimetatakse trafoks. Treeningu ajal ennustab trafo maskeeritud teavet. Selle käigus õpib kogu AI muutma helisid varjatud esitusteks – jällegi pole silte vaja. Meeskond kasutas võrgu koolitamiseks umbes 600 tundi kõneandmeid, "mis on ligikaudu see, mida laps saaks [esimese kahe] kogemuse aasta jooksul," ütles King.
Kui süsteem oli välja õpetatud, mängisid teadlased seda inglise, prantsuse ja mandariinikeelsete audioraamatute osades. Seejärel võrdlesid teadlased tehisintellekti jõudlust 412 inimese andmetega – kolme keelt emakeelena kõnelevate inimeste seguga, kes olid kuulanud samu helilõike, lastes oma aju fMRI-skanneriga pildistada. King ütles, et vaatamata mürarikastele ja madala eraldusvõimega fMRI-piltidele ei korreleeru tema närvivõrk ja inimese ajud mitte ainult üksteisega, vaid korreleeruvad ka süstemaatiliselt: AI varajastes kihtides aktiivsus ühtlustub aktiivsusega. primaarses kuulmiskoores, samas kui AI sügavaimate kihtide aktiivsus ühtib aju kõrgemate kihtide, antud juhul prefrontaalse ajukoorega, aktiivsusega. "Need on tõesti ilusad andmed," ütles Richards. "See ei ole lõplik, kuid [see on] veel üks veenev tõend, mis viitab sellele, et meie keele õppimise viis on suures osas see, et püüame ennustada järgmisi asju, mida öeldakse."
Ravimata patoloogiad
Kõik ei ole selles veendunud. Josh McDermott, Massachusettsi Tehnoloogiainstituudi arvutuslik neuroteadlane, on töötanud nägemis- ja kuulmistaju mudelite kallal, kasutades nii juhendatud kui ka iseseisvalt juhendatud õppimist. Tema labor on loonud nn metameerid, sünteesinud heli- ja visuaalsignaalid, mis inimese jaoks on lihtsalt läbikuulamatu müra. Tehisnärvivõrgu jaoks näivad metameerid aga tõelistest signaalidest eristamatud. See viitab sellele, et esindused, mis moodustuvad närvivõrgu sügavamates kihtides, isegi enesejärelvalvega õppimise korral, ei ühti meie aju esitustega. Need enesejärelevalvega õppimisviisid "on edusammud selles mõttes, et saate õppida esitusi, mis võivad toetada paljusid äratundmiskäitumisi ilma kõiki neid silte vajamata," ütles McDermott. "Kuid neil on endiselt palju juhendatavate mudelite patoloogiaid."
Ka algoritmid ise vajavad rohkem tööd. Näiteks Meta AI versioonis Wav2Vec 2.0 ennustab AI varjatud esitusi vaid mõnekümne millisekundi pikkuse heli jaoks – vähem aega, kui kulub tajutavalt selge müra, rääkimata ühest sõnast, kõlamiseks. "Selleks, mida aju teeb, tuleb teha palju asju," ütles King.
Ajufunktsiooni tõeline mõistmine nõuab enamat kui iseseisvalt juhendatud õppimist. Esiteks on aju täis tagasisideühendusi, samas kui praegustel mudelitel on selliseid ühendusi vähe, kui üldse. Ilmselge järgmine samm oleks kasutada iseseisvalt juhendatud õppimist väga korduvate võrkude treenimiseks - see on keeruline protsess - ja vaadata, kuidas sellistes võrgustikes aktiivsus on võrreldav reaalse ajutegevusega. Teine oluline samm oleks sobitada tehisneuronite aktiivsus enesejärelevalvega õppimismudelites üksikute bioloogiliste neuronite aktiivsusega. "Loodetavasti kinnitatakse tulevikus [meie] tulemusi ka üherakuliste salvestustega," ütles King.
Kui täheldatud sarnasused aju ja enesejärelvalvega õppimismudelite vahel kehtivad ka muude sensoorsete ülesannete puhul, on see veelgi tugevam märk sellest, et mis tahes maagia, milleks meie aju on võimeline, nõuab mingil kujul enesekontrolliga õppimist. "Kui leiame süstemaatilisi sarnasusi tohutult erinevate süsteemide vahel, viitab see sellele, et võib-olla pole nii palju viise teabe intelligentseks töötlemiseks," ütles King. "Vähemalt see on ilus hüpotees, millega me tahaksime töötada."
