Že desetletje so bili številni najbolj impresivni sistemi umetne inteligence poučeni z uporabo ogromnega popisa označenih podatkov. Slika je lahko na primer označena kot »rigasta mačka« ali »tigrasta mačka«, da se »usposobi« umetna nevronska mreža, da pravilno razlikuje tabbyja od tigra. Strategija je bila neverjetno uspešna in obupno pomanjkljiva.
Takšno "nadzorovano" usposabljanje zahteva podatke, ki jih ljudje težko označujejo, nevronske mreže pa pogosto ubirajo bližnjice in se naučijo povezovati oznake z minimalnimi in včasih površnimi informacijami. Na primer, nevronska mreža lahko uporabi prisotnost trave, da prepozna fotografijo krave, ker so krave običajno fotografirane na poljih.
»Vzgajamo generacijo algoritmov, ki so kot dodiplomski študenti, [ki] niso prišli na predavanja ves semester, nato pa večer pred finalom nabijajo,« je dejal Aleksej Efros, računalniški znanstvenik na kalifornijski univerzi Berkeley. "Snovi se v resnici ne naučijo, vendar so na izpitu uspešni."
Poleg tega je za raziskovalce, ki jih zanima presečišče živalske in strojne inteligence, lahko to "nadzorovano učenje" omejeno v tem, kar lahko razkrije o bioloških možganih. Živali – vključno z ljudmi – za učenje ne uporabljajo označenih nizov podatkov. Večinoma sami raziskujejo okolje in si pri tem pridobijo bogato in trdno razumevanje sveta.
Zdaj so nekateri računalniški nevroznanstveniki začeli raziskovati nevronske mreže, ki so bile usposobljene z malo ali nič človeško označenih podatkov. Ti algoritmi "samonadzorovanega učenja" so se izkazali za izjemno uspešne pri modeliranje človeškega jezika in v zadnjem času prepoznavanje slik. V nedavnem delu so računalniški modeli vidnih in slušnih sistemov sesalcev, zgrajeni z modeli samonadzorovanega učenja, pokazali tesnejšo skladnost z delovanjem možganov kot njihovi dvojniki z nadzorovanim učenjem. Nekaterim nevroznanstvenikom se zdi, kot da umetna omrežja začenjajo razkrivati nekatere dejanske metode, ki jih naši možgani uporabljajo za učenje.
Napačen nadzor
Modeli možganov, ki so jih navdihnile umetne nevronske mreže, so postali zreli pred približno 10 leti, približno v istem času, ko je nevronska mreža poimenovala AlexNet revolucionirala nalogo razvrščanja neznanih slik. To omrežje, tako kot vse nevronske mreže, je bilo sestavljeno iz plasti umetnih nevronov, računskih enot, ki med seboj tvorijo povezave, ki se lahko razlikujejo po moči ali "teži". Če nevronska mreža ne razvrsti slike pravilno, učni algoritem posodobi uteži povezav med nevroni, da zmanjša verjetnost te napačne klasifikacije v naslednjem krogu usposabljanja. Algoritem večkrat ponovi ta postopek z vsemi slikami usposabljanja, prilagaja uteži, dokler stopnja napak omrežja ni sprejemljivo nizka.
Približno v istem času so nevroznanstveniki razvili prve računalniške modele vidni sistem primata, z uporabo nevronskih mrež, kot je AlexNet in njegovih naslednikov. Zveza je bila videti obetavna: ko so bile na primer opicam in umetnim nevronskim mrežam prikazane enake slike, je aktivnost pravih nevronov in umetnih nevronov pokazala zanimivo ujemanje. Sledili so umetni modeli zaznavanja sluha in vonja.
Ko pa je področje napredovalo, so raziskovalci spoznali omejitve nadzorovanega usposabljanja. Na primer, leta 2017 je Leon Gatys, takratni računalniški znanstvenik na Univerzi v Tübingenu v Nemčiji, in njegovi kolegi posneli podobo Forda Model T, nato pa čez fotografijo prekrili vzorec leopardjeve kože in ustvarili bizarno, a lahko prepoznavno podobo. . Vodilna umetna nevronska mreža je prvotno sliko pravilno razvrstila kot model T, spremenjeno sliko pa je štela za leoparda. Osredotočil se je na teksturo in ni razumel oblike avtomobila (ali leoparda, če smo že pri tem).
Strategije samonadzorovanega učenja so zasnovane tako, da se izognejo takšnim težavam. Pri tem pristopu ljudje ne označujejo podatkov. Namesto tega "oznake izvirajo iz samih podatkov," je dejal Friedemanna Zenkeja, računalniški nevroznanstvenik na Inštitutu Friedrich Miescher za biomedicinske raziskave v Baslu v Švici. Samonadzorovani algoritmi v bistvu ustvarjajo vrzeli v podatkih in zahtevajo od nevronske mreže, da zapolni praznine. V tako imenovanem velikem jezikovnem modelu bo na primer algoritem za usposabljanje pokazal nevronski mreži prvih nekaj besed stavka in jo prosil, naj predvidi naslednjo besedo. Ko se uri z ogromnim korpusom besedila, zbranega iz interneta, model zdi se, da se uči sintaktično strukturo jezika, ki izkazuje impresivno jezikovno sposobnost - vse brez zunanjih oznak ali nadzora.
Podobna prizadevanja potekajo v računalniškem vidu. Konec leta 2021, Kaiming He in kolegi so razkrili svoje "maskirani samodejni kodirnik,« ki temelji na a tehnika ki ga je leta 2016 uvedla Efrosova ekipa. Algoritem za samonadzorovano učenje naključno prikrije slike in zakrije skoraj tri četrtine vsake. Maskiran samodejni kodirnik spremeni nemaskirane dele v latentne predstavitve – stisnjene matematične opise, ki vsebujejo pomembne informacije o predmetu. (V primeru slike je lahko latentna predstavitev matematični opis, ki med drugim zajame obliko predmeta na sliki.) Dekoder nato te predstavitve pretvori nazaj v polne slike.
Algoritem za samonadzorovano učenje usposablja kombinacijo kodirnika in dekodirnika, da spremeni maskirane slike v njihove polne različice. Vse razlike med resničnimi slikami in rekonstruiranimi se vrnejo v sistem, da se ta lažje uči. Ta postopek se ponavlja za niz učnih slik, dokler stopnja napak sistema ni primerno nizka. V enem primeru, ko je bila usposobljenemu maskiranemu samodejnemu kodirniku prikazana prej nevidena slika vodila s skoraj 80 % zakrite slike, je sistem uspešno rekonstruiral strukturo vodila.
"To je zelo, zelo impresiven rezultat," je dejal Efros.
Zdi se, da latentne predstavitve, ustvarjene v sistemu, kot je ta, vsebujejo bistveno globlje informacije, kot bi jih lahko vključevale prejšnje strategije. Sistem se lahko nauči oblike avtomobila, na primer - ali leoparda - in ne le njihovih vzorcev. "In to je v resnici temeljna ideja samonadzorovanega učenja - gradite svoje znanje od spodaj navzgor," je dejal Efros. Brez nabijanja v zadnjem trenutku, da bi opravili teste.
Samonadzorovani možgani
V sistemih, kot je ta, nekateri nevroznanstveniki vidijo odmeve našega učenja. "Mislim, da ni dvoma, da je 90 % tega, kar počnejo možgani, samonadzorovano učenje," je dejal Blake Richards, računalniški nevroznanstvenik na univerzi McGill in Mila, Inštitut za umetno inteligenco v Quebecu. Menijo, da biološki možgani nenehno napovedujejo, recimo, prihodnjo lokacijo predmeta, ko se premika, ali naslednjo besedo v stavku, tako kot samonadzorovani učni algoritem poskuša predvideti vrzel v sliki ali delu besedila. In tudi možgani se sami učijo iz svojih napak – le majhen del povratne informacije naših možganov prihaja iz zunanjega vira, ki v bistvu pravi »napačen odgovor«.
Na primer, razmislite o vizualnih sistemih ljudi in drugih primatov. Ti so najbolje raziskani od vseh senzoričnih sistemov živali, vendar so nevroznanstveniki težko razložili, zakaj vključujejo dve ločeni poti: ventralni vidni tok, ki je odgovoren za prepoznavanje predmetov in obrazov, in hrbtni vidni tok, ki obdeluje gibanje (" kaj« oziroma »kje« poti).
Richards in njegova ekipa so ustvarili samonadzorovan model, ki namiguje na odgovor. Oni usposobljeni umetna inteligenca, ki je združila dve različni nevronski mreži: prva, imenovana arhitektura ResNet, je bila zasnovana za obdelavo slik; drugo, znano kot ponavljajoče se omrežje, bi lahko sledilo zaporedju predhodnih vnosov, da bi lahko predvidevalo naslednji pričakovani vnos. Za usposabljanje kombinirane umetne inteligence je ekipa začela z zaporedjem, na primer, 10 sličic iz videoposnetka in pustila, da jih ResNet obdela eno za drugo. Ponavljajoče se omrežje je nato napovedalo latentno predstavitev 11. okvirja, medtem ko se ni preprosto ujemalo s prvimi 10 okvirji. Algoritem za samonadzorovano učenje je primerjal napoved z dejansko vrednostjo in nevronskim mrežam ukazal, naj posodobijo svoje uteži, da bo napoved boljša.
Richardsova ekipa je ugotovila, da je umetna inteligenca, usposobljena z enim ResNetom, dobra pri prepoznavanju predmetov, ne pa tudi pri kategorizaciji gibanja. Ko pa so en sam ResNet razdelili na dvoje in ustvarili dve poti (brez spreminjanja skupnega števila nevronov), je umetna inteligenca razvila predstavitve za predmete v eni in za gibanje v drugi, kar je omogočilo nadaljnjo kategorizacijo teh lastnosti – tako kot verjetno naši možgani narediti.
Za nadaljnje testiranje umetne inteligence je ekipa pokazala nabor videoposnetkov, ki so jih raziskovalci na Allen Institute for Brain Science v Seattlu pred tem pokazali mišem. Tako kot primati imajo tudi miši možganske regije, specializirane za statične slike in gibanje. Allenovi raziskovalci so med gledanjem videoposnetkov posneli nevronsko aktivnost v vizualni skorji miši.
Tudi tukaj je Richardsova ekipa našla podobnosti v tem, kako so se umetna inteligenca in živi možgani odzvali na videe. Med treningom je ena od poti v umetni nevronski mreži postala bolj podobna ventralnim regijam mišjih možganov, ki zaznavajo predmete, druga pot pa je postala podobna hrbtnim regijam, osredotočenim na gibanje.
Rezultati kažejo, da ima naš vizualni sistem dve specializirani poti, ker pomagata napovedati vizualno prihodnost, je dejal Richards; ena sama pot ni dovolj dobra.
Modeli človeškega slušnega sistema pripovedujejo podobno. Junija je ekipa pod vodstvom Jean-Rémi King, raziskovalec pri Meta AI, usposobil AI Wav2Vec 2.0, ki uporablja nevronsko mrežo za pretvorbo zvoka v latentne predstavitve. Raziskovalci prikrijejo nekatere od teh predstavitev, ki se nato napajajo v drugo sestavno nevronsko mrežo, imenovano transformator. Med treningom transformator predvideva zamaskirane informacije. V tem procesu se celotna umetna inteligenca nauči spreminjati zvoke v latentne predstavitve - spet niso potrebne oznake. Ekipa je za usposabljanje omrežja uporabila približno 600 ur govornih podatkov, "kar je približno tisto, kar bi otrok dobil v [] prvih dveh letih izkušenj," je dejal King.
Ko je bil sistem usposobljen, so raziskovalci predvajali dele zvočnih knjig v angleščini, francoščini in mandarinščini. Raziskovalci so nato primerjali delovanje umetne inteligence s podatki 412 ljudi – mešanice maternih govorcev treh jezikov, ki so poslušali iste odseke zvoka, medtem ko so njihove možgane posneli s skenerjem fMRI. King je dejal, da njegova nevronska mreža in človeški možgani, kljub hrupnim slikam fMRI z nizko ločljivostjo, "ne le korelirajo drug z drugim, ampak so korelirani na sistematičen način": dejavnost v zgodnjih slojih umetne inteligence se ujema z aktivnostjo v primarni slušni skorji, medtem ko je aktivnost najglobljih plasti AI usklajena z aktivnostjo v višjih plasteh v možganih, v tem primeru prefrontalnem korteksu. "To so res čudoviti podatki," je dejal Richards. "Ni dokončno, vendar [je] še en prepričljiv dokaz, ki nakazuje, da se jezika res učimo v veliki meri tako, da poskušamo predvideti naslednje stvari, ki bodo izrečene."
Neozdravljene patologije
Vsi niso prepričani. Josh McDermott, računalniški nevroznanstvenik na tehnološkem inštitutu v Massachusettsu, je delal na modelih vida in slušnega zaznavanja z uporabo nadzorovanega in samonadzorovanega učenja. Njegov laboratorij je oblikoval tako imenovane "metamere", sintetizirane zvočne in vizualne signale, ki so za človeka samo nedoumljiv hrup. Za umetno nevronsko mrežo pa se metameri zdijo nerazločljivi od resničnih signalov. To nakazuje, da se predstavitve, ki se oblikujejo v globljih plasteh nevronske mreže, tudi pri samonadzorovanem učenju, ne ujemajo s predstavami v naših možganih. Ti pristopi samonadzorovanega učenja "so napredek v smislu, da se lahko naučite predstavitev, ki lahko podpirajo veliko vedenj prepoznavanja, ne da bi potrebovali vse te oznake," je dejal McDermott. "Vendar imajo še vedno veliko patologij nadzorovanih modelov."
Tudi sami algoritmi potrebujejo več dela. Na primer, v Meta AI's Wav2Vec 2.0, AI napove le latentne predstavitve za nekaj deset milisekund zvoka - manj časa, kot je potrebno za izgovor zaznavno razločnega šuma, kaj šele besede. "Veliko stvari je treba narediti, da bi naredili nekaj podobnega temu, kar počnejo možgani," je dejal King.
Resnično razumevanje delovanja možganov bo zahtevalo več kot le samonadzorovano učenje. Prvič, možgani so polni povratnih povezav, medtem ko imajo trenutni modeli le malo takih povezav, če sploh. Očiten naslednji korak bi bil uporaba samonadzorovanega učenja za usposabljanje zelo ponavljajočih se mrež - težaven proces - in videti, kako se dejavnost v takih omrežjih primerja z resnično možgansko aktivnostjo. Drugi ključni korak bi bil uskladiti aktivnost umetnih nevronov v modelih samonadzorovanega učenja z aktivnostjo posameznih bioloških nevronov. "Upajmo, da bodo v prihodnosti [naši] rezultati potrjeni tudi z enoceličnimi posnetki," je dejal King.
Če opažene podobnosti med možgani in modeli samonadzorovanega učenja veljajo za druge senzorične naloge, bo to še močnejši pokazatelj, da ne glede na čarovnijo, ki so je sposobni naši možgani, zahteva samonadzorovano učenje v neki obliki. "Če najdemo sistematične podobnosti med zelo različnimi sistemi, [bi] to nakazalo, da morda ni toliko načinov za inteligentno obdelavo informacij," je dejal King. "Vsaj to je nekakšna lepa hipoteza, s katero bi radi delali."
