Jo vuosikymmenen ajan monia vaikuttavimmista tekoälyjärjestelmistä on opetettu käyttämällä valtavaa luetteloa merkittyjä tietoja. Kuva voidaan merkitä "tabby cat" tai "tiikrikissa", esimerkiksi "kouluttaa" keinotekoinen hermoverkko erottamaan oikein tabby tiikereistä. Strategia on ollut sekä huikean onnistunut että valitettavan puutteellinen.
Tällainen "valvottu" koulutus vaatii tietoja, jotka ihmiset merkitsevät vaivalloisesti, ja hermoverkot käyttävät usein oikoteitä ja oppivat yhdistämään tunnisteet minimaaliseen ja joskus pinnalliseen tietoon. Esimerkiksi hermoverkko voi käyttää ruohoa tunnistaakseen valokuvan lehmästä, koska lehmiä kuvataan tyypillisesti pelloilla.
"Kasvatamme algoritmien sukupolvea, jotka ovat kuin alakoululaisia, [jotka] eivät tulleet tunnille koko lukukauden aikana, ja sitten loppuottelua edeltävänä iltana he tukalaavat", sanoi. Aleksei Efros, tietojenkäsittelytieteilijä Kalifornian yliopistossa Berkeleyssä. "He eivät todellakaan opi materiaalia, mutta he pärjäävät hyvin kokeessa."
Lisäksi tutkijoille, jotka ovat kiinnostuneita eläin- ja koneälyn risteyksestä, tämä "valvottu oppiminen" saattaa olla rajallinen siinä, mitä se voi paljastaa biologisista aivoista. Eläimet – mukaan lukien ihmiset – eivät käytä merkittyjä tietojoukkoja oppimiseen. Suurimmaksi osaksi he tutkivat ympäristöä omin voimin ja saavat näin rikkaan ja vankan ymmärryksen maailmasta.
Nyt jotkut laskennalliset neurotieteilijät ovat alkaneet tutkia hermoverkkoja, joita on koulutettu vain vähän tai ei ollenkaan ihmisen leimaamalla tiedolla. Nämä "itseohjatut oppimisalgoritmit" ovat osoittautuneet erittäin menestyneiksi ihmiskielen mallintamista ja viime aikoina kuvantunnistus. Viimeaikaisessa työssä nisäkkäiden visuaalisten ja kuulojärjestelmien laskennalliset mallit, jotka on rakennettu käyttämällä itseohjattuja oppimismalleja, ovat osoittaneet läheisemmän vastaavuuden aivojen toimintaan kuin niiden valvotut oppimismallit. Joillekin neurotieteilijöille näyttää siltä, että keinotekoiset verkostot alkavat paljastaa joitain todellisia menetelmiä, joita aivomme käyttävät oppimiseen.
Virheellinen valvonta
Keinotekoisten hermoverkkojen inspiroimat aivomallit tulivat täysi-ikäisiksi noin 10 vuotta sitten, suunnilleen samaan aikaan kuin hermoverkko nimeltä AlexNet mullisti tuntemattomien kuvien luokittelun. Tämä verkko, kuten kaikki hermoverkot, koostui keinotekoisten neuronien kerroksista, laskennallisista yksiköistä, jotka muodostavat yhteyksiä toisiinsa ja jotka voivat vaihdella vahvuudeltaan tai "painoltaan". Jos hermoverkko ei pysty luokittelemaan kuvaa oikein, oppimisalgoritmi päivittää neuronien välisten yhteyksien painot tehdäkseen virheellisen luokituksen vähemmän todennäköisemmän seuraavalla harjoituskierroksella. Algoritmi toistaa tämän prosessin monta kertaa kaikilla harjoituskuvilla säätämällä painoja, kunnes verkon virheprosentti on hyväksyttävän alhainen.
Samoihin aikoihin neurotieteilijät kehittivät ensimmäiset laskennalliset mallit kädellisten visuaalinen järjestelmä, käyttämällä hermoverkkoja, kuten AlexNetiä ja sen seuraajia. Liitto näytti lupaavalta: Kun esimerkiksi apinoilla ja keinotekoisilla hermoverkoilla näytettiin samoja kuvia, todellisten hermosolujen ja keinotekoisten hermosolujen aktiivisuus osoitti kiehtovaa vastaavuutta. Seurasi keinotekoiset kuulon ja hajun havaitsemisen mallit.
Mutta alan edetessä tutkijat ymmärsivät ohjatun koulutuksen rajoitukset. Esimerkiksi vuonna 2017 Tübingenin yliopistossa Saksassa työskentelevä tietojenkäsittelytieteilijä Leon Gatys ja hänen kollegansa ottivat kuvan Ford Model T:stä ja peittivät sitten kuvan päälle leopardinahkakuvion, jolloin syntyi outo mutta helposti tunnistettavissa oleva kuva. . Johtava keinotekoinen hermoverkko luokitteli alkuperäisen kuvan oikein malliksi T, mutta piti muokattua kuvaa leopardina. Se oli kiinnittynyt rakenteeseen, eikä se ymmärtänyt auton (tai leopardin) muotoa.
Itseohjatut oppimisstrategiat on suunniteltu välttämään tällaisia ongelmia. Tässä lähestymistavassa ihmiset eivät merkitse tietoja. Pikemminkin "tarrat tulevat itse tiedoista", sanoi Friedemann Zenke, laskennallinen neurotieteilijä Friedrich Miescher Institute for Biomedical Researchissa Baselissa, Sveitsissä. Itsevalvotut algoritmit luovat olennaisesti aukkoja tietoihin ja pyytävät hermoverkkoa täyttämään kohdat. Esimerkiksi ns. ison kielen mallissa opetusalgoritmi näyttää hermoverkolle lauseen ensimmäiset sanat ja pyytää sitä ennustamaan seuraavan sanan. Kun koulutetaan valtavalla internetistä poimitulla tekstillä, malli näyttää oppivan kielen syntaktinen rakenne, joka osoittaa vaikuttavan kielellisen kyvyn – kaikki ilman ulkoisia tunnisteita tai valvontaa.
Samanlainen yritys on käynnissä tietokonenäön alalla. Vuoden 2021 lopulla Kaiming He ja kollegat paljastivat heidän "peitetty automaattinen enkooderi”, joka perustuu a tekniikka Efrosin tiimin pioneeri vuonna 2016. Itseohjattu oppimisalgoritmi peittää kuvat satunnaisesti ja peittää lähes kolme neljäsosaa niistä. Maskoitu automaattinen enkooderi muuttaa peittämättömät osat piileviksi esityksiksi – pakatuiksi matemaattisiksi kuvauksiksi, jotka sisältävät tärkeitä tietoja kohteesta. (Kuvan tapauksessa piilevä esitys voi olla matemaattinen kuvaus, joka vangitsee muun muassa kuvassa olevan kohteen muodon.) Sitten dekooderi muuntaa nämä esitykset takaisin täysiksi kuviksi.
Itsevalvottu oppimisalgoritmi kouluttaa kooderi-dekooderi-yhdistelmän muuttamaan peitetyt kuvat täysversioiksi. Kaikki erot todellisten kuvien ja rekonstruoitujen kuvien välillä syötetään takaisin järjestelmään, jotta se oppii. Tämä prosessi toistuu harjoituskuvien sarjalle, kunnes järjestelmän virheprosentti on sopivan alhainen. Eräässä esimerkissä, kun koulutetulle naamioidulle autokooderille näytettiin aiemmin näkemätön kuva väylästä, jossa lähes 80 % siitä oli peitetty, järjestelmä rekonstruoi onnistuneesti väylän rakenteen.
"Tämä on erittäin, erittäin vaikuttava tulos", sanoi Efros.
Tällaisessa järjestelmässä luodut piilevät esitykset näyttävät sisältävän huomattavasti syvempää tietoa kuin aiemmat strategiat saattoivat sisältää. Järjestelmä saattaa oppia esimerkiksi auton – tai leopardin – muodon, ei vain niiden kuvioita. "Ja tämä on todella itseohjatun oppimisen perusidea - rakennat tietosi alhaalta ylöspäin", sanoi Efros. Ei viime hetken tukkeutumista kokeiden läpäisemiseen.
Itsevalvotut aivot
Tällaisissa järjestelmissä jotkut neurotieteilijät näkevät kaikuja siitä, kuinka opimme. "Uskon, ettei ole epäilystäkään siitä, että 90 % siitä, mitä aivot tekevät, on itseohjattua oppimista", sanoi. Blake Richards, laskennallinen neurotieteilijä McGill Universityssä ja Mila, Quebec Artificial Intelligence Institute. Biologisten aivojen uskotaan jatkuvasti ennustavan esimerkiksi esineen tulevaa sijaintia sen liikkuessa tai lauseen seuraavaa sanaa, aivan kuten itseohjattu oppimisalgoritmi yrittää ennustaa aukon kuvassa tai tekstin osassa. Ja aivot oppivat virheistään myös itse – vain pieni osa aivojen palautteesta tulee ulkopuolisesta lähteestä, joka sanoo pohjimmiltaan "väärän vastauksen".
Ajatellaan esimerkiksi ihmisten ja muiden kädellisten näköjärjestelmiä. Nämä ovat parhaiten tutkittuja kaikista eläinten aistijärjestelmistä, mutta neurotieteilijät ovat yrittäneet selittää, miksi ne sisältävät kaksi erillistä reittiä: vatsan näkövirta, joka on vastuussa esineiden ja kasvojen tunnistamisesta, ja dorsaalinen näkövirta, joka käsittelee liikettä (" mitä" ja "minne" -reitit, vastaavasti).
Richards ja hänen tiiminsä loivat itseohjatun mallin, joka vihjaa vastauksen. Ne koulutettu tekoäly, joka yhdisti kaksi erilaista hermoverkkoa: Ensimmäinen, nimeltään ResNet-arkkitehtuuri, oli suunniteltu kuvien käsittelyyn; toinen, joka tunnetaan toistuvana verkkona, voisi seurata aikaisempien syötteiden sarjaa ennustaakseen seuraavaa odotettua tuloa. Yhdistetyn tekoälyn harjoittamiseksi tiimi aloitti esimerkiksi 10 ruudun sarjalla videosta ja antoi ResNetin käsitellä ne yksitellen. Toistuva verkko ennusti sitten 11. kehyksen piilevän esityksen, vaikka se ei vain vastannut 10 ensimmäistä kehystä. Itseohjattu oppimisalgoritmi vertasi ennustetta todelliseen arvoon ja käski hermoverkkoja päivittämään painonsa ennusteen parantamiseksi.
Richardsin tiimi havaitsi, että yhdellä ResNetillä koulutettu tekoäly oli hyvä kohteen tunnistamisessa, mutta ei liikettä luokittelussa. Mutta kun he jakoivat yksittäisen ResNetin kahdeksi luoden kaksi reittiä (muuttamatta hermosolujen kokonaismäärää), tekoäly kehitti esitykset toisessa esineille ja toisessa liikkeelle, mikä mahdollistaa näiden ominaisuuksien luokittelun - aivan kuten aivomme todennäköisesti tehdä.
Testatakseen tekoälyä edelleen tiimi näytti sille videoita, joita Seattlessa sijaitsevan Allen Institute for Brain Sciencen tutkijat olivat aiemmin näyttäneet hiirille. Kuten kädellisillä, hiirillä on aivoalueita, jotka ovat erikoistuneet staattisiin kuviin ja liikkumiseen. Allenin tutkijat tallensivat hermotoiminnan hiiren visuaaliseen aivokuoreen eläinten katsoessa videoita.
Myös tässä Richardsin tiimi löysi yhtäläisyyksiä tavassa, jolla tekoäly ja elävät aivot reagoivat videoihin. Harjoittelun aikana yksi keinotekoisen hermoverkon reiteistä tuli samankaltaisemmaksi kuin hiiren aivojen ventraaliset, esineitä havaitsevat alueet, ja toisesta reitistä tuli samanlainen kuin liikkeeseen keskittyneet selkäalueet.
Tulokset viittaavat siihen, että näköjärjestelmällämme on kaksi erikoistunutta reittiä, koska ne auttavat ennustamaan visuaalista tulevaisuutta, sanoi Richards; yksi reitti ei riitä.
Ihmisen kuulojärjestelmän mallit kertovat samanlaisen tarinan. Kesäkuussa johtama tiimi Jean-Rémi King, Meta AI:n tutkija, koulutettu AI nimeltä Wav2Vec 2.0, joka käyttää hermoverkkoa muuttamaan äänen piileviksi esityksiksi. Tutkijat peittävät osan näistä esityksistä, jotka sitten syötetään toiseen komponenttihermoverkkoon, jota kutsutaan muuntajaksi. Harjoittelun aikana muuntaja ennustaa peitetyn tiedon. Prosessin aikana koko tekoäly oppii muuttamaan äänet piileviksi esityksiksi – taaskaan ei tarvita tunnisteita. Tiimi käytti noin 600 tuntia puhedataa verkon kouluttamiseen, "mikä on suunnilleen se, mitä lapsi saisi kahden ensimmäisen kokemuksen aikana", King sanoi.
Kun järjestelmä oli koulutettu, tutkijat soittivat sen äänikirjojen osia englanniksi, ranskaksi ja mandariiniksi. Tämän jälkeen tutkijat vertasivat tekoälyn suorituskykyä 412 ihmisen tietoihin – kolmen kielen äidinkielenään puhuvien henkilöiden yhdistelmään, jotka olivat kuunnelleet samoja ääniosuuksia, kun heidän aivonsa kuvattiin fMRI-skannerin avulla. King sanoi, että hänen hermoverkkonsa ja ihmisen aivot meluisista ja matalaresoluutioisista fMRI-kuvista huolimatta "eivät vain korreloi keskenään, vaan ne korreloivat systemaattisesti": Tekoälyn varhaisten kerrosten aktiivisuus on linjassa aktiivisuuden kanssa. primaarisessa kuulokuoressa, kun taas tekoälyn syvimpien kerrosten aktiivisuus on linjassa aivojen korkeampien kerrosten, tässä tapauksessa esiotsakuoren, aktiivisuuden kanssa. "Se on todella kaunista dataa", Richards sanoi. "Se ei ole ratkaiseva, mutta [se] on toinen vakuuttava todiste siitä, että tapa, jolla opimme kieltä, on suurelta osin yrittämällä ennustaa seuraavia asioita, jotka sanotaan."
Parantumattomat patologiat
Kaikki eivät ole vakuuttuneita. Josh McDermott, laskennallinen neurotieteilijä Massachusetts Institute of Technologysta, on työskennellyt näkö- ja kuulohavainnon mallien parissa käyttämällä sekä ohjattua että itseohjattua oppimista. Hänen laboratorionsa on suunnitellut niin sanottuja "metameereitä", syntetisoinut ääni- ja visuaalisia signaaleja, jotka ovat ihmiselle vain käsittämätöntä melua. Keinotekoisessa hermoverkossa metameerit näyttävät kuitenkin erottamattomilta todellisista signaaleista. Tämä viittaa siihen, että neuroverkon syvemmille kerroksille muodostuvat esitykset eivät edes itseohjatun oppimisen yhteydessä vastaa aivoissamme olevia esityksiä. Nämä itseohjatut oppimismenetelmät "ovat edistystä siinä mielessä, että pystyt oppimaan esityksiä, jotka voivat tukea monia tunnistuskäyttäytymistä tarvitsematta kaikkia näitä merkintöjä", McDermott sanoi. "Mutta heillä on edelleen paljon valvottujen mallien patologioita."
Myös algoritmit itsessään vaativat lisää työtä. Esimerkiksi Meta AI:n Wav2Vec 2.0:ssa tekoäly ennustaa vain muutaman kymmenen millisekunnin äänen piileviä esityksiä – vähemmän aikaa kuin kuluu havainnollisesti erottuvan kohinan lausumiseen sanasta puhumattakaan. "On monia asioita tehtävä, jotta voidaan tehdä jotain samanlaista kuin mitä aivot tekevät", King sanoi.
Aivojen toiminnan todellinen ymmärtäminen vaatii enemmän kuin itseohjattua oppimista. Ensinnäkin aivot ovat täynnä palauteyhteyksiä, kun taas nykyisissä malleissa tällaisia yhteyksiä on vähän, jos ollenkaan. Ilmeinen seuraava askel olisi käyttää itseohjattua oppimista erittäin toistuvien verkostojen kouluttamiseen - vaikea prosessi - ja nähdä, kuinka toiminta tällaisissa verkostoissa verrataan todelliseen aivotoimintaan. Toinen ratkaiseva askel olisi sovittaa keinotekoisten neuronien aktiivisuus itseohjatuissa oppimismalleissa yksittäisten biologisten neuronien aktiivisuuteen. "Toivottavasti tulevaisuudessa [tuloksemme] vahvistetaan myös yksisolujen tallennuksilla", King sanoi.
Jos havaitut yhtäläisyydet aivojen ja itseohjattujen oppimismallien välillä pätevät muihin aistitehtäviin, se on vielä vahvempi osoitus siitä, että mihin tahansa taikuuteen aivomme pystyvätkin, vaatii itseohjattua oppimista jossain muodossa. "Jos löydämme systemaattisia yhtäläisyyksiä hyvin erilaisten järjestelmien välillä, se [saa] olettaa, että ehkä ei ole niin monia tapoja käsitellä tietoa älykkäällä tavalla", King sanoi. "Ainakin se on sellainen kaunis hypoteesi, jonka kanssa haluaisimme työskennellä."
