Anima Anandkumar, Kalifornian teknologiainstituutin laskennan professori Bren ja Nvidian koneoppimistutkimuksen vanhempi johtaja, voi pohtia matriisia. Hänen epäilyksensä eivät koske sci-fi-elokuvia, vaan matemaattisia matriiseja - lukujen tai muuttujien verkkoja, joita käytetään tietojenkäsittelytieteessä. Vaikka tutkijat käyttävät tyypillisesti matriiseja tutkiakseen suurissa tietojoukkoissa piileviä suhteita ja kuvioita, nämä työkalut sopivat parhaiten kaksisuuntaisiin suhteisiin. Monimutkaiset prosessit, kuten sosiaalinen dynamiikka, sen sijaan sisältävät korkeamman tason vuorovaikutuksia.
Onneksi Anandkumar on jo pitkään nauttinut tällaisista haasteista. Kun hän muistelee Ugadia, uudenvuoden juhlaa, jota hän juhli lapsena Mysoressa (nykyisin Mysuru), Intiassa, kaksi makua erottuu: jaggery, puhdistamaton sokeri, joka edustaa elämän makeutta, ja neem, karvaat kukat, jotka edustavat elämän takaiskuja ja vaikeuksia. "Se on yksi katkerimmista asioista, mitä voit ajatella", hän sanoi.
Tyypillisesti hän lataa neemin, hän sanoi. "Haluan haasteita."
Tämä ponnisteluhalu sai hänet opiskelemaan sähkötekniikkaa Intian teknologiainstituutissa Madrasiin. Hän suoritti tohtorin tutkinnon Cornellin yliopistossa ja oli postdoc Massachusetts Institute of Technologyssa. Sitten hän perusti oman ryhmänsä apulaisprofessorina Kalifornian yliopistossa Irvinessä, keskittyen koneoppimiseen, tekoälyn osajoukkoon, jossa tietokone voi hankkia tietoa ilman erityistä ohjelmointia. Irvinessä Anandkumar sukelsi "aihemallinnuksen" maailmaan, eräänlaiseen koneoppimiseen, jossa tietokone yrittää poimia tärkeitä aiheita tiedoista; Yksi esimerkki olisi Twitterin algoritmi, joka tunnistaa piilotetut trendit. Mutta sanojen välinen yhteys on yksi niistä korkeamman asteen vuorovaikutuksista, jotka ovat liian hienovaraisia matriisisuhteille: Sanoilla voi olla useita merkityksiä, useat sanat voivat viitata samaan aiheeseen ja kieli kehittyy niin nopeasti, että mikään ei pysy paikoillaan pitkään.
Tämä sai Anandkumarin haastamaan tekoälyn luottamuksen matriisimenetelmiin. Hän päätteli, että pitääkseen algoritmin riittävän tarkkaavaisena oppiakseen tällaisen kaaoksen keskellä, tutkijoiden on suunniteltava se ymmärtämään korkeampien ulottuvuuksien algebra. Niinpä hän kääntyi tensoriksi kutsutun tensorin puoleen, joka oli pitkään ollut vajaakäyttöinen algebran työkalu. Tensorit ovat kuin matriiseja, mutta ne voivat ulottua mihin tahansa ulottuvuuteen, ylittäen matriisin kahden ulottuvuuden, rivit ja sarakkeet. Tämän seurauksena tensorit ovat yleisempiä työkaluja, mikä tekee niistä vähemmän alttiita "yliasovitukselle" – kun mallit vastaavat harjoitustietoja tarkasti, mutta eivät voi ottaa huomioon uutta dataa. Jos esimerkiksi pidät monista musiikkigenreistä mutta suoratoistat vain jazz-kappaleita, suoratoistoalustasi tekoäly voi oppia ennustamaan, mistä jazz-kappaleista pidät, mutta sen R&B-ennusteet ovat perusteettomia. Anandkumar uskoo, että tensorit tekevät koneoppimisesta mukautuvampaa.
Se ei ole ainoa haaste, jonka hän ottaa vastaan. Anandkumar on mentori ja järjestelmien muutosten puolestapuhuja, jotka työntävät syrjäytyneet ryhmät pois kentältä. Vuonna 2018 hän järjesti vetoomuksen muuttaakseen alansa vuotuisen Neural Information Processing Systems -konferenssin nimen suorasta lyhenteestä "NeurIPS". Kokouslautakunta hylkäsi vetoomuksen lokakuussa. Mutta Anandkumar ja hänen ikätoverinsa kieltäytyivät antamasta periksi, ja viikkoja myöhemmin lauta käänsi kurssin.
Quanta puhui Anandkumarin kanssa hänen toimistossaan Pasadenassa hänen kasvatuksestaan, tensoreistaan ja tekoälyn kohtaamista eettisistä haasteista. Haastattelu on tiivistetty ja muokattu selvyyden vuoksi.
Miten vanhempasi vaikuttivat käsityksesi koneista?
1990-luvun alussa he olivat ensimmäisten joukossa, jotka toivat ohjelmoitavat valmistuskoneet Mysoreen. Tuolloin se nähtiin omituisena: "Voimme palkata ihmisoperaattoreita tekemään tätä, joten mihin automaatioon tarvitaan?" Vanhempani näkivät, että tehokkuusetuja voi olla valtavasti, ja he pystyvät tekemään sen paljon nopeammin kuin ihmisen käyttämät koneet.
Oliko tämä johdatus automaatioon?
Joo. Ja ohjelmointi. Näkisin vihreän ruudun, johon isäni kirjoittaisi ohjelman, ja se liikuttaisi tornia ja työkaluja. Se oli todella kiehtovaa nähdä – geometrian ymmärtäminen, työkalun liikkumisen ymmärtäminen. Näet teknisen puolen, kuinka niin massiivinen kone voi tehdä tämän.
Millainen oli äitisi kokemus tekniikasta?
Äitini oli tietyssä mielessä edelläkävijä. Hän oli yksi ensimmäisistä yhteisö- ja perhetaustassaan, joka aloitti insinöörityön. Monet muut sukulaiset neuvoivat isoisääni olemaan lähettämättä häntä sanoen, että hän ei ehkä mene naimisiin helposti. Isoisäni epäröi. Silloin äitini meni nälkälakkoon kolmeksi päiväksi.
Tämän seurauksena en koskaan nähnyt sitä kummallisena, että naiset ovat kiinnostuneita tekniikasta. Äitini juurrutti meihin tämän matematiikan ja luonnontieteiden arvostuksen varhain. Se, että se oli vain luonnollinen osa sitä, mitä olen varhaisesta lapsuudesta asti, meni pitkälle. Jos äitini näki seksismin, hän huomautti siitä ja sanoi: "Ei, älä hyväksy tätä." Se todella auttoi.
Innostuiko jokin muu sinua matematiikasta ja tieteistä?
Ennen lukiota kaikki opetettava matematiikka on determinististä. Yhteenlasku, kertolasku, kaikki mitä teet – on yksi vastaus. Lukiossa aloin oppia todennäköisyydestä ja siitä, että voimme päätellä asioita satunnaisesti. Minusta se on järkevämpää, koska luonnossa on paljon muutakin. Siellä on satunnaisuutta ja jopa kaaosta.
Omassa elämässämme on niin paljon, mitä emme voi ennustaa. Mutta meidän ei pitäisi "ylisopeutua" aikaisempiin kokemuksiin, jotka eivät salli meidän sopeutua uusiin olosuhteisiin elämässämme. Ymmärsin, että tekoälyn avulla sinulla pitäisi olla joustavuutta yleistää uusiin asioihin, oppia uusia taitoja.
Ja siksi aloit kyseenalaistaa matriisioperaatioita koneoppimisessa?
Käytännössä koneoppimisen matriisimenetelmät eivät pysty kaappaamaan tehokkaasti korkeamman asteen suhteita. Pohjimmiltaan et voi oppia ollenkaan. Joten kysyimme: Mitä jos katsoisimme korkeamman asteen [operaatioita]? Se sai meidät tensorialgebraan.
Moniulotteisuutensa ja joustavuutensa ansiosta tensorit näyttävät luonnolliselta sopivalta korkeamman asteen ongelmiin tekoälyssä. Miksi kukaan ei ollut käyttänyt niitä aiemmin?
Olin varma, että ihmiset olisivat miettineet tätä. Kun keksimme menetelmän, palasimme hakemaan kirjallisuutta ja katsomaan. Itse asiassa vuonna 1927 julkaistiin psykometrinen paperi, jossa ehdotettiin, että erilaisten älykkyyden muotojen analysoimiseksi sinun pitäisi tehdä nämä tensorioperaatiot. Joten ihmiset ovat ehdottaneet näitä ideoita jo jonkin aikaa.
Mutta sen ajan laskelmat eivät pystyneet käsittelemään näitä korkeamman asteen [operaatioita], mikä tarkoitti yleensä korrelaatioita vähintään kolmen osapuolen välillä. Meillä ei myöskään ollut tarpeeksi dataa. Ajoitus oli tärkeä. Uusin laitteisto ja enemmän dataa auttavat meitä nyt siirtymään korkeamman asteen menetelmiin.
Jos onnistut tekemään tekoälystä joustavamman, mitä sitten tapahtuu?
Itse tekoälyn perusteiden uudelleen miettiminen.
Esimerkiksi monilla tieteen aloilla en voi pakottaa tietojani olemaan kiinteässä ruudukossa. Numeeriset ratkaisijat ovat joustavia: Jos käytät perinteistä ratkaisijaa, voit helposti löytää ratkaisun missä tahansa avaruuden pisteessä. Mutta tavallisia koneoppimismalleja ei ole rakennettu tällä tavalla. ImageNetillä [tietokanta, jota käytetään tekoälyn opettamiseen tunnistamaan kuvia] on kiinteä kuvakoko tai resoluutio. Koulutat verkkoa tällä resoluutiolla, joten testaat sitä samalla resoluutiolla. Jos käytät nyt tätä verkkoa mutta muutat resoluutiota, se epäonnistuu kokonaan. Siitä ei ole hyötyä todellisissa sovelluksissa. Tiedemiehet haluavat joustavuutta.
Olemme kehittäneet neurooperaattoreita, joissa ei ole tätä puutetta. Tämä on johtanut merkittäviin nopeuksiin tarkkuuden säilyttäen. Voimme esimerkiksi ennustaa tarkasti nestedynamiikan reaaliajassa, ja aiomme ottaa tämän käyttöön droneissa, jotka voivat lentää kovissa tuuleissa Caltechin drone-tuulitestilaitoksessa.
Opiskelijana harjoittelit IBM:llä, ja nyt työskentelet Caltech-työsi lisäksi Nvidian parissa. Miksi sekoitat akateemisen teorian ja teollisen sovelluksen?
Vanhempani ovat yrittäjiä. Mutta isoisoisoisäni isäni puolella oli tutkija, joka löysi uudelleen tämän muinaisen tekstin nimeltä Arthashastra. Se oli ensimmäinen tunnettu taloustieteen kirja vuodelta 300 eaa. Kasvaessani olen aina ihmetellyt: Miten selviän näiden kahden maailman välillä?
Mielestäni tämä nykyinen aikakausi on niin mahtava. Näemme paljon avoimuutta siinä, kuinka Nvidian kaltaiset yritykset investoivat avoimeen tutkimukseen.
Olet maininnut, että haluat eräänlaisen Hippokrateen valan tekoälytutkimukselle. Miksi?
On aina tärkeää kysyä, kuinka työmme tulee vaikuttamaan maailmaan. Se voi olla haastavaa varsinkin suuressa yrityksessä, koska rakennat yhtä osaa tästä valtavasta järjestelmästä. Mutta niin suuri osa tavasta, jolla opetamme yliopistoissa, on peräisin sotakoulusta. Tekniikka tuli tältä taustalta, ja osa siitä viipyy. Kuten ajatus, että tutkijoiden ja insinöörien pitäisi keskittyä teknisiin asioihin ja antaa muiden huolehtia muusta. Se on väärin. Me kaikki tarvitsemme inhimillistä ajattelua.
Miten nykypäivän joustamattomat algoritmit vaikuttavat näihin eettisiin ongelmiin?
Ihmiset on ommeltu ajattelemaan, että koneisiin voi luottaa. Ennen, jos pyysit konetta kertomaan, se olisi aina oikein. Ihmiset voivat olla väärässä, samoin tietomme. Nyt, kun tekoälyn harjoitustiedot ovat rodullisesti puolueellisia, sovimme harjoitustietojen oletuksiin. Meillä ei voi olla vain vääriä vastauksia, vaan vääriä vastauksia suurella luottamuksella. Se on vaarallista.
Miten sitten mennään eteenpäin?
Mitä tulee parempien algoritmien rakentamiseen, meidän on ainakin kysyttävä: voimmeko antaa oikean luottamustason? Jos toinen ihminen sanoo: "Ehkä olen 60% varma, että tämä on oikea vastaus", otat sen huomioon.
Joten jos katson ikkunastani ulos ja näen rakennuksen kokoisen kissamaisen eläimen, voin ajatella: "Kyllä, se näyttää kissalta, mutta en ole vielä varma, mikä se oikeasti on."
Tarkalleen. Koska silloin näillä malleilla on yliluottamusongelma. Vakiokoulutuksessa kannustat heitä olemaan erittäin itsevarmoja.
Olet mentoroinut Caltechin WAVE Fellows -ohjelma, joka tuo aliedustetuista taustoista tulevia opiskelijoita tekemään tutkimusta. Mikä on mielestäsi mentoroinnin rooli tekoälyssä?
Yksi alan vanhimmista naisista valitti minulle kerran, että naiset tuntevat meidät kuin saaria. Olemme niin katkaistuja. Emme tiedä mitä muille tapahtuu. Emme tiedä palkkataulukoista tai muustakaan. Se on tämä eron tunne – ettet ole osa järjestelmää. Et tunne kuuluvasi tänne. Mielestäni se on niin tärkeää korjata osoittamalla, että on olemassa muutakin kuin affiniteettiryhmiä, kuten WIML ja Musta AI: ssa. On olemassa laajempi joukko mentoreita ja ihmisiä, jotka ovat panostaneet näihin ponnisteluihin.
Liittyykö tämä kokemukseesi NeurIPS-nimenvaihdosta? Miksi se taistelu oli sinulle niin tärkeä?
Monille ihmisille se oli kuin "Voi, typerä nimenmuutos." Mutta se toi myrkyllisyyttä. En odottanut, että pitkiä Reddit-säikeitä pilkattaisiin meistä ja ulkonäöstämme, ja kaikenlaisia uhkauksia, kaikenlaisia yrityksiä dox-ittaa ihmisiä. Suuri osa tästä oli maan alla. Ja se paljastaa ihmiset sen, mitä naiset kohtaavat näissä konferensseissa.
Lopulta sanoisin, että se toi yhteisön yhteen. Se toi maltillisen joukon ihmisiä, jotka eivät olleet tietoisia. Ja se on todella auttanut lisäämään monimuotoisuuttamme ja osallisuuttamme.
Vaikka olet tottunut haastamaan ihmisiä, uskon, että oli vaikea puhua ääneen.
Se oli todella vaikeaa. Olen yksityinen henkilö, mutta kun aloin puhua sosiaalisessa mediassa, vaikka vain julkaisemaan tekemämme työtä tai jotain hyvin hyväntahtoista, kommentit olivat suodattamattomia. Siellä oli koko luonne "Vältämme puhumasta negatiivisista asioista. Haudataan se." Mutta olen sitä mieltä, että meidän on tuotava tämä julkisuuteen ja meidän on pidettävä itsemme vastuullisena.
Että ihmisten täytyy syödä neeminsä?
Aivan, aivan. Sinun on otettava karvas totuus.
