Tietojenkäsittelyn edelläkävijä auttaa tekoälyä näkemään | Quanta-lehti

Kun Aleksei Efros muutti perheineen Venäjältä Kaliforniaan teini-iässä 1980-luvulla, ja hän toi Neuvostoliitossa rakennetun henkilökohtaisen tietokoneensa, Elektronika BK-0010:n. Koneessa ei ollut ulkoista tallennustilaa, ja se ylikuumeni muutaman tunnin välein, joten voidakseen pelata videopelejä hänen täytyi kirjoittaa koodia, tehdä vianmääritys ja pelata nopeasti - ennen kuin kone sammui. Tuo sykli, joka toistui useimpina päivinä, nopeuttaa hänen oppimistaan.

"Olin erittäin onnekas, että tämä Neuvostoliiton tietokone ei ollut kovin hyvä!" sanoi Efros, joka nauraa helposti ja puhuu miedolla venäläisellä aksentilla. Hän ei pelaa niin paljon pelejä nykyään, mutta halu tutkia ja hyödyntää työkalujaan säilyy.

Kalifornian yliopiston Berkeleyssä tutkijakoulussa Efros alkoi vaeltaa ja tutkia Bay Arean luonnonkauneutta. Ei kestänyt kauan, kun hän alkoi yhdistää intohimoaan tietokoneita kohtaan ja nauttimaan näistä nähtävyyksistä. Hän kehitti tavan paikata saumattomasti valokuvien reikiä – esimerkiksi korvaamalla erehtyvän roska-astian kuvassa punapuumetsästä luonnollisen näköisillä puilla. Adobe Photoshop otti myöhemmin käyttöön version tekniikasta "sisältötietoiseen täyttö" -työkaluun.

Nykyään Berkeley Artificial Intelligence Research Labin tietojenkäsittelytieteilijä Efros yhdistää massiiviset verkkotietojoukot koneoppimisalgoritmeihin ymmärtääkseen, mallintaakseen ja luodakseen uudelleen visuaalisen maailman. Vuonna 2016 Computing Machinery ry myönsi hänelle sen Palkinto tietojenkäsittelyssä hänen työstään luoda realistisia synteettisiä kuvia, kutsuen häntä "kuvaalkemisti"

Efros sanoo, että tutkijoiden ponnisteluista huolimatta koneet näkevät edelleen olennaisesti eri tavalla kuin me. "Värit ja kirkkaus vaativat meitä yhdistämään sen, mitä nyt näemme, muistoomme siitä, missä olemme nähneet nämä asiat aiemmin", Efros sanoi. "Tämä yhteys antaa merkityksen sille, mitä näemme." Liian usein koneet näkevät sen, mitä siellä on tällä hetkellä yhdistämättä sitä aiemmin näkemäänsä.

Mutta erolla voi olla etuja. Tietokonenäössä Efros arvostaa välitöntä tietämystä, toimiiko objektien ja kohtausten tunnistamiseen suunniteltu algoritmi kuvaan. Jotkut hänen tietokonenäkökysymyksistään - kuten "Mikä saa Pariisin näyttämään Pariisilta?” – on filosofinen taipumus. Muut, kuten kuinka käsitellä pysyviä bias tietojoukoissa, ovat käytännöllisiä ja painavia.

"Monet ihmiset tekevät tekoälyä kielellä tällä hetkellä", Efros sanoi. "Haluan tarkastella kokonaan visuaalisia kuvioita, jotka jäävät taakse." Tietokonenäköä parantamalla hän ei ainoastaan ​​toivo parempia käytännön sovelluksia, kuten itseohjautuvia autoja; hän haluaa myös louhia näitä oivalluksia ymmärtääkseen paremmin sitä, mitä hän kutsuu "ihmisen visuaaliseksi älykkyydeksi" – kuinka ihmiset ymmärtävät näkemästään.

Quanta-lehti tapasi Efrosin hänen Berkeley-toimistossaan keskustellakseen tieteellisistä supervoimista, visuaalisuuden kuvaamisen vaikeudesta ja kuinka vaarallista tekoäly todella on. Haastattelu on tiivistetty ja muokattu selvyyden vuoksi.

Miten tietokonenäkö on parantunut opiskeluajan jälkeen?

Kun aloitin tohtorintutkintoni, siitä ei ollut juuri mitään hyötyä. Jotkut robotit ruuvasivat joitain ruuveja tietokonenäön avulla, mutta se rajoittui tällaiseen hyvin kontrolloituun teolliseen ympäristöön. Sitten yhtäkkiä kamerani havaitsi kasvot ja teki niistä terävämpiä.

Nykyään tietokonenäköä käytetään valtavassa määrässä sovelluksia, kuten itseohjautuvia autoja. Se kestää kauemmin kuin jotkut ihmiset alun perin ajattelivat, mutta silti edistystä tapahtuu. Jollekin, joka ei aja autoa, tämä on erittäin jännittävää.

Odota, etkö aja?

Ei, en näe tarpeeksi hyvin ajaakseni! [Nauraa.] Minulle tämä olisi sellainen pelin muuttaja – auto, joka ajaisi minut paikkoihin.

En tajunnut, että näkösi esti sinua ajamasta. Näetkö kuvaamasi kuvat tietokoneen näytöltä?

Jos teen niistä tarpeeksi isoja. Näet, että fonttini ovat melko suuria. Synnyin näkemättä hyvin. Luulen, että kaikki muut ovat outoja, koska heillä on hullun hyvä näkö.

Vaikuttiko ei-outo-stateesi tutkimussuuntaasi?

Kuka tietää? Ei todellakaan ollut tunnetta "Voi, minä en näe hyvin, joten aion tehdä tietokoneita, jotka näkevät paremmin." Ei, minulla ei ole koskaan ollut se motivaationa.

Ollaksesi hyvä tiedemies, tarvitset salaisen supervoiman. Sinun täytyy tehdä jotain paremmin kuin kaikki muut. Hienoa tieteessä on se, että meillä kaikilla ei ole samaa supervoimaa. Ehkä supervoimani on ollut se, koska en näe kovin hyvin, minulla saattaa olla enemmän tietoa näköongelmasta.

Ymmärsin varhain aikaisemman datan merkityksen maailmaa katsoessani. Itse en nähnyt kovin hyvin, mutta muistoni aikaisemmista kokemuksista täytti reikiä sen verran, että pystyin toimimaan periaatteessa yhtä hyvin kuin normaali ihminen. Useimmat ihmiset eivät tiedä, etten näe hyvin. Se antoi minulle - luulen - tämän ainutlaatuisen intuition, että kyse saattaa olla vähemmän pikseleistä ja enemmän muistista.

Tietokoneet näkevät vain sen, mitä siellä on nyt, kun taas me näemme hetken yhdistettynä kaikkeen, mitä olemme nähneet.

Onko mahdollista edes ilmaista sanoin niitä hienovaraisia ​​visuaalisia kuvioita, jotka esimerkiksi saavat Pariisin näyttämään Pariisilta?

Kun olet tietyssä kaupungissa, joskus tiedät vain, missä kaupungissa olet – tässä on tämä je ne sais Quoi, vaikka et ole koskaan käynyt kyseisessä kadun kulmassa. Sitä on äärimmäisen vaikea kuvailla sanoin, mutta se näkyy pikseleissä.

[Pariisissa] voisi puhua siitä, että se on yleensä kuusikerroksisia rakennuksia, ja yleensä neljännessä kerroksessa on parvekkeet. Osa tästä voisi pukea sanoiksi, mutta monet eivät ole kielellisiä. Minusta se on jännittävää.

Viimeaikainen työsi liittyy tietokoneiden opettamiseen nielemään visuaalista dataa tavoilla, jotka jäljittelevät ihmisen näköä. Miten tuo toimii?

Tällä hetkellä tietokoneilla on valtava tietojoukko: miljardeja satunnaisia ​​kuvia on kaavittu Internetistä. He ottavat satunnaisia ​​kuvia, käsittelevät yhden kuvan, ottavat sitten toisen satunnaisen kuvan, käsittelevät sen jne. Harjoittelet [tietokoneen visuaalista] järjestelmääsi käymällä tätä tietojoukkoa jatkuvasti.

Tapa, jolla me – biologiset tekijät – nielemme tietoja, on hyvin erilainen. Kun kohtaamme uudenlaisen tilanteen, tämä on ainoa kerta, kun nämä tiedot ovat käytettävissämme. Emme ole koskaan olleet juuri tässä tilanteessa, tässä huoneessa, tällä valaistuksella, näin pukeutuneena. Ensinnäkin käytämme näitä tietoja tehdäksemme sen, mitä meidän on tehtävä, ymmärtääksemme maailmaa. Sitten käytämme näitä tietoja oppiaksemme niistä, [ennustaaksemme] tulevaisuutta.

Lisäksi näkemämme tiedot eivät ole satunnaisia. Se, mitä näet nyt, korreloi hyvin sen kanssa, mitä näit muutama sekunti sitten. Voit ajatella sen videona. Kaikki videon kehykset korreloivat keskenään, mikä eroaa suuresti siitä, miten tietokoneet käsittelevät tietoja.

Olen kiinnostunut siitä, että oppimistapamme on sellainen, jossa tietokoneet näkevät datan sellaisena kuin ne tulevat, käsittelevät sen ja oppivat siitä edetessään.

Luulen, että se ei ole niin yksinkertaista kuin saada tietokoneet katsomaan videoita still-kuvien sijaan.

Ei, tarvitset silti [tietokoneita] mukautuaksesi. Olen kiinnostunut oppimisen lähestymistavoista, jotka näkevät datan sellaisena kuin se tulee ja sitten käsittelevät ja oppivat siitä sitä mukaa, kun ne kulkevat. Yksi lähestymistapamme tunnetaan nimellä koeajan koulutus. Ajatuksena on, että kun katsot kuvasarjaa, kuten videota, asiat saattavat muuttua. Joten et halua, että malliasi korjataan. Aivan kuten biologinen tekijä sopeutuu aina ympäristöönsä, haluamme tietokoneen mukautuvan jatkuvasti.

Vakioparadigma on, että harjoittelet ensin suurella datajoukolla ja otat sitten käyttöön. Dall·E ja ChatGPT koulutettiin Internetissä noin vuonna 2021, ja sitten [heidän tietonsa] jäätyi. Sitten se paljastaa sen, minkä se jo tietää. Luonnollisempi tapa on [testiaikainen koulutus] yrittää saada se ottamaan vastaan ​​dataa ja oppimaan työssä, ilman erillisiä koulutus- ja käyttöönottovaiheita.

Tietokoneissa on varmasti ongelma, jota kutsutaan verkkotunnuksen siirroksi tai datajoukon harhaksi. Tämä ajatus siitä, että jos harjoitustietosi eroavat suuresti tiedoista, joita käytät järjestelmää ottaessasi käyttöön, asiat eivät toimi. hyvä on. Edistymme jonkin verran, mutta emme ole vielä aivan perillä.

Onko ongelma samanlainen kuin se, kuinka pankit varoittavat sijoittajia siitä, että aiempi tuotto ei välttämättä ennusta tulevia tuloja?

Se on juuri se ongelma. Todellisessa maailmassa asiat muuttuvat. Esimerkiksi jos peltohiiri päätyy taloon, se käy hyvin. Et koskaan pääse eroon siitä hiirestä! [Nauraa.] Se syntyi pellolla, ei ole koskaan ennen ollut talossa, mutta silti se löytää ja syö kaikki tarvikkeesi. Se sopeutuu erittäin nopeasti, oppii ja sopeutuu uuteen ympäristöön.

Tätä kykyä ei ole nykyisissä [tietokonenäkö]järjestelmissä. Itseajolla, jos koulutat auton Kaliforniassa ja testaat sitä Minnesotassa – buumi! - siellä on lunta. Se ei ole koskaan nähnyt lunta. Se menee sekaisin.

Nyt ihmiset käsittelevät tätä saamalla niin paljon tietoa, että [järjestelmä] on periaatteessa nähnyt kaiken. Silloin siihen ei tarvitse sopeutua. Mutta siitä huolimatta harvat tapahtumat jäävät paitsi.

Vaikuttaa siltä, ​​että tekoälyjärjestelmät ovat tie eteenpäin. Mihin se jättää ihmiset?

OpenAI:sta tuleva työ sekä tekstirintamalla (ChatGPT) että kuvarintamalla (Dall·E) on ollut uskomattoman jännittävää ja yllättävää. Se vahvistaa tämän ajatuksen, että kun sinulla on tarpeeksi tietoa, kohtuullisen yksinkertaiset menetelmät voivat tuottaa yllättävän hyviä tuloksia.

Mutta ChatGPT sai minut ymmärtämään, että ihmiset eivät ole niin luovia ja poikkeuksellisia kuin haluamme nähdä itsemme. Suurimman osan ajasta meissä olevat kuviontunnistimet saattoivat ottaa vallan. Puhumme lauseilla, jotka on tehty aiemmin kuulemistamme lauseista tai lauseista. Tietysti meillä on mielikuvituksen ja luovuuden lentoja. Pystymme tekemään asioita, joihin tietokoneet eivät pysty – ainakin toistaiseksi. Mutta useimmiten meidät voitaisiin korvata ChatGPT:llä, eivätkä useimmat ihmiset huomaa.

Se on nöyryyttävää. Mutta se on myös motivaattori murtautua irti noista kaavoista, yrittää saada enemmän mielikuvituksen lentoja, olla juututtamatta kliseisiin ja pastiseihin.

Jotkut tutkijat ovat ilmaisseet huolensa tekoälyn ihmiskunnalle aiheuttamista riskeistä. Oletko huolissasi?

Monet tutkijat, joita kunnioitan suuresti, ovat varoittaneet tekoälystä. En halua vähätellä näitä sanoja. Monet niistä ovat päteviä pisteitä. Mutta asiat pitää laittaa perspektiiviin.

Tällä hetkellä suurin vaara sivilisaatiolle ei ole tietokoneista vaan ihmisistä. Nuclear Armageddon ja ilmastonmuutos ovat paljon painavampia huolenaiheita. Venäjän federaatio on hyökännyt täysin viattoman naapurinsa kimppuun. Olen syntynyt Venäjällä, ja on erityisen kauhistuttavaa, että entiset maanmieheni saattoivat tehdä niin. Teen kaikkeni varmistaakseni, että tämä pysyy aiheena numero yksi.

Saatamme ajatella, että tekoälyvallankumous on elämämme tärkein tapahtuma. Mutta tekoälyvallankumouksesta ei tule mitään, jos emme pelasta vapaata maailmaa.

Et siis ole ollenkaan huolissasi tekoälystä?

Ei. Tiedätkö, rakastan huolehtimista. Olen suuri huolenpitäjä! Mutta jos Putin, joka tuhoaa maailmaa, on täällä [nostaa kätensä päähänsä] ja ilmastonmuutos on täällä [laskee kätensä hartioilleen], niin tekoäly on täällä [laskee kätensä jaloilleen]. Se on prosentin murto-osa huolestani verrattuna Putiniin ja ilmastonmuutokseen.