Domeeniekspertide tõus süvaõppes

Jeremy Howard on tehisintellekti uurija ja kaasasutaja fast.ai, platvorm mitteekspertidele tehisintellekti ja masinõppe õppimiseks. Enne fast.ai käivitamist asutas ta mitu ettevõtet – sealhulgas FastMaili ja Enliticu, mis on meditsiinivaldkonnas süvaõppe rakendamise pioneer – ning oli masinõppe võistlusplatvormi Kaggle president ja peateadlane. 

Selles intervjuus arutleb Howard, mida tähendab erinevatele tööstusharudele ja isegi globaalsetele piirkondadele nüüd, kui inimesed, kellel pole doktorikraadi spetsialiseeritud uurimislaboritest, saavad luua ja töötada süvaõppe mudelitega. Muude selle laia vihmavarju all olevate teemade hulgas jagab ta oma mõtteid selle kohta, kuidas kõige paremini kursis olla nüüdisaegsete tehnikatega, kiire inseneritöö kui uue oskuste kogum ning koodigenereerimissüsteemide nagu Codex plussid ja miinused.

---

TULEVIK: Kui olete viimase mitu aastat kasutanud saiti fast.ai, siis milliseid tagajärgi näete sellel, et süvaõppe põhimõistetega on tuttavaks saanud nii palju inimesi – võrreldes mitu aastat tagasi, kui teadmised olid ükssarved?

JEREMY HOWARD: Kui alustasime fast.ai-ga, töötas seal põhimõtteliselt viis olulist ülikooli uurimislaborit, mis töötasid süvaõppega – ja ainsad inimesed, kes teadsid, kuidas süvaõppega peaaegu midagi teha, olid inimesed, kes olid või olid olnud nendes viies laboris. . Üldiselt ei avaldatud koodi, rääkimata andmetest. Ja isegi paberid ei avaldanud üksikasju selle kohta, kuidas seda praktikas toimima panna, osaliselt seetõttu, et akadeemilised kohad ei hoolinud praktilisest rakendamisest. See oli väga keskendunud teooriale. 

Nii et kui alustasime, oli väga spekulatiivne küsimus: "Kas on võimalik teha maailmatasemel süvaõpet ilma doktorikraadita?". Nüüd teame vastust jah; näitasime seda oma esimesel kursusel. Meie kõige esimesed vilistlased lõid süvaõppe abil patente, lõid süvaõppe abil ettevõtteid ja avaldasid süvaõppe abil parimates kohtades. 

Ma arvan, et teie küsimus on täpselt õige, mis juhtub siis, kui domeeniekspertidest saavad tõhusad süvaõppe praktikud? Seal oleme näinud kõige huvitavamaid asju. Üldiselt on parimad idufirmad need, mille on loonud inimesed, kellel on isiklikult kriimustada. Nad olid varem värbajad, nii et nad tegelevad värbamisettevõttega, või olid nad varem abinõud, nii et nad teevad legaalset idufirmat või mida iganes. Ja nad ütlevad: "Oh, ma vihkan seda asja oma töö pärast. Ja nüüd, kui ma tean sügavast õppimisest, tean, et suudan kogu selle asja peaaegu automatiseerida.

Paljud meie üliõpilased on ka doktorikraadiga või on lõpetanud, kuid mitte matemaatikas või informaatikas; selle asemel tegelevad nad sellega kemoinformaatikas, proteoomikas, andmeajakirjanduses või milles iganes. Ja me leiame väga sageli, et nad suudavad viia oma uurimistöö hoopis teisele tasemele. Näiteks hakkame esimest korda nägema, et Internetti hakkavad ilmuma suured andmebaasid ja avaliku raamatukogu materjalide andmekorpused. Ja sellel alal – raamatukoguteadusel – on inimesi, kes tegelevad praegu asjadega, kus kellelegi ei tulnud pähegi, et nad võiksid varem midagi sellises mahus teha. Kuid järsku on see nagu: "Oh, jumal, vaata, mis juhtub, kui analüüsite raamatukogu kui a asi. " 

Pidasin ettekande loomakasvatuse konverentsil, kus kõik rääkisid sügavast õppimisest. Minu jaoks on see tõesti ebaselge kasutus, kuid nende jaoks on see kõige ilmsem kasutus. Inimesed kasutavad seda reaalsete probleemide lahendamiseks, kasutades reaalseid andmeid reaalmaailma piirangute piires.

Minu viimaste aastate kogemuse põhjal tundub, et süvaõpet saab rakendada peaaegu igas tööstusharus – mitte iga osa iga tööstus, kuid mõned osad peaaegu iga tööstusele. 

Saime tuttavaks ühe mehega, kes oli teinud palju huvitavaid asju malaaria diagnostikaga, mis, nagu võite ette kujutada, pole peamine probleem, mida San Francisco inimesed üritasid lahendada.

Näib, et teadmistebaaside ümberpööramine – süvaõpe, mis nüüd täiendab valdkonnateadmisi – võib nihutada tasakaalu teooria ja rakenduse vahel.

Õige, ja näete, et see juhtub. Üks suuremaid asju sügava õppimise ajastu alguses oli Google Braini töö, mille käigus nad analüüsisid palju YouTube'i videoid ja avastasid, et kassid olid varjatud tegur paljudes videotes. Nende modell õppis kasse ära tundma, sest nägi neid nii palju. Ja see on väga huvitav töö, kuid keegi ei läinud minema ega ehitanud selle peale ettevõtet. 

Asjad, mida inimesed olid hoone – jällegi kasulik, kuid teatud valdkondades – nagu Google’i ja Apple’i pildifotootsing läks üsna kiiresti päris heaks, sest tegelikult sai otsida fotodel olevaid asju. See on tõesti abiks. Ja see on selline asi, mille kallal kõik töötasid – kas tõesti abstraktsed asjad või tõelised esimese maailma probleemsed asjad. Selles pole midagi halba, kuid on ka palju muid asju, millega tuleb töötada. 

Nii et olin elevil, kui paari aasta pärast vaatasin meie kursuse läbinud inimeste demograafiat ja avastasin, et üks suuremaid linnu väljaspool USA-d oli Lagos [Nigeeria pealinn]. Arvasin, et see oli tõesti suurepärane, sest see on kogukond, mis varem sügavat õppimist ei teinud. Küsisin sõna otseses mõttes esimesel kursusel inimestelt: "Kas siin on keegi Aafrikast?" Ja ma arvan, et Elevandiluurannikult oli üks mees, kes pidi oma raamatukogus asju CD-ROM-ile kirjutama, kuna neil pole piisavalt Interneti-ühendust. Nii et see kasvas tõesti üsna kiiresti.

Ja siis oli tore, sest hakkasime inimesi Ugandast, Keeniast ja Nigeeriast lendama San Franciscosse, et nad saaksid isiklikult kursuse läbida ja üksteist tundma õppida. Saime näiteks tuttavaks ühe mehega, kes oli teinud palju huvitavat malaaria diagnostikaga, mis, nagu võite ette kujutada, pole peamine probleem, mida San Francisco inimesed üritasid lahendada.

Mulle tundub, et 16 erinevat suurt keelemudelit, mis on koolitatud 5% Internetist, on sama, kui teie majja tuleb 16 veetoru ja 16 elektrikaablikomplekti. 

Milline näeb välja keskmine karjääritee inimese jaoks, kes tuleb välja sellisest süvaõppeprogrammist nagu teie?

See on nii mitmekesine. See on tõesti palju muutunud võrreldes algusaegadega, mil see oli just see ülimalt varajase kasutuselevõtu mõtteviis – inimesed, kes olid suures osas kas ettevõtjad või doktorid ja varased järeldoktorid ning kellele lihtsalt meeldivad tipptasemel teadusuuringud ja uute asjade katsetamine. See ei ole enam ainult varajased kasutajad, vaid ka inimesed, kes püüavad järele jõuda või sammu pidada oma tööstuse arenguga.

Tänapäeval on paljud inimesed, kes ütlevad: „Oh, jumal, mulle tundub, et sügav õppimine hakkab hävitama minu valdkonna teadmisi. Inimesed teevad asju, mille õppimine on natuke sügav, mida ma isegi ei suuda ette kujutada, ja ma ei taha sellest ilma jääda. Mõned inimesed vaatavad natuke kaugemale ette ja pigem ütlevad: „Keegi ei kasuta minu valdkonnas tegelikult süvaõpet, aga ma ei kujuta ette, et see on üks tööstus see on mitte see mõjutab, seega tahan olla esimene. 

Mõnel inimesel on kindlasti idee ettevõtte kohta, mida nad tahavad ehitada. 

Teine asi, mida me palju saame, on ettevõtted, kes saadavad oma uurimis- või insenerimeeskondi kursusele lihtsalt sellepärast, et nad tunnevad, et see on ettevõtte võime, mis neil peaks olema. Ja see on eriti kasulik nüüd saadaval olevate võrgu API-de puhul, millega inimesed saavad mängida – Koodeks or DALL-E või mis iganes – ja tunnetage: "Oh, see on natuke nagu midagi, mida ma oma töös teen, kuid see on natuke teistsugune, kui saaksin seda neil viisidel kohandada." 

Nendel mudelitel on aga ka kahetsusväärne kõrvalmõju, võib-olla see, et inimesed kipuvad arvama, et tehisintellekti innovatsioon on mõeldud ainult suurtele ettevõtetele ja et see on väljaspool nende võimalusi. Nad võivad otsustada olla tehnoloogia passiivsed tarbijad, sest nad ei usu, et neil on võime isiklikult ehitada midagi, mis oleks parem kui Google või OpenAI.

Modell, kes otsustab, kas teile tundub film meeldivat või mitte, ja modell, mis suudab luua haikusid, on 98% samad. . . See on väga-väga haruldane, et meil on vaja tohutul hulgal Interneti-aladel tohutut mudelit nullist välja õpetada.

Isegi kui see nii on – kui te ei saa OpenAI-d või Google’it välja ehitada –, on kindlasti võimalus nende tehtut ära kasutada, API-juurdepääsu uskumatult võimsatele mudelitele, eks?

Esimene asi, mida öelda on see ei ole tõsi, vähemalt mitte mingis üldises mõttes. AI-koolituses on praegu toimumas teatav hargnemine: Google ja OpenAI pool, mille eesmärk on luua võimalikult üldised mudelid, ja peaaegu alati on nende teadlaste eesmärk AGI-sse jõudmine. Ma ei kommenteeri, kas see on hea või halb; see toob meile, tavalistele inimestele, kindlasti kasulikke artefakte, nii et see on hea. 

Siiski on olemas täiesti erinev tee, mille järgi lähevad peaaegu kõik meie õpilased, milleks on: "Kuidas ma saan lahendada oma kogukonna inimeste tegelikke probleeme võimalikult pragmaatilisel viisil?" Ja nende kahe meetodi, kahe andmekogumi ja kahe tehnika vahel on palju vähem kattumist, kui arvate.

Põhimõtteliselt ei koolita me minu maailmas kunagi modelli nullist. See on alati peenhäälestus. Seega kasutame kindlasti suurte meeste tööd, kuid see on alati vabalt saadaval, allalaaditavad mudelid. Sellised asjad nagu avatud lähtekoodiga suured keelemudelid BigScience on selleks väga abiks. 

Tõenäoliselt jäävad nad aga suurtest meestest maha 6–12 kuud, kuni leiame selleks mõne demokraatlikuma viisi. Mulle tundub, et 16 erinevat suurt keelemudelit, mis on koolitatud 5% Internetist, on sama, kui teie majja tuleb 16 veetoru ja 16 elektrikaablikomplekti. Tundub, et see peaks olema rohkem avalik teenus. Konkurentsi olemasolu on tore, aga oleks ka tore, kui oleks parem koostöö, et me kõik ei peaks raiskama oma aega sama asja peale.

Niisiis, jah, me lõpuks peenhäälestame oma konkreetsetel eesmärkidel mudeleid, mida teised inimesed on ehitanud. Ja see on umbes nagu see, kuidas inimese genoom ja ahvi genoom on peaaegu täiesti samad, välja arvatud paar protsenti siin-seal, mis tegelikult osutub suureks erinevuseks. Sama on närvivõrkudega: mudel, mis otsustab, kas teile tundub, et film meeldib või mitte, ja mudel, mis suudab genereerida haikusid, on 98% samad, sest enamus sellest on seotud maailma mõistmisega, keele ja muu mõistmisega. . See on väga-väga haruldane, et meil on vaja tohutul hulgal Interneti-aladel tohutut mudelit nullist välja õpetada.

Ja sellepärast sa absoluutselt võimalik konkureerida Google'i ja OpenAI-ga – sest tõenäoliselt pole neid isegi teie ruumis. Kui proovite luua midagi, mis automatiseeriks paralegaalide tööd või aitate katastroofidele vastupanuvõime kavandamisel või luua parema arusaamise soolisest keelest viimase 100 aasta jooksul või mis iganes, siis te ei konkureeri Google'iga, vaid te konkureerite. selle nišiga, mis on teie domeenis.

Praegu on märkimisväärne kodeerimisoskus, et teada saada, kuidas kiiremini edasi minna. . . olles tõesti hea õigete Codexi kommentaaride väljamõtlemisel. . . Paljude inimeste jaoks on see tõenäoliselt väärtuslikum, kohene õppimise asi kui kodeerimises tõeliselt hea saamine.

Kui oluline on AI-ruumi kõigi edusammudega sammu pidada, eriti kui töötate sellega väiksemas mahus?

Keegi ei saa kõigi edusammudega sammu pidada. Peate sammu pidama mõned edusammud, kuid tegelikud tehnikad, millega me töötame, muutuvad tänapäeval väga aeglaselt. 2017. aasta fast.ai kursuse ja 2018. aasta fast.ai kursuse erinevus oli suur ning 2018. ja 2019. aasta kursuste vahel oli see suur.ish. Tänapäeval muutub paari aasta jooksul väga vähe.

Asjad, mida me peame tõeliselt olulisteks, nagu näiteks trafo arhitektuur, näiteks on tegelikult nüüdseks mõned aastad vana ja on peamiselt vaid hunnik vaheleheidetud lihtsaid edasisuunavaid närvivõrgu kihte ja dot-products. See on suurepärane, aga kellelegi, kes tahab sellest aru saada, kes juba mõistab konvnetid, korduvad võrgudja põhiline mitmekihilised pertseptronid, see on nagu paar tundi tööd.

Üks viimase paari aasta suuri asju on see, et rohkem inimesi hakkab mõistma praktilisi aspekte, kuidas modelli tõhusalt koolitada. Näiteks hiljuti DeepMind avaldas paberi mis näitas sisuliselt, et kõik seal olevad keelemudelid olid dramaatiliselt vähem tõhusad, kui nad peaksid olema, sõna otseses mõttes, kuna nad ei teinud mõningaid elementaarseid asju. Facebook – ja täpsemalt Facebooki praktikant oli paberi juhtiv autor – ehitas asja nimega ConvNEXt, mis põhimõtteliselt ütleb: "See juhtub, kui võtame tavalise konvolutsioonilise närvivõrgu ja teeme lihtsalt ilmsed muudatused, millest kõik teavad." Ja põhimõtteliselt on need nüüd tipptasemel pildimudel. 

Niisiis, jah, heade süvaõppemudelite loomise põhitõdedega kursis hoidmine on palju lihtsam, kui tundub. Ja kindlasti ei pea te lugema kõiki selle valdkonna pabereid. Eriti praegusel hetkel, kui asjad lähevad nii palju aeglasemalt.

Kuid ma arvan, et on kasulik omada laiapõhjalist arusaamist, mitte ainult oma konkreetset erivaldkonda. Oletame, et olete arvutinägemisega inimene. NLP-s, koostööpõhises filtreerimises ja tabelianalüüsis on palju abi – ja vastupidi, kuna nende rühmade vahel pole peaaegu piisavalt risttolmlemist. Ja aeg-ajalt piilub keegi mõnda teist valdkonda, varastab mõne selle idee ja tuleb läbimurdelise tulemusega. 

See on täpselt see, millega ma tegin ULMFiT neli-viis aastat tagasi. Ütlesin: "Rakendame NLP-s kõiki põhilisi arvutinägemise ülekande õppimise tehnikaid" ja sain miilide kaupa tipptasemel tulemuse. OpenAI teadlased tegi midagi sarnast, kuid asendasin mu RNN-i trafoga ja suurendasin selle suurust ning sellest saigi GPT. Me kõik teame, kuidas see läks. 

Heade süvaõppemudelite loomise põhitõdedega kursis hoidmine on palju lihtsam, kui tundub. Ja kindlasti ei pea te lugema kõiki selle valdkonna pabereid.

Olete maininud, et oleme viimase kolme kuni kuue kuu jooksul näinud tehisintellektis astmelist nihet. Kas saate seda täpsustada?

Ma nimetaksin seda tegelikult a konks mitte a sammu funktsioon. Ma arvan, et oleme eksponentsiaalsel kõveral ja aeg-ajalt võite märgata, et asjad on tõesti märgatavalt kiirenenud. Me peame tegema seda, et eelkoolitatud modellid, kes on koolitatud väga suurte teksti- ja pildikorpustega, suudavad nüüd teha väga muljetavaldavaid ühe- või mõnevõttega asju üsna üldiselt, osaliselt seetõttu, et viimaste kuude jooksul on inimesed paremaks läinud. mõistmisel kiire inseneritöö. Põhimõtteliselt on vaja teada, kuidas esitada õige küsimus – samm-sammult juhised „selgitage oma arutluskäiku”. 

Ja me avastame, et need mudelid on tegelikult võimelised tegema asju, mida paljud akadeemikud on meile öelnud, et need pole maailma kompositsioonilise mõistmise ja samm-sammulise arutluskäigu osas võimalikud. Paljud inimesed olid öelnud: „Oh, sa pead kasutama sümboolseid tehnikaid; närvivõrgud ja süvaõpe ei jõua kunagi sinna. Noh, selgub, et nad teevad seda. Ma arvan, et kui me kõik näeme, et see suudab teha neid asju, mida inimesed väitsid, et ta kunagi ei suuda, see teeb meid natuke julgemaks, kui proovime nendega rohkem ära teha.

See meenutab mulle esimest korda, kui nägin Internetis videot, mida ma mäletan, et näitasin seda oma emale, sest see oli füsioteraapia video ja ta on füsioterapeut. See oli video teie õla liigeste liikuvuse harjutusest ja ma arvan, et see oli 128 x 128 pikslit. See oli must-valge, tugevalt kokkusurutud ja võib-olla umbes 3 või 4 sekundit pikk. Olin väga põnevil ja ütlesin oma emale: "Vau, vaadake seda: video Internetis!" Ja loomulikult polnud ta üldse põnevil. Ta ütles: "Mis kasu sellest on? See on kõige mõttetum asi, mida ma kunagi näinud olen."

Muidugi mõtlesin, et ühel päeval saab sellest tuhat korda tuhat pikslit, 60 kaadrit sekundis, täisvärviline, ilus video. Tõestus on olemas, nüüd oodatakse, kuni ülejäänud järele jõuavad. 

Nii et ma arvan, et kui inimesed nägid esimestel päevadel sügavast õppimisest saadud väga madala kvaliteediga pilte, ei olnud suurt elevust, sest enamik inimesi ei mõista, et tehnoloogia ulatub niimoodi. Nüüd, kui suudame tegelikult toota kvaliteetseid täisvärvilisi pilte, mis näevad palju paremad välja, kui peaaegu keegi meist võiks kujutada või pildistada, pole inimestel vaja kujutlusvõimet. Nad saavad lihtsalt vaata et see, mida praegu tehakse, on väga muljetavaldav. Ma arvan, et sellel on suur erinevus.

Mulle tundub, et HCI on suurim puuduv osa peaaegu kõigis süvaõppeprojektides, mida olen näinud. . . Kui ma oleksin HCI-s, siis tahaksin, et kogu mu valdkond keskenduks küsimusele, kuidas me süvaõppe algoritmidega suhtleme.

Idee kiirest inseneritööst - kui mitte täiesti uue karjäärina, aga vähemalt uue oskuste kogumina - on tegelikult huvitav.

On ja ma olen selles kohutav. Näiteks DALL-E ei tea, kuidas õigesti teksti kirjutada, mis poleks probleem, välja arvatud see, et talle meeldib panna teksti kõikidesse oma veristesse piltidele. Nii et need juhuslikud sümbolid on alati olemas ja ma ei suuda oma elu jooksul välja mõelda, kuidas välja mõelda viip, millel pole teksti. Ja siis mõnikord muudan ma lihtsalt juhuslikult sõna siin või seal ja järsku pole ühelgi neist enam teksti. Sellel on mingi nipp ja ma pole sellest veel päriselt aru saanud.

Samuti on näiteks praegu märkimisväärne kodeerimisoskus teadmises, kuidas kiiremini edasi minna – eriti kui sa ei ole eriti hea kodeerija –, olles väga hea õigete Codexi kommentaaride väljamõtlemisel, et see sinu jaoks asju genereeriks. . Ja teadmine, milliseid vigu see kipub tegema, millistes asjades on see hea ja milles halb, ning teadmine, kuidas seda teha, et luua test just teie jaoks loodud asja jaoks.

Paljude inimeste jaoks on see tõenäoliselt väärtuslikum, kohene õppimise asi kui kodeerimises tõeliselt hea saamine.

Täpsemalt Codexi kohta, millised on teie mõtted masinaga loodud koodi idee kohta?

I kirjutas blogipostituse sellel, kui GitHub Copilot välja tuli. Tol ajal olin nagu: "Vau, see on tõesti lahe ja muljetavaldav, kuid ma pole päris kindel, kui kasulik see on." Ja ma pole ikka veel kindel.

Üks peamisi põhjusi on see, et ma arvan, et me kõik teame, et süvaõppe mudelitel puudub arusaam, kas need on õiged või valed. Codex on pärast selle esimese versiooni ülevaatamist palju paranenud, kuid see kirjutab ikkagi palju vale koodi. Samuti kirjutab see paljusõnalist koodi, kuna see genereerib keskmine kood. Minu jaoks on keskmise koodi võtmine ja selle muutmine koodiks, mis mulle meeldib ja mida ma tean, et see on õige, palju aeglasem kui lihtsalt nullist kirjutamine – vähemalt nendes keeltes, mida ma hästi oskan. 

Kuid mulle tundub, et siin on terve inimese ja arvuti liidese (HCI) küsimus ja Mulle tundub, et HCI on suurim puuduv osa peaaegu kõigis süvaõppeprojektides, mida olen näinud: peaaegu kunagi ei asenda need asjad täielikult inimesi. Seetõttu me töötame kokku nende algoritmidega. Kui ma oleksin HCI-s, siis tahaksin, et kogu mu valdkond keskenduks küsimusele, kuidas me süvaõppe algoritmidega suhtleme. Kuna oleme aastakümneid õppinud, kuidas graafiliste kasutajaliidestega, käsurea liidestega ja veebiliidestega suhelda, kuid see on täiesti erinev asi. 

Ja ma ei tea, kuidas ma programmeerijana kõige paremini suhtlen sellise asjaga nagu Codex. Vean kihla, et iga valdkonna jaoks on tõesti võimsaid viise – liideste ja sidumisandmete loomine, algoritmide loomine ja nii edasi –, kuid mul pole aimugi, mis need asjad on.

Postitatud 21. juuli 2022