Domain-asiantuntijoiden nousu syväoppimisessa

Jeremy Howard on tekoälyn tutkija ja yksi perustajista fast.ai, foorumi ei-asiantuntijoille tekoälyn ja koneoppimisen oppimiseen. Ennen fast.ai:n perustamista hän perusti useita yrityksiä – mukaan lukien FastMailin ja Enliticin, joka oli edelläkävijä syväoppimisen soveltamisessa lääketieteen alalla – ja oli koneoppimiskilpailualustan Kagglen presidentti ja päätutkija. 

Tässä haastattelussa Howard pohtii, mitä tarkoittaa eri toimialoilla ja jopa maailmanlaajuisilla alueilla, kun ihmiset, joilla ei ole tohtorintutkintoa erikoistuneista tutkimuslaboratorioista, voivat rakentaa syväoppimismalleja ja työskennellä niiden kanssa. Muiden tämän laajan sateenvarjon aiheiden ohella hän jakaa ajatuksensa siitä, kuinka pysyä parhaiten ajan tasalla uusimpien tekniikoiden kanssa, nopeasta suunnittelusta uutena taitokokonaisuudena ja koodintuotantojärjestelmien, kuten Codexin, eduista ja haitoista.

---

TULEVAISUUS: Kun olet ajanut fast.ai:ta viimeisten useiden vuosien ajan, mitä seurauksia näet siitä, että syväoppimisen peruskäsitteet tuntevat yhä useammat ihmiset – verrattuna useita vuosia sitten, jolloin tietoa omaavat ihmiset olivat yksisarvisia?

JEREMY HOWARD: Kun aloitimme fast.ai:n, siellä oli periaatteessa viisi merkittävää yliopiston tutkimuslaboratoriota, jotka työskentelivät syväoppimisen parissa – ja ainoat ihmiset, jotka tiesivät, miten syväoppimisella tehdä melkein mitä tahansa, olivat ihmiset, jotka olivat tai olivat olleet näissä viidessä laboratoriossa. . Kaiken kaikkiaan koodia ei julkaistu, puhumattakaan tiedoista. Eikä lehdetkään julkaisseet yksityiskohtia siitä, miten se käytännössä saadaan toimimaan, osittain siksi, että akateemiset tapahtumapaikat eivät juurikaan välittäneet käytännön toteutuksesta. Se keskittyi hyvin teoriaan. 

Joten kun aloitimme, se oli hyvin spekulatiivinen kysymys: "Onko mahdollista tehdä maailmanluokan syvällistä oppimista ilman tohtorin tutkintoa?". Nyt tiedämme vastauksen Joo; osoitimme sen ensimmäisellä kurssillamme. Ensimmäiset alumnimme loivat patentteja syväoppimisen avulla, rakensivat yrityksiä syväoppimisen avulla ja julkaisivat parhailla paikoilla syväoppimisen avulla. 

Mielestäni kysymyksesi on aivan oikea, mikä koskee sitä, mitä tapahtuu, kun toimialueen asiantuntijoista tulee tehokkaita syväoppimisen harjoittajia? Siellä olemme nähneet mielenkiintoisimmat asiat meneillään. Yleensä parhaat startupit ovat sellaisia, joiden rakentajat ovat henkilökohtaisesti naarmuuntumattomia. He olivat ennen rekrytoijia, joten he tekevät rekrytointia, tai he olivat ennen avustajia, joten he tekevät laillisen startup-yrityksen tai mitä tahansa. Ja he sanovat: "Voi, vihaan tätä asiaa työssäni. Ja nyt kun tiedän syväoppimisesta, tiedän, että voisin melkein automatisoida koko asian."

Monet opiskelijoistamme myös tekevät tai ovat tehneet tohtorintutkintonsa, mutta eivät matematiikassa tai tietojenkäsittelytieteessä; Sen sijaan he tekevät niitä kemoinformatiikassa, proteomiikassa, datajournalismissa tai missä tahansa. Ja huomaamme hyvin usein, että he voivat viedä tutkimuksensa aivan toiselle tasolle. Alamme esimerkiksi nähdä ensimmäistä kertaa julkisen kirjaston aineiston suuria tietokantoja ja tietokokonaisuuksia ilmestyvän Internetiin. Ja tällä alalla - kirjastotieteessä - on ihmisiä, jotka tekevät nyt asioita, joissa kenellekään ei ole koskaan edes tullut mieleen, että he voisivat tehdä mitään tässä mittakaavassa. Mutta yhtäkkiä se on kuin: "Voi luoja, katso mitä tapahtuu, kun analysoit kirjastoa a asia" 

Pidin puheen karjankasvatuskonferenssissa, jossa kaikki puhuivat syvästä oppimisesta. Minulle se on todella epäselvä käyttö, mutta heille se on ylivoimaisesti ilmeisin käyttö. Ihmiset käyttävät sitä todellisten ongelmien ratkaisemiseen käyttämällä todellista dataa todellisten rajoitusten puitteissa.

Viime vuosien kokemukseni perusteella näyttää siltä, ​​että syvällistä oppimista voidaan soveltaa melkein jokaiseen toimialaan - ei joka osa joka teollisuus, mutta jonkin verran osat aika lailla jokaista teollisuudelle. 

Saimme tuntea yhden kaverin, joka oli tehnyt paljon mielenkiintoisia asioita malariadiagnostiikan parissa, mikä, kuten voitte kuvitella, ei ole suurin ongelma, jota San Franciscon ihmiset yrittivät ratkaista.

Näyttää siltä, ​​että tietopohjan käännös – syväoppiminen, joka nyt täydentää alan asiantuntemusta – voisi muuttaa tasapainoa teorian ja soveltamisen välillä.

Aivan, ja näet sen tapahtuvan. Yksi syvän oppimisen aikakauden suurimmista asioista oli Google Brainin tekemä työ, jossa he analysoivat monia YouTube-videoita ja havaitsivat, että kissat olivat piilevä tekijä monissa videoissa. Heidän mallinsa oppi tunnistamaan kissat, koska se näki niitä niin monia. Ja se on erittäin mielenkiintoista työtä, mutta kukaan ei lähtenyt rakentamaan yritystä sen varaan. 

Asioita, joita ihmiset olivat rakennus – jälleen hyödyllinen, mutta tietyillä alueilla – kuten Googlen ja Applen kuvahaku parani melko nopeasti, koska voit itse etsiä kuvissa olevia asioita. Siitä on todella apua. Ja sen parissa kaikki työskentelivät – joko todella abstrakteja juttuja tai todellisia ensimmäisen maailman ongelmia. Siinä ei ole mitään väärää, mutta on myös monia muita asioita, jotka vaativat myös työtä. 

Olin siis innoissani, kun parin vuoden kuluttua katsoin kurssimme suorittaneiden ihmisten väestötietoja ja huomasin, että yksi suurimmista kaupungeista Yhdysvaltojen ulkopuolella oli Lagos [Nigerian pääkaupunki]. Minusta se oli todella hienoa, koska tämä on yhteisö, joka ei aiemmin oppinut syvällisesti. Kysyin kirjaimellisesti ihmisiltä ensimmäisellä kurssilla: "Onko täällä ketään Afrikasta?" Ja luulen, että eräs mies Norsunluurannikolta joutui polttamaan asioita CD-ROM-levylle kirjastossaan, koska heillä ei ole tarpeeksi internetyhteyttä. Joten se kasvoi todella nopeasti.

Ja sitten se oli mukavaa, koska aloimme saada ryhmiä Ugandasta, Keniasta ja Nigeriasta lentämään San Franciscoon suorittamaan kurssin henkilökohtaisesti ja tutustumaan toisiimme. Tutustuimme esimerkiksi yhteen mieheen, joka oli tehnyt paljon mielenkiintoisia asioita malariadiagnostiikan parissa, mikä, kuten voitte kuvitella, ei ole suurin ongelma, jota San Franciscon ihmiset yrittivät ratkaista.

Minusta tuntuu, että 16 eri suuren kielimallin kouluttaminen viidellä prosentilla Internetistä on kuin kotiisi tulisi 5 vesijohtoa ja 16 sähköjohtosarjaa. 

Miltä näyttää keskimääräinen urapolku sellaiselle, joka on päässyt ulos syvällisestä oppimisohjelmasta, kuten sinun?

Se on niin monipuolinen. Se on todella muuttunut paljon alkuajoista, jolloin se oli vain tämä supervarhaisten omaksujien ajattelutapa – ihmiset, jotka olivat suurelta osin joko yrittäjiä tai tohtorintutkintoja ja varhaisia ​​postdocseja ja jotka vain rakastavat huippuluokan tutkimusta ja uusien asioiden kokeilemista. Kyse ei ole enää vain varhaisista omaksujista, vaan myös henkilöistä, jotka yrittävät saada kiinni alansa kehityksestä tai pysyä mukana.

Nykyään monet ihmiset sanovat: "Voi luoja, minusta tuntuu, että syvällinen oppiminen alkaa tuhota asiantuntemusta alallani. Ihmiset tekevät asioita syvään oppien, jota en voi edes käsittää, enkä halua jäädä paitsi." Jotkut ihmiset katsovat hieman pidemmälle, ja he ovat enemmän, kuten: "No, kukaan ei todellakaan käytä syvällistä oppimista alallani, mutta en voi kuvitella, että se on yksi tuota alaa emme se vaikuttaa, joten haluan olla ensimmäinen." 

Joillakin ihmisillä on varmasti idea yrityksestä, jonka he haluavat rakentaa. 

Toinen asia, jota saamme paljon, ovat yritykset, jotka lähettävät joukon tutkimus- tai suunnittelutiimiään kurssille vain siksi, että he kokevat tämän olevan yrityksen kyky, joka heidän pitäisi olla. Ja se on erityisen hyödyllinen verkkosovellusliittymien kanssa, jotka ovat nyt saatavilla ja joilla ihmiset voivat leikkiä – Codex or DALL-E tai mitä tahansa – ja saat käsityksen: "Voi, tämä on vähän kuin jotain, mitä teen työssäni, mutta se on vähän erilaista, jos voisin muokata sitä näillä tavoilla." 

Näillä malleilla on kuitenkin myös valitettava sivuvaikutus, ehkä se, että ihmiset lisäävät taipumusta ajatella, että tekoälyinnovaatiot ovat vain suurille yrityksille ja että se on heidän kykyjensä ulkopuolella. He saattavat haluta olla teknologian passiivisia kuluttajia, koska he eivät usko, että heillä on kykyä henkilökohtaisesti rakentaa jotain, joka olisi yhtään parempaa kuin mitä Google tai OpenAI voisi rakentaa.

Malli, joka päättää, pidätkö elokuvasta vai et, ja malli, joka voi tuottaa haikuja, ovat 98% samat. . . On hyvin, hyvin harvinaista, että meidän on todella koulutettava valtava malli alusta alkaen laajalla Internet-alueella.

Vaikka näin olisikin – jos et voi rakentaa OpenAI:ta tai Googlea – varmasti on tapa hyödyntää heidän tekemänsä sovellusliittymää uskomattoman tehokkaisiin malleihin, eikö niin?

Ensimmäinen asia on sanoa se ei ole totta, ei ainakaan jossain yleisessä mielessä. Tekoälykoulutuksessa on nyt meneillään tietty kahtiajako: Google- ja OpenAI-puolet, joiden tarkoituksena on luoda mahdollisimman yleisiä malleja, ja lähes aina näiden tutkijoiden päämääränä on päästä AGI:hen. En kommentoi, onko se hyvä vai huono; se tuottaa varmasti hyödyllisiä esineitä meille tavallisille ihmisille, joten se on hyvä. 

On kuitenkin olemassa täysin erilainen polku, jota lähes kaikki opiskelijamme kulkevat: "Kuinka voin ratkaista yhteisössäni olevien ihmisten todelliset ongelmat mahdollisimman pragmaattisella tavalla?" Ja näiden kahden menetelmän, kahden tietojoukon ja kahden tekniikan välillä on paljon vähemmän päällekkäisyyttä kuin luulet.

Minun maailmassani emme periaatteessa koskaan kouluta mallia tyhjästä. Se on aina hienosäätöä. Hyödynnämme siis ehdottomasti isojen kavereiden työtä, mutta se on aina vapaasti saatavilla, ladattavia malleja. Jutut, kuten avoimen lähdekoodin suurten kielimallien kautta BigScience on erittäin hyödyllinen siihen. 

He jäävät kuitenkin luultavasti 6-12 kuukautta jäljessä isoja tyyppejä, kunnes ehkä löydämme jonkin demokraattisemman tavan tehdä tämä. Minusta tuntuu, että 16 eri suuren kielimallin kouluttaminen viidellä prosentilla Internetistä on kuin kotiisi tulisi 5 vesijohtoa ja 16 sähköjohtosarjaa. Tuntuu, että sen pitäisi olla enemmän yleishyödyllinen. On hienoa, että on kilpailua, mutta olisi myös mukavaa, jos yhteistyö olisi parempaa, jotta meidän kaikkien ei tarvitsisi tuhlata aikaa samaan tekemiseen.

Joten, kyllä, päädymme hienosäätämään tiettyjä tarkoituksiamme varten malleja, joita muut ihmiset ovat rakentaneet. Ja se on tavallaan kuin kuinka ihmisen genomi ja apinan genomi ovat lähes täysin samat, paitsi muutama prosentti siellä täällä, mikä itse asiassa osoittautuu suureksi eroksi. Se on sama hermoverkkojen kanssa: malli, joka päättää, pidätkö elokuvasta vai et, ja malli, joka voi luoda haikuja, ovat 98% samat, koska suurin osa siitä on maailman ymmärtämistä, kielen ymmärrystä ja muuta. . On hyvin, hyvin harvinaista, että meidän on todella koulutettava valtava malli alusta alkaen laajalla Internet-alueella.

Ja siksi sinä ehdottomasti voida kilpaile Googlen ja OpenAI:n kanssa – koska ne eivät todennäköisesti edes ole sinun tilassasi. Jos yrität luoda jotain, joka automatisoi avustajien työn tai auttaa katastrofien kestävyyden suunnittelussa tai saada aikaan parempaa ymmärrystä sukupuoleen perustuvasta kielenkäytöstä viimeisen 100 vuoden aikana tai mitä tahansa, et kilpaile Googlen kanssa, vaan kilpailet. verkkotunnuksessasi olevalla markkinaraolla.

Tällä hetkellä on olemassa merkittävä koodaustaito tietää, miten edetä nopeammin. . . olemalla todella hyvä keksimään oikeat Codex-kommentit. . . Monille ihmisille se on luultavasti arvokkaampi, välitön asia oppia kuin koodaamisen todella hyvä oppiminen.

Kuinka tärkeää on pysyä mukana kaikissa tekoälyavaruuden kehityksessä, varsinkin jos työskentelet sen kanssa pienemmässä mittakaavassa?

Kukaan ei voi pysyä kaikkien edistysten perässä. Sinun täytyy pysyä mukana jonkin verran edistyy, mutta todelliset tekniikat, joiden parissa työskentelemme, muuttuvat nykyään hyvin hitaasti. Ero vuoden 2017 fast.ai-kurssin ja vuoden 2018 fast.ai-kurssin välillä oli valtava, ja vuosien 2018 ja 2019 kurssien välillä oli valtava.ish. Nykyään parin vuoden aikana tapahtuu hyvin vähän muutoksia.

Asioita, joita pidämme todella merkittävinä, kuten nousu muuntajan arkkitehtuuriesimerkiksi on itse asiassa muutaman vuoden vanha ja se on pääasiassa vain joukko kerrostettuja, tavallisia eteenpäin syötettyjä hermoverkkokerroksia ja dot-tuotteet. Se on hienoa, mutta jollekin, joka haluaa ymmärtää sen, joka jo ymmärtää convnets, toistuvat verkot, ja perus monikerroksiset perceptronit, se on kuin muutaman tunnin työ.

Yksi viimeisten parin vuoden aikana tapahtuneista suurista asioista on se, että yhä useammat ihmiset alkavat ymmärtää mallin tehokkaan kouluttamiseen liittyviä käytännön puolia. Esimerkiksi DeepMind äskettäin julkaisi paperin Tämä osoitti, että kaikki kielimallit olivat dramaattisesti vähemmän tehokkaita kuin niiden pitäisi olla, kirjaimellisesti koska ne eivät tehneet joitain perusasioita. Facebook - ja erityisesti Facebook-harjoittelija oli lehden johtava kirjoittaja - rakensi asian nimeltä ConvSeXt, joka pohjimmiltaan sanoo: "Näin tapahtuu, jos otamme normaalin konvoluutiohermoverkon ja teemme vain ilmeisiä säätöjä, joista kaikki tietävät." Ja pohjimmiltaan ne ovat nyt huippuluokan kuvamalli. 

Joten kyllä, pysyminen ajan tasalla hyvien syväoppimismallien rakentamisen perusasioista on vähemmän vaikeaa kuin miltä näyttää. Eikä sinun todellakaan tarvitse lukea kaikkia alan lehtiä. Varsinkin tässä vaiheessa, kun asiat etenevät niin paljon hitaammin.

Mutta mielestäni on hyödyllistä saada laaja ymmärrys, ei vain omaa erityisaluettasi. Oletetaan, että olet tietokonenäkö-ihminen, se auttaa paljon olemaan hyvä NLP:ssä, yhteistyösuodatuksessa ja taulukkoanalyysissä – ja päinvastoin, koska näiden ryhmien välillä ei ole läheskään tarpeeksi ristipölytystä. Ja silloin tällöin joku kurkistaa toiselle alueelle, varastaa sen ideoita ja tulee läpimurtotuloksena. 

Juuri tämän kanssa tein ULMFiT neljä tai viisi vuotta sitten. Sanoin: "Sovelletaan kaikkia tietokonenäön siirtämisen perusoppimistekniikoita NLP:hen", ja sain huippuluokan tuloksen maileilla. OpenAI:n tutkijat teki jotain vastaavaa, mutta korvasin RNN:ni muuntajalla ja laajensin sitä, ja siitä tuli GPT. Me kaikki tiedämme kuinka se meni. 

Pysyminen ajan tasalla hyvien syväoppimismallien rakentamisen perusteista on paljon helpompaa kuin miltä näyttää. Eikä sinun todellakaan tarvitse lukea kaikkia alan lehtiä.

Olet maininnut, että olemme nähneet tekoälyssä askelfunktion muutoksen viimeisen kolmen tai kuuden kuukauden aikana. Voitko tarkentaa sitä?

Itse kutsuisin sitä a koukku eikä a askeltoiminto. Luulen, että olemme eksponentiaalisella käyrällä, ja ajoittain voit huomata, että asiat ovat todella tuntuneet kiihtyvän tuntuvalla tavalla. Meidän on tehtävä se, että esikoulutetut mallit, jotka on koulutettu erittäin suuriin teksti- ja kuvakokonaisuuksiin, voivat nyt tehdä erittäin vaikuttavia yhden tai muutaman otoksen asioita melko yleisellä tavalla, osittain siksi, että ihmiset ovat parantuneet viime kuukausina. ymmärryksessä nopea suunnittelu. Pohjimmiltaan se, että osaa kysyä oikean kysymyksen - "selitä päättelysi" vaiheittaiset kehotteet. 

Ja huomaamme, että nämä mallit pystyvät itse asiassa tekemään asioita, jotka monet akateemikot ovat meille sanoneet, että ne eivät ole mahdollisia maailman sommittelun ymmärtämisen ja vaiheittaisen päättelyn osoittamisen kannalta. Monet ihmiset olivat sanoneet: "Voi, sinun täytyy käyttää symbolisia tekniikoita; hermoverkot ja syväoppiminen eivät koskaan pääse sinne." No, käy ilmi, että he tekevät. Luulen, että kun me kaikki näemme, että se voi tehdä asioita, joita ihmiset väittivät, ettei se voisi koskaan tehdä, se tekee meistä hieman rohkeampia yrittäessämme tehdä enemmän heidän kanssaan.

Siitä tulee mieleen ensimmäinen kerta, kun näin internetissä videon, jonka muistan näyttäneeni äidilleni, koska se oli fysioterapiavideo ja hän on fysioterapeutti. Se oli video nivelen liikkuvuudesta olkapäässäsi, ja mielestäni se oli 128 x 128 pikseliä. Se oli mustavalkoinen, voimakkaasti pakattu ja ehkä noin 3 tai 4 sekuntia pitkä. Olin hyvin innoissani ja sanoin äidilleni: "Vau, katso tämä: video Internetissä!" Ja tietenkään hän ei ollut ollenkaan innostunut. Hän sanoi: "Mitä hyötyä siitä on? Tämä on turhin asia, jonka olen koskaan nähnyt."

Tietysti ajattelin, että jonain päivänä tästä tulee tuhat kertaa tuhat pikseliä, 60 kuvaa sekunnissa, värillinen, kaunis video. Todiste on olemassa, nyt se vain odottaa, että muut saavat kiinni. 

Joten luulen, että kun ihmiset näkivät alkuaikoina todella heikkolaatuisia kuvia syvän oppimisen kautta, ei ollut paljon jännitystä, koska useimmat ihmiset eivät ymmärrä, että tekniikka skaalautuu näin. Nyt kun voimme todella tuottaa korkealaatuisia täysvärikuvia, jotka näyttävät paljon paremmilta kuin miltei kukaan meistä voisi kuvitella tai valokuvata, ihmiset eivät tarvitse mielikuvitusta. He voivat vain nähdä että se, mitä nyt tehdään, on erittäin vaikuttavaa. Mielestäni sillä on suuri ero.

Minusta tuntuu, että HCI on suurin puuttuva pala lähes jokaisessa näkemässäni syväoppimisprojektissa. . . Jos olisin HCI:ssä, haluaisin koko alani keskittyvän kysymykseen siitä, kuinka olemme vuorovaikutuksessa syväoppimisalgoritmien kanssa.

Ajatus nopeasta suunnittelusta - ellei kokonaan uutena urana, mutta ainakin uutena taitosarjana - on todella mielenkiintoinen.

Se on, ja olen kauhea siinä. Esimerkiksi DALL-E ei todellakaan osaa kirjoittaa tekstiä oikein, mikä ei olisi ongelma paitsi, että se rakastaa laittaa tekstiä kaikkiin verisiin kuviinsa. Joten aina on näitä satunnaisia ​​symboleja, enkä voi hengissäni keksiä, kuinka keksiä kehote, jossa ei ole tekstiä. Ja sitten joskus, vaihdan satunnaisesti sanaa sinne tai tänne, ja yhtäkkiä millään niistä ei ole enää tekstiä. Tässä on joku temppu, enkä ole vielä täysin ymmärtänyt sitä.

Lisäksi esimerkiksi tällä hetkellä on huomattava koodaustaito tietää, kuinka edetä nopeammin – varsinkin jos et ole erityisen hyvä koodaaja – olemalla todella hyvä keksimään oikeat Codex-kommentit, jotta se tuottaa asioita puolestasi. . Ja tietää, millaisia ​​virheitä se yleensä tekee, millaisissa asioissa se on hyvä ja huono, ja tietää, kuinka saada se luomaan testin asialle, jonka se juuri rakensi sinulle.

Monille ihmisille se on luultavasti arvokkaampi, välitön asia oppia kuin koodaamisen todella hyvä oppiminen.

Erityisesti Codexista, mitä mieltä olet koneella luodun koodin ideasta?

I kirjoitti blogikirjoituksen itse asiassa, kun GitHub Copilot ilmestyi. Tuolloin ajattelin: "Vau, tämä on todella siistiä ja vaikuttavaa, mutta en ole aivan varma, kuinka hyödyllinen se on." Ja en ole vieläkään varma.

Yksi tärkeimmistä syistä on se, että luulen me kaikki tietävän, että syväoppimismalleilla ei ole käsitystä siitä, ovatko ne oikeita vai vääriä. Codex on parantunut paljon sen jälkeen, kun tarkistin sen ensimmäisen version, mutta se kirjoittaa silti paljon väärää koodia. Lisäksi se kirjoittaa monisanaista koodia, koska se tuottaa keskimäärin koodi. Minulle keskimääräisen koodin ottaminen ja sen tekeminen sellaiseksi koodiksi, josta pidän ja jonka tiedän olevan oikea, on paljon hitaampaa kuin sen kirjoittaminen tyhjästä - ainakin kielillä, jotka tunnen hyvin. 

Mutta minusta tuntuu, että tässä on koko ihmisen ja tietokoneen välistä käyttöliittymää (HCI) koskeva kysymys Minusta tuntuu, että HCI on suurin puuttuva pala lähes jokaisessa näkemässäni syväoppimisprojektissa: lähes koskaan nämä asiat eivät korvaa ihmisiä täysin. Siksi työskentelemme yhdessä näillä algoritmeilla. Jos olisin HCI:ssä, haluaisin koko alani keskittyvän kysymykseen siitä, kuinka olemme vuorovaikutuksessa syväoppimisalgoritmien kanssa. Koska meillä on vuosikymmeniä opittu olemaan vuorovaikutuksessa graafisten käyttöliittymien, komentorivikäyttöliittymien ja verkkokäyttöliittymien kanssa, mutta tämä on täysin eri asia. 

Enkä tiedä kuinka ohjelmoijana olisin parhaiten vuorovaikutuksessa Codexin kaltaisen kanssa. Lyön vetoa, että jokaiselle alueelle on todella tehokkaita tapoja tehdä se - luoda rajapintoja ja sitovia tietoja, rakentaa algoritmeja ja niin edelleen - mutta minulla ei ole aavistustakaan, mitä ne ovat.

Lähetetty 21. heinäkuuta 2022