Bangkitnya Pakar Domain dalam Pembelajaran Mendalam

Jeremy Howard adalah dan peneliti kecerdasan buatan dan salah satu pendiri cepat.ai, platform untuk non-ahli untuk mempelajari kecerdasan buatan dan pembelajaran mesin. Sebelum memulai fast.ai, ia mendirikan beberapa perusahaan — termasuk FastMail dan Enlitic, pelopor dalam menerapkan pembelajaran mendalam ke bidang medis — dan merupakan presiden dan ilmuwan kepala platform kompetisi pembelajaran mesin Kaggle. 

Dalam wawancara ini, Howard membahas apa artinya bagi industri yang berbeda dan bahkan kawasan global sekarang karena orang-orang tanpa gelar PhD dari laboratorium penelitian khusus dapat membangun dan bekerja dengan model pembelajaran mendalam. Di antara topik-topik lain di bawah payung yang luas ini, ia membagikan pemikirannya tentang cara terbaik untuk mengikuti teknik-teknik canggih, rekayasa cepat sebagai keahlian baru, dan pro dan kontra dari sistem pembuatan kode seperti Codex.

---

MASA DEPAN: Setelah menjalankan fast.ai selama beberapa tahun terakhir, apa efek yang Anda lihat dari memiliki lebih banyak orang yang mengenal konsep dasar pembelajaran mendalam — dibandingkan beberapa tahun yang lalu ketika orang-orang yang berpengetahuan adalah unicorn?

JEREMY BAGAIMANA: Ketika kami memulai fast.ai, pada dasarnya, ada lima laboratorium penelitian universitas yang signifikan yang mengerjakan pembelajaran mendalam — dan satu-satunya orang yang tahu bagaimana melakukan hampir semua hal dengan pembelajaran mendalam adalah orang-orang yang berada di, atau pernah berada di, lima laboratorium tersebut. . Secara keseluruhan, kode tidak dipublikasikan, apalagi data. Dan bahkan koran tidak mempublikasikan rincian bagaimana membuatnya bekerja dalam praktik, sebagian karena tempat akademik tidak terlalu peduli dengan implementasi praktis. Itu sangat terfokus pada teori. 

Jadi ketika kami mulai, itu adalah pertanyaan yang sangat spekulatif, "Apakah mungkin untuk melakukan pembelajaran mendalam kelas dunia tanpa gelar PhD?". Kita sekarang tahu jawabannya adalah iya nih; kami menunjukkan itu di kursus pertama kami. Alumni pertama kami melanjutkan untuk membuat paten menggunakan pembelajaran mendalam, membangun perusahaan menggunakan pembelajaran mendalam, dan menerbitkan di tempat-tempat teratas menggunakan pembelajaran mendalam. 

Saya pikir pertanyaan Anda tepat, yaitu tentang apa yang terjadi ketika pakar domain menjadi praktisi pembelajaran mendalam yang efektif? Di situlah kami melihat hal-hal paling menarik terjadi. Umumnya, startup terbaik adalah yang dibangun oleh orang-orang yang secara pribadi gatal untuk menggaruk. Mereka dulu perekrut, jadi mereka melakukan perekrutan startup, atau mereka dulu paralegal, jadi mereka melakukan startup legal, atau apalah. Dan mereka, seperti, “Oh, saya benci hal ini tentang pekerjaan yang saya miliki. Dan sekarang saya tahu tentang pembelajaran mendalam, saya tahu saya hampir bisa mengotomatisasi semua itu.”

Banyak siswa kami juga sedang atau telah menyelesaikan PhD mereka, tetapi tidak dalam matematika atau ilmu komputer; sebaliknya, mereka melakukannya dalam chemoinformatics, proteomik, jurnalisme data, atau apa pun. Dan kami sangat sering menemukan bahwa mereka mampu membawa penelitian mereka ke tingkat yang lebih tinggi. Sebagai contoh, kita mulai melihat untuk pertama kalinya beberapa database besar dan kumpulan data bahan perpustakaan umum mulai muncul di internet. Dan ada orang-orang di bidang itu — ilmu perpustakaan — sekarang yang melakukan hal-hal yang bahkan tidak pernah terpikirkan oleh siapa pun bahwa mereka dapat melakukan apa pun dalam skala itu sebelumnya. Tapi tiba-tiba, itu seperti, “Ya Tuhan, lihat apa yang terjadi ketika Anda menganalisis perpustakaan sebagai hal. " 

Saya memberikan ceramah di konferensi peternakan di mana semua orang berbicara tentang pembelajaran yang mendalam. Bagi saya, itu adalah penggunaan yang sangat tidak jelas, tetapi bagi mereka itu adalah penggunaan yang paling jelas. Orang-orang menggunakannya untuk memecahkan masalah dunia nyata menggunakan data dunia nyata dalam batasan dunia nyata.

Tampaknya dari pengalaman saya, selama beberapa tahun terakhir, pembelajaran mendalam dapat diterapkan ke hampir semua industri — bukan setiap bagian dari setiap industri, tapi beberapa bagian dari hampir setiap industri. 

Kami mengenal seorang pria yang telah melakukan banyak hal menarik dengan diagnostik malaria, yang, seperti yang dapat Anda bayangkan, bukanlah masalah utama yang coba dipecahkan oleh orang-orang di San Francisco.

Sepertinya pembalikan basis pengetahuan — pembelajaran mendalam sekarang menjadi pelengkap keahlian domain — dapat menggeser keseimbangan antara teori dan aplikasi.

Benar, dan Anda dapat melihat itu terjadi. Salah satu hal besar di awal era pembelajaran mendalam adalah pekerjaan yang dilakukan Google Brain, di mana mereka menganalisis banyak video YouTube dan menemukan bahwa kucing adalah faktor laten di banyak video. Model mereka belajar mengenali kucing karena melihat begitu banyak kucing. Dan itu pekerjaan yang sangat menarik, tetapi tidak ada yang pergi dan membangun perusahaan di atasnya. 

Hal-hal yang orang adalah membangun — sekali lagi, berguna, tetapi dalam area tertentu — seperti pencarian foto gambar Google dan Apple menjadi cukup bagus dengan cepat karena Anda benar-benar dapat mencari hal-hal yang ada di foto. Itu sangat membantu. Dan itulah jenis hal yang dikerjakan semua orang — baik hal yang benar-benar abstrak atau masalah dunia pertama yang nyata. Tidak ada yang salah dengan itu, tetapi ada banyak hal lain yang perlu dikerjakan juga. 

Jadi saya sangat senang ketika, setelah beberapa tahun, saya melihat demografi orang-orang yang telah mengikuti kursus kami dan saya menemukan bahwa salah satu kota terbesar di luar AS adalah Lagos [ibukota Nigeria]. Saya pikir itu sangat bagus karena ini adalah komunitas yang sebelumnya tidak melakukan pembelajaran mendalam. Saya benar-benar bertanya kepada orang-orang di kursus pertama: "Ada orang di sini dari Afrika?" Dan saya pikir ada satu orang dari Pantai Gading yang harus memasukkan sesuatu ke CD-ROM di perpustakaannya karena mereka tidak memiliki koneksi internet yang cukup. Jadi itu benar-benar tumbuh cukup cepat.

Dan kemudian itu menyenangkan karena kami mulai mendapatkan sekelompok orang dari Uganda, Kenya, dan Nigeria terbang ke San Francisco untuk melakukan kursus secara langsung dan saling mengenal. Kami mengenal seorang pria, misalnya, yang telah melakukan banyak hal menarik dengan diagnosis malaria, yang, seperti yang dapat Anda bayangkan, bukanlah masalah utama yang coba dipecahkan oleh orang-orang di San Francisco.

Bagi saya memiliki 16 model bahasa besar yang berbeda yang dilatih di 5% internet seperti memiliki 16 pipa air masuk ke rumah Anda dan 16 set kabel listrik masuk ke rumah Anda. 

Seperti apa jalur karier rata-rata untuk seseorang yang keluar dari program pembelajaran mendalam seperti milik Anda?

Ini sangat beragam. Ini benar-benar banyak berubah dari hari-hari awal, ketika hanya pola pikir pengadopsi super awal ini — orang-orang yang sebagian besar adalah pengusaha atau PhD dan pascadoktoral awal, dan yang suka penelitian mutakhir dan mencoba hal-hal baru. Bukan hanya pengguna awal lagi, tetapi juga orang-orang yang mencoba mengejar atau mengikuti cara industri mereka bergerak.

Saat ini, banyak dari mereka yang seperti, “Ya Tuhan, saya merasa pembelajaran mendalam mulai menghancurkan keahlian di industri saya. Orang-orang melakukan hal-hal dengan sedikit pembelajaran mendalam yang bahkan tidak dapat saya bayangkan, dan saya tidak ingin ketinggalan.” Beberapa orang melihat sedikit lebih jauh ke depan, dan mereka lebih seperti, “Yah, tidak ada yang benar-benar menggunakan pembelajaran mendalam di industri saya, tapi saya tidak bisa membayangkan itu satu industri itu tidak akan terpengaruh, jadi saya ingin menjadi yang pertama.” 

Beberapa orang pasti memiliki ide untuk sebuah perusahaan yang ingin mereka bangun. 

Hal lain yang sering kami dapatkan adalah perusahaan mengirimkan sekelompok penelitian atau tim teknik mereka untuk mengikuti kursus hanya karena mereka merasa ini adalah kemampuan perusahaan yang harus mereka miliki. Dan ini sangat membantu dengan API online yang ada di luar sana sekarang sehingga orang dapat bermain-main dengan — Naskah kuno or DALL-E atau apa pun — dan rasakan, “Oh, ini seperti sesuatu yang saya lakukan dalam pekerjaan saya, tetapi akan sedikit berbeda jika saya dapat mengubahnya dengan cara ini.” 

Namun, model ini juga memiliki efek samping yang tidak menguntungkan, mungkin, peningkatan kecenderungan orang untuk merasa bahwa inovasi AI hanya untuk perusahaan besar, dan itu di luar kemampuan mereka. Mereka mungkin memilih untuk menjadi konsumen pasif dari teknologi karena mereka tidak percaya bahwa mereka memiliki kemampuan untuk secara pribadi membangun sesuatu yang akan lebih baik daripada apa yang mungkin sedang dibangun oleh Google atau OpenAI.

Model yang memutuskan apakah Anda menyukai film atau tidak dan model yang dapat menghasilkan haiku akan menjadi 98% sama . . . Sangat, sangat jarang kita benar-benar perlu melatih model besar dari awal di petak luas internet.

Bahkan jika itu masalahnya — jika Anda tidak dapat mengungguli OpenAI atau Google — pasti ada cara untuk memanfaatkan apa yang telah mereka lakukan, dari akses API ke model yang sangat kuat, bukan?

Hal pertama yang harus dikatakan adalah itu tidak benar, tidak dalam arti umum, setidaknya. Ada bifurkasi tertentu dari pelatihan AI yang sedang berlangsung sekarang: Ada sisi Google dan OpenAI, yang semuanya tentang membuat model yang seumum mungkin, dan, hampir selalu, para peneliti tersebut secara khusus memiliki tujuan di kepala mereka untuk mencapai AGI. Saya tidak berkomentar apakah itu baik atau buruk; itu pasti menghasilkan artefak yang berguna bagi kita orang normal, jadi tidak apa-apa. 

Namun, ada jalan yang sama sekali berbeda, yang merupakan jalan yang diambil oleh hampir semua siswa kami, yaitu: “Bagaimana saya bisa memecahkan masalah dunia nyata orang-orang di komunitas saya dengan cara yang pragmatis mungkin?” Dan ada jauh lebih sedikit tumpang tindih daripada yang mungkin Anda pikirkan antara dua metode, dua kumpulan data, dua teknik.

Di dunia saya, kami tidak pernah melatih model dari awal, pada dasarnya. Itu selalu fine-tuning. Jadi kami benar-benar memanfaatkan pekerjaan orang-orang besar, tetapi selalu tersedia secara bebas, model yang dapat diunduh. Hal-hal seperti model bahasa besar sumber terbuka melalui Ilmu Besar sangat membantu untuk itu. 

Namun, mereka mungkin akan tertinggal 6 sampai 12 bulan di belakang orang-orang besar sampai, mungkin, kita menemukan cara yang lebih demokratis untuk melakukan ini. Bagi saya memiliki 16 model bahasa besar yang berbeda yang dilatih di 5% internet seperti memiliki 16 pipa air masuk ke rumah Anda dan 16 set kabel listrik masuk ke rumah Anda. Rasanya seperti itu harus lebih dari utilitas publik. Sangat menyenangkan memiliki kompetisi, tetapi juga akan menyenangkan jika ada kerjasama yang lebih baik, jadi kita tidak perlu membuang waktu untuk melakukan hal yang sama.

Jadi, ya, kami akhirnya menyempurnakan, untuk tujuan khusus kami, model yang telah dibuat orang lain. Dan itu seperti bagaimana genom manusia dan genom monyet hampir seluruhnya sama, kecuali beberapa persen di sana-sini, yang ternyata membuat perbedaan besar. Sama halnya dengan jaring saraf: Model yang memutuskan apakah Anda menyukai film atau tidak dan model yang dapat menghasilkan haiku akan menjadi 98% sama karena sebagian besar adalah tentang memahami dunia, dan memahami bahasa dan hal-hal lain. . Sangat, sangat jarang kita benar-benar perlu melatih model besar dari awal di petak luas internet.

Dan itulah mengapa Anda benar-benar bisa bersaing dengan Google dan OpenAI — karena mereka mungkin bahkan tidak akan ada di ruang Anda. Jika Anda mencoba membuat sesuatu untuk mengotomatiskan pekerjaan paralegal, atau membantu perencanaan ketahanan bencana, atau menghasilkan pemahaman yang lebih baik tentang bahasa gender selama 100 tahun terakhir atau apa pun, Anda tidak bersaing dengan Google, Anda bersaing dengan niche yang ada di domain Anda.

Ada keterampilan pengkodean yang signifikan saat ini dalam mengetahui cara lebih cepat. . . dengan menjadi sangat baik dalam memberikan komentar Codex yang tepat . . . Bagi banyak orang, itu mungkin hal yang lebih berharga dan segera untuk dipelajari daripada menjadi sangat ahli dalam coding.

Seberapa pentingkah untuk mengikuti semua kemajuan di bidang AI, terutama jika Anda bekerja dengannya dalam skala yang lebih kecil?

Tidak ada yang bisa mengikuti semua kemajuan. Anda harus mengikuti beberapa kemajuan, tetapi teknik yang sebenarnya kami kerjakan berubah, saat ini, sangat lambat. Perbedaan antara kursus fast.ai 2017 dan kursus fast.ai 2018 sangat besar, dan antara kursus 2018 dan 2019 sangat jauh.ish. Saat ini, sangat sedikit perubahan selama periode beberapa tahun.

Hal-hal yang kami anggap sangat penting, seperti munculnya arsitektur transformator, misalnya, sebenarnya sudah berumur beberapa tahun sekarang dan sebagian besar hanyalah sekumpulan lapisan jaringan saraf feed-forward biasa yang diapit, dan beberapa produk titik. Itu bagus, tetapi untuk seseorang yang ingin memahaminya, yang sudah mengerti konvnet, jaring berulang, dan dasar multilayer perceptron, itu seperti beberapa jam kerja.

Salah satu hal besar yang terjadi dalam beberapa tahun terakhir adalah semakin banyak orang yang mulai memahami aspek praktis bagaimana melatih model secara efektif. Misalnya, DeepMind baru-baru ini merilis sebuah kertas yang pada dasarnya menunjukkan semua model bahasa di luar sana secara dramatis kurang efisien daripada yang seharusnya, secara harfiah karena mereka tidak melakukan beberapa hal dasar. Facebook — dan, khususnya, pekerja magang Facebook adalah penulis utama di atas kertas — membangun sesuatu yang disebut KonvNeXt, yang pada dasarnya mengatakan, "Inilah yang terjadi jika kita menggunakan jaringan saraf convolutional normal dan hanya memasukkan tweak yang jelas yang diketahui semua orang." Dan mereka pada dasarnya adalah model gambar mutakhir sekarang. 

Jadi, ya, tetap up to date dengan dasar-dasar dasar bagaimana membangun model pembelajaran mendalam yang baik jauh lebih mudah daripada yang terlihat. Dan Anda tentu tidak harus membaca setiap makalah di lapangan. Terutama pada titik ini, sekarang segalanya berjalan jauh lebih cepat.

Tapi saya pikir itu berguna untuk memiliki pemahaman yang luas, bukan hanya area khusus Anda sendiri. Katakanlah Anda adalah orang yang memiliki visi komputer, sangat membantu untuk menjadi ahli dalam NLP, penyaringan kolaboratif, dan analisis tabular, juga — dan sebaliknya karena penyerbukan silang hampir tidak cukup di antara kelompok-kelompok ini. Dan dari waktu ke waktu, seseorang mengintip area lain, mencuri beberapa idenya, dan datang dengan hasil terobosan. 

Inilah yang saya lakukan dengan ULMFiT empat atau lima tahun lalu. Saya berkata, "Mari kita terapkan semua teknik pembelajaran transfer visi komputer dasar ke NLP," dan mendapatkan hasil yang canggih sejauh bermil-mil. Peneliti di OpenAI melakukan hal serupa, tetapi mengganti RNN saya dengan transformator dan meningkatkannya, dan itu menjadi GPT. Kita semua tahu bagaimana itu terjadi. 

Tetap up to date dengan dasar-dasar dasar tentang bagaimana membangun model pembelajaran mendalam yang baik jauh lebih mudah daripada yang terlihat. Dan Anda tentu tidak harus membaca setiap makalah di lapangan.

Anda telah menyebutkan bahwa kami telah melihat perubahan langkah-fungsi dalam AI dalam tiga hingga enam bulan terakhir. Dapatkah Anda menguraikan itu?

Saya sebenarnya akan menyebutnya sebagai kait bukan a fungsi langkah. Saya pikir kita berada di kurva eksponensial, dan dari waktu ke waktu, Anda dapat melihat bahwa hal-hal tampaknya benar-benar telah dipercepat dengan cara yang nyata. Yang harus kita lakukan adalah bahwa model pra-terlatih yang dilatih pada kumpulan teks dan gambar yang sangat besar sekarang dapat melakukan hal-hal satu-shot atau beberapa-shot yang sangat mengesankan dengan cara yang cukup umum, sebagian karena dalam beberapa bulan terakhir orang menjadi lebih baik pada pemahaman rekayasa cepat. Pada dasarnya, mengetahui cara mengajukan pertanyaan yang tepat — jenis petunjuk langkah demi langkah "jelaskan alasan Anda". 

Dan kami menemukan bahwa model-model ini sebenarnya mampu melakukan hal-hal yang menurut banyak akademisi tidak mungkin dilakukan dalam hal pemahaman komposisi dunia dan mampu menunjukkan penalaran langkah demi langkah. Banyak orang berkata, “Oh, Anda harus menggunakan teknik simbolis; jaring saraf dan pembelajaran mendalam tidak akan pernah sampai di sana.” Nah, ternyata mereka melakukannya. Saya pikir ketika kita semua dapat melihat bahwa ia dapat melakukan hal-hal yang orang-orang katakan tidak akan pernah dapat dilakukan, itu membuat kita sedikit lebih berani untuk mencoba berbuat lebih banyak dengan mereka.

Itu mengingatkan saya saat pertama kali saya melihat video di internet, yang saya ingat saya tunjukkan kepada ibu saya karena itu adalah video fisioterapi, dan dia adalah seorang fisioterapis. Itu adalah video latihan mobilitas bersama di bahu Anda, dan saya pikir itu 128 kali 128 piksel. Itu hitam dan putih, sangat padat, dan mungkin sekitar 3 atau 4 detik. Saya sangat bersemangat, dan saya berkata kepada ibu saya, “Wow, lihat ini: video di internet!” Dan, tentu saja, dia tidak bersemangat sama sekali. Dia seperti, “Apa gunanya itu? Ini adalah hal paling tidak berguna yang pernah saya lihat.”

Tentu saja, saya berpikir bahwa suatu hari ini akan menjadi seribu kali seribu piksel, 60 frame per detik, penuh warna, video yang indah. Buktinya ada, sekarang tinggal menunggu yang lain menyusul. 

Jadi saya pikir ketika orang melihat gambar berkualitas rendah dari pembelajaran mendalam di hari-hari awal, tidak ada banyak kegembiraan karena kebanyakan orang tidak menyadari bahwa skala teknologi seperti ini. Sekarang kita benar-benar dapat menghasilkan gambar penuh warna berkualitas tinggi yang terlihat jauh lebih baik daripada yang bisa kita gambar atau foto, orang tidak memerlukan imajinasi apa pun. Mereka hanya bisa melihat bahwa apa yang sedang dilakukan saat ini sangat mengesankan. Saya pikir itu membuat perbedaan besar.

Saya merasa seperti HCI adalah bagian terbesar yang hilang di hampir setiap proyek pembelajaran mendalam yang pernah saya lihat. . . Jika saya berada di HCI, saya ingin seluruh bidang saya difokuskan pada pertanyaan tentang bagaimana kita berinteraksi dengan algoritme pembelajaran mendalam.

Gagasan tentang teknik yang cepat — jika bukan sebagai karier yang sama sekali baru, tetapi setidaknya sebagai keahlian baru — sebenarnya sangat menarik.

Itu, dan aku sangat buruk dalam hal itu. Misalnya, DALL-E tidak benar-benar tahu cara menulis teks dengan benar, yang tidak akan menjadi masalah kecuali ia suka menempatkan teks di semua gambar berdarahnya. Jadi selalu ada simbol acak ini dan saya tidak bisa, seumur hidup saya, mencari cara untuk membuat prompt yang tidak memiliki teks di dalamnya. Dan kadang-kadang, saya hanya akan mengubah kata secara acak di sana-sini dan, tiba-tiba, tidak ada dari mereka yang memiliki teks lagi. Ada beberapa trik untuk ini, dan saya belum menemukan jawabannya.

Juga, misalnya, ada keterampilan pengkodean yang signifikan saat ini dalam mengetahui cara menjadi lebih cepat — terutama, jika Anda bukan pembuat kode yang sangat baik — dengan menjadi sangat ahli dalam membuat komentar Codex yang tepat untuk membuatnya menghasilkan sesuatu untuk Anda . Dan mengetahui jenis kesalahan apa yang cenderung dilakukan, hal-hal apa yang baik dan buruk, dan mengetahui cara membuatnya untuk membuat tes untuk hal yang baru saja dibuat untuk Anda.

Bagi banyak orang, itu mungkin hal yang lebih berharga dan segera untuk dipelajari daripada menjadi sangat ahli dalam coding.

Khususnya tentang Codex, apa pendapat Anda tentang ide kode yang dihasilkan mesin?

I menulis posting blog di atasnya ketika GitHub Copilot keluar, sebenarnya. Saat itu, saya seperti, "Wow, ini sangat keren dan mengesankan, tapi saya tidak yakin seberapa berguna itu." Dan aku masih tidak yakin.

Salah satu alasan utamanya adalah saya pikir kita semua tahu bahwa model pembelajaran mendalam tidak memiliki pemahaman apakah itu benar atau salah. Codex telah meningkat pesat sejak saya meninjau versi pertamanya, tetapi masih banyak menulis kode yang salah. Juga, ia menulis kode verbose karena menghasilkan rata-rata kode. Bagi saya, mengambil kode rata-rata dan membuatnya menjadi kode yang saya suka dan saya tahu benar jauh lebih lambat daripada hanya menulisnya dari awal — setidaknya dalam bahasa yang saya kenal baik. 

Tapi saya merasa seperti ada seluruh pertanyaan antarmuka manusia-komputer (HCI) di sini, dan Saya merasa HCI adalah bagian terbesar yang hilang di hampir setiap proyek pembelajaran mendalam yang pernah saya lihat: hampir tidak pernah melakukan hal-hal ini sepenuhnya menggantikan manusia. Oleh karena itu, kami bekerja bersama dengan algoritma ini. Jika saya berada di HCI, saya ingin seluruh bidang saya difokuskan pada pertanyaan tentang bagaimana kita berinteraksi dengan algoritme pembelajaran mendalam. Karena kami telah belajar selama beberapa dekade bagaimana berinteraksi dengan antarmuka pengguna grafis, antarmuka baris perintah, dan antarmuka web, tetapi ini adalah hal yang sama sekali berbeda. 

Dan saya tidak tahu bagaimana saya sebagai programmer paling baik berinteraksi dengan sesuatu seperti Codex. Saya yakin ada cara yang sangat ampuh untuk melakukannya untuk setiap area — membuat antarmuka dan mengikat data, membangun algoritme, dan sebagainya — tetapi saya tidak tahu apa itu.

Diposting 21 Juli 2022