Selama satu dekade sekarang, banyak sistem kecerdasan buatan yang paling mengesankan telah diajarkan menggunakan inventaris data berlabel yang sangat besar. Sebuah gambar mungkin diberi label "kucing tabby" atau "kucing harimau", misalnya, untuk "melatih" jaringan saraf tiruan untuk membedakan kucing dari harimau dengan benar. Strategi ini berhasil secara spektakuler dan sangat kurang.
Pelatihan "diawasi" semacam itu membutuhkan data yang diberi label dengan susah payah oleh manusia, dan jaringan saraf sering mengambil jalan pintas, belajar mengaitkan label dengan informasi minimal dan terkadang dangkal. Misalnya, jaringan saraf mungkin menggunakan keberadaan rumput untuk mengenali foto sapi, karena sapi biasanya difoto di ladang.
“Kami membangun generasi algoritma yang seperti sarjana [yang] tidak datang ke kelas sepanjang semester dan kemudian malam sebelum final, mereka menjejalkan,” kata Alexey Efros, seorang ilmuwan komputer di University of California, Berkeley. “Mereka tidak benar-benar mempelajari materi, tetapi mereka mengerjakan ujian dengan baik.”
Bagi para peneliti yang tertarik pada persimpangan kecerdasan hewan dan mesin, terlebih lagi, "pembelajaran yang diawasi" ini mungkin terbatas pada apa yang dapat diungkapkannya tentang otak biologis. Hewan — termasuk manusia — tidak menggunakan kumpulan data berlabel untuk belajar. Untuk sebagian besar, mereka menjelajahi lingkungan sendiri, dan dengan melakukan itu, mereka memperoleh pemahaman yang kaya dan kuat tentang dunia.
Sekarang beberapa ahli saraf komputasi telah mulai mengeksplorasi jaringan saraf yang telah dilatih dengan sedikit atau tanpa data berlabel manusia. Algoritme “pembelajaran dengan pengawasan mandiri” ini telah terbukti sangat berhasil di pemodelan bahasa manusia dan, baru-baru ini, pengenalan gambar. Dalam pekerjaan baru-baru ini, model komputasi dari sistem visual dan pendengaran mamalia yang dibangun menggunakan model pembelajaran yang diawasi sendiri telah menunjukkan korespondensi yang lebih dekat dengan fungsi otak daripada rekan-rekan mereka yang belajar dengan pengawasan. Untuk beberapa ahli saraf, sepertinya jaringan buatan mulai mengungkapkan beberapa metode aktual yang digunakan otak kita untuk belajar.
Pengawasan yang Cacat
Model otak yang terinspirasi oleh jaringan saraf tiruan muncul sekitar 10 tahun yang lalu, sekitar waktu yang sama dengan jaringan saraf bernama AlexNet merevolusi tugas mengklasifikasikan gambar yang tidak diketahui. Jaringan itu, seperti semua jaringan saraf, terbuat dari lapisan neuron buatan, unit komputasi yang membentuk koneksi satu sama lain yang dapat bervariasi dalam kekuatan, atau "berat". Jika jaringan saraf gagal mengklasifikasikan gambar dengan benar, algoritme pembelajaran memperbarui bobot koneksi antara neuron untuk membuat kesalahan klasifikasi tersebut lebih kecil kemungkinannya pada putaran pelatihan berikutnya. Algoritme mengulangi proses ini berkali-kali dengan semua gambar pelatihan, mengubah bobot, hingga tingkat kesalahan jaringan cukup rendah.
Sekitar waktu yang sama, ahli saraf mengembangkan model komputasi pertama dari sistem penglihatan primata, menggunakan jaringan saraf seperti AlexNet dan penerusnya. Persatuan itu tampak menjanjikan: Ketika monyet dan jaring saraf tiruan diperlihatkan gambar yang sama, misalnya, aktivitas neuron asli dan neuron buatan menunjukkan korespondensi yang menarik. Model buatan pendengaran dan deteksi bau diikuti.
Namun seiring perkembangan lapangan, para peneliti menyadari keterbatasan pelatihan yang diawasi. Misalnya, pada tahun 2017, Leon Gatys, seorang ilmuwan komputer saat itu di Universitas Tübingen di Jerman, dan rekan-rekannya mengambil gambar Ford Model T, kemudian melapisi pola kulit macan tutul di seluruh foto, menghasilkan gambar yang aneh namun mudah dikenali. . Jaringan saraf tiruan terkemuka dengan benar mengklasifikasikan gambar asli sebagai Model T, tetapi menganggap gambar yang dimodifikasi sebagai macan tutul. Itu terpaku pada tekstur dan tidak memiliki pemahaman tentang bentuk mobil (atau macan tutul, dalam hal ini).
Strategi pembelajaran yang diawasi sendiri dirancang untuk menghindari masalah seperti itu. Dalam pendekatan ini, manusia tidak melabeli data. Sebaliknya, "label berasal dari data itu sendiri," kata Friedemann Zenke, seorang ahli saraf komputasi di Institut Penelitian Biomedis Friedrich Miescher di Basel, Swiss. Algoritme yang diawasi sendiri pada dasarnya menciptakan celah dalam data dan meminta jaringan saraf untuk mengisi bagian yang kosong. Dalam apa yang disebut model bahasa besar, misalnya, algoritma pelatihan akan menunjukkan jaringan saraf beberapa kata pertama dari sebuah kalimat dan memintanya untuk memprediksi kata berikutnya. Saat dilatih dengan kumpulan teks besar yang diperoleh dari internet, modelnya tampaknya belajar struktur sintaksis bahasa, menunjukkan kemampuan linguistik yang mengesankan — semua tanpa label atau pengawasan eksternal.
Upaya serupa sedang dilakukan dalam visi komputer. Pada akhir tahun 2021, Kaiming Dia dan rekan mengungkapkan "penyandi otomatis bertopeng,” yang dibangun di atas teknik dipelopori oleh tim Efros pada tahun 2016. Algoritme pembelajaran mandiri secara acak menutupi gambar, mengaburkan hampir tiga perempat dari masing-masing gambar. Auto-encoder bertopeng mengubah bagian yang tidak terselubung menjadi representasi laten — deskripsi matematis terkompresi yang berisi informasi penting tentang suatu objek. (Dalam kasus gambar, representasi laten mungkin deskripsi matematis yang menangkap, antara lain, bentuk objek dalam gambar.) Sebuah decoder kemudian mengubah representasi tersebut kembali menjadi gambar penuh.
Algoritme pembelajaran yang diawasi sendiri melatih kombinasi encoder-decoder untuk mengubah gambar bertopeng menjadi versi lengkapnya. Setiap perbedaan antara gambar asli dan gambar yang direkonstruksi dimasukkan kembali ke dalam sistem untuk membantunya belajar. Proses ini berulang untuk satu set gambar pelatihan sampai tingkat kesalahan sistem cukup rendah. Dalam satu contoh, ketika penyandi otomatis bertopeng yang terlatih diperlihatkan gambar bus yang sebelumnya tidak terlihat dengan hampir 80% di antaranya dikaburkan, sistem berhasil merekonstruksi struktur bus.
"Ini adalah hasil yang sangat, sangat mengesankan," kata Efros.
Representasi laten yang dibuat dalam sistem seperti ini tampaknya mengandung informasi yang jauh lebih dalam daripada yang dapat dimasukkan oleh strategi sebelumnya. Sistem mungkin mempelajari bentuk mobil, misalnya — atau macan tutul — dan bukan hanya polanya. “Dan ini benar-benar ide mendasar dari pembelajaran mandiri — Anda membangun pengetahuan Anda dari bawah ke atas,” kata Efros. Tidak ada menit terakhir menjejalkan untuk lulus tes.
Otak yang Diawasi Sendiri
Dalam sistem seperti ini, beberapa ahli saraf melihat gema dari cara kita belajar. “Saya pikir tidak ada keraguan bahwa 90% dari apa yang dilakukan otak adalah pembelajaran yang diawasi sendiri,” kata Blake Richards, seorang ahli saraf komputasional di McGill University dan Mila, Quebec Artificial Intelligence Institute. Otak biologis dianggap terus-menerus memprediksi, katakanlah, lokasi objek di masa depan saat bergerak, atau kata berikutnya dalam sebuah kalimat, seperti halnya algoritme pembelajaran mandiri yang mencoba memprediksi celah dalam gambar atau segmen teks. Dan otak juga belajar dari kesalahan mereka sendiri — hanya sebagian kecil dari umpan balik otak kita yang berasal dari sumber eksternal yang mengatakan, pada dasarnya, “jawaban salah.”
Misalnya, perhatikan sistem visual manusia dan primata lainnya. Ini adalah studi terbaik dari semua sistem sensorik hewan, tetapi ahli saraf telah berjuang untuk menjelaskan mengapa mereka memasukkan dua jalur terpisah: aliran visual ventral, yang bertanggung jawab untuk mengenali objek dan wajah, dan aliran visual dorsal, yang memproses gerakan (" jalur apa" dan "di mana", masing-masing).
Richards dan timnya menciptakan model yang diawasi sendiri yang mengisyaratkan sebuah jawaban. Mereka terlatih AI yang menggabungkan dua jaringan saraf yang berbeda: Yang pertama, disebut arsitektur ResNet, dirancang untuk memproses gambar; yang kedua, dikenal sebagai jaringan berulang, dapat melacak urutan input sebelumnya untuk membuat prediksi tentang input yang diharapkan berikutnya. Untuk melatih AI gabungan, tim memulai dengan urutan, katakanlah, 10 frame dari sebuah video dan biarkan ResNet memprosesnya satu per satu. Jaringan berulang kemudian memprediksi representasi laten dari frame ke-11, sementara tidak hanya mencocokkan 10 frame pertama. Algoritme pembelajaran yang diawasi sendiri membandingkan prediksi dengan nilai aktual dan menginstruksikan jaringan saraf untuk memperbarui bobotnya untuk membuat prediksi lebih baik.
Tim Richards menemukan bahwa AI yang dilatih dengan satu ResNet bagus dalam pengenalan objek, tetapi tidak dalam mengkategorikan gerakan. Tetapi ketika mereka membagi ResNet tunggal menjadi dua, menciptakan dua jalur (tanpa mengubah jumlah total neuron), AI mengembangkan representasi untuk objek di satu dan untuk gerakan di jalur lainnya, memungkinkan kategorisasi hilir dari properti ini — seperti halnya otak kita. melakukan.
Untuk menguji AI lebih lanjut, tim menunjukkan satu set video yang sebelumnya ditunjukkan oleh para peneliti di Institut Allen untuk Ilmu Otak di Seattle kepada tikus. Seperti primata, tikus memiliki daerah otak khusus untuk gambar statis dan untuk gerakan. Para peneliti Allen merekam aktivitas saraf di korteks visual tikus saat hewan menonton video.
Di sini juga, tim Richards menemukan kesamaan dalam cara AI dan otak yang hidup bereaksi terhadap video. Selama pelatihan, salah satu jalur di jaringan saraf tiruan menjadi lebih mirip dengan bagian perut, daerah pendeteksi objek di otak tikus, dan jalur lainnya menjadi serupa dengan daerah punggung yang berfokus pada gerakan.
Hasilnya menunjukkan bahwa sistem visual kita memiliki dua jalur khusus karena mereka membantu memprediksi masa depan visual, kata Richards; satu jalur saja tidak cukup baik.
Model sistem pendengaran manusia menceritakan kisah serupa. Pada bulan Juni, sebuah tim yang dipimpin oleh Jean-Remi King, seorang ilmuwan peneliti di Meta AI, melatih AI yang disebut Wav2Vec 2.0, yang menggunakan jaringan saraf untuk mengubah audio menjadi representasi laten. Para peneliti menutupi beberapa representasi ini, yang kemudian dimasukkan ke dalam jaringan saraf komponen lain yang disebut transformator. Selama pelatihan, transformator memprediksi informasi yang disembunyikan. Dalam prosesnya, seluruh AI belajar mengubah suara menjadi representasi laten — sekali lagi, tidak perlu label. Tim menggunakan sekitar 600 jam data ucapan untuk melatih jaringan, “yang kira-kira seperti yang akan didapat seorang anak dalam dua tahun pertama pengalaman,” kata King.
Setelah sistem dilatih, para peneliti memainkan bagian dari buku audio dalam bahasa Inggris, Prancis, dan Mandarin. Para peneliti kemudian membandingkan kinerja AI dengan data dari 412 orang – campuran penutur asli dari tiga bahasa yang telah mendengarkan rentang audio yang sama sambil otak mereka dicitrakan dalam pemindai fMRI. King mengatakan bahwa jaringan saraf dan otak manusianya, terlepas dari gambar fMRI yang berisik dan beresolusi rendah, “tidak hanya berkorelasi satu sama lain, tetapi juga berkorelasi secara sistematis”: Aktivitas di lapisan awal AI selaras dengan aktivitas di korteks pendengaran primer, sedangkan aktivitas lapisan terdalam AI sejajar dengan aktivitas di lapisan yang lebih tinggi di otak, dalam hal ini korteks prefrontal. "Ini benar-benar data yang indah," kata Richards. “Ini tidak konklusif, tetapi [itu] bukti lain yang menarik untuk menunjukkan bahwa, memang, cara kita belajar bahasa sebagian besar dengan mencoba memprediksi hal-hal berikutnya yang akan dikatakan.”
Patologi yang Belum Disembuhkan
Tidak semua orang yakin. Josh McDermott, seorang ahli saraf komputasi di Massachusetts Institute of Technology, telah mengerjakan model penglihatan dan persepsi pendengaran menggunakan pembelajaran terawasi dan terawasi sendiri. Laboratoriumnya telah merancang apa yang dia sebut "metamers", sinyal audio dan visual yang disintesis yang, bagi manusia, adil kebisingan yang tidak dapat dipahami. Namun, untuk jaringan saraf tiruan, metamer tampak tidak dapat dibedakan dari sinyal nyata. Ini menunjukkan bahwa representasi yang terbentuk di lapisan jaringan saraf yang lebih dalam, bahkan dengan pembelajaran yang diawasi sendiri, tidak cocok dengan representasi di otak kita. Pendekatan pembelajaran yang diawasi sendiri ini “merupakan kemajuan dalam arti bahwa Anda dapat mempelajari representasi yang dapat mendukung banyak perilaku pengenalan tanpa memerlukan semua label ini,” kata McDermott. "Tapi mereka masih memiliki banyak patologi model yang diawasi."
Algoritme itu sendiri juga membutuhkan lebih banyak pekerjaan. Misalnya, di Meta AI's Wav2Vec 2.0, AI hanya memprediksi representasi laten untuk suara beberapa puluh milidetik — lebih sedikit waktu daripada yang dibutuhkan untuk mengeluarkan suara yang berbeda secara persepsi, apalagi sebuah kata. "Ada banyak hal yang harus dilakukan untuk melakukan sesuatu yang mirip dengan apa yang dilakukan otak," kata King.
Benar-benar memahami fungsi otak akan membutuhkan lebih dari pembelajaran yang diawasi sendiri. Untuk satu hal, otak penuh dengan koneksi umpan balik, sementara model saat ini memiliki sedikit koneksi seperti itu, jika ada. Langkah selanjutnya yang jelas adalah menggunakan pembelajaran yang diawasi sendiri untuk melatih jaringan yang sangat berulang — proses yang sulit — dan melihat bagaimana aktivitas dalam jaringan tersebut dibandingkan dengan aktivitas otak yang sebenarnya. Langkah penting lainnya adalah mencocokkan aktivitas neuron buatan dalam model pembelajaran yang diawasi sendiri dengan aktivitas neuron biologis individu. “Mudah-mudahan, di masa depan, hasil [kami] akan dikonfirmasi dengan rekaman sel tunggal juga,” kata King.
Jika kesamaan yang diamati antara otak dan model pembelajaran yang diawasi sendiri berlaku untuk tugas-tugas sensorik lainnya, itu akan menjadi indikasi yang lebih kuat bahwa sihir apa pun yang mampu dilakukan otak kita membutuhkan pembelajaran yang diawasi sendiri dalam beberapa bentuk. “Jika kita menemukan kesamaan sistematis antara sistem yang sangat berbeda, itu [akan] menunjukkan bahwa mungkin tidak banyak cara untuk memproses informasi dengan cara yang cerdas,” kata King. "Setidaknya, itu semacam hipotesis indah yang ingin kami kerjakan."
