Beberapa Neural Network Belajar Bahasa Seperti Manusia | Majalah Quanta

Bagaimana otak belajar? Ini adalah sebuah misteri, yang berlaku baik pada organ spons di tengkorak kita maupun pada organ digital di mesin kita. Meskipun jaringan saraf tiruan (JST) dibangun dari jaringan neuron buatan yang rumit, yang seolah-olah meniru cara otak kita memproses informasi, kita tidak tahu apakah jaringan tersebut memproses masukan dengan cara yang sama.   

“Ada perdebatan lama mengenai apakah jaringan saraf belajar dengan cara yang sama seperti manusia,” katanya Vsevolod Kapatsinski, seorang ahli bahasa di Universitas Oregon.

Sekarang, sebuah penelitian diterbitkan bulan lalu menunjukkan bahwa jaringan alami dan buatan belajar dengan cara yang serupa, setidaknya dalam hal bahasa. Para peneliti — dipimpin oleh Gašper Beguš, seorang ahli bahasa komputasi di Universitas California, Berkeley - membandingkan gelombang otak manusia yang mendengarkan suara sederhana dengan sinyal yang dihasilkan oleh jaringan saraf yang menganalisis suara yang sama. Hasilnya sangat mirip. “Sepengetahuan kami,” tulis Beguš dan rekan-rekannya, respons yang diamati terhadap stimulus yang sama “adalah sinyal otak dan ANN yang paling mirip yang dilaporkan sejauh ini.”

Yang paling penting, para peneliti menguji jaringan yang terdiri dari neuron tujuan umum yang cocok untuk berbagai tugas. “Mereka menunjukkan bahwa jaringan yang sangat, sangat umum, yang tidak memiliki bias yang berkembang dalam ucapan atau suara lainnya, tetap menunjukkan korespondensi dengan pengkodean saraf manusia,” kata Gary Lupyan, seorang psikolog di Universitas Wisconsin, Madison yang tidak terlibat dalam pekerjaan tersebut. Hasilnya tidak hanya membantu memperjelas cara ANN belajar, namun juga menunjukkan bahwa otak manusia mungkin belum dilengkapi dengan perangkat keras dan perangkat lunak yang dirancang khusus untuk bahasa.

Untuk menetapkan dasar perbandingan sisi kemanusiaan, para peneliti memainkan satu suku kata – “bah” – berulang kali dalam dua blok berdurasi delapan menit untuk 14 penutur bahasa Inggris dan 15 penutur bahasa Spanyol. Saat lagu tersebut diputar, para peneliti mencatat fluktuasi aktivitas listrik rata-rata neuron di batang otak setiap pendengar – bagian otak tempat suara pertama kali diproses.

Selain itu, para peneliti memberikan suara “bah” yang sama ke dua set jaringan saraf yang berbeda – satu dilatih dengan suara bahasa Inggris, yang lainnya dalam bahasa Spanyol. Para peneliti kemudian mencatat aktivitas pemrosesan jaringan saraf, dengan fokus pada neuron buatan di lapisan jaringan tempat suara pertama kali dianalisis (untuk mencerminkan pembacaan batang otak). Sinyal inilah yang sangat cocok dengan gelombang otak manusia.

Para peneliti memilih jenis arsitektur jaringan saraf yang dikenal sebagai generative adversarial network (GAN), yang awalnya ditemukan pada tahun 2014 untuk menghasilkan gambar. GAN terdiri dari dua jaringan saraf — diskriminator dan generator — yang bersaing satu sama lain. Generator membuat sampel, yang bisa berupa gambar atau suara. Diskriminator menentukan seberapa dekat sampel tersebut dengan sampel pelatihan dan menawarkan umpan balik, sehingga menghasilkan percobaan lagi dari generator, dan seterusnya hingga GAN dapat memberikan keluaran yang diinginkan..

Dalam penelitian ini, diskriminator pada awalnya dilatih tentang kumpulan bunyi bahasa Inggris atau Spanyol. Kemudian generator – yang tidak pernah mendengar suara tersebut – harus menemukan cara untuk memproduksinya. Ini dimulai dengan membuat suara acak, tetapi setelah sekitar 40,000 putaran interaksi dengan diskriminator, generator menjadi lebih baik dan akhirnya menghasilkan suara yang tepat. Sebagai hasil dari pelatihan ini, diskriminator juga menjadi lebih baik dalam membedakan mana yang nyata dan yang dihasilkan.

Pada titik inilah, setelah diskriminator dilatih sepenuhnya, para peneliti memainkan bunyi “bah”. Tim tersebut mengukur fluktuasi tingkat aktivitas rata-rata neuron buatan diskriminator, yang menghasilkan sinyal yang sangat mirip dengan gelombang otak manusia.

Kesamaan antara tingkat aktivitas manusia dan mesin menunjukkan bahwa kedua sistem terlibat dalam aktivitas serupa. “Sama seperti penelitian yang menunjukkan bahwa umpan balik dari pengasuh membentuk produksi suara bayi, umpan balik dari jaringan diskriminator membentuk produksi suara dari jaringan generator,” kata Kapatsinski, yang tidak ikut serta dalam penelitian ini.

Eksperimen tersebut juga mengungkapkan persamaan menarik lainnya antara manusia dan mesin. Gelombang otak menunjukkan bahwa peserta berbahasa Inggris dan Spanyol mendengar bunyi “bah” secara berbeda (penutur bahasa Spanyol lebih banyak mendengar bunyi “pah”), dan sinyal GAN ​​juga menunjukkan bahwa jaringan yang terlatih dalam bahasa Inggris memproses bunyi tersebut agak berbeda dibandingkan dengan peserta yang berbahasa Spanyol. yang terlatih dalam bahasa Spanyol.

“Dan perbedaan-perbedaan tersebut berjalan dalam arah yang sama,” jelas Beguš. Batang otak penutur bahasa Inggris merespons bunyi “bah” sedikit lebih awal dibandingkan batang otak penutur bahasa Spanyol, dan GAN yang dilatih dalam bahasa Inggris merespons bunyi yang sama sedikit lebih awal dibandingkan model yang dilatih dalam bahasa Spanyol. Baik pada manusia maupun mesin, perbedaan waktunya hampir sama, kira-kira seperseribu detik. Hal ini memberikan bukti tambahan, kata Beguš, bahwa manusia dan jaringan buatan “kemungkinan memproses sesuatu dengan cara yang sama.”

Meskipun masih belum jelas bagaimana tepatnya otak memproses dan mempelajari bahasa, ahli bahasa Noam Chomsky pada tahun 1950-an mengusulkan bahwa manusia dilahirkan dengan kapasitas bawaan dan unik untuk memahami bahasa. Kemampuan itu, menurut Chomsky, benar-benar tertanam dalam otak manusia.

Penelitian baru, yang menggunakan neuron tujuan umum yang tidak dirancang untuk bahasa, menunjukkan sebaliknya. “Makalah ini jelas memberikan bukti yang menentang anggapan bahwa pidato memerlukan mesin khusus dan fitur khusus lainnya,” kata Kapatsinski.

Beguš mengakui bahwa perdebatan ini belum terselesaikan. Sementara itu, ia mengeksplorasi lebih lanjut persamaan antara otak manusia dan jaringan saraf dengan menguji, misalnya, apakah gelombang otak yang berasal dari korteks serebral (yang melakukan pemrosesan pendengaran setelah batang otak melakukan tugasnya) sesuai dengan sinyal yang dihasilkan oleh otak yang lebih dalam. lapisan GAN.

Pada akhirnya, Beguš dan timnya berharap dapat mengembangkan model pemerolehan bahasa yang andal yang menggambarkan cara mesin dan manusia mempelajari bahasa, sehingga memungkinkan dilakukannya eksperimen yang tidak mungkin dilakukan pada subjek manusia. “Misalnya, kita dapat menciptakan lingkungan yang merugikan [seperti yang terjadi pada bayi terlantar] dan melihat apakah hal tersebut mengarah pada sesuatu yang menyerupai gangguan bahasa,” kata Christina Zhao, seorang ahli saraf di Universitas Washington yang ikut menulis makalah baru bersama Beguš dan Alan Zhou, seorang mahasiswa doktoral di Universitas Johns Hopkins.

“Kami sekarang mencoba untuk melihat seberapa jauh kami dapat melangkah, seberapa dekat dengan bahasa manusia yang dapat kami capai dengan neuron tujuan umum,” kata Beguš. “Bisakah kita mencapai tingkat kinerja manusia dengan arsitektur komputasi yang kita miliki – hanya dengan membuat sistem kita lebih besar dan lebih kuat – atau apakah hal itu tidak akan pernah mungkin terjadi?” Meskipun diperlukan lebih banyak penelitian sebelum kita dapat mengetahui secara pasti, katanya, “kami terkejut, bahkan pada tahap yang relatif awal ini, melihat betapa miripnya cara kerja sistem ini – manusia dan ANN –.”