AI Generatif Baru yang 'Terinspirasi Fisika' Melebihi Ekspektasi | Majalah Kuanta

Alat kecerdasan buatan – khususnya jaringan saraf – bermanfaat bagi fisikawan. Selama bertahun-tahun, teknologi ini telah membantu para peneliti merekonstruksi lintasan partikel dalam eksperimen akselerator, mencari bukti adanya partikel baru, dan mendeteksi gelombang gravitasi dan planet ekstrasurya. Meskipun alat AI jelas dapat memberikan banyak manfaat bagi fisikawan, pertanyaannya sekarang, menurut Max Tegmark, fisikawan di Massachusetts Institute of Technology, adalah: “Dapatkah kita memberikan imbalan?”

Tegmark percaya bahwa rekan-rekan fisikawannya dapat memberikan kontribusi yang signifikan terhadap ilmu AI, dan dia menjadikan hal ini sebagai prioritas penelitian utamanya. Salah satu cara fisikawan dapat membantu memajukan teknologi AI, katanya, adalah dengan mengganti algoritma “kotak hitam” jaringan saraf, yang cara kerjanya sebagian besar tidak dapat dipahami, dengan persamaan proses fisik yang dapat dipahami dengan baik.

Idenya bukanlah hal baru. Model AI generatif berdasarkan difusi — proses yang, misalnya, menyebabkan susu dituangkan ke dalam secangkir kopi menyebar secara merata — pertama kali muncul pada tahun 2015, dan kualitas gambar yang dihasilkan telah meningkat secara signifikan sejak saat itu. Teknologi tersebut mendukung perangkat lunak penghasil gambar populer seperti DALL·E 2 dan Midjourney. Kini, Tegmark dan rekan-rekannya sedang mempelajari apakah model generatif lain yang terinspirasi dari fisika dapat bekerja sebaik model berbasis difusi, atau bahkan lebih baik lagi.

Akhir tahun lalu, tim Tegmark memperkenalkan metode baru yang menjanjikan dalam menghasilkan gambar yang disebut Model generatif aliran Poisson (PFGM). Di dalamnya, data diwakili oleh partikel bermuatan, yang bergabung untuk menciptakan medan listrik yang propertinya bergantung pada distribusi muatan pada saat tertentu. Disebut model aliran Poisson karena pergerakan muatan diatur oleh persamaan Poisson, yang berasal dari prinsip yang menyatakan bahwa gaya elektrostatik antara dua muatan bervariasi berbanding terbalik dengan kuadrat jarak antara keduanya (mirip dengan rumusan gravitasi Newton) .

Proses fisik itulah yang menjadi inti PFGM. “Model kami hampir seluruhnya dapat dicirikan oleh kekuatan dan arah medan listrik di setiap titik di ruang angkasa,” katanya Yilun Xu, seorang mahasiswa pascasarjana di MIT dan salah satu penulis makalah ini. “Apa yang dipelajari jaringan saraf selama proses pelatihan adalah bagaimana memperkirakan medan listrik tersebut.” Dan dengan melakukan hal tersebut, ia dapat belajar membuat gambar karena gambar dalam model ini dapat dijelaskan secara ringkas oleh medan listrik.

PFGM dapat menghasilkan gambar dengan kualitas yang sama seperti yang dihasilkan melalui pendekatan berbasis difusi dan melakukannya 10 hingga 20 kali lebih cepat. “Ini menggunakan konstruksi fisik, medan listrik, dengan cara yang belum pernah kita lihat sebelumnya,” katanya Hananel Hazan, seorang ilmuwan komputer di Universitas Tufts. “Hal ini membuka kemungkinan fenomena fisik lainnya dimanfaatkan untuk meningkatkan jaringan saraf kita.”

Model aliran Difusi dan Poisson memiliki banyak kesamaan, selain didasarkan pada persamaan yang diimpor dari fisika. Selama pelatihan, model difusi yang dirancang untuk menghasilkan gambar biasanya dimulai dengan gambar - misalnya seekor anjing - dan kemudian menambahkan gangguan visual, mengubah setiap piksel secara acak hingga fitur-fiturnya terselubung secara menyeluruh (meskipun tidak sepenuhnya dihilangkan). Model tersebut kemudian mencoba membalikkan proses tersebut dan menghasilkan seekor anjing yang mendekati aslinya. Setelah dilatih, model tersebut dapat berhasil membuat anjing — dan citra lainnya — mulai dari kanvas yang tampak kosong.

Model aliran Poisson beroperasi dengan cara yang hampir sama. Selama pelatihan, ada proses maju, yang melibatkan penambahan noise, secara bertahap, ke gambar yang dulunya tajam, dan proses sebaliknya di mana model berupaya menghilangkan noise tersebut, langkah demi langkah, hingga sebagian besar versi awal pulih. Seperti halnya generasi berbasis difusi, sistem pada akhirnya belajar membuat gambar yang belum pernah dilihatnya dalam pelatihan.

Namun fisika yang mendasari model Poisson sama sekali berbeda. Difusi didorong oleh gaya termodinamika, sedangkan aliran Poisson didorong oleh gaya elektrostatis. Yang terakhir mewakili gambar detail menggunakan susunan muatan yang dapat menciptakan medan listrik yang sangat rumit. Namun, medan tersebut menyebabkan muatan tersebar lebih merata dari waktu ke waktu – seperti halnya susu yang secara alami tersebar dalam secangkir kopi. Hasilnya adalah bidang itu sendiri menjadi lebih sederhana dan seragam. Namun bidang seragam yang dipenuhi kebisingan ini bukanlah bidang yang kosong; ia masih mengandung benih-benih informasi yang darinya gambar-gambar dapat dengan mudah dirangkai.

Pada awal tahun 2023, tim meningkatkan model Poisson mereka, memperluasnya untuk mencakup seluruh keluarga model. Versi tambahan, PFGM++, menyertakan parameter baru, D, yang memungkinkan peneliti untuk menyesuaikan dimensi sistem. Hal ini dapat membuat perbedaan besar: Dalam ruang tiga dimensi yang sudah dikenal, kekuatan medan listrik yang dihasilkan oleh suatu muatan berbanding terbalik dengan kuadrat jarak dari muatan tersebut. Namun dalam empat dimensi, kuat medan mengikuti hukum kubus terbalik. Dan untuk setiap dimensi ruang, dan setiap nilai D, hubungan itu agak berbeda.

Inovasi tunggal tersebut memberikan variabilitas yang jauh lebih besar pada model aliran Poisson, dengan kasus ekstrem yang menawarkan manfaat berbeda. Kapan D rendah, misalnya model lebih kokoh, artinya lebih toleran terhadap kesalahan yang dilakukan dalam memperkirakan medan listrik. “Model tersebut tidak dapat memprediksi medan listrik dengan sempurna,” kata Zi Ming Liu, mahasiswa pascasarjana lainnya di MIT dan salah satu penulis kedua makalah tersebut. “Selalu ada penyimpangan. Namun ketahanan berarti meskipun kesalahan estimasi Anda tinggi, Anda masih dapat menghasilkan gambar yang bagus.” Jadi, Anda mungkin tidak mendapatkan anjing impian Anda, tetapi Anda tetap akan mendapatkan sesuatu yang menyerupai anjing.

Di sisi lain, kapan D tinggi, jaringan saraf menjadi lebih mudah untuk dilatih, membutuhkan lebih sedikit data untuk menguasai keterampilan artistiknya. Alasan sebenarnya tidak mudah untuk dijelaskan, namun hal ini disebabkan oleh fakta bahwa semakin banyak dimensi, model tersebut memiliki medan listrik yang lebih sedikit untuk dilacak — dan karenanya lebih sedikit data untuk diasimilasi.

Model yang disempurnakan, PFGM++, “memberi Anda fleksibilitas untuk melakukan interpolasi antara dua ekstrem tersebut,” katanya Mawar Yu, seorang ilmuwan komputer di Universitas California, San Diego.

Dan di suatu tempat dalam kisaran ini terdapat nilai ideal D yang memberikan keseimbangan yang tepat antara ketahanan dan kemudahan pelatihan, kata Xu. “Salah satu tujuan penelitian di masa depan adalah menemukan cara sistematis untuk menemukan sweet spot tersebut, sehingga kita dapat memilih yang terbaik D untuk situasi tertentu tanpa harus melakukan trial and error.”

Tujuan lain para peneliti MIT adalah menemukan lebih banyak proses fisik yang dapat memberikan dasar bagi rangkaian model generatif baru. Melalui sebuah proyek bernama GenFis, tim telah mengidentifikasi satu kandidat yang menjanjikan: potensi Yukawa, yang berkaitan dengan kekuatan nuklir lemah. “Ini berbeda dengan model aliran dan difusi Poisson, yang jumlah partikelnya selalu kekal,” kata Liu. “Potensi Yukawa memungkinkan Anda memusnahkan partikel atau membagi partikel menjadi dua. Model seperti itu, misalnya, dapat mensimulasikan sistem biologis di mana jumlah sel tidak harus tetap sama.”

Ini mungkin merupakan penyelidikan yang bermanfaat, kata Yu. “Hal ini dapat mengarah pada algoritma baru dan model generatif baru dengan potensi penerapan lebih dari sekadar pembuatan gambar.”

Dan PFGM++ sendiri telah melampaui ekspektasi awal para penemunya. Awalnya mereka tidak menyadari kapan D diatur hingga tak terhingga, model aliran Poisson yang diperkuat menjadi tidak dapat dibedakan dari model difusi. Liu menemukan hal ini dalam perhitungan yang dia lakukan awal tahun ini.

Mert Pilanci, seorang ilmuwan komputer di Universitas Stanford, menganggap “penyatuan” ini sebagai hasil terpenting yang berasal dari kerja kelompok MIT. “Makalah PFGM++,” katanya, “mengungkapkan bahwa kedua model ini adalah bagian dari kelas yang lebih luas, [yang] menimbulkan pertanyaan menarik: Mungkinkah ada model fisik lain untuk AI generatif yang menunggu penemuan, yang mengisyaratkan penyatuan yang lebih besar lagi? ”