NeurIPS 2023: Poin Penting dari Pembicaraan yang Diundang

Dihasilkan dengan Midjourney

Konferensi NeurIPS 2023, yang diadakan di kota New Orleans yang ramai dari tanggal 10 hingga 16 Desember, memberikan penekanan khusus pada AI generatif dan model bahasa besar (LLM). Mengingat kemajuan terobosan baru-baru ini dalam bidang ini, tidak mengherankan jika topik-topik ini mendominasi diskusi.

Salah satu tema inti konferensi tahun ini adalah pencarian sistem AI yang lebih efisien. Para peneliti dan pengembang secara aktif mencari cara untuk membangun AI yang tidak hanya belajar lebih cepat daripada LLM saat ini namun juga memiliki kemampuan penalaran yang lebih baik sekaligus mengonsumsi lebih sedikit sumber daya komputasi. Upaya ini sangat penting dalam upaya mencapai Artificial General Intelligence (AGI), sebuah tujuan yang tampaknya semakin dapat dicapai di masa mendatang.

Pembicaraan yang diundang di NeurIPS 2023 merupakan cerminan dari kepentingan yang dinamis dan berkembang pesat ini. Pemateri dari berbagai bidang penelitian AI berbagi pencapaian terbaru mereka, menawarkan peluang menuju pengembangan AI mutakhir. Dalam artikel ini, kami mendalami pembicaraan tersebut, mengekstraksi dan mendiskusikan hal-hal penting yang dapat diambil dan dipelajari, yang penting untuk memahami lanskap inovasi AI saat ini dan masa depan.

NextGenAI: Khayalan Penskalaan dan Masa Depan AI Generatif 

In pembicaraannya, Björn Ommer, Kepala Kelompok Visi & Pembelajaran Komputer di Universitas Ludwig Maximilian Munich, berbagi bagaimana laboratoriumnya mengembangkan Difusi Stabil, beberapa pelajaran yang mereka peroleh dari proses ini, dan perkembangan terkini, termasuk bagaimana kita dapat memadukan model difusi dengan pencocokan aliran, augmentasi pengambilan, dan perkiraan LoRA, antara lain.

Takeaways kunci:

• Di era AI Generatif, kita beralih dari fokus pada persepsi dalam model penglihatan (yaitu pengenalan objek) ke memprediksi bagian yang hilang (misalnya pembuatan gambar dan video dengan model difusi).
• Selama 20 tahun, visi komputer difokuskan pada penelitian benchmark, yang membantu untuk fokus pada masalah yang paling menonjol. Dalam AI Generatif, kami tidak memiliki tolok ukur apa pun untuk dioptimalkan, sehingga membuka peluang bagi setiap orang untuk menentukan arah mereka masing-masing.
• Model difusi menggabungkan keunggulan model generatif sebelumnya dengan berbasis skor dengan prosedur pelatihan yang stabil dan pengeditan sampel yang efisien, namun mahal karena rantai Markovnya yang panjang.
• Tantangan dengan model kemungkinan kuat adalah bahwa sebagian besar bit masuk ke dalam detail yang sulit dilihat oleh mata manusia, sementara pengkodean semantik, yang paling penting, hanya memerlukan beberapa bit. Penskalaan saja tidak akan menyelesaikan masalah ini karena permintaan sumber daya komputasi tumbuh 9x lebih cepat dibandingkan pasokan GPU.
• Solusi yang disarankan adalah menggabungkan kekuatan model Difusi dan ConvNets, khususnya efisiensi konvolusi untuk mewakili detail lokal dan ekspresi model difusi untuk konteks jangka panjang.
• Björn Ommer juga menyarankan penggunaan pendekatan pencocokan aliran untuk memungkinkan sintesis gambar resolusi tinggi dari model difusi laten kecil.
• Pendekatan lain untuk meningkatkan efisiensi sintesis gambar adalah dengan fokus pada komposisi pemandangan sambil menggunakan augmentasi pengambilan untuk mengisi detailnya.
• Terakhir, dia memperkenalkan pendekatan iPoke untuk sintesis video stokastik terkontrol.

Jika konten mendalam ini bermanfaat bagi Anda, berlangganan milis AI kami untuk diperingatkan ketika kami merilis materi baru. 

​Banyaknya Wajah AI yang Bertanggung Jawab 

In presentasinya, Lora Aroyo, Ilmuwan Riset di Google Research, menyoroti keterbatasan utama dalam pendekatan pembelajaran mesin tradisional: ketergantungan mereka pada kategorisasi biner data sebagai contoh positif atau negatif. Penyederhanaan yang berlebihan ini, menurutnya, mengabaikan subjektivitas kompleks yang melekat dalam skenario dan konten dunia nyata. Melalui berbagai kasus penggunaan, Aroyo menunjukkan bagaimana ambiguitas konten dan perbedaan alami dalam sudut pandang manusia sering kali menyebabkan perselisihan yang tak terhindarkan. Dia menekankan pentingnya memperlakukan perbedaan pendapat ini sebagai sinyal yang bermakna dan bukan sekedar kebisingan.

Berikut adalah poin-poin penting dari pembicaraan tersebut:

• Ketidaksepakatan antara pekerja manusia bisa menjadi produktif. Alih-alih memperlakukan semua tanggapan sebagai benar atau salah, Lora Aroyo memperkenalkan “kebenaran karena ketidaksepakatan”, sebuah pendekatan distribusi kebenaran untuk menilai keandalan data dengan memanfaatkan ketidaksepakatan penilai.
• Kualitas data sulit dilakukan bahkan oleh para ahli karena para ahli tidak setuju dengan hal tersebut, sama seperti para pekerja di lapangan. Ketidaksepakatan ini bisa lebih informatif dibandingkan tanggapan dari seorang pakar saja.
  • Dalam tugas evaluasi keselamatan, para ahli tidak setuju pada 40% contoh. Daripada mencoba menyelesaikan perselisihan ini, kita perlu mengumpulkan lebih banyak contoh dan menggunakannya untuk menyempurnakan model dan metrik evaluasi.
• Lora Aroyo juga mempresentasikannya Keamanan dengan Keberagaman metode untuk meneliti data dalam kaitannya dengan apa yang ada di dalamnya dan siapa yang memberikan anotasi.
  • Metode ini menghasilkan kumpulan data patokan dengan variabilitas dalam penilaian keselamatan LLM di berbagai kelompok demografi penilai (total 2.5 juta peringkat).
  • Pada 20% percakapan, sulit untuk memutuskan apakah respons chatbot Aman atau Tidak Aman, karena jumlah responden yang memberi label aman atau tidak aman kira-kira sama.
• Keberagaman penilai dan data memainkan peran penting dalam mengevaluasi model. Kegagalan untuk mengakui beragamnya perspektif manusia dan ambiguitas yang ada dalam konten dapat menghambat keselarasan kinerja pembelajaran mesin dengan harapan dunia nyata.
• 80% upaya keselamatan AI sudah cukup baik, namun 20% sisanya memerlukan upaya dua kali lipat untuk mengatasi kasus-kasus ekstrem dan semua varian dalam ruang keberagaman yang tak terbatas.

​Statistik koherensi, pengalaman yang dihasilkan sendiri, dan mengapa manusia muda jauh lebih pintar daripada AI saat ini 

In pembicaraannya, Linda Smith, Profesor Terhormat di Indiana University Bloomington, mengeksplorasi topik ketersebaran data dalam proses pembelajaran bayi dan anak kecil. Dia secara khusus berfokus pada pengenalan objek dan pembelajaran nama, mempelajari bagaimana statistik pengalaman yang dihasilkan oleh bayi menawarkan solusi potensial terhadap tantangan ketersebaran data.

Takeaways kunci:

• Pada usia tiga tahun, anak-anak telah mengembangkan kemampuan untuk menjadi pembelajar tunggal dalam berbagai bidang. Dalam waktu kurang dari 16,000 jam bangun menjelang ulang tahun keempat mereka, mereka berhasil mempelajari lebih dari 1,000 kategori objek, menguasai sintaksis bahasa ibu mereka, dan menyerap nuansa budaya dan sosial dari lingkungan mereka.
• Linda Smith dan timnya menemukan tiga prinsip pembelajaran manusia yang memungkinkan anak-anak menangkap begitu banyak data dari data yang sangat sedikit:
  • Pelajar mengontrol masukan, dari waktu ke waktu mereka membentuk dan menyusun masukan tersebut. Misalnya, pada bulan-bulan pertama kehidupannya, bayi cenderung lebih melihat objek yang tepinya sederhana.
  • Karena bayi terus berkembang dalam pengetahuan dan kemampuannya, mereka mengikuti kurikulum yang sangat terbatas. Data yang mereka peroleh disusun dengan cara yang sangat signifikan. Misalnya, bayi di bawah usia 4 bulan menghabiskan sebagian besar waktunya untuk melihat wajah, sekitar 15 menit per jam, sedangkan bayi di atas 12 bulan fokus terutama pada tangan, mengamati tangan sekitar 20 menit per jam.
  • Episode pembelajaran terdiri dari serangkaian pengalaman yang saling berhubungan. Korelasi spasial dan temporal menciptakan koherensi, yang pada gilirannya memfasilitasi pembentukan kenangan abadi dari peristiwa yang terjadi satu kali. Misalnya, ketika dihadapkan dengan bermacam-macam mainan secara acak, anak-anak sering kali berfokus pada beberapa mainan ‘favorit’. Mereka berinteraksi dengan mainan ini menggunakan pola berulang, yang membantu pembelajaran objek lebih cepat.
• Ingatan sementara (berfungsi) bertahan lebih lama dibandingkan masukan sensorik. Sifat-sifat yang meningkatkan proses pembelajaran meliputi multimodalitas, asosiasi, hubungan prediktif, dan aktivasi ingatan masa lalu.
• Untuk pembelajaran cepat, Anda memerlukan aliansi antara mekanisme yang menghasilkan data dan mekanisme yang mempelajari.

​Sketsa: alat inti, augmentasi pembelajaran, dan ketahanan adaptif 

Jelani Nelson, Profesor Teknik Elektro dan Ilmu Komputer di UC Berkeley, memperkenalkan konsep 'sketsa' data – representasi kumpulan data yang dikompresi memori yang masih memungkinkan menjawab pertanyaan yang berguna. Meskipun pembahasannya cukup teknis, namun memberikan gambaran yang sangat bagus tentang beberapa alat sketsa mendasar, termasuk kemajuan terkini.

Poin-poin penting:

• CountSketch, alat sketsa inti, pertama kali diperkenalkan pada tahun 2002 untuk mengatasi masalah 'pemukul berat', melaporkan daftar kecil item yang paling sering muncul dari aliran item tertentu. CountSketch adalah algoritma sublinear pertama yang diketahui digunakan untuk tujuan ini.
• Dua aplikasi non-streaming dari pemukul berat meliputi:
  • Metode berbasis titik interior (IPM) yang memberikan algoritma tercepat yang diketahui secara asimtotik untuk pemrograman linier.
  • Metode HyperAttention yang mengatasi tantangan komputasi yang ditimbulkan oleh semakin kompleksnya konteks panjang yang digunakan dalam LLM.
• Banyak pekerjaan baru-baru ini difokuskan pada perancangan sketsa yang kuat terhadap interaksi adaptif. Ide utamanya adalah menggunakan wawasan dari analisis data adaptif.

Melampaui Panel Penskalaan 

Kredensial mikro panel bagus pada model bahasa besar dimoderatori oleh Alexander Rush, Associate Professor di Cornell Tech dan peneliti di Hugging Face. Peserta lainnya antara lain:

• Aakanksha Chowdhery – Ilmuwan Riset di Google DeepMind dengan minat penelitian di bidang sistem, pra-pelatihan LLM, dan multimodalitas. Dia adalah bagian dari tim yang mengembangkan PaLM, Gemini, dan Pathways.
• Angela Fan – Ilmuwan Riset di Meta Generative AI dengan minat penelitian di bidang penyelarasan, pusat data, dan multibahasa. Dia berpartisipasi dalam pengembangan Llama-2 dan Meta AI Assistant.
• Percy Liang – Profesor di Stanford yang meneliti pencipta, sumber terbuka, dan agen generatif. Dia adalah Direktur Center for Research on Foundation Models (CRFM) di Stanford dan pendiri Together AI.

Diskusi berfokus pada empat topik utama: (1) arsitektur dan teknik, (2) data dan penyelarasan, (3) evaluasi dan transparansi, serta (4) pencipta dan kontributor.

Berikut beberapa kesimpulan dari panel ini:

• Melatih model bahasa saat ini pada dasarnya tidak sulit. Tantangan utama dalam melatih model seperti Llama-2-7b terletak pada kebutuhan infrastruktur dan kebutuhan untuk mengoordinasikan beberapa GPU, pusat data, dll. Namun, jika jumlah parameter cukup kecil untuk memungkinkan pelatihan pada satu GPU, bahkan seorang sarjana pun bisa mengelolanya.
• Meskipun model autoregresif biasanya digunakan untuk pembuatan teks dan model difusi untuk menghasilkan gambar dan video, terdapat eksperimen yang membalikkan pendekatan ini. Khususnya, dalam proyek Gemini, model autoregresif digunakan untuk menghasilkan gambar. Terdapat juga eksplorasi dalam penggunaan model difusi untuk pembuatan teks, namun hal ini belum terbukti cukup efektif.
• Mengingat terbatasnya ketersediaan data berbahasa Inggris untuk model pelatihan, para peneliti sedang menjajaki pendekatan alternatif. Salah satu kemungkinannya adalah melatih model multimodal pada kombinasi teks, video, gambar, dan audio, dengan harapan bahwa keterampilan yang dipelajari dari modalitas alternatif ini dapat ditransfer ke teks. Pilihan lainnya adalah penggunaan data sintetis. Penting untuk diperhatikan bahwa data sintetis sering kali menyatu dengan data nyata, namun integrasi ini tidak terjadi secara acak. Teks yang dipublikasikan secara online biasanya melalui kurasi dan pengeditan manusia, yang mungkin menambah nilai tambahan untuk pelatihan model.
• Model landasan terbuka sering kali dianggap bermanfaat bagi inovasi, namun berpotensi membahayakan keselamatan AI, karena dapat dieksploitasi oleh pelaku kejahatan. Namun, Dr. Percy Liang berpendapat bahwa model terbuka juga berkontribusi positif terhadap keselamatan. Ia berargumentasi bahwa dengan aksesibilitasnya, model ini memberikan peluang bagi lebih banyak peneliti untuk melakukan penelitian keamanan AI dan meninjau model untuk mengetahui potensi kerentanannya.
• Saat ini, pembuatan anotasi data memerlukan lebih banyak keahlian dalam bidang anotasi dibandingkan lima tahun lalu. Namun, jika asisten AI bekerja sesuai harapan di masa depan, kami akan menerima data umpan balik yang lebih berharga dari pengguna, sehingga mengurangi ketergantungan pada data ekstensif dari anotator.

​Sistem untuk Model Fondasi, dan Model Fondasi untuk Sistem 

In pembicaraan ini, Christopher Ré, Associate Professor di Departemen Ilmu Komputer di Universitas Stanford, menunjukkan bagaimana model fondasi mengubah sistem yang kami bangun. Dia juga mengeksplorasi cara membangun model pondasi secara efisien, meminjam wawasan dari penelitian sistem database, dan mendiskusikan arsitektur yang berpotensi lebih efisien untuk model pondasi dibandingkan Transformer.

Berikut adalah poin penting dari pembicaraan ini:

• Model landasan efektif dalam mengatasi permasalahan ‘kematian akibat 1000 luka’, dimana setiap tugas individu mungkin relatif sederhana, namun luas dan beragamnya tugas menghadirkan tantangan yang signifikan. Contoh bagusnya adalah masalah pembersihan data, yang kini dapat dibantu oleh LLM untuk diselesaikan dengan lebih efisien.
• Saat akselerator menjadi lebih cepat, memori sering kali menjadi hambatan. Ini adalah masalah yang telah ditangani oleh para peneliti database selama beberapa dekade, dan kita dapat mengadopsi beberapa strategi mereka. Misalnya, pendekatan Flash Attention meminimalkan aliran input-output melalui pemblokiran dan fusi agresif: setiap kali kami mengakses suatu informasi, kami melakukan sebanyak mungkin operasi pada informasi tersebut.
• Terdapat kelas arsitektur baru, yang berakar pada pemrosesan sinyal, yang mungkin lebih efisien dibandingkan model Transformer, terutama dalam menangani rangkaian panjang. Pemrosesan sinyal menawarkan stabilitas dan efisiensi, meletakkan dasar bagi model inovatif seperti S4.

Pembelajaran Penguatan Online dalam Intervensi Kesehatan Digital 

In pembicaraannya, Susan Murphy, Profesor Statistik dan Ilmu Komputer di Universitas Harvard, berbagi solusi pertama untuk beberapa tantangan yang mereka hadapi dalam mengembangkan algoritme RL online untuk digunakan dalam intervensi kesehatan digital.

Berikut beberapa hal yang dapat diambil dari presentasi tersebut:

• Dr Susan Murphy membahas dua proyek yang sedang dia kerjakan:
  • HeartStep, tempat aktivitas disarankan berdasarkan data dari ponsel cerdas dan pelacak yang dapat dikenakan, dan
  • Oralytics untuk pelatihan kesehatan mulut, dimana intervensi didasarkan pada data keterlibatan yang diterima dari sikat gigi elektronik.
• Dalam mengembangkan kebijakan perilaku untuk agen AI, peneliti harus memastikan bahwa kebijakan tersebut bersifat otonom dan dapat diterapkan secara layak dalam sistem layanan kesehatan yang lebih luas. Hal ini berarti memastikan bahwa waktu yang diperlukan untuk keterlibatan individu adalah wajar, dan bahwa tindakan yang direkomendasikan masuk akal secara etis dan masuk akal secara ilmiah.
• Tantangan utama dalam mengembangkan agen RL untuk intervensi kesehatan digital mencakup penanganan tingkat kebisingan yang tinggi, karena masyarakat menjalani hidup mereka dan mungkin tidak selalu dapat menanggapi pesan, bahkan jika mereka menginginkannya, serta mengelola dampak negatif yang kuat dan tertunda. .

Seperti yang Anda lihat, NeurIPS 2023 telah memberikan gambaran sekilas tentang masa depan AI. Pembicaraan yang diundang menyoroti tren menuju model yang lebih efisien dan sadar sumber daya serta eksplorasi arsitektur baru di luar paradigma tradisional.

Selamat menikmati artikel ini? Mendaftar untuk lebih banyak pembaruan penelitian AI.

Kami akan memberi tahu Anda ketika kami merilis lebih banyak artikel ringkasan seperti ini.

terkait

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://www.topbots.com/neurips-2023-invited-talks/