Langkah AI Meta Berikutnya? Llama 3 Dikabarkan Awal 2024 - Dekripsi

Langkah AI Meta Berikutnya? Llama 3 Dikabarkan Awal 2024 – Dekripsi

Stempel Waktu: 9 November 2023 9

Keingintahuan tentang langkah besar Meta selanjutnya mencapai puncaknya dalam perlombaan untuk mendominasi lanskap kecerdasan buatan. Dengan model teks generatif Llama 2—yang dirilis pada bulan Juli—sudah mapan di pasaran, para pengamat AI dengan haus mencari tanda-tanda Llama 3.

Jika rumor di industri dapat dipercaya, sekuel kesuksesan sumber terbuka raksasa teknologi ini akan hadir pada awal tahun 2024.

Meta belum secara resmi mengkonfirmasi rumor tersebut, namun Mark Zuckerberg baru-baru ini menjelaskan apa yang mungkin terjadi di masa depan LLM (model bahasa besar) Meta, dimulai dengan pengakuan bahwa Llama 3 sedang dalam pengerjaan. Namun, katanya, model AI dasar yang baru masih belum ada, sementara prioritasnya tetap menyempurnakan Llama 2 agar lebih ramah konsumen.

“Maksud saya, selalu ada model lain yang kami latih,” katanya dalam wawancara podcast yang berfokus pada hal tersebut persimpangan antara AI dan metaverse, “Kami melatih Llama 2, dan kami merilisnya sebagai model sumber terbuka, dan saat ini prioritasnya adalah mengembangkannya menjadi banyak produk konsumen…

“Tapi ya, kami juga sedang mengerjakan model pondasi masa depan, dan saya tidak punya berita atau berita baru tentang itu,” lanjutnya. “Saya tidak tahu persisnya kapan akan siap.”

Meskipun Meta belum secara resmi mengkonfirmasi rumor tersebut, pola siklus pengembangan dan investasi perangkat keras yang besar mengisyaratkan peluncuran yang akan segera terjadi. Llama 1 dan Llama 2 menjalani pelatihan dengan interval enam bulan, dan jika irama ini bertahan, Llama 3 baru—yang diperkirakan setara dengan GPT-4 OpenAI—dapat diluncurkan pada paruh pertama tahun 2024.

Menambah kedalaman spekulasi, pengguna Reddit llamaShill telah mengemukakan analisis komprehensif tentang siklus pengembangan model historis Meta.

Pelatihan Llama 1 berlangsung dari Juli 2022 hingga Januari 2023, dengan Llama 2 berikutnya hingga Juli 2023, pengguna mengusulkan, menetapkan tahapan yang masuk akal untuk pelatihan Llama 3 dari Juli 2023 hingga Januari 2024. Wawasan ini sesuai dengan narasi Meta yaitu tanpa henti mengejar keunggulan AI, bersemangat untuk menunjukkan kemajuan berikutnya yang dapat sejalan dengan kemampuan GPT-4.

Sementara itu, forum teknologi dan media sosial ramai dengan diskusi tentang bagaimana iterasi baru ini dapat membangun kembali keunggulan kompetitif Meta. Komunitas teknologi juga telah menyusun kemungkinan garis waktu dari sedikit informasi yang tersedia.

Tambahkan sedikit pernyataan Twitter di sini: percakapan yang dilaporkan terdengar di acara sosial “Meta GenAI”, yang kemudian di-tweet oleh peneliti OpenAI Jason Wei. “Kami memiliki komputasi untuk melatih Llama 3 dan 4,” kata sumber yang tidak disebutkan namanya, menurut Wei—dan menegaskan bahwa itu juga akan bersumber terbuka.

Sementara itu, kemitraan perusahaan dengan Dell—yang menawarkan Llama 2 on-premise untuk pengguna perusahaan—menggarisbawahi komitmen perusahaan terhadap kontrol dan keamanan data pribadi, sebuah langkah yang strategis dan indikatif terhadap perkembangan zaman. Saat Meta bersiap menghadapi raksasa seperti OpenAI dan Google, komitmen ini sangat penting.

Meta juga memasukkan AI ke dalam banyak produknya, jadi masuk akal bagi perusahaan untuk meningkatkan taruhannya agar tidak ketinggalan. Llama 2 mendukung Meta AI, dan layanan lain seperti chatbot Meta, layanan generatif Meta, dan kacamata AI Meta, dan masih banyak lagi.

Di tengah angin puyuh spekulasi ini, renungan Mark Zuckerberg tentang sumber terbuka Llama 3 hanya menambah intrik dan kebingungan. “Kami memerlukan proses untuk melakukan tim merah ini, dan membuatnya aman,” Zuckerberg berbagi dalam podcast baru-baru ini dengan ilmuwan komputer Lex Fridman.

Llama 2 menawarkan arsitektur multi-tingkat dengan versi yang menawarkan 7 miliar, 13 miliar, dan 70 miliar parameter kuat, masing-masing cocok untuk berbagai tingkat kompleksitas dan daya komputasi. Parameter dalam LLM berfungsi sebagai blok pembangun saraf yang menentukan kemampuan model untuk memahami dan menghasilkan bahasa, dengan jumlah parameter yang sering kali berkorelasi dengan kecanggihan dan potensi kualitas keluaran model.

Pembangkit tenaga AI telah dilatih dalam kumpulan yang luas 2 triliun token, yang mendasari kemampuannya untuk menavigasi dan menghasilkan teks mirip manusia di beragam subjek dan konteks.

Gambar milik Meta

Di latar belakang, landasan perangkat keras juga sedang dibangun. Sebagai melaporkan by Dekripsi, Meta melengkapi pusat datanya dengan Nvidia H100s, salah satu perangkat keras terkuat untuk pelatihan AI—sebuah tanda yang jelas bahwa roda sudah berjalan dengan baik.

Namun, terlepas dari semua kegembiraan dan spekulasi, kebenarannya masih terselubung dalam kerahasiaan perusahaan.

Niat Meta untuk bersaing di bidang AI sebagian besar dibentuk oleh waktu pelatihan yang diperlukan, investasi perangkat keras, dan pertanyaan sumber terbuka. Sementara itu, antisipasi sama jelasnya dengan kemungkinan rilis Llama 2024 pada tahun 3.

Diedit oleh Ryan Ozawa.

Tetap di atas berita crypto, dapatkan pembaruan harian di kotak masuk Anda.

Stempel Waktu:

Lebih dari Dekripsi