Institut Inovasi Teknologi melatih model fondasi Falcon LLM 40B yang canggih di Amazon SageMaker | Layanan Web Amazon

Posting blog ini ditulis bersama dengan Dr. Ebtesam Almazrouei, Direktur Eksekutif–Penjabat Kepala Peneliti AI dari AI-Cross Center Unit dan Pimpinan Proyek untuk Proyek LLM di TII.

Uni Emirat Arab (UEA) Institut Inovasi Teknologi (TII), pilar penelitian terapan dari Abu Dhabi Dewan Riset Teknologi Canggih, telah meluncurkan Falcon LLM, model bahasa besar dasar (LLM) dengan 40 miliar parameter. TII adalah pusat penelitian global terkemuka yang didedikasikan untuk mendorong batas pengetahuan. Tim ilmuwan, peneliti, dan insinyur TII bekerja untuk menghadirkan sains penemuan dan teknologi transformatif. Pekerjaan TII berfokus pada terobosan yang akan membuktikan masa depan masyarakat kita. Dilatih dengan 1 triliun token, TII Falcon LLM menawarkan kinerja terbaik namun tetap sangat hemat biaya. Falcon-40B cocok dengan kinerja LLM berperforma tinggi lainnya, dan merupakan model sumber terbuka peringkat teratas di publik Memeluk Papan peringkat LLM Wajah Terbuka. Ini tersedia sebagai sumber terbuka dalam dua ukuran berbeda – Falcon-40B dan Falcon-7B dan dibuat dari awal menggunakan prapemrosesan data dan pekerjaan pelatihan model yang dibangun di atas Amazon SageMaker. Falcon 40B open-sourcing memungkinkan pengguna untuk membangun dan menyesuaikan alat AI yang memenuhi kebutuhan unik pengguna, memfasilitasi integrasi tanpa batas dan memastikan pelestarian aset data jangka panjang. Bobot model tersedia untuk diunduh, diperiksa, dan diterapkan di mana saja.

Mulai 7 Juni, kedua Falcon LLM juga akan tersedia di Amazon SageMaker JumpStart, hub pembelajaran mesin (ML) SageMaker yang menawarkan model terlatih, algoritme bawaan, dan templat solusi bawaan untuk membantu Anda memulai ML dengan cepat. Anda dapat menyebarkan dan menggunakan LLM Falcon dengan beberapa klik Studio SageMaker atau pemrograman melalui SDK Python SageMaker. Untuk menerapkan dan menjalankan inferensi terhadap Falcon LLM, lihat Pengantar SageMaker JumpStart – Pembuatan Teks dengan Falcon LLM contoh buku catatan.

Dr. Ebtesam Almazrouei, Executive Director–Acting Chief AI Researcher dari AI-Cross Center Unit dan Project Lead untuk LLM Projects di TII, membagikan:

“Kami dengan bangga mengumumkan rilis open-source resmi Falcon-40B, model bahasa open-source peringkat teratas di dunia. Falcon-40B adalah model sumber terbuka luar biasa dengan parameter 40B, yang dirancang khusus sebagai model khusus dekoder kausal. Itu dilatih pada kumpulan data besar yang terdiri dari 1,000 miliar token, termasuk RefinedWeb yang ditingkatkan dengan corpora yang dikurasi. Model ini tersedia di bawah lisensi Apache 2.0, memastikan aksesibilitas dan kegunaannya. Falcon-40B telah melampaui model terkenal seperti LLaMA-65B, StableLM dan MPT di papan peringkat publik yang dikelola oleh Hugging Face. Arsitektur Falcon-40B dioptimalkan untuk inferensi, menggabungkan teknik FlashAttention dan multiquery.”

“Langkah ini mencerminkan dedikasi kami untuk mendorong batas-batas inovasi AI dan tingkat kesiapan teknologi untuk keterlibatan komunitas, pendidikan, aplikasi dunia nyata, dan kolaborasi. Lanjut Dr Ebtesam. “Dengan merilis Falcon-40B sebagai model sumber terbuka, kami memberikan peluang bagi para peneliti, wirausahawan, dan organisasi untuk memanfaatkan kemampuannya yang luar biasa dan mendorong kemajuan dalam solusi berbasis AI mulai dari layanan kesehatan hingga ruang angkasa, keuangan, manufaktur hingga bioteknologi; kemungkinan solusi berbasis AI tidak terbatas. Untuk mengakses Falcon-40B dan mengeksplorasi potensinya yang luar biasa, silakan kunjungi FalconLLM.tii.ae. Bergabunglah dengan kami dalam memanfaatkan kekuatan Falcon-40B untuk membentuk masa depan AI dan merevolusi industri”

Dalam postingan ini, kami membahas lebih dalam bersama Dr. Almazrouei tentang pelatihan Falcon LLM tentang SageMaker, kurasi data, pengoptimalan, kinerja, dan langkah selanjutnya.

Generasi baru LLM

LLM adalah algoritme perangkat lunak yang dilatih untuk menyelesaikan urutan teks alami. Karena ukuran dan volume data pelatihan yang berinteraksi dengannya, LLM memiliki kemampuan pemrosesan teks yang mengesankan, termasuk peringkasan, menjawab pertanyaan, pembelajaran dalam konteks, dan banyak lagi.

Pada awal tahun 2020, organisasi riset di seluruh dunia memberikan penekanan pada ukuran model, mengamati bahwa akurasi berkorelasi dengan jumlah parameter. Misalnya, GPT-3 (2020) dan BLOOM (2022) menampilkan sekitar 175 miliar parameter, Gopher (2021) memiliki 230 miliar parameter, dan MT-NLG (2021) 530 miliar parameter. Pada tahun 2022, Hoffman dkk. mengamati bahwa keseimbangan komputasi saat ini antara parameter model dan ukuran set data kurang optimal, dan menerbitkan undang-undang penskalaan empiris yang menunjukkan bahwa menyeimbangkan anggaran komputasi dengan model yang lebih kecil yang dilatih dengan lebih banyak data dapat menghasilkan model yang berkinerja lebih baik. Mereka mengimplementasikan panduan mereka dalam model 70B parameter Chinchilla (2022), yang mengungguli model yang jauh lebih besar.

Pelatihan LLM tentang SageMaker

SageMaker adalah kumpulan API terkelola untuk pengembangan, pelatihan, penyetelan, dan hosting model machine learning (ML), termasuk LLM. Banyak pelanggan mengandalkan SageMaker untuk beban kerja LLM mereka, seperti Stabilitas AI, Laboratorium AI21, Wajah Memeluk, dan AI LG. Pelatihan SageMaker ketentuan menghitung cluster dengan konfigurasi dan kode perangkat keras yang ditentukan pengguna. Tugas komputasi ditagih per proses, pro-rata per detik, artinya pengguna tidak dikenai biaya untuk kapasitas GPU saat tidak menggunakan layanan. TII menggunakan klaster sementara yang disediakan oleh SageMaker Training API untuk melatih Falcon LLM, hingga 48 ml.p4d.24xlarge instans, terakumulasi dalam 384 GPU NVIDIA A100. Sekarang, TII sedang melatih Falcon LLM berikutnya dan meningkatkan pelatihan mereka menjadi 3,136 A100 GPU (392 ml.p4d instance).

Jumlah inovasi khusus yang belum pernah terjadi sebelumnya masuk ke semua lapisan proyek untuk meningkatkan standar kualitas sains dan kecepatan pelatihan. Di bagian selanjutnya, kami menjelaskan pengoptimalan yang dilakukan TII di semua lapisan sistem pelatihan deep learning (DL).

Kurasi data yang dapat diskalakan

LLM generasi terbaru mendapatkan kekuatannya dari ukuran dan kualitas data pelatihan. Tim menaruh perhatian khusus pada pembuatan set data triliun token berkualitas tinggi. Beberapa tugas CPU Pelatihan SageMaker mengubah petabyte data web yang murah dan dapat diskalakan menjadi kumpulan data pelatihan yang aman dan terkurasi. Sistem otomatis memfilter dan mendeduplikasi data; misalnya, pengklasifikasi ML digunakan untuk memfilter kata-kata kotor. Pekerjaan CPU yang dijalankan pada ml.c5.18xlarge (72 vCPU, RAM 144 GB) dibuat dalam beberapa panggilan API melalui Pelatihan SageMaker untuk menjalankan tugas transformasi data. Tim menggunakan tugas CPU instance tunggal dan multi-instance untuk kasus penggunaan yang berbeda. Beberapa dari tugas ini menggunakan ratusan tugas arsitektur share-nothing (SNA) paralel, masing-masing pada satu mesin, dan untuk tugas yang memerlukan sinkronisasi antarpekerja, tim meluncurkan tugas multi-instance, terakumulasi dalam lusinan instance dan ribuan vCPU. Secara anekdot, pada tugas persiapan set data downstream, tim mencapai 257 ml.c5.18xlarge dalam satu tugas Pelatihan SageMaker, yang terkumpul dalam 18,504 vCPU dan memori 37 TB.

Memaksimalkan throughput pelatihan

Untuk meminimalkan biaya pelatihan dan waktu ke pasar, tim melakukan beberapa arah pengoptimalan untuk mempercepat kecepatan pelatihan sebanding dengan token pelatihan yang diproses per detik dan diukur dalam TFLOPs/GPU. Tim menggunakan kerangka kerja pelatihan LLM 3D-paralel yang disesuaikan sepenuhnya, menampilkan lapisan khusus yang dioptimalkan yang ditulis dalam kode GPU terkompilasi. Tim melangkah lebih jauh dengan menulis implementasi perkalian matriks kustom mereka sendiri untuk mendapatkan kecepatan lebih lanjut! Tim juga mengembangkan logika yang menyesuaikan komunikasi paralel dengan topologi jaringan yang mendasarinya. Selama eksperimen penskalaan awal mereka, TII dapat mencapai 166 TFLOP/GPU pada model 147B pada 256 GPU, dan 173 TFLOP/GPU pada model 13B pada 16 GPU, setahu kami model TFLOP tercepat yang diketahui dicapai di cloud pada waktu tes pada akhir 2022.

Penyimpanan tanpa server

Pelatihan LLM intensif penyimpanan; beberapa terabyte data pelatihan perlu disalurkan ke klaster pelatihan, dan beberapa terabyte pos pemeriksaan model secara teratur berjalan kembali dari klaster ke penyimpanan permanen. Pos pemeriksaan juga harus menjangkau klaster pelatihan secepat mungkin jika pekerjaan dimulai kembali. Dalam komputasi performa tinggi (HPC) tradisional, node komputasi terhubung ke sistem file terdistribusi, yang menyediakan I/O dan throughput performa tinggi melalui antarmuka mirip POSIX. Di AWS, pelanggan secara rutin menggunakan Amazon FSx untuk Lustre sistem file untuk tujuan ini (untuk detail lebih lanjut, lihat Mempercepat pelatihan di Amazon SageMaker menggunakan Amazon FSx untuk Luster dan sistem file Amazon EFS), dan kami juga mendokumentasikan penggunaan BeeGFS yang dikelola sendiri di studi kasus visi komputer terdistribusi. Karena fokus mereka pada biaya dan kesederhanaan operasional, tim memutuskan untuk tidak mengimplementasikan dan mengoperasikan server sistem file, tetapi mengambil tantangan membangun secara eksklusif di atas penyimpanan objek tanpa server. Layanan Penyimpanan Sederhana Amazon (Amazon S3). Kelas dataset S3 khusus dibangun menggunakan AWS SDK untuk Python (Boto3), dan memberikan kinerja yang memuaskan sambil memungkinkan para ilmuwan untuk melakukan iterasi secara mandiri pada rekayasa I/O dan ilmu model dalam basis kode yang sama.

Inovasi sisi klien

Proyek LLM jarang terdiri dari satu pekerjaan pelatihan; banyak pekerjaan diperlukan untuk melakukan tes dan pengalaman awal. Selama pelatihan produksi utama, beberapa pekerjaan dapat dirangkai, misalnya untuk memperbarui konfigurasi atau versi perangkat lunak, menerapkan tambalan, atau memulihkan dari kegagalan. Ilmuwan dari TII melakukan rekayasa signifikan untuk membangun klien khusus yang disesuaikan dengan pelatihan LLM. Klien peluncur dibangun di atas SageMaker Training SDK untuk mengemas beberapa fungsi sekaligus dalam satu perintah, misalnya pembuatan versi kode, pembuatan gambar Docker, dan peluncuran pekerjaan. Selain itu, sebuah AWS Lambda fungsi komputasi tanpa server dirancang untuk mengawasi, memantau, dan mengintervensi pekerjaan sesuai kebutuhan.

Menggunakan bot Slack untuk audit kualitas inferensi

Menjelang akhir pelatihan, tim menerapkan model di internal Titik akhir GPU Hosting SageMaker untuk interaksi waktu nyata. Tim melangkah lebih jauh dengan membuat bot Slack untuk berdialog, untuk mendapatkan umpan balik yang realistis, dan menjalankan audit kualitas kualitatif dari model tersebut.

Pelatihan dan pemantauan kinerja

Melatih LLM membutuhkan sumber daya komputasi dalam jumlah besar, termasuk sumber daya CPU, GPU, dan memori. Oleh karena itu, TII perlu memantau kinerja dan waktu menganggur dari pekerjaan pelatihan untuk memastikan penggunaan sumber daya komputasi yang optimal dan efektivitas biayanya.

Untuk membangun solusi pemantauan otomatis, TII menggunakan amazoncloudwatch alarm untuk memantau penggunaan GPU, CPU, dan memori untuk pekerjaan pelatihan. CloudWatch mengumpulkan data mentah dan memprosesnya menjadi metrik hampir real-time yang dapat dibaca dari instans kontainer dasar yang digunakan dalam tugas Pelatihan SageMaker. Setelah itu, kami menetapkan ambang batas untuk masing-masing metrik ini, dan jika ada metrik yang berada di bawah ambang batas, alarm akan dipicu. Alarm ini memberi tahu tim TII tentang pemanfaatan sumber daya yang rendah, yang memungkinkan mereka mengambil tindakan korektif untuk memperbaiki kendala pemanfaatan sumber daya.

Selain memantau pemanfaatan sumber daya, TII juga dapat memantau waktu menganggur dari sumber daya pekerjaan pelatihan. Jika sumber daya pekerjaan pelatihan menganggur untuk jangka waktu yang lama, hal ini dapat menunjukkan hambatan pada setiap tahap siklus pelatihan dan memerlukan penyelidikan manual. Dalam beberapa kasus, pemanfaatan sumber daya masih relatif optimal, tetapi proses pelatihannya sendiri tidak mengalami kemajuan. Untuk kasus ini, TII mengintegrasikan alarm CloudWatch dengan fungsi Lambda untuk mengkueri dan membaca log pelatihan yang dihasilkan, lalu mengambil tindakan otomatis berdasarkan kesalahan yang dihasilkan atau kemalasan proses pembuatan log (cluster dihentikan). Alarm memicu tindakan untuk menghentikan tugas pelatihan, yang memastikan bahwa TII tidak menimbulkan biaya yang tidak perlu saat sumber daya tidak digunakan.

Kesimpulan

Menggunakan SageMaker yang dipasangkan dengan inovasi khusus dan eksklusif, TII mampu melatih model yang canggih dalam berbagai dimensi: terobosan teknologi, kualitas sains, kecepatan pelatihan, dan juga kesederhanaan operasional.

“Meluncurkan Falcon 40B dari UEA, Model AI Open Source Peringkat Teratas di Dunia, menggambarkan kepemimpinan teknologi, dan membuka jalan bagi inovasi bertenaga AI di bidang ini.ion” menunjukkan Dr. Ebtesam Almazrouei; menambahkan bahwa “kami menunjukkan komitmen kami terhadap tujuan yang dijabarkan dalam Strategi AI Nasional 2031. Keterlibatan aktif kami dalam kemajuan teknologi global, yang diwakili oleh Falcon-40B, memainkan peran penting dalam upaya kami mencapai ekonomi berbasis pengetahuan. Melalui investasi dan pengembangan solusi AI, kami bertujuan untuk menciptakan peluang baru bagi pertumbuhan ekonomi, kemajuan sosial, dan kemajuan pendidikan.

“Sifat open source dari Falcon-40B mencerminkan dedikasi kami terhadap kolaborasi, transparansi, inovasi, dan penelitian di bidang AI. Kami percaya pada demokratisasi kemampuan teknologi AI yang canggih, menjadikan Falcon-40B dapat diakses oleh para peneliti dan organisasi di seluruh dunia.”

“Ke depan, kami akan terus berkontribusi terhadap AI dan kemajuan teknologi, dengan model-model mendatang yang sedang dalam proses. Selain itu, kami akan secara aktif mempromosikan penerapan teknologi AI yang canggih dalam organisasi dan bisnis di negara kami, mendorong pertumbuhan dan kemakmuran yang selaras dengan tujuan strategis kami.”

– Dr

Untuk mempelajari lebih lanjut tentang Falcon LLM, lihat situs webnya FalconLLM.tii.ae dan kartu model di Hugging Face!

---

Tentang Penulis

Dr.Ebtesam Almazrouei adalah Direktur Eksekutif-Penjabat Kepala Peneliti AI dan Pendiri Unit Al-Cross Center di Technology Innovation Institute (TII). Sebagai Pendiri Unit Al-Cross Center di Technology Innovation Institute (TII), Dr. Almazrouei telah memainkan peran penting dalam membentuk kemampuan AI TII. Visi strategis dan keahliannya di bidang AI dan pembelajaran mesin telah memberdayakannya untuk memimpin inisiatif penelitian yang inovatif dan mendorong kolaborasi lintas fungsi, sehingga menghasilkan solusi AI yang inovatif di berbagai industri.

Salah satu pencapaian penting Dr. Almazrouei adalah peran penting beliau dalam pengembangan Falcon 40B, LLM mutakhir yang telah mendapatkan pengakuan global. Performa luar biasa Falcon 40B menempatkannya sebagai LLM nomor satu secara global di papan peringkat Hugging Face pada Mei 2023. Selain itu, ia memimpin pengembangan Noor, model bahasa besar Arab (LLM) terbesar di dunia yang dirilis pada April 2022.

Dr. Almazrouei diakui di seluruh dunia atas kontribusinya terhadap AI dan masuk dalam daftar Wanita AI Terkemuka di Dunia pada tahun 2023, bersama dengan wanita terkemuka lainnya di bidangnya. Ia juga merupakan pendukung inisiatif keberlanjutan dan AI untuk Kebaikan, serta ketua umum AI Connect Abu Dhabi dan ketua TPC di banyak konferensi internasional IEEE.

Kontribusinya melampaui pekerjaannya di TII di mana ia memimpin subkomite ahli data besar dari Dewan UEA untuk AI dan Blockchain dan merupakan anggota dewan pengarah Wireless World Research Forum (WWRF) di seluruh dunia. Dia adalah seorang penulis ilmiah, penemu paten, wirausahawan, dan pembicara terkenal, yang dikenal karena pidato utamanya di pertemuan puncak bergengsi seperti AI Summit di London, World AI Cannes Festival, dan Tech summits.

Akankah Badr adalah Sr. Manager AI/ML Solutions Architects yang berbasis di Dubai – UEA yang bekerja sebagai bagian dari tim Amazon Machine Learning global. Will bersemangat menggunakan teknologi dengan cara inovatif untuk memberikan dampak positif bagi masyarakat. Di waktu luangnya, ia suka menyelam, bermain sepak bola, dan menjelajahi Kepulauan Pasifik.

Olivier Cruchant adalah Arsitek Solusi Spesialis Pembelajaran Mesin di AWS, yang berbasis di Prancis. Olivier membantu pelanggan AWS – mulai dari perusahaan rintisan kecil hingga perusahaan besar – mengembangkan dan menerapkan aplikasi pembelajaran mesin tingkat produksi. Di waktu luangnya, ia senang membaca makalah penelitian dan menjelajahi alam liar bersama teman dan keluarga.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• Keuangan EVM. Antarmuka Terpadu untuk Keuangan Terdesentralisasi. Akses Di Sini.
• Grup Media Kuantum. IR/PR Diperkuat. Akses Di Sini.
• PlatoAiStream. Kecerdasan Data Web3. Pengetahuan Diperkuat. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/technology-innovation-institute-trains-the-state-of-the-art-falcon-llm-40b-foundation-model-on-amazon-sagemaker/