Sempurnakan Llama 2 untuk pembuatan teks di Amazon SageMaker JumpStart | Layanan Web Amazon

Hari ini, kami sangat gembira mengumumkan kemampuan untuk menyempurnakan model Llama 2 dengan menggunakan Meta Mulai Lompatan Amazon SageMaker. Keluarga model bahasa besar (LLM) Llama 2 adalah kumpulan model teks generatif yang telah dilatih dan disempurnakan dengan skala mulai dari 7 miliar hingga 70 miliar parameter. LLM yang disempurnakan, disebut Llama-2-chat, dioptimalkan untuk kasus penggunaan dialog. Anda dapat dengan mudah mencoba model ini dan menggunakannya dengan SageMaker JumpStart, yang merupakan hub pembelajaran mesin (ML) yang menyediakan akses ke algoritme, model, dan solusi ML sehingga Anda dapat memulai ML dengan cepat. Sekarang Anda juga dapat menyempurnakan 7 miliar, 13 miliar, dan 70 miliar parameter model pembuatan teks Llama 2 di SageMaker JumpStart menggunakan Studio Amazon SageMaker UI dengan beberapa klik atau menggunakan SageMaker Python SDK.

Model dasar AI generatif telah menjadi fokus sebagian besar penelitian dan kasus penggunaan ML dan kecerdasan buatan selama lebih dari satu tahun. Model dasar ini berkinerja sangat baik dalam tugas generatif, seperti pembuatan teks, peringkasan, menjawab pertanyaan, pembuatan gambar dan video, dan banyak lagi, karena ukurannya yang besar dan juga karena model tersebut dilatih pada beberapa kumpulan data besar dan ratusan tugas. Meskipun model ini memiliki kemampuan generalisasi yang besar, sering kali terdapat kasus penggunaan yang memiliki data domain yang sangat spesifik (seperti layanan kesehatan atau layanan keuangan), sehingga model ini mungkin tidak dapat memberikan hasil yang baik untuk kasus penggunaan tersebut. Hal ini mengakibatkan perlunya penyempurnaan lebih lanjut pada model AI generatif ini pada data kasus penggunaan dan domain tertentu.

Dalam postingan ini, kami membahas cara menyempurnakan model pembuatan teks terlatih Llama 2 melalui SageMaker JumpStart.

Apa itu Llama 2

Llama 2 adalah model bahasa auto-regresif yang menggunakan arsitektur transformator yang dioptimalkan. Llama 2 ditujukan untuk penggunaan komersial dan penelitian dalam bahasa Inggris. Ini hadir dalam berbagai ukuran parameter—7 miliar, 13 miliar, dan 70 miliar—serta variasi yang telah dilatih sebelumnya dan disesuaikan. Menurut Meta, versi yang disetel menggunakan penyempurnaan yang diawasi (SFT) dan pembelajaran penguatan dengan umpan balik manusia (RLHF) untuk menyelaraskan dengan preferensi manusia dalam hal kegunaan dan keamanan. Llama 2 telah dilatih sebelumnya tentang 2 triliun token data dari sumber yang tersedia untuk umum. Model yang disetel ditujukan untuk obrolan seperti asisten, sedangkan model terlatih dapat diadaptasi untuk berbagai tugas pembuatan bahasa alami. Terlepas dari versi model mana yang digunakan pengembang, panduan penggunaan yang bertanggung jawab dari Meta dapat membantu memandu penyesuaian tambahan yang mungkin diperlukan untuk menyesuaikan dan mengoptimalkan model dengan mitigasi keselamatan yang sesuai.

Saat ini, Llama 2 tersedia di wilayah berikut:

• Terapkan model terlatih yang tersedia: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• Sempurnakan dan terapkan model yang telah disesuaikan: “us-east-1”, “us-west-2”,“eu-west-1”

Apa itu SageMaker JumpStart

Dengan SageMaker JumpStart, praktisi ML dapat memilih dari beragam pilihan model fondasi yang tersedia untuk umum. Praktisi ML dapat menerapkan model dasar ke model khusus Amazon SageMaker contoh dari lingkungan jaringan yang terisolasi dan menyesuaikan model menggunakan SageMaker untuk pelatihan dan penerapan model. Anda sekarang dapat menemukan dan menerapkan Llama 2 dengan beberapa klik di SageMaker Studio atau secara terprogram melalui SageMaker Python SDK, memungkinkan Anda memperoleh performa model dan kontrol MLOps dengan fitur SageMaker seperti Pipa Amazon SageMaker, Debugger Amazon SageMaker, atau log kontainer. Model ini diterapkan di lingkungan aman AWS dan di bawah kendali VPC Anda, membantu memastikan keamanan data. Selain itu, Anda dapat menyempurnakan model pembuatan teks terlatih Llama2 7B, 13B, dan 70B melalui SageMaker JumpStart.

Sempurnakan model Llama2

Anda dapat menyempurnakan model menggunakan SageMaker Studio UI atau SageMaker Python SDK. Kami membahas kedua metode di bagian ini.

Penyempurnaan tanpa kode melalui UI SageMaker Studio

Di SageMaker Studio, Anda dapat mengakses model Llama 2 melalui SageMaker JumpStart di bawah Model, buku catatan, dan solusi, seperti yang ditunjukkan pada tangkapan layar berikut.

Jika Anda tidak melihat model Llama 2, perbarui versi SageMaker Studio Anda dengan mematikan dan memulai ulang. Untuk informasi lebih lanjut tentang pembaruan versi, lihat Matikan dan Perbarui Aplikasi Studio.

Anda juga dapat menemukan empat varian model lainnya dengan memilih Jelajahi semua Model Pembuatan Teks atau mencari llama di kotak pencarian.

Di halaman ini, Anda dapat menunjuk ke Layanan Penyimpanan Sederhana Amazon (Amazon S3) yang berisi kumpulan data pelatihan dan validasi untuk penyesuaian. Selain itu, Anda dapat mengonfigurasi konfigurasi penerapan, hyperparameter, dan pengaturan keamanan untuk penyesuaian. Anda kemudian dapat memilih Pelatihan VE untuk memulai tugas pelatihan pada instans SageMaker ML. Tangkapan layar sebelumnya menunjukkan halaman penyesuaian untuk model Llama-2 7B; namun, Anda dapat menyempurnakan model pembuatan teks Llama 13 70B dan 2B menggunakan halaman model masing-masing dengan cara yang sama. Untuk menggunakan model Llama 2, Anda harus menerima Perjanjian Lisensi Pengguna Akhir (EULA). Itu akan muncul ketika Anda memilih Pelatihan VE, seperti yang ditunjukkan pada tangkapan layar berikut. Memilih Saya telah membaca dan menerima EULA dan AUP untuk memulai pekerjaan penyesuaian.

Menyebarkan model

Setelah model disetel dengan baik, Anda dapat menerapkannya menggunakan halaman model di SageMaker JumpStart. Opsi untuk menyebarkan model yang telah disempurnakan akan muncul setelah penyesuaian selesai, seperti yang ditunjukkan pada gambar layar berikut.

Sempurnakan melalui SageMaker Python SDK

Anda juga dapat menyempurnakan model Llama 2 menggunakan SageMaker Python SDK. Berikut ini adalah contoh kode untuk menyempurnakan Llama 2 7B pada dataset Anda:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

Anda dapat menerapkan model yang telah disempurnakan langsung dari estimator:

finetuned_predictor = estimator.deploy()

Anda juga dapat menemukan kodenya di Sempurnakan model LLaMA 2 di SageMaker JumpStart. Ini mencakup persiapan set data, pelatihan pada set data khusus Anda, dan penerapan model yang telah disesuaikan. Ini menunjukkan penyesuaian pada subkumpulan kumpulan data Dolly dengan contoh dari tugas peringkasan. Berikut adalah contoh input dengan respon dari fine-tuned dan non-fine-tuned beserta respon kebenaran dasarnya:

Masukan ke model:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Tanggapan Kebenaran Dasar:

Felix Luna died on November 5th, 2009

Tanggapan dari model yang tidak disempurnakan:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

Tanggapan dari model yang telah disesuaikan:

Félix Luna died on November 5th, 2009.nn

Untuk tolok ukur performa berbagai model pada kumpulan data Dolly dan Dialogsum, lihat Pembandingan kinerja bagian dalam lampiran di akhir posting ini.

Teknik penyempurnaan

Model bahasa seperti Llama berukuran lebih dari 10 GB atau bahkan 100 GB. Menyempurnakan model besar seperti itu memerlukan instans dengan memori CUDA yang sangat tinggi. Selain itu, pelatihan model ini bisa sangat lambat karena ukuran modelnya. Oleh karena itu, untuk penyesuaian yang efisien, kami menggunakan pengoptimalan berikut:

• Adaptasi Tingkat Rendah (LoRA) – Ini adalah jenis penyempurnaan efisien parameter (PEFT) untuk penyempurnaan efisien pada model besar. Dalam hal ini, kami membekukan keseluruhan model dan hanya menambahkan sekumpulan kecil parameter atau lapisan yang dapat disesuaikan ke dalam model. Misalnya, daripada melatih seluruh 7 miliar parameter untuk Llama 2 7B, kita dapat menyempurnakan kurang dari 1% parameter. Hal ini membantu mengurangi kebutuhan memori secara signifikan karena kita hanya perlu menyimpan gradien, status pengoptimal, dan informasi terkait pelatihan lainnya hanya untuk 1% parameter. Selain itu, ini membantu mengurangi waktu pelatihan serta biaya. Untuk rincian lebih lanjut tentang metode ini, lihat LoRA: Adaptasi Peringkat Rendah dari Model Bahasa Besar.
• kuantisasi Int8 – Bahkan dengan optimasi seperti LoRA, model seperti Llama 70B masih terlalu besar untuk dilatih. Untuk mengurangi jejak memori selama pelatihan, kita dapat menggunakan kuantisasi Int8 selama pelatihan. Kuantisasi biasanya mengurangi ketepatan tipe data floating point. Meskipun hal ini mengurangi memori yang diperlukan untuk menyimpan bobot model, hal ini menurunkan kinerja karena hilangnya informasi. Kuantisasi Int8 hanya menggunakan presisi seperempat tetapi tidak menyebabkan penurunan kinerja karena tidak menghilangkan sedikit pun. Ini membulatkan data dari satu tipe ke tipe lainnya. Untuk mempelajari tentang kuantisasi Int8, lihat LLM.int8(): Perkalian Matriks 8-bit untuk Transformer dalam Skala Besar.
• Paralel Data Terpecah Sepenuhnya (FSDP) – Ini adalah jenis algoritme pelatihan paralel data yang membagi parameter model ke seluruh pekerja paralel data dan secara opsional dapat memindahkan sebagian komputasi pelatihan ke CPU. Meskipun parameternya dibagi ke beberapa GPU yang berbeda, komputasi setiap microbatch bersifat lokal bagi pekerja GPU. Ini memecah parameter secara lebih seragam dan mencapai performa optimal melalui komunikasi dan komputasi yang tumpang tindih selama pelatihan.

Tabel berikut membandingkan metode yang berbeda dengan ketiga model Llama 2.

Perhatikan bahwa penyempurnaan model Llama didasarkan pada skrip yang disediakan berikut ini GitHub repo.

Format kumpulan data pelatihan

SageMaker JumpStart saat ini mendukung kumpulan data dalam format adaptasi domain dan format penyetelan instruksi. Di bagian ini, kami menentukan contoh kumpulan data dalam kedua format. Untuk lebih jelasnya, lihat Pemformatan kumpulan data bagian dalam lampiran.

Format adaptasi domain

Model Llama 2 pembuatan teks dapat disesuaikan pada kumpulan data spesifik domain apa pun. Setelah disempurnakan pada kumpulan data khusus domain, model ini diharapkan dapat menghasilkan teks khusus domain dan menyelesaikan berbagai tugas NLP di domain tertentu tersebut dengan beberapa petunjuk. Dengan dataset ini, input terdiri dari file CSV, JSON, atau TXT. Misalnya, data masukan mungkin berupa arsip SEC dari Amazon sebagai file teks:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Format penyetelan instruksi

Dalam penyempurnaan instruksi, model disetel dengan baik untuk serangkaian tugas pemrosesan bahasa alami (NLP) yang dijelaskan menggunakan instruksi. Hal ini membantu meningkatkan performa model untuk tugas yang tidak terlihat dengan perintah zero-shot. Dalam format himpunan data penyetelan instruksi, Anda menentukan template.json file yang menjelaskan format input dan output. Misalnya, setiap baris dalam file train.jsonl terlihat seperti berikut ini:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

Berkas tambahan template.json terlihat seperti berikut ini:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Hyperparameter yang didukung untuk pelatihan

Penyempurnaan Llama 2 mendukung sejumlah hyperparameter, yang masing-masing dapat memengaruhi kebutuhan memori, kecepatan pelatihan, dan performa model yang disempurnakan:

• masa – Jumlah lintasan yang dilakukan algoritme penyesuaian melalui kumpulan data pelatihan. Harus berupa bilangan bulat yang lebih besar dari 1. Standarnya adalah 5.
• tingkat_belajar – Kecepatan pembaruan bobot model setelah mengerjakan setiap batch contoh pelatihan. Harus berupa float positif yang lebih besar dari 0. Defaultnya adalah 1e-4.
• instruksi_disetel – Apakah akan melatih model secara instruksi atau tidak. Harus 'True' atau 'False'. Standarnya adalah 'False'.
• per_device_train_batch_size – Ukuran batch per inti GPU/CPU untuk pelatihan. Harus berupa bilangan bulat positif. Standarnya adalah 4.
• per_device_eval_batch_size – Ukuran batch per inti GPU/CPU untuk evaluasi. Harus berupa bilangan bulat positif. Standarnya adalah 1.
• max_train_samples – Untuk tujuan debugging atau pelatihan yang lebih cepat, potong jumlah contoh pelatihan ke nilai ini. Nilai -1 berarti menggunakan semua sampel pelatihan. Harus berupa bilangan bulat positif atau -1. Standarnya adalah -1.
• max_val_samples – Untuk tujuan debugging atau pelatihan yang lebih cepat, potong jumlah contoh validasi ke nilai ini. Nilai -1 berarti menggunakan seluruh sampel validasi. Harus berupa bilangan bulat positif atau -1. Standarnya adalah -1.
• max_input_length – Total panjang urutan input maksimum setelah tokenisasi. Urutan yang lebih panjang dari ini akan terpotong. Jika -1, max_input_length diatur ke minimum 1024 dan panjang model maksimum yang ditentukan oleh tokenizer. Jika disetel ke nilai positif, max_input_length diatur ke nilai minimum yang diberikan dan model_max_length ditentukan oleh tokenizer. Harus berupa bilangan bulat positif atau -1. Standarnya adalah -1.
• validasi_split_ratio – Jika saluran validasi adalah none, rasio pemisahan validasi kereta dari data kereta harus antara 0–1. Standarnya adalah 0.2.
• train_data_split_seed – Jika data validasi tidak ada, tindakan ini akan memperbaiki pemisahan acak data pelatihan masukan menjadi data pelatihan dan validasi yang digunakan oleh algoritme. Harus bilangan bulat. Standarnya adalah 0.
• preprocessing_num_workers – Jumlah proses yang digunakan untuk prapemrosesan. Jika None, proses utama digunakan untuk preprocessing. Standarnya adalah None.
• lora_r – Lora R. Harus bilangan bulat positif. Standarnya adalah 8.
• lora_alpha – Lora Alfa. Harus berupa bilangan bulat positif. Standarnya adalah 32
• lora_putus sekolah – Lora Putus Sekolah. harus berupa float positif antara 0 dan 1. Standarnya adalah 0.05.
• int8_quantisasi - Jika True, model dimuat dengan presisi 8-bit untuk pelatihan. Default untuk 7B dan 13B adalah False. Default untuk 70B adalah True.
• aktifkan_fsdp - Jika True, pelatihan menggunakan FSDP. Default untuk 7B dan 13B adalah True. Default untuk 70B adalah False. Catat itu int8_quantization tidak didukung dengan FSDP.

Jenis instans dan hyperparameter yang kompatibel

Kebutuhan memori selama penyesuaian dapat bervariasi berdasarkan beberapa faktor:

• Tipe model – Model 7B memiliki kebutuhan memori GPU paling sedikit dan model 70B memiliki kebutuhan memori terbesar
• Panjang masukan maksimal – Nilai panjang input yang lebih tinggi menyebabkan pemrosesan lebih banyak token pada satu waktu dan karenanya memerlukan lebih banyak memori CUDA
• Ukuran batch – Ukuran batch yang lebih besar memerlukan memori CUDA yang lebih besar dan oleh karena itu memerlukan jenis instans yang lebih besar
• kuantisasi Int8 – Jika menggunakan kuantisasi Int8, model dimuat ke dalam presisi rendah sehingga memerlukan lebih sedikit memori CUDA

Untuk membantu Anda memulai, kami menyediakan serangkaian kombinasi berbagai tipe instans, hyperparameter, dan tipe model yang dapat disesuaikan dengan sukses. Anda dapat memilih konfigurasi sesuai kebutuhan dan ketersediaan jenis instans Anda. Kami menyempurnakan ketiga model pada berbagai pengaturan dengan tiga periode pada subset kumpulan data Dolly dengan contoh ringkasan.

model 7B

Tabel berikut merangkum opsi penyesuaian pada model 7B.

13B

Tabel berikut merangkum opsi penyesuaian pada model 13B.

70B

Tabel berikut merangkum opsi penyesuaian pada model 70B.

Rekomendasi tentang jenis instans dan hyperparameter

Saat menyempurnakan akurasi model, perhatikan hal berikut:

• Model yang lebih besar seperti 70B memberikan kinerja yang lebih baik dibandingkan 7B
• Performa tanpa kuantisasi Int8 lebih baik dibandingkan performa dengan kuantisasi INT8

Perhatikan waktu pelatihan dan persyaratan memori CUDA berikut:

• Pengaturan int8_quantization=True mengurangi kebutuhan memori dan menghasilkan pelatihan yang lebih cepat.
• Penurunan per_device_train_batch_size dan max_input_length mengurangi kebutuhan memori dan oleh karena itu dapat dijalankan pada instance yang lebih kecil. Namun, menetapkan nilai yang sangat rendah dapat menambah waktu pelatihan.
• Jika Anda tidak menggunakan kuantisasi Int8 (int8_quantization=False), gunakan FSDP (enable_fsdp=True) untuk pelatihan yang lebih cepat dan efisien.

Saat memilih jenis instans, pertimbangkan hal berikut:

• Instans G5 memberikan pelatihan paling efisien di antara jenis instans yang didukung. Oleh karena itu, jika Anda memiliki instans G5, Anda harus menggunakannya.
• Waktu pelatihan sangat bergantung pada jumlah GPU dan memori CUDA yang tersedia. Oleh karena itu, pelatihan pada instans dengan jumlah GPU yang sama (misalnya, ml.g5.2xlarge dan ml.g5.4xlarge) kurang lebih sama. Oleh karena itu, Anda dapat menggunakan instance yang lebih murah untuk pelatihan (ml.g5.2xlarge).
• Saat menggunakan instans p3, pelatihan akan dilakukan dengan presisi 32-bit karena bfloat16 tidak didukung pada instans ini. Oleh karena itu, tugas pelatihan akan mengonsumsi dua kali lipat jumlah memori CUDA saat pelatihan pada instans p3 dibandingkan dengan instans g5.

Untuk mempelajari tentang biaya pelatihan per instans, lihat Contoh Amazon EC2 G5.

Jika kumpulan data dalam format penyetelan instruksi dan urutan input+penyelesaian kecil (misalnya 50–100 kata), maka nilai tinggi max_input_length menyebabkan kinerja yang sangat buruk. Nilai default parameter ini adalah -1, yang sesuai dengan max_input_length tahun 2048 untuk model Llama. Oleh karena itu, kami menyarankan jika kumpulan data Anda berisi sampel kecil, gunakan nilai yang kecil max_input_length (seperti 200–400).

Terakhir, karena tingginya permintaan instans G5, Anda mungkin mengalami tidak tersedianya instans ini di wilayah Anda dengan kesalahan “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” Jika Anda mengalami kesalahan ini, coba lagi tugas pelatihan atau coba Wilayah lain.

Masalah saat menyempurnakan model yang sangat besar

Di bagian ini, kita membahas dua masalah saat menyempurnakan model yang sangat besar.

Nonaktifkan kompresi keluaran

Secara default, output dari tugas pelatihan adalah model terlatih yang dikompresi dalam format .tar.gz sebelum diunggah ke Amazon S3. Namun karena ukuran modelnya yang besar, langkah ini bisa memakan waktu lama. Misalnya, mengompresi dan mengunggah model 70B dapat memakan waktu lebih dari 4 jam. Untuk menghindari masalah ini, Anda dapat menggunakan fitur nonaktifkan kompresi keluaran yang didukung oleh platform pelatihan SageMaker. Dalam hal ini, model diunggah tanpa kompresi apa pun, yang selanjutnya digunakan untuk penerapan:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

Masalah batas waktu kernel SageMaker Studio

Karena ukuran model Llama 70B, tugas pelatihan mungkin memakan waktu beberapa jam dan kernel SageMaker Studio mungkin mati selama fase pelatihan. Namun, saat ini pelatihan di SageMaker masih berjalan. Jika hal ini terjadi, Anda masih dapat menyebarkan titik akhir menggunakan nama tugas pelatihan dengan kode berikut:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

Untuk menemukan nama tugas pelatihan, navigasikan ke konsol SageMaker dan di bawahnya Pelatihan di panel navigasi, pilih Pekerjaan pelatihan. Identifikasi nama pekerjaan pelatihan dan gantikan dengan kode sebelumnya.

Kesimpulan

Dalam postingan ini, kami membahas menyempurnakan model Llama 2 Meta menggunakan SageMaker JumpStart. Kami menunjukkan bahwa Anda dapat menggunakan konsol SageMaker JumpStart di SageMaker Studio atau SageMaker Python SDK untuk menyempurnakan dan menerapkan model ini. Kami juga membahas teknik penyesuaian, jenis instans, dan hyperparameter yang didukung. Selain itu, kami menguraikan rekomendasi untuk pelatihan yang dioptimalkan berdasarkan berbagai tes yang kami lakukan. Hasil penyesuaian ketiga model pada dua dataset ditunjukkan pada lampiran di akhir postingan ini. Seperti yang dapat kita lihat dari hasil ini, penyempurnaan meningkatkan peringkasan dibandingkan dengan model yang tidak penyempurnaan. Sebagai langkah selanjutnya, Anda dapat mencoba menyempurnakan model ini pada kumpulan data Anda sendiri menggunakan kode yang disediakan di repositori GitHub untuk menguji dan membuat tolok ukur hasil untuk kasus penggunaan Anda.

Para penulis ingin mengucapkan terima kasih atas kontribusi teknis dari Christopher Whitten, Xin Huang, Kyle Ulrich, Sifei Li, Amy You, Adam Kozdrowicz, Evan Kravitz, Benjamin Crabtree, Haotian An, Manan Shah, Tony Cruz, Ernev Sharma, Jonathan Guinegagne dan June Won.

Tentang Penulis

Dr Vivek Madan adalah Ilmuwan Terapan dengan tim JumpStart Amazon SageMaker. Dia mendapatkan gelar PhD dari University of Illinois di Urbana-Champaign dan merupakan Peneliti Pasca Doktoral di Georgia Tech. Dia adalah peneliti aktif dalam pembelajaran mesin dan desain algoritma dan telah menerbitkan makalah di konferensi EMNLP, ICLR, COLT, FOCS, dan SODA.

Dr.Farooq Sabir adalah Arsitek Solusi Spesialis Kecerdasan Buatan dan Pembelajaran Mesin Senior di AWS. Dia memegang gelar PhD dan MS di bidang Teknik Listrik dari University of Texas di Austin dan MS di bidang Ilmu Komputer dari Georgia Institute of Technology. Dia memiliki lebih dari 15 tahun pengalaman kerja dan juga suka mengajar dan membimbing mahasiswa. Di AWS, dia membantu pelanggan merumuskan dan memecahkan masalah bisnis mereka dalam ilmu data, pembelajaran mesin, visi komputer, kecerdasan buatan, pengoptimalan numerik, dan domain terkait. Berbasis di Dallas, Texas, dia dan keluarganya suka bepergian dan melakukan perjalanan jauh.

Dr Ashish Khetan adalah Ilmuwan Terapan Senior di Amazon SageMaker JumpStart dan membantu mengembangkan algoritme pembelajaran mesin. Ia memperoleh gelar PhD dari University of Illinois Urbana-Champaign. Dia adalah peneliti aktif dalam pembelajaran mesin dan inferensi statistik, dan telah menerbitkan banyak makalah di konferensi NeurIPS, ICML, ICLR, JMLR, ACL, dan EMNLP.

Lampiran

Lampiran ini memberikan informasi tambahan tentang tolok ukur kinerja dan pemformatan kumpulan data.

Pembandingan kinerja

Di bagian ini, kami memberikan hasil penyesuaian ketiga model Llama 2 (7B, 13B, dan 70B) pada dua kumpulan data berbeda: Boneka dan Dialogsum. Untuk dataset Dolly, tugas kita adalah meringkas sebuah paragraf teks, sedangkan untuk Dialogsum, kita menyempurnakan model untuk meringkas diskusi antara dua orang. Dalam tabel berikut, kami menampilkan masukan ke model (perintah dan instruksi), kebenaran dasar (ringkasan), respons dari model Llama 2 yang telah dilatih sebelumnya, dan respons dari model Llama 2 yang telah disempurnakan untuk masing-masing dari ketiga Llama 2 model. Kami menampilkan hasil inferensi untuk lima titik data. Anda dapat melihat dari tabel berikut bahwa ringkasan meningkat untuk kedua himpunan data saat kami menyempurnakan modelnya.

• Hasil untuk menyempurnakan model pembuatan teks Llama 2 7B pada kumpulan data Dolly:

• Hasil untuk menyempurnakan model pembuatan teks Llama 2 13B pada kumpulan data Dolly:

• Hasil untuk menyempurnakan model pembuatan teks Llama 2 70B pada kumpulan data Dolly:

• Hasil untuk menyempurnakan model pembuatan teks Llama 2 7B pada dataset Dialogsum:

• Hasil untuk menyempurnakan model Llama-2 13B pada dataset Dialogsum:

• Hasil untuk menyempurnakan model Llama 2 70B pada dataset Dialogsum:

Pemformatan kumpulan data

Saat ini kami menawarkan dua jenis penyesuaian: penyesuaian instruksi dan penyesuaian adaptasi domain. Anda dapat dengan mudah beralih ke salah satu metode pelatihan dengan menentukan parameternya instruction_tuned sebagai 'True' atau 'False'.

Format adaptasi domain

Model pembuatan teks juga dapat disesuaikan pada kumpulan data spesifik domain apa pun. Setelah disempurnakan pada kumpulan data khusus domain, model ini diharapkan dapat menghasilkan teks khusus domain dan menyelesaikan berbagai tugas NLP di domain tertentu tersebut dengan beberapa petunjuk.

Untuk masukan ke model, gunakan direktori pelatihan dan validasi opsional. Setiap direktori berisi file CSV, JSON, atau TXT. Untuk file CSV dan JSON, data latih atau validasi digunakan dari kolom yang disebut teks atau kolom pertama jika tidak ada kolom yang disebut text ditemukan. Jumlah file yang sedang dilatih dan validasi (jika disediakan) masing-masing harus sama dengan 1.

Outputnya adalah model terlatih yang dapat diterapkan untuk inferensi.

Berikut ini adalah contoh file TXT untuk menyempurnakan model pembuatan teks. File TXT adalah pengajuan SEC dari Amazon dari tahun 2021–2022:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

Instruksi fine-tuning

Model pembuatan teks dapat disesuaikan dengan instruksi pada data teks apa pun asalkan data tersebut berada dalam format yang diharapkan. Model yang disesuaikan dengan instruksi dapat diterapkan lebih lanjut untuk inferensi.

Untuk masukan, gunakan direktori pelatihan dan validasi opsional. Direktori kereta dan validasi harus berisi satu atau beberapa file berformat baris JSON (.jsonl). Secara khusus, direktori kereta juga dapat berisi file *.json opsional yang menjelaskan format input dan output.

Model terbaik dipilih berdasarkan kerugian validasi, yang dihitung pada akhir setiap zaman. Jika set validasi tidak diberikan, persentase data pelatihan (yang dapat disesuaikan) secara otomatis dibagi dan digunakan untuk validasi.

Data pelatihan harus diformat dalam format baris JSON (.jsonl), di mana setiap baris merupakan kamus yang mewakili satu sampel data. Semua data pelatihan harus berada dalam satu folder; namun, ini dapat disimpan dalam beberapa file .jsonl. Ekstensi file .jsonl bersifat wajib. Folder pelatihan juga dapat berisi a template.json file yang menjelaskan format input dan output. Jika tidak ada file templat yang diberikan, templat berikut akan digunakan:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

Dalam hal ini, data dalam entri baris JSON harus disertakan prompt dan completion bidang. Jika templat khusus disediakan, itu juga harus digunakan prompt dan completion kunci untuk menentukan templat input dan output. Berikut ini adalah contoh templat khusus:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

Di sini, data dalam entri baris JSON harus menyertakan question, context, dan answer bidang.

Outputnya adalah model terlatih yang dapat diterapkan untuk inferensi.

Kami menyediakan subset data pengajuan SEC dari Amazon. Itu diunduh dari tersedia untuk umum EDGAR. Untuk petunjuk cara mengakses data, lihat Mengakses Data EDGAR.

Lisensi: Lisensi Atribusi-Berbagi Serupa Creative Commons (CC BY-SA 4.0)

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Otomotif / EV, Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• ChartPrime. Tingkatkan Game Trading Anda dengan ChartPrime. Akses Di Sini.
• BlockOffset. Modernisasi Kepemilikan Offset Lingkungan. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/