Tinh chỉnh Llama 2 để tạo văn bản trên Amazon SageMaker JumpStart | Dịch vụ web của Amazon

Hôm nay, chúng tôi vui mừng thông báo khả năng tinh chỉnh các mô hình Llama 2 của Meta bằng cách sử dụng Khởi động Amazon SageMaker. Nhóm mô hình ngôn ngữ lớn (LLM) Llama 2 là tập hợp các mô hình văn bản tổng quát được đào tạo trước và tinh chỉnh có quy mô từ 7 tỷ đến 70 tỷ tham số. LLM được tinh chỉnh, được gọi là Llama-2-chat, được tối ưu hóa cho các trường hợp sử dụng hội thoại. Bạn có thể dễ dàng dùng thử các mô hình này và sử dụng chúng với SageMaker JumpStart, một trung tâm máy học (ML) cung cấp quyền truy cập vào các thuật toán, mô hình và giải pháp ML để bạn có thể nhanh chóng bắt đầu với ML. Giờ đây, bạn cũng có thể tinh chỉnh các mô hình tạo văn bản Llama 7 13 tỷ, 70 tỷ và 2 tỷ tham số trên SageMaker JumpStart bằng cách sử dụng Xưởng sản xuất Amazon SageMaker Giao diện người dùng với một vài cú nhấp chuột hoặc sử dụng SDK Python của SageMaker.

Các mô hình nền tảng AI sáng tạo đã trở thành trọng tâm của hầu hết các trường hợp sử dụng và nghiên cứu ML và trí tuệ nhân tạo trong hơn một năm nay. Các mô hình nền tảng này hoạt động rất tốt với các tác vụ tổng hợp, chẳng hạn như tạo văn bản, tóm tắt, trả lời câu hỏi, tạo hình ảnh và video, v.v., do kích thước lớn của chúng và cũng vì chúng được đào tạo trên một số bộ dữ liệu lớn và hàng trăm tác vụ. Mặc dù khả năng khái quát hóa tuyệt vời của các mô hình này, nhưng thường có những trường hợp sử dụng có dữ liệu miền rất cụ thể (chẳng hạn như dịch vụ chăm sóc sức khỏe hoặc tài chính), do đó các mô hình này có thể không mang lại kết quả tốt cho những trường hợp sử dụng này. Điều này dẫn đến nhu cầu tinh chỉnh thêm các mô hình AI tổng hợp này dựa trên dữ liệu dành riêng cho từng trường hợp sử dụng và từng miền cụ thể.

Trong bài đăng này, chúng tôi sẽ hướng dẫn cách tinh chỉnh các mô hình tạo văn bản được đào tạo trước Llama 2 thông qua SageMaker JumpStart.

Llama 2 là gì

Llama 2 là một mô hình ngôn ngữ tự hồi quy sử dụng kiến ​​trúc máy biến áp được tối ưu hóa. Llama 2 dành cho mục đích thương mại và nghiên cứu bằng tiếng Anh. Nó có nhiều kích cỡ tham số—7 tỷ, 13 tỷ và 70 tỷ—cũng như các biến thể được đào tạo trước và tinh chỉnh. Theo Meta, các phiên bản đã điều chỉnh sử dụng tinh chỉnh có giám sát (SFT) và học tăng cường với phản hồi của con người (RLHF) để phù hợp với sở thích của con người về tính hữu ích và an toàn. Llama 2 đã được đào tạo trước trên 2 nghìn tỷ mã thông báo dữ liệu từ các nguồn có sẵn công khai. Các mô hình được điều chỉnh nhằm mục đích trò chuyện giống như trợ lý, trong khi các mô hình được đào tạo trước có thể được điều chỉnh cho nhiều tác vụ tạo ngôn ngữ tự nhiên. Bất kể nhà phát triển sử dụng phiên bản nào của mô hình, hướng dẫn sử dụng có trách nhiệm từ Meta có thể hỗ trợ hướng dẫn tinh chỉnh bổ sung có thể cần thiết để tùy chỉnh và tối ưu hóa các mô hình với các biện pháp giảm thiểu an toàn phù hợp.

Hiện tại, Llama 2 có sẵn ở các khu vực sau:

• Triển khai mô hình đào tạo sẵn có sẵn: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• Tinh chỉnh và triển khai mô hình tinh chỉnh: “us-east-1”, “us-west-2”,“eu-west-1”

Khởi động SageMaker là gì

Với SageMaker JumpStart, những người thực hành ML có thể chọn từ rất nhiều mô hình nền tảng có sẵn công khai. Những người thực hành ML có thể triển khai các mô hình nền tảng cho các mục đích chuyên dụng Amazon SageMaker các phiên bản từ môi trường mạng bị cô lập và tùy chỉnh các mô hình bằng SageMaker để đào tạo và triển khai mô hình. Giờ đây, bạn có thể khám phá và triển khai Llama 2 chỉ bằng vài cú nhấp chuột trong SageMaker Studio hoặc theo chương trình thông qua SageMaker Python SDK, cho phép bạn thu được hiệu suất mô hình và các điều khiển MLOps bằng các tính năng của SageMaker như Đường ống Amazon SageMaker, Trình gỡ lỗi Amazon SageMakerhoặc nhật ký vùng chứa. Mô hình này được triển khai trong môi trường bảo mật AWS và dưới sự kiểm soát VPC của bạn, giúp đảm bảo tính bảo mật dữ liệu. Ngoài ra, bạn có thể tinh chỉnh các mô hình tạo văn bản được đào tạo trước Llama2 7B, 13B và 70B thông qua SageMaker JumpStart.

Tinh chỉnh mô hình Llama2

Bạn có thể tinh chỉnh các mô hình bằng cách sử dụng SageMaker Studio UI hoặc SageMaker Python SDK. Chúng tôi thảo luận về cả hai phương pháp trong phần này.

Tinh chỉnh không cần mã thông qua giao diện người dùng SageMaker Studio

Trong SageMaker Studio, bạn có thể truy cập các mô hình Llama 2 thông qua SageMaker JumpStart trong Mô hình, sổ ghi chép và giải pháp, như thể hiện trong ảnh chụp màn hình sau đây.

Nếu bạn không thấy mẫu Llama 2, hãy cập nhật phiên bản SageMaker Studio bằng cách tắt và khởi động lại. Để biết thêm thông tin về các bản cập nhật phiên bản, hãy tham khảo Tắt và cập nhật ứng dụng Studio.

Bạn cũng có thể tìm thấy bốn biến thể mô hình khác bằng cách chọn Khám phá tất cả các Mô hình tạo văn bản hoặc tìm kiếm llama trong hộp tìm kiếm.

Trên trang này, bạn có thể trỏ tới Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) chứa tập dữ liệu huấn luyện và xác thực để tinh chỉnh. Ngoài ra, bạn có thể định cấu hình cấu hình triển khai, siêu tham số và cài đặt bảo mật để tinh chỉnh. Sau đó bạn có thể chọn Train để bắt đầu công việc đào tạo trên phiên bản SageMaker ML. Ảnh chụp màn hình trước hiển thị trang tinh chỉnh cho mẫu Llama-2 7B; tuy nhiên, bạn có thể tinh chỉnh các mô hình tạo văn bản 13B và 70B Llama 2 bằng cách sử dụng các trang mô hình tương ứng của chúng một cách tương tự. Để sử dụng mô hình Llama 2, bạn cần chấp nhận Thỏa thuận cấp phép người dùng cuối (EULA). Nó sẽ hiện lên khi bạn chọn Train, như minh họa trong ảnh chụp màn hình sau. Chọn Tôi đã đọc và chấp nhận EULA và AUP để bắt đầu công việc tinh chỉnh.

Triển khai mô hình

Sau khi tinh chỉnh mô hình, bạn có thể triển khai nó bằng trang mô hình trên SageMaker JumpStart. Tùy chọn triển khai mô hình tinh chỉnh sẽ xuất hiện khi quá trình tinh chỉnh hoàn tất, như minh họa trong ảnh chụp màn hình sau.

Tinh chỉnh thông qua SageMaker Python SDK

Bạn cũng có thể tinh chỉnh các mô hình Llama 2 bằng SageMaker Python SDK. Sau đây là mã mẫu để tinh chỉnh Llama 2 7B trên tập dữ liệu của bạn:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

Bạn có thể triển khai mô hình tinh chỉnh trực tiếp từ công cụ ước tính:

finetuned_predictor = estimator.deploy()

Bạn cũng có thể tìm thấy mã trong Tinh chỉnh mô hình LLaMA 2 trên SageMaker JumpStart. Nó bao gồm chuẩn bị tập dữ liệu, đào tạo về tập dữ liệu tùy chỉnh của bạn và triển khai mô hình tinh chỉnh. Nó thể hiện việc tinh chỉnh một tập hợp con của tập dữ liệu Dolly với các ví dụ từ tác vụ tóm tắt. Sau đây là ví dụ đầu vào có phản hồi từ tinh chỉnh và không tinh chỉnh cùng với phản hồi thực tế cơ bản:

Đầu vào mô hình:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Phản hồi của Ground Truth:

Felix Luna died on November 5th, 2009

Phản hồi từ mô hình không tinh chỉnh:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

Phản hồi từ mô hình tinh chỉnh:

Félix Luna died on November 5th, 2009.nn

Để đo điểm chuẩn hiệu suất của các mô hình khác nhau trên bộ dữ liệu Dolly và Dialogsum, hãy tham khảo Điểm chuẩn hiệu suất phần phụ lục ở cuối bài viết này.

Kỹ thuật tinh chỉnh

Các mô hình ngôn ngữ như Llama có kích thước hơn 10 GB hoặc thậm chí 100 GB. Việc tinh chỉnh các mô hình lớn như vậy đòi hỏi các phiên bản có bộ nhớ CUDA cao đáng kể. Hơn nữa, việc đào tạo các mô hình này có thể rất chậm do kích thước của mô hình. Do đó, để tinh chỉnh hiệu quả, chúng tôi sử dụng các phương pháp tối ưu hóa sau:

• Thích ứng cấp thấp (LoRA) – Đây là loại tinh chỉnh hiệu quả tham số (PEFT) dùng để tinh chỉnh hiệu quả các mô hình lớn. Trong phần này, chúng tôi đóng băng toàn bộ mô hình và chỉ thêm một tập hợp nhỏ các tham số hoặc lớp có thể điều chỉnh vào mô hình. Chẳng hạn, thay vì đào tạo tất cả 7 tỷ tham số cho Llama 2 7B, chúng ta có thể tinh chỉnh ít hơn 1% tham số. Điều này giúp giảm đáng kể yêu cầu bộ nhớ vì chúng ta chỉ cần lưu trữ độ dốc, trạng thái tối ưu hóa và các thông tin liên quan đến đào tạo khác chỉ cho 1% tham số. Hơn nữa, điều này giúp giảm thời gian đào tạo cũng như chi phí. Để biết thêm chi tiết về phương pháp này, hãy tham khảo LoRA: Thích ứng cấp thấp của các mô hình ngôn ngữ lớn.
• Lượng tử hóa Int8 – Ngay cả với những tối ưu hóa như LoRA, những mô hình như Llama 70B vẫn quá lớn để đào tạo. Để giảm dung lượng bộ nhớ trong quá trình đào tạo, chúng ta có thể sử dụng lượng tử hóa Int8 trong quá trình đào tạo. Lượng tử hóa thường làm giảm độ chính xác của các kiểu dữ liệu dấu phẩy động. Mặc dù điều này làm giảm bộ nhớ cần thiết để lưu trữ trọng lượng mô hình nhưng nó làm giảm hiệu suất do mất thông tin. Lượng tử hóa Int8 chỉ sử dụng độ chính xác một phần tư nhưng không làm giảm hiệu suất vì nó không chỉ loại bỏ các bit. Nó làm tròn dữ liệu từ loại này sang loại khác. Để tìm hiểu về lượng tử hóa Int8, hãy tham khảo LLM.int8(): Phép nhân ma trận 8 bit cho máy biến áp ở quy mô.
• Dữ liệu song song được phân chia hoàn toàn (FSDP) – Đây là một loại thuật toán đào tạo song song dữ liệu giúp phân chia các tham số của mô hình giữa các nhân viên song song dữ liệu và có thể tùy ý giảm tải một phần tính toán đào tạo cho CPU. Mặc dù các tham số được phân chia trên các GPU khác nhau nhưng việc tính toán từng microbatch là cục bộ đối với nhân viên GPU. Nó phân chia các tham số một cách đồng nhất hơn và đạt được hiệu suất tối ưu thông qua sự chồng chéo về giao tiếp và tính toán trong quá trình đào tạo.

Bảng sau so sánh các phương pháp khác nhau với ba mô hình Llama 2.

Lưu ý rằng việc tinh chỉnh các mô hình Llama dựa trên các tập lệnh được cung cấp bởi bên dưới Repo GitHub.

Định dạng tập dữ liệu đào tạo

SageMaker JumpStart hiện hỗ trợ các bộ dữ liệu ở cả định dạng thích ứng miền và định dạng điều chỉnh lệnh. Trong phần này, chúng tôi chỉ định một tập dữ liệu mẫu ở cả hai định dạng. Để biết thêm chi tiết, hãy tham khảo Định dạng tập dữ liệu phần trong phần phụ lục.

Định dạng thích ứng tên miền

Mô hình tạo văn bản Llama 2 có thể được tinh chỉnh trên bất kỳ tập dữ liệu dành riêng cho miền nào. Sau khi được tinh chỉnh trên tập dữ liệu dành riêng cho miền, mô hình này dự kiến ​​sẽ tạo văn bản dành riêng cho miền và giải quyết các tác vụ NLP khác nhau trong miền cụ thể đó với lời nhắc vài lần. Với tập dữ liệu này, đầu vào bao gồm tệp CSV, JSON hoặc TXT. Ví dụ: dữ liệu đầu vào có thể là hồ sơ SEC của Amazon dưới dạng tệp văn bản:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Định dạng điều chỉnh hướng dẫn

Trong quá trình tinh chỉnh lệnh, mô hình được tinh chỉnh cho một tập hợp các tác vụ xử lý ngôn ngữ tự nhiên (NLP) được mô tả bằng các lệnh. Điều này giúp cải thiện hiệu suất của mô hình đối với các tác vụ không nhìn thấy được với lời nhắc không chụp. Trong định dạng tập dữ liệu điều chỉnh lệnh, bạn chỉ định template.json tập tin mô tả các định dạng đầu vào và đầu ra. Ví dụ: mỗi dòng trong tệp train.jsonl trông giống như sau:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

Tệp bổ sung template.json trông giống như sau:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Siêu tham số được hỗ trợ cho đào tạo

Tinh chỉnh Llama 2 hỗ trợ một số siêu tham số, mỗi siêu tham số có thể tác động đến yêu cầu bộ nhớ, tốc độ đào tạo và hiệu suất của mô hình tinh chỉnh:

• kỷ nguyên – Số bước mà thuật toán tinh chỉnh thực hiện qua tập dữ liệu huấn luyện. Phải là số nguyên lớn hơn 1. Mặc định là 5.
• tỷ lệ học – Tốc độ cập nhật trọng số của mô hình sau khi làm việc qua từng đợt mẫu huấn luyện. Phải là số float dương lớn hơn 0. Mặc định là 1e-4.
• hướng dẫn_điều chỉnh – Có hướng dẫn đào tạo mô hình hay không. Cần phải 'True' hoặc là 'False'. Mặc định là 'False'.
• per_device_train_batch_size – Kích thước lô trên mỗi lõi GPU/CPU để đào tạo. Phải là số nguyên dương. Mặc định là 4.
• per_device_eval_batch_size – Kích thước lô trên mỗi lõi GPU/CPU để đánh giá. Phải là số nguyên dương. Mặc định là 1.
• max_train_samples – Với mục đích gỡ lỗi hoặc đào tạo nhanh hơn, hãy cắt bớt số lượng ví dụ đào tạo về giá trị này. Giá trị -1 có nghĩa là sử dụng tất cả các mẫu huấn luyện. Phải là số nguyên dương hoặc -1. Mặc định là -1.
• max_val_samples – Để phục vụ mục đích gỡ lỗi hoặc đào tạo nhanh hơn, hãy cắt bớt số lượng ví dụ xác thực về giá trị này. Giá trị -1 có nghĩa là sử dụng tất cả các mẫu xác thực. Phải là số nguyên dương hoặc -1. Mặc định là -1.
• max_input_length – Tổng độ dài chuỗi đầu vào tối đa sau khi mã hóa. Các chuỗi dài hơn sẽ bị cắt bớt. Nếu -1, max_input_length được đặt ở mức tối thiểu là 1024 và độ dài mô hình tối đa được xác định bởi trình mã thông báo. Nếu được đặt thành giá trị dương, max_input_length được đặt ở mức tối thiểu của giá trị được cung cấp và model_max_length được xác định bởi tokenizer. Phải là số nguyên dương hoặc -1. Mặc định là -1.
• xác thực_split_ratio – Nếu kênh xác thực là none, tỷ lệ phân tách xác thực tàu khỏi dữ liệu tàu phải nằm trong khoảng 0–1. Mặc định là 0.2.
• train_data_split_seed – Nếu không có dữ liệu xác thực, thao tác này sẽ khắc phục sự phân chia ngẫu nhiên của dữ liệu huấn luyện đầu vào thành dữ liệu huấn luyện và dữ liệu xác thực được thuật toán sử dụng. Phải là số nguyên. Mặc định là 0.
• tiền xử lý_num_workers – Số lượng tiến trình được sử dụng cho quá trình tiền xử lý. Nếu như None, quy trình chính được sử dụng để tiền xử lý. Mặc định là None.
• lora_r – Lora R. Phải là số nguyên dương. Mặc định là 8.
• lora_alpha – Lora Alpha. Phải là số nguyên dương. Mặc định là 32
• lora_dropout – Lora bỏ học. phải là số float dương trong khoảng từ 0 đến 1. Mặc định là 0.05.
• int8_quantization - Nếu True, mô hình được tải với độ chính xác 8 bit để huấn luyện. Mặc định cho 7B và 13B là False. Mặc định cho 70B là True.
• kích hoạt_fsdp - Nếu True, đào tạo sử dụng FSDP. Mặc định cho 7B và 13B là True. Mặc định cho 70B là False. Lưu ý rằng int8_quantization không được hỗ trợ với FSDP.

Các loại phiên bản và siêu tham số tương thích

Yêu cầu bộ nhớ trong quá trình tinh chỉnh có thể thay đổi dựa trên một số yếu tố:

• Loại mô hình – Model 7B có yêu cầu bộ nhớ GPU ít nhất và 70B có yêu cầu bộ nhớ lớn nhất
• Độ dài đầu vào tối đa – Giá trị độ dài đầu vào cao hơn dẫn đến việc xử lý nhiều mã thông báo hơn cùng một lúc và do đó yêu cầu nhiều bộ nhớ CUDA hơn
• Kích thước lô – Kích thước lô lớn hơn yêu cầu bộ nhớ CUDA lớn hơn và do đó yêu cầu loại phiên bản lớn hơn
• Lượng tử hóa Int8 – Nếu sử dụng lượng tử hóa Int8, mô hình được tải ở độ chính xác thấp và do đó cần ít bộ nhớ CUDA hơn

Để giúp bạn bắt đầu, chúng tôi cung cấp một tập hợp các loại phiên bản, siêu tham số và loại mô hình khác nhau có thể được tinh chỉnh thành công. Bạn có thể chọn cấu hình theo yêu cầu và tính khả dụng của các loại phiên bản. Chúng tôi tinh chỉnh cả ba mô hình trên nhiều cài đặt khác nhau với ba kỷ nguyên trên một tập hợp con của tập dữ liệu Dolly với các ví dụ tóm tắt.

mô hình 7B

Bảng sau đây tóm tắt các tùy chọn tinh chỉnh trên mẫu 7B.

13B

Bảng sau đây tóm tắt các tùy chọn tinh chỉnh trên mẫu 13B.

70B

Bảng sau đây tóm tắt các tùy chọn tinh chỉnh trên mẫu 70B.

Khuyến nghị về loại phiên bản và siêu tham số

Khi tinh chỉnh độ chính xác của mô hình, hãy ghi nhớ những điều sau:

• Các model lớn hơn như 70B mang lại hiệu suất tốt hơn 7B
• Hiệu suất không có lượng tử hóa Int8 sẽ tốt hơn hiệu suất có lượng tử hóa INT8

Lưu ý thời gian đào tạo và yêu cầu bộ nhớ CUDA sau:

• Cài đặt int8_quantization=True giảm yêu cầu về trí nhớ và dẫn đến việc luyện tập nhanh hơn.
• Giảm per_device_train_batch_size và max_input_length giảm yêu cầu bộ nhớ và do đó có thể chạy trên các phiên bản nhỏ hơn. Tuy nhiên, việc đặt giá trị rất thấp có thể làm tăng thời gian huấn luyện.
• Nếu bạn không sử dụng lượng tử hóa Int8 (int8_quantization=False), hãy sử dụng FSDP (enable_fsdp=True) để đào tạo nhanh hơn và hiệu quả hơn.

Khi chọn loại phiên bản, hãy cân nhắc những điều sau:

• Phiên bản G5 cung cấp hoạt động đào tạo hiệu quả nhất trong số các loại phiên bản được hỗ trợ. Do đó, nếu bạn có sẵn phiên bản G5, bạn nên sử dụng chúng.
• Thời gian đào tạo phần lớn phụ thuộc vào số lượng GPU và bộ nhớ CUDA có sẵn. Do đó, việc đào tạo trên các phiên bản có cùng số lượng GPU (ví dụ: ml.g5.2xlarge và ml.g5.4xlarge) gần như giống nhau. Do đó, bạn có thể sử dụng phiên bản rẻ hơn để đào tạo (ml.g5.2xlarge).
• Khi sử dụng phiên bản p3, quá trình đào tạo sẽ được thực hiện với độ chính xác 32 bit vì bfloat16 không được hỗ trợ trên các phiên bản này. Do đó, công việc đào tạo sẽ tiêu tốn gấp đôi dung lượng bộ nhớ CUDA khi đào tạo trên phiên bản p3 so với phiên bản g5.

Để tìm hiểu về chi phí đào tạo cho mỗi phiên bản, hãy tham khảo Phiên bản Amazon EC2 G5.

Nếu tập dữ liệu ở định dạng điều chỉnh lệnh và trình tự đầu vào+hoàn thành nhỏ (chẳng hạn như 50–100 từ), thì giá trị cao của max_input_length dẫn đến hiệu suất rất kém. Giá trị mặc định của tham số này là -1, tương ứng với max_input_length năm 2048 cho các mẫu Llama. Do đó, chúng tôi khuyên rằng nếu tập dữ liệu của bạn chứa các mẫu nhỏ, hãy sử dụng giá trị nhỏ cho max_input_length (chẳng hạn như 200–400).

Cuối cùng, do nhu cầu cao đối với các phiên bản G5, bạn có thể gặp phải lỗi không có sẵn các phiên bản này trong khu vực của mình. “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” Nếu bạn gặp lỗi này, hãy thử lại công việc đào tạo hoặc thử một Khu vực khác.

Các vấn đề khi tinh chỉnh các mô hình rất lớn

Trong phần này, chúng ta thảo luận hai vấn đề khi tinh chỉnh các mô hình rất lớn.

Vô hiệu hóa nén đầu ra

Theo mặc định, đầu ra của công việc đào tạo là mô hình đã đào tạo được nén ở định dạng .tar.gz trước khi tải lên Amazon S3. Tuy nhiên, do kích thước của mô hình lớn nên bước này có thể mất nhiều thời gian. Ví dụ: việc nén và tải lên mô hình 70B có thể mất hơn 4 giờ. Để tránh sự cố này, bạn có thể sử dụng tính năng tắt tính năng nén đầu ra được nền tảng đào tạo SageMaker hỗ trợ. Trong trường hợp này, mô hình được tải lên mà không cần nén, mô hình này sẽ được sử dụng tiếp để triển khai:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

Sự cố hết thời gian chờ của kernel SageMaker Studio

Do kích thước của mô hình Llama 70B, công việc đào tạo có thể mất vài giờ và nhân SageMaker Studio có thể chết trong giai đoạn đào tạo. Tuy nhiên, trong thời gian này, quá trình đào tạo vẫn diễn ra trong SageMaker. Nếu điều này xảy ra, bạn vẫn có thể triển khai điểm cuối bằng cách sử dụng tên công việc đào tạo kèm theo mã sau:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

Để tìm tên công việc đào tạo, hãy điều hướng đến bảng điều khiển SageMaker và bên dưới Hội thảo trong ngăn điều hướng, chọn Công việc đào tạo. Xác định tên công việc đào tạo và thay thế nó vào mã trước đó.

Kết luận

Trong bài đăng này, chúng tôi đã thảo luận về việc tinh chỉnh các mô hình Llama 2 của Meta bằng SageMaker JumpStart. Chúng tôi đã chỉ ra rằng bạn có thể sử dụng bảng điều khiển SageMaker JumpStart trong SageMaker Studio hoặc SageMaker Python SDK để tinh chỉnh và triển khai các mô hình này. Chúng tôi cũng thảo luận về kỹ thuật tinh chỉnh, loại phiên bản và siêu tham số được hỗ trợ. Ngoài ra, chúng tôi đã đưa ra các đề xuất để tối ưu hóa quá trình đào tạo dựa trên nhiều bài kiểm tra khác nhau mà chúng tôi đã thực hiện. Kết quả tinh chỉnh ba mô hình trên hai tập dữ liệu được trình bày ở phần phụ lục cuối bài viết. Như chúng ta có thể thấy từ những kết quả này, việc tinh chỉnh sẽ cải thiện khả năng tóm tắt so với các mô hình không tinh chỉnh. Bước tiếp theo, bạn có thể thử tinh chỉnh các mô hình này trên tập dữ liệu của riêng mình bằng cách sử dụng mã được cung cấp trong kho GitHub để kiểm tra và đánh giá kết quả cho các trường hợp sử dụng của bạn.

Các tác giả xin ghi nhận những đóng góp kỹ thuật của Christopher Whitten, Xin Huang, Kyle Ulrich, Sifei Li, Amy You, Adam Kozdrowicz, Evan Kravitz, Benjamin Crabtree, Haotian An, Manan Shah, Tony Cruz, Ernev Sharma, Jonathan Guinegagne và June Thắng.

Về các tác giả

Tiến sĩ Vivek Madan là một Nhà Khoa học Ứng dụng của nhóm Amazon SageMaker JumpStart. Ông lấy bằng Tiến sĩ tại Đại học Illinois tại Urbana-Champaign và là Nhà nghiên cứu Sau Tiến sĩ tại Georgia Tech. Anh ấy là một nhà nghiên cứu tích cực về học máy và thiết kế thuật toán và đã xuất bản các bài báo trong các hội nghị EMNLP, ICLR, COLT, FOCS và SODA.

Tiến sĩ Farooq Sabir là Kiến trúc sư giải pháp chuyên gia trí tuệ nhân tạo và học máy cao cấp tại AWS. Ông có bằng Tiến sĩ và Thạc sĩ Kỹ thuật Điện của Đại học Texas ở Austin và bằng Thạc sĩ Khoa học Máy tính của Viện Công nghệ Georgia. Anh ấy có hơn 15 năm kinh nghiệm làm việc và cũng thích giảng dạy và cố vấn cho sinh viên đại học. Tại AWS, anh giúp khách hàng hình thành và giải quyết các vấn đề kinh doanh của họ trong khoa học dữ liệu, máy học, thị giác máy tính, trí tuệ nhân tạo, tối ưu hóa số học và các lĩnh vực liên quan. Có trụ sở tại Dallas, Texas, anh ấy và gia đình thích đi du lịch và thực hiện các chuyến đi đường dài.

Tiến sĩ Ashish Khetan là Nhà khoa học ứng dụng cấp cao của Amazon SageMaker JumpStart và giúp phát triển các thuật toán máy học. Ông lấy bằng Tiến sĩ tại Đại học Illinois Urbana-Champaign. Ông là một nhà nghiên cứu tích cực về học máy và suy luận thống kê, đồng thời đã xuất bản nhiều bài báo tại các hội nghị NeurIPS, ICML, ICLR, JMLR, ACL và EMNLP.

Phụ lục

Phụ lục này cung cấp thông tin bổ sung về điểm chuẩn hiệu suất và định dạng tập dữ liệu.

Điểm chuẩn hiệu suất

Trong phần này, chúng tôi cung cấp kết quả để tinh chỉnh ba mô hình Llama 2 (7B, 13B và 70B) trên hai bộ dữ liệu khác nhau: Dolly và Hộp thoại. Đối với tập dữ liệu Dolly, nhiệm vụ của chúng tôi là tóm tắt một đoạn văn bản, trong khi đối với Dialogsum, chúng tôi tinh chỉnh mô hình để tóm tắt cuộc thảo luận giữa hai người. Trong các bảng sau, chúng tôi hiển thị thông tin đầu vào cho mô hình (lời nhắc và hướng dẫn), thông tin cơ bản (tóm tắt), phản hồi từ mô hình Llama 2 đã được huấn luyện trước và phản hồi từ mô hình Llama 2 đã tinh chỉnh cho từng mô hình trong số ba mô hình Llama 2 mẫu. Chúng tôi hiển thị kết quả suy luận cho năm điểm dữ liệu. Bạn có thể nhận thấy từ các bảng sau đây rằng các bản tóm tắt sẽ cải thiện cho cả hai tập dữ liệu khi chúng tôi tinh chỉnh các mô hình.

• Kết quả tinh chỉnh mô hình tạo văn bản Llama 2 7B trên tập dữ liệu Dolly:

• Kết quả tinh chỉnh mô hình tạo văn bản Llama 2 13B trên tập dữ liệu Dolly:

• Kết quả tinh chỉnh mô hình tạo văn bản Llama 2 70B trên tập dữ liệu Dolly:

• Kết quả tinh chỉnh mô hình tạo văn bản Llama 2 7B trên bộ dữ liệu Dialogsum:

• Kết quả tinh chỉnh mô hình Llama-2 13B trên bộ dữ liệu Dialogsum:

• Kết quả tinh chỉnh mô hình Llama 2 70B trên bộ dữ liệu Dialogsum:

Định dạng tập dữ liệu

Chúng tôi hiện cung cấp hai loại tinh chỉnh: tinh chỉnh hướng dẫn và tinh chỉnh thích ứng miền. Bạn có thể dễ dàng chuyển sang một trong các phương pháp đào tạo bằng cách chỉ định tham số instruction_tuned như 'True' hoặc là 'False'.

Định dạng thích ứng tên miền

Mô hình tạo văn bản cũng có thể được tinh chỉnh trên bất kỳ tập dữ liệu theo miền cụ thể nào. Sau khi được tinh chỉnh trên tập dữ liệu dành riêng cho miền, mô hình này dự kiến ​​sẽ tạo văn bản dành riêng cho miền và giải quyết các tác vụ NLP khác nhau trong miền cụ thể đó với lời nhắc vài lần.

Để nhập dữ liệu vào mô hình, hãy sử dụng thư mục đào tạo và xác thực tùy chọn. Mỗi thư mục chứa tệp CSV, JSON hoặc TXT. Đối với các tệp CSV và JSON, dữ liệu huấn luyện hoặc xác thực được sử dụng từ cột được gọi là văn bản hoặc cột đầu tiên nếu không có cột nào được gọi text được tìm thấy. Số lượng tệp đang được đào tạo và xác thực (nếu được cung cấp) tương ứng phải bằng 1.

Đầu ra là một mô hình được đào tạo có thể được triển khai để suy luận.

Sau đây là ví dụ về tệp TXT để tinh chỉnh mô hình tạo văn bản. Tệp TXT là hồ sơ SEC của Amazon từ năm 2021–2022:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

tinh chỉnh hướng dẫn

Mô hình tạo văn bản có thể được điều chỉnh theo hướng dẫn trên bất kỳ dữ liệu văn bản nào miễn là dữ liệu ở định dạng mong muốn. Mô hình điều chỉnh theo hướng dẫn có thể được triển khai thêm để suy luận.

Đối với đầu vào, hãy sử dụng thư mục đào tạo và xác thực tùy chọn. Các thư mục đào tạo và xác thực phải chứa một hoặc nhiều tệp được định dạng dòng JSON (.jsonl). Đặc biệt, thư mục tàu cũng có thể chứa tệp *.json tùy chọn mô tả các định dạng đầu vào và đầu ra.

Mô hình tốt nhất được chọn theo mức độ mất xác thực, được tính vào cuối mỗi kỷ nguyên. Nếu không cung cấp bộ xác thực, phần trăm (có thể điều chỉnh) của dữ liệu huấn luyện sẽ tự động được phân chia và sử dụng để xác thực.

Dữ liệu huấn luyện phải được định dạng ở định dạng dòng JSON (.jsonl), trong đó mỗi dòng là một từ điển biểu thị một mẫu dữ liệu duy nhất. Tất cả dữ liệu đào tạo phải nằm trong một thư mục duy nhất; tuy nhiên, nó có thể được lưu trong nhiều tệp .jsonl. Phần mở rộng tệp .jsonl là bắt buộc. Thư mục đào tạo cũng có thể chứa một template.json tập tin mô tả các định dạng đầu vào và đầu ra. Nếu không có tệp mẫu nào được cung cấp, mẫu sau sẽ được sử dụng:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

Trong trường hợp này, dữ liệu trong các mục nhập dòng JSON phải bao gồm prompt và completion lĩnh vực. Nếu một mẫu tùy chỉnh được cung cấp, nó cũng phải sử dụng prompt và completion các phím để xác định các mẫu đầu vào và đầu ra. Sau đây là mẫu tùy chỉnh mẫu:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

Ở đây, dữ liệu trong các mục nhập dòng JSON phải bao gồm question, contextvà answer các lĩnh vực.

Đầu ra là một mô hình được đào tạo có thể được triển khai để suy luận.

Chúng tôi cung cấp một tập hợp con dữ liệu hồ sơ SEC của Amazon. Nó được tải xuống từ có sẵn công khai EDGAR. Để biết hướng dẫn về cách truy cập dữ liệu, hãy tham khảo Truy cập dữ liệu EDGAR.

Giấy phép: Giấy phép Creative Commons Ghi công-Chia sẻ tương tự (CC BY-SA 4.0)

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Ô tô / Xe điện, Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• ChartPrime. Nâng cao trò chơi giao dịch của bạn với ChartPrime. Truy cập Tại đây.
• BlockOffsets. Hiện đại hóa quyền sở hữu bù đắp môi trường. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/