Amazon SageMaker JumpStart에서 텍스트 생성을 위해 Llama 2를 미세 조정 | 아마존 웹 서비스

오늘 우리는 Meta를 사용하여 Llama 2 모델을 미세 조정하는 기능을 발표하게 되어 기쁘게 생각합니다. Amazon SageMaker 점프스타트. Llama 2 LLM(대형 언어 모델) 제품군은 7억~70억 개의 매개변수 범위에 걸쳐 사전 훈련되고 미세 조정된 생성 텍스트 모델 컬렉션입니다. Llama-2-chat이라고 하는 미세 조정된 LLM은 대화 사용 사례에 최적화되어 있습니다. 이러한 모델을 쉽게 시험해보고 ML을 빠르게 시작할 수 있도록 알고리즘, 모델 및 ML 솔루션에 대한 액세스를 제공하는 기계 학습(ML) 허브인 SageMaker JumpStart와 함께 사용할 수 있습니다. 이제 SageMaker JumpStart를 사용하여 7억, 13억 및 70억 매개변수 Llama 2 텍스트 생성 모델을 미세 조정할 수도 있습니다. 아마존 세이지 메이커 스튜디오 몇 번의 클릭만으로 UI를 만들거나 SageMaker Python SDK를 사용할 수 있습니다.

생성적 AI 기반 모델은 현재 XNUMX년 넘게 대부분의 ML 및 인공 지능 연구와 사용 사례의 초점이 되어 왔습니다. 이러한 기초 모델은 크기가 크고 여러 개의 대규모 데이터 세트와 수백 개의 작업에 대해 훈련되었기 때문에 텍스트 생성, 요약, 질문 답변, 이미지 및 비디오 생성 등과 같은 생성 작업에서 매우 잘 수행됩니다. 이러한 모델의 뛰어난 일반화 기능에도 불구하고 매우 구체적인 도메인 데이터(예: 의료 또는 금융 서비스)가 있는 사용 사례가 종종 있으므로 이러한 모델은 이러한 사용 사례에 좋은 결과를 제공하지 못할 수 있습니다. 이로 인해 사용 사례별 및 도메인별 데이터에 대해 이러한 생성 AI 모델을 더욱 세부적으로 조정할 필요가 있습니다.

이 게시물에서는 SageMaker JumpStart를 통해 사전 훈련된 Llama 2 텍스트 생성 모델을 미세 조정하는 방법을 안내합니다.

라마 2 란?

Llama 2는 최적화된 변환기 아키텍처를 사용하는 자동 회귀 언어 모델입니다. Llama 2는 영어로 된 상업용 및 연구용입니다. 7억, 13억, 70억 등의 다양한 매개변수 크기와 사전 훈련 및 미세 조정된 변형으로 제공됩니다. Meta에 따르면 조정된 버전은 지도 미세 조정(SFT) 및 인간 피드백을 통한 강화 학습(RLHF)을 사용하여 유용성과 안전성에 대한 인간의 선호도에 맞춥니다. Llama 2는 공개적으로 사용 가능한 소스에서 2조 개의 데이터 토큰으로 사전 훈련되었습니다. 조정된 모델은 비서와 같은 채팅을 위한 반면 사전 훈련된 모델은 다양한 자연어 생성 작업에 맞게 조정할 수 있습니다. 개발자가 사용하는 모델의 버전에 관계없이 Meta의 책임감 있는 사용 가이드 적절한 안전 완화로 모델을 사용자 정의하고 최적화하는 데 필요할 수 있는 추가 미세 조정을 안내하는 데 도움을 줄 수 있습니다.

현재 Llama 2는 다음 지역에서 사용할 수 있습니다.

• 사용 가능한 사전 학습된 모델 배포: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• 미세 조정된 모델을 미세 조정하고 배포합니다. “us-east-1”, “us-west-2”,“eu-west-1”

SageMaker JumpStart란?

SageMaker JumpStart를 사용하면 ML 실무자는 공개적으로 사용 가능한 다양한 기초 모델 중에서 선택할 수 있습니다. ML 실무자는 기초 모델을 전용 모델에 배포할 수 있습니다. 아마존 세이지 메이커 네트워크 격리 환경의 인스턴스를 생성하고 모델 훈련 및 배포를 위해 SageMaker를 사용하여 모델을 사용자 정의합니다. 이제 SageMaker Studio에서 몇 번의 클릭만으로 또는 SageMaker Python SDK를 통해 프로그래밍 방식으로 Llama 2를 검색하고 배포할 수 있습니다. 이를 통해 다음과 같은 SageMaker 기능을 통해 모델 성능 및 MLOps 제어를 도출할 수 있습니다. Amazon SageMaker 파이프 라인, Amazon SageMaker 디버거또는 컨테이너 로그. 이 모델은 AWS 보안 환경과 VPC 제어에 배포되어 데이터 보안을 보장합니다. 또한 SageMaker JumpStart를 통해 Llama2 7B, 13B 및 70B 사전 훈련된 텍스트 생성 모델을 미세 조정할 수 있습니다.

Llama2 모델 미세 조정

SageMaker Studio UI 또는 SageMaker Python SDK를 사용하여 모델을 미세 조정할 수 있습니다. 이 섹션에서는 두 가지 방법을 모두 논의합니다.

SageMaker Studio UI를 통한 코드 없이 미세 조정

SageMaker Studio에서는 SageMaker JumpStart를 통해 Llama 2 모델에 액세스할 수 있습니다. 모델, 노트북 및 솔루션다음 스크린 샷에 표시된대로

Llama 2 모델이 표시되지 않으면 종료했다가 다시 시작해 SageMaker Studio 버전을 업데이트하십시오. 버전 업데이트에 대한 자세한 내용은 다음을 참조하세요. Studio 앱 종료 및 업데이트.

선택하여 다른 네 가지 모델 변형을 찾을 수도 있습니다. 모든 텍스트 생성 모델 살펴보기 아니면 검색창에 라마를 검색해 보세요.

이 페이지에서 다음을 가리킬 수 있습니다. 아마존 단순 스토리지 서비스 (Amazon S3) 미세 조정을 위한 훈련 및 검증 데이터 세트가 포함된 버킷입니다. 또한 미세 조정을 위한 배포 구성, 하이퍼 매개변수 및 보안 설정을 구성할 수 있습니다. 그런 다음 선택할 수 있습니다 Train SageMaker ML 인스턴스에서 훈련 작업을 시작합니다. 앞의 스크린샷은 Llama-2 7B 모델의 미세 조정 페이지를 보여줍니다. 그러나 해당 모델 페이지를 유사하게 사용하여 13B 및 70B Llama 2 텍스트 생성 모델을 미세 조정할 수 있습니다. Llama 2 모델을 사용하려면 EULA(최종 사용자 사용권 계약)에 동의해야 합니다. 선택하면 표시됩니다. Train , 다음 스크린샷과 같이. 선택하다 EULA 및 AUP를 읽고 이에 동의합니다. 미세 조정 작업을 시작합니다.

모델 배포

모델을 미세 조정한 후 SageMaker JumpStart의 모델 페이지를 사용하여 배포할 수 있습니다. 다음 스크린샷과 같이 미세 조정이 완료되면 미세 조정된 모델을 배포하는 옵션이 나타납니다.

SageMaker Python SDK를 통해 미세 조정

SageMaker Python SDK를 사용하여 Llama 2 모델을 미세 조정할 수도 있습니다. 다음은 데이터 세트에서 Llama 2 7B를 미세 조정하는 샘플 코드입니다.

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

추정기에서 직접 미세 조정된 모델을 배포할 수 있습니다.

finetuned_predictor = estimator.deploy()

다음에서도 코드를 찾을 수 있습니다. SageMaker JumpStart에서 LLaMA 2 모델 미세 조정. 여기에는 데이터세트 준비, 사용자 정의 데이터세트에 대한 교육, 미세 조정된 모델 배포가 포함됩니다. 요약 작업의 예를 통해 Dolly 데이터 세트의 하위 집합에 대한 미세 조정을 보여줍니다. 다음은 정답 응답과 함께 미세 조정된 응답과 미세 조정되지 않은 응답이 포함된 입력 예입니다.

모델에 입력:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Ground Truth 응답:

Felix Luna died on November 5th, 2009

미세 조정되지 않은 모델의 응답:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

미세 조정된 모델의 응답:

Félix Luna died on November 5th, 2009.nn

Dolly 및 Dialogsum 데이터세트의 다양한 모델에 대한 성능 벤치마킹은 다음을 참조하세요. 성능 벤치마킹 이 게시물 끝에 있는 부록의 섹션을 참조하세요.

미세 조정 기술

Llama와 같은 언어 모델의 크기는 10GB 이상, 심지어 100GB 이상입니다. 이러한 대규모 모델을 미세 조정하려면 상당히 높은 CUDA 메모리를 갖춘 인스턴스가 필요합니다. 게다가, 이러한 모델을 훈련하는 것은 모델의 크기로 인해 매우 느릴 수 있습니다. 따라서 효율적인 미세 조정을 위해 다음과 같은 최적화를 사용합니다.

• 낮은 순위 적응(LoRA) – 대형 모델의 효율적인 미세 조정을 위한 PEFT(Parameter Efficient Fine-Tuning)의 일종입니다. 여기에서는 전체 모델을 동결하고 조정 가능한 작은 매개변수 또는 레이어 세트만 모델에 추가합니다. 예를 들어 Llama 7 2B에 대해 7억 개의 매개변수를 모두 훈련하는 대신 매개변수의 1% 미만을 미세 조정할 수 있습니다. 이는 매개변수의 1%에 대해서만 기울기, 최적화 상태 및 기타 훈련 관련 정보만 저장하면 되므로 메모리 요구 사항을 크게 줄이는 데 도움이 됩니다. 또한 이는 교육 시간과 비용을 줄이는 데 도움이 됩니다. 이 방법에 대한 자세한 내용은 다음을 참조하세요. LoRA: 대규모 언어 모델의 낮은 순위 적응.
• Int8 양자화 – LoRA와 같은 최적화를 적용하더라도 Llama 70B와 같은 모델은 여전히 ​​학습하기에는 너무 큽니다. 훈련 중에 메모리 공간을 줄이기 위해 훈련 중에 Int8 양자화를 사용할 수 있습니다. 양자화는 일반적으로 부동 소수점 데이터 유형의 정밀도를 감소시킵니다. 이렇게 하면 모델 가중치를 저장하는 데 필요한 메모리가 줄어들지만 정보 손실로 인해 성능이 저하됩니다. Int8 양자화는 8/XNUMX 정밀도만 사용하지만 단순히 비트를 삭제하는 것이 아니기 때문에 성능 저하가 발생하지 않습니다. 데이터를 한 유형에서 다른 유형으로 반올림합니다. IntXNUMX 양자화에 대해 알아보려면 다음을 참조하세요. LLM.int8(): 대규모 변환기를 위한 8비트 행렬 곱셈.
• 완전 샤딩 데이터 병렬(FSDP) – 이는 모델의 매개변수를 데이터 병렬 작업자 간에 분할하고 선택적으로 훈련 계산의 일부를 CPU로 오프로드할 수 있는 일종의 데이터 병렬 훈련 알고리즘입니다. 매개변수는 서로 다른 GPU에 걸쳐 분할되지만 각 마이크로배치의 계산은 GPU 작업자에 따라 로컬로 수행됩니다. 매개변수를 보다 균일하게 분할하고 훈련 중 통신 및 계산 중첩을 통해 최적화된 성능을 달성합니다.

다음 표에서는 세 가지 Llama 2 모델의 다양한 방법을 비교합니다.

Llama 모델의 미세 조정은 다음에서 제공하는 스크립트를 기반으로 합니다. GitHub 레포.

훈련 데이터 세트 형식

SageMaker JumpStart는 현재 도메인 적응 형식과 명령 조정 형식 모두의 데이터 세트를 지원합니다. 이 섹션에서는 두 형식 모두의 예시 데이터 세트를 지정합니다. 자세한 내용은 다음을 참조하세요. 데이터세트 형식화 부록의 섹션.

도메인 적응 형식

텍스트 생성 Llama 2 모델은 모든 도메인별 데이터 세트에서 미세 조정할 수 있습니다. 도메인별 데이터 세트를 미세 조정한 후 모델은 도메인별 텍스트를 생성하고 몇 번의 프롬프트를 통해 해당 특정 도메인에서 다양한 NLP 작업을 해결할 것으로 예상됩니다. 이 데이터 세트를 사용하면 입력이 CSV, JSON 또는 TXT 파일로 구성됩니다. 예를 들어 입력 데이터는 Amazon의 SEC 제출 텍스트 파일일 수 있습니다.

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

명령어 튜닝 형식

명령어 미세 조정에서 모델은 명령어를 사용하여 설명된 일련의 자연어 처리(NLP) 작업에 맞게 미세 조정됩니다. 이는 제로샷 프롬프트를 통해 보이지 않는 작업에 대한 모델 성능을 향상시키는 데 도움이 됩니다. 명령어 튜닝 데이터 세트 형식에서 다음을 지정합니다. template.json 입력 및 출력 형식을 설명하는 파일입니다. 예를 들어 파일의 각 줄은 train.jsonl 다음과 같이 보입니다.

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

추가 파일 template.json 다음과 같이 보입니다.

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

훈련에 지원되는 하이퍼파라미터

Llama 2 미세 조정은 다양한 하이퍼파라미터를 지원하며 각 하이퍼파라미터는 미세 조정된 모델의 메모리 요구 사항, 훈련 속도 및 성능에 영향을 미칠 수 있습니다.

• 시대 – 미세 조정 알고리즘이 교육 데이터 세트를 통과하는 패스 수입니다. 1보다 큰 정수여야 합니다. 기본값은 5입니다.
• 학습_속도 – 각 훈련 예제 배치를 처리한 후 모델 가중치가 업데이트되는 속도입니다. 0보다 큰 양수 부동 소수점이어야 합니다. 기본값은 1e-4입니다.
• Instruction_tuned – 모델을 교육할 것인지 여부. 반드시 'True'또는'False'. 기본값은 'False'.
• per_device_train_batch_size – 훈련을 위한 GPU 코어/CPU당 배치 크기입니다. 양의 정수여야 합니다. 기본값은 4입니다.
• per_device_eval_batch_size – 평가를 위한 GPU 코어/CPU당 배치 크기입니다. 양의 정수여야 합니다. 기본값은 1입니다.
• max_train_samples – 디버깅 목적 또는 빠른 교육을 위해 교육 예제 수를 이 값으로 자릅니다. 값 -1은 모든 훈련 샘플을 사용함을 의미합니다. 양의 정수 또는 -1이어야 합니다. 기본값은 -1입니다.
• max_val_samples – 디버깅 목적이나 빠른 교육을 위해 검증 예제 수를 이 값으로 자릅니다. 값 -1은 모든 검증 샘플을 사용함을 의미합니다. 양의 정수 또는 -1이어야 합니다. 기본값은 -1입니다.
• 최대 입력_길이 – 토큰화 후 최대 총 입력 시퀀스 길이. 이보다 긴 시퀀스는 잘립니다. -1이면, max_input_length 최소값 1024와 토크나이저에서 정의한 최대 모델 길이로 설정됩니다. 양수 값으로 설정하면 max_input_length 제공된 값의 최소값으로 설정되며 model_max_length 토크나이저에 의해 정의됩니다. 양의 정수 또는 -1이어야 합니다. 기본값은 -1입니다.
• 검증_분할_비율 – 검증 채널이 다음과 같은 경우 none, 열차 데이터의 열차 검증 분할 비율은 0-1 사이여야 합니다. 기본값은 0.2입니다.
• train_data_split_seed – 검증 데이터가 없는 경우 입력 훈련 데이터를 알고리즘에서 사용하는 훈련 및 검증 데이터로 무작위로 분할하는 문제가 수정됩니다. 정수여야 합니다. 기본값은 0입니다.
• preprocessing_num_workers – 전처리에 사용할 프로세스 수입니다. 만약에 None, 주요 프로세스는 전처리에 사용됩니다. 기본값은 None.
• lora_r – Lora R. 양의 정수여야 합니다. 기본값은 8입니다.
• lora_alpha – 로라 알파. 양의 정수여야 합니다. 기본값은 32입니다.
• lora_dropout – 로라 드롭아웃. 0과 1 사이의 양수 부동 소수점이어야 합니다. 기본값은 0.05입니다.
• int8_양자화 - 만약 True, 모델은 훈련을 위해 8비트 정밀도로 로드됩니다. 7B 및 13B의 기본값은 다음과 같습니다. False. 70B의 기본값은 True.
• 활성화_fsdp - 만약 True, 교육에서는 FSDP를 사용합니다. 7B 및 13B의 기본값은 다음과 같습니다. True. 70B의 기본값은 False. 그 주 int8_quantization FSDP에서는 지원되지 않습니다.

인스턴스 유형 및 호환되는 하이퍼파라미터

미세 조정 중 메모리 요구 사항은 여러 요인에 따라 달라질 수 있습니다.

• 모델 유형 – 7B 모델은 GPU 메모리 요구 사항이 가장 적고 70B는 메모리 요구 사항이 가장 큽니다.
• 최대 입력 길이 – 입력 길이 값이 높을수록 한 번에 더 많은 토큰을 처리하게 되므로 더 많은 CUDA 메모리가 필요합니다.
• 배치 크기 – 배치 크기가 클수록 더 큰 CUDA 메모리가 필요하므로 더 큰 인스턴스 유형이 필요합니다.
• Int8 양자화 – Int8 양자화를 사용하는 경우 모델은 낮은 정밀도로 로드되므로 CUDA 메모리가 덜 필요합니다.

시작하는 데 도움이 되도록 성공적으로 미세 조정할 수 있는 다양한 인스턴스 유형, 하이퍼파라미터 및 모델 유형의 조합 세트를 제공합니다. 요구 사항 및 인스턴스 유형의 가용성에 따라 구성을 선택할 수 있습니다. 요약 예제가 포함된 Dolly 데이터세트의 하위 집합에 대해 세 가지 시대를 사용하여 다양한 설정에서 세 가지 모델을 모두 미세 조정합니다.

7B 모델

다음 표에는 7B 모델의 미세 조정 옵션이 요약되어 있습니다.

13B

다음 표에는 13B 모델의 미세 조정 옵션이 요약되어 있습니다.

70B

다음 표에는 70B 모델의 미세 조정 옵션이 요약되어 있습니다.

인스턴스 유형 및 하이퍼파라미터에 대한 권장 사항

모델의 정확도를 미세 조정할 때 다음 사항에 유의하세요.

• 70B와 같은 대형 모델은 7B보다 더 나은 성능을 제공합니다.
• Int8 양자화가 없는 성능은 INT8 양자화가 있는 성능보다 우수합니다.

다음 교육 시간 및 CUDA 메모리 요구 사항에 유의하세요.

• 환경 int8_quantization=True 메모리 요구 사항이 줄어들고 더 빠른 훈련이 가능해집니다.
• 감소 per_device_train_batch_size 및 max_input_length 메모리 요구 사항이 줄어들므로 더 작은 인스턴스에서 실행할 수 있습니다. 그러나 매우 낮은 값을 설정하면 훈련 시간이 늘어날 수 있습니다.
• Int8 양자화를 사용하지 않는 경우(int8_quantization=False), FSDP(enable_fsdp=True) 더 빠르고 효율적인 훈련을 위해.

인스턴스 유형을 선택할 때 다음을 고려하십시오.

• G5 인스턴스는 지원되는 인스턴스 유형 중에서 가장 효율적인 교육을 제공합니다. 따라서 사용 가능한 G5 인스턴스가 있으면 이를 사용해야 합니다.
• 훈련 시간은 GPU 수와 사용 가능한 CUDA 메모리 양에 따라 크게 달라집니다. 따라서 동일한 수의 GPU(예: ml.g5.2xlarge 및 ml.g5.4xlarge)를 사용하는 인스턴스에 대한 교육은 거의 동일합니다. 따라서 훈련에는 더 저렴한 인스턴스(ml.g5.2xlarge)를 사용할 수 있습니다.
• p3 인스턴스를 사용하는 경우 bfloat32이 해당 인스턴스에서 지원되지 않으므로 교육은 16비트 정밀도로 수행됩니다. 따라서 훈련 작업은 g3 인스턴스에 비해 p5 인스턴스에서 훈련할 때 CUDA 메모리 양을 두 배로 소비합니다.

인스턴스당 훈련 비용에 대해 알아보려면 다음을 참조하세요. Amazon EC2 G5 인스턴스.

데이터세트가 명령 조정 형식이고 입력+완료 시퀀스가 ​​작은 경우(예: 50~100단어) 높은 값은 max_input_length 매우 낮은 성능으로 이어집니다. 이 매개변수의 기본값은 -1입니다. max_input_length Llama 모델의 경우 2048년. 따라서 데이터 세트에 작은 샘플이 포함된 경우 작은 값을 사용하는 것이 좋습니다. max_input_length (예: 200-400).

마지막으로, G5 인스턴스에 대한 높은 수요로 인해 해당 지역에서 이러한 인스턴스를 사용하지 못할 수 있으며 오류가 발생할 수 있습니다. “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” 이 오류가 발생하면 훈련 작업을 다시 시도하거나 다른 리전을 시도하십시오.

매우 큰 모델을 미세 조정할 때 발생하는 문제

이 섹션에서는 매우 큰 모델을 미세 조정할 때 발생하는 두 가지 문제에 대해 논의합니다.

출력 압축 비활성화

기본적으로 훈련 작업의 출력은 Amazon S3에 업로드되기 전에 .tar.gz 형식으로 압축된 훈련된 모델입니다. 그러나 모델의 크기가 크기 때문에 이 단계는 시간이 오래 걸릴 수 있습니다. 예를 들어 70B 모델을 압축하고 업로드하는 데는 4시간 이상이 걸릴 수 있습니다. 이 문제를 방지하려면 SageMaker 교육 플랫폼에서 지원하는 출력 압축 비활성화 기능을 사용할 수 있습니다. 이 경우 모델은 압축 없이 업로드되며 배포에 추가로 사용됩니다.

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

SageMaker Studio 커널 시간 초과 문제

Llama 70B 모델의 크기로 인해 훈련 ​​작업에 몇 시간이 걸릴 수 있으며 훈련 단계 중에 SageMaker Studio 커널이 종료될 수 있습니다. 그러나 이 기간 동안 SageMaker에서는 훈련이 계속 실행됩니다. 이런 경우에도 다음 코드와 함께 훈련 작업 이름을 사용하여 엔드포인트를 배포할 수 있습니다.

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

훈련 작업 이름을 찾으려면 SageMaker 콘솔로 이동한 후 트레이닝 탐색 창에서 훈련 직업. 훈련 작업 이름을 식별하고 이를 이전 코드로 대체합니다.

결론

이 게시물에서는 SageMaker JumpStart를 사용하여 Meta의 Llama 2 모델을 미세 조정하는 방법에 대해 논의했습니다. SageMaker Studio 또는 SageMaker Python SDK의 SageMaker JumpStart 콘솔을 사용하여 이러한 모델을 미세 조정하고 배포할 수 있음을 보여주었습니다. 또한 미세 조정 기술, 인스턴스 유형 및 지원되는 하이퍼파라미터에 대해서도 논의했습니다. 또한, 우리가 실시한 다양한 테스트를 바탕으로 최적화된 교육에 대한 권장 사항을 간략하게 설명했습니다. 두 개의 데이터 세트에 대해 세 가지 모델을 미세 조정한 결과는 이 게시물 끝에 있는 부록에 나와 있습니다. 이러한 결과에서 볼 수 있듯이 미세 조정은 미세 조정되지 않은 모델에 비해 요약을 향상시킵니다. 다음 단계에서는 GitHub 리포지토리에 제공된 코드를 사용하여 자신의 데이터 세트에서 이러한 모델을 미세 조정하여 사용 사례에 대한 결과를 테스트하고 벤치마킹할 수 있습니다.

저자들은 Christopher Whitten, Xin Huang, Kyle Ulrich, Sifei Li, Amy You, Adam Kozdrowicz, Evan Kravitz, Benjamin Crabtree, Haotian An, Manan Shah, Tony Cruz, Ernev Sharma, Jonathan Guinegagne 및 June의 기술적 기여에 감사를 표하고 싶습니다. 이겼다.

저자에 관하여

비벡 마단 박사 Amazon SageMaker JumpStart 팀의 응용 과학자입니다. 그는 일리노이 대학교 어바나 샴페인에서 박사 학위를 받았고 조지아 공대에서 박사후 연구원이었습니다. 그는 기계 학습 및 알고리즘 설계 분야에서 활발한 연구원이며 EMNLP, ICLR, COLT, FOCS 및 SODA 컨퍼런스에 논문을 발표했습니다.

파루크 사비르 박사 AWS의 수석 인공 지능 및 기계 학습 전문가 솔루션 설계자입니다. 그는 오스틴에 있는 텍사스 대학교에서 전기 공학 박사 및 석사 학위를, 조지아 공과 대학에서 컴퓨터 공학 석사 학위를 받았습니다. 그는 15년 이상의 경력을 가지고 있으며 대학생들을 가르치고 멘토링하는 것을 좋아합니다. AWS에서 그는 고객이 데이터 과학, 기계 학습, 컴퓨터 비전, 인공 지능, 수치 최적화 및 관련 도메인에서 비즈니스 문제를 공식화하고 해결하도록 돕습니다. 텍사스주 댈러스에 거주하는 그와 그의 가족은 여행과 장거리 자동차 여행을 좋아합니다.

Ashish Khetan 박사 Amazon SageMaker JumpStart의 수석 응용 과학자이며 기계 학습 알고리즘 개발을 돕습니다. 그는 University of Illinois Urbana-Champaign에서 박사 학위를 받았습니다. 그는 기계 학습 및 통계적 추론 분야에서 활동적인 연구원이며 NeurIPS, ICML, ICLR, JMLR, ACL 및 EMNLP 컨퍼런스에서 많은 논문을 발표했습니다.

충수

이 부록에서는 성능 벤치마킹 및 데이터세트 형식화에 대한 추가 정보를 제공합니다.

성능 벤치마킹

이 섹션에서는 두 개의 서로 다른 데이터 세트에서 세 개의 Llama 2 모델(7B, 13B 및 70B)을 미세 조정한 결과를 제공합니다. 인형 및 대화상자. Dolly 데이터세트의 경우 우리의 임무는 텍스트 단락을 요약하는 것이고, Dialogsum의 경우 두 사람 간의 토론을 요약하기 위해 모델을 미세 조정하는 것입니다. 다음 표에서는 모델에 대한 입력(프롬프트 및 지침), 실제 정보(요약), 사전 훈련된 Llama 2 모델의 응답, 세 개의 Llama 각각에 대한 미세 조정된 Llama 2 모델의 응답을 보여줍니다. 2가지 모델. XNUMX개의 데이터 포인트에 대한 추론 결과를 보여줍니다. 다음 표에서 모델을 미세 조정하면 두 데이터 세트 모두에 대한 요약이 향상된다는 것을 알 수 있습니다.

• Dolly 데이터 세트에서 Llama 2 7B 텍스트 생성 모델을 미세 조정한 결과:

• Dolly 데이터 세트에서 Llama 2 13B 텍스트 생성 모델을 미세 조정한 결과:

• Dolly 데이터 세트에서 Llama 2 70B 텍스트 생성 모델을 미세 조정한 결과:

• Dialogsum 데이터 세트에서 Llama 2 7B 텍스트 생성 모델을 미세 조정한 결과:

• Dialogsum 데이터 세트에서 Llama-2 13B 모델을 미세 조정한 결과:

• Dialogsum 데이터 세트에서 Llama 2 70B 모델을 미세 조정한 결과:

데이터세트 형식화

현재 우리는 명령 미세 조정과 도메인 적응 미세 조정이라는 두 가지 유형의 미세 조정을 제공합니다. 매개변수를 지정하여 학습 방법 중 하나로 쉽게 전환할 수 있습니다. instruction_tuned 같이 'True'또는'False'.

도메인 적응 형식

텍스트 생성 모델은 모든 도메인별 데이터 세트에서 미세 조정할 수도 있습니다. 도메인별 데이터 세트를 미세 조정한 후 모델은 도메인별 텍스트를 생성하고 몇 번의 프롬프트를 통해 해당 특정 도메인에서 다양한 NLP 작업을 해결할 것으로 예상됩니다.

모델에 대한 입력을 위해 훈련 및 선택적 검증 디렉터리를 사용하십시오. 각 디렉터리에는 CSV, JSON 또는 TXT 파일이 포함되어 있습니다. CSV 및 JSON 파일의 경우 학습 또는 검증 데이터는 text라는 열에서 사용되며, 열이 없는 경우 첫 번째 열에서 사용됩니다. text 발견되었습니다. 훈련 및 검증(제공된 경우) 중인 파일 수는 각각 1과 같아야 합니다.

출력은 추론을 위해 배포할 수 있는 훈련된 모델입니다.

다음은 텍스트 생성 모델을 미세 조정하기 위한 TXT 파일의 예입니다. TXT 파일은 2021년부터 2022년까지 Amazon의 SEC 서류입니다.

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

명령어 미세 조정

텍스트 생성 모델은 데이터가 예상되는 형식인 경우 모든 텍스트 데이터에 대해 명령을 조정할 수 있습니다. 명령어 조정 모델은 추론을 위해 추가로 배포될 수 있습니다.

입력의 경우 교육 및 선택적 유효성 검사 디렉터리를 사용하세요. 열차 및 유효성 검사 디렉터리에는 하나 이상의 JSON 줄(.jsonl) 형식 파일이 포함되어야 합니다. 특히 train 디렉터리에는 입력 및 출력 형식을 설명하는 선택적 *.json 파일도 포함될 수 있습니다.

각 에포크가 끝날 때 계산된 검증 손실에 따라 가장 좋은 모델이 선택됩니다. 검증 세트가 제공되지 않으면 훈련 데이터의 (조정 가능한) 백분율이 자동으로 분할되어 검증에 사용됩니다.

학습 데이터는 JSON 라인(.jsonl) 형식으로 형식화되어야 하며, 여기서 각 라인은 단일 데이터 샘플을 나타내는 사전입니다. 모든 학습 데이터는 단일 폴더에 있어야 합니다. 그러나 여러 .jsonl 파일에 저장할 수 있습니다. .jsonl 파일 확장자는 필수입니다. 교육 폴더에는 template.json 입력 및 출력 형식을 설명하는 파일입니다. 템플릿 파일이 제공되지 않으면 다음 템플릿이 사용됩니다.

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

이 경우 JSON 라인 항목의 데이터에는 다음이 포함되어야 합니다. prompt 및 completion 필드. 사용자 정의 템플릿이 제공되는 경우에는 다음도 사용해야 합니다. prompt 및 completion 입력 및 출력 템플릿을 정의하는 키입니다. 다음은 샘플 사용자 정의 템플릿입니다.

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

여기서 JSON 라인 항목의 데이터에는 다음이 포함되어야 합니다. question, context및 answer 입력란에 입력 할 수 있습니다.

출력은 추론을 위해 배포할 수 있는 훈련된 모델입니다.

우리는 Amazon의 SEC 제출 데이터의 하위 집합을 제공합니다. 공개적으로 사용 가능한 곳에서 다운로드됩니다. EDGAR. 데이터 액세스에 대한 지침은 다음을 참조하세요. EDGAR 데이터 액세스.

특허: 크리에이티브 커먼즈 저작자표시-동일조건변경허락 라이선스(CC BY-SA 4.0)

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 자동차 / EV, 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 차트프라임. ChartPrime으로 트레이딩 게임을 향상시키십시오. 여기에서 액세스하십시오.
• BlockOffsets. 환경 오프셋 소유권 현대화. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/