Amazon SageMaker JumpStart에서 AlexaTM 20B 사용 가능

오늘 우리는 Amazon의 최신 기술의 공개 가용성을 발표합니다. 20억 개의 매개변수가 있는 Alexa Teacher 모델  (AlexaTM 20B)를 통해 Amazon SageMaker 점프스타트, SageMaker의 기계 학습 허브. AlexaTM 20B는 Amazon에서 개발한 다국어 대규모 sequence-to-sequence(seq2seq) 언어 모델입니다. 재무 보고서 요약에서 고객 서비스 챗봇에 대한 질문 답변에 이르기까지 광범위한 산업 사용 사례에 AlexaTM 20B를 사용할 수 있습니다. 사용 가능한 학습 예제가 거의 없거나 전혀 없는 경우에도 적용할 수 있습니다. 알렉사TM 20B 실적이 좋다 175억 GPT-3 모델 SuperGLUE와 같은 제로샷 학습 작업에 대한 성능을 보여주고 XNLI와 같은 다국어 제로샷 작업에 대한 최첨단 성능을 보여줍니다.

이 게시물에서는 다음에서 사용할 수 있는 JumpStart API를 통해 프로그래밍 방식으로 AlexaTM 20B 모델을 사용하여 추론을 배포하고 실행하는 방법에 대한 개요를 제공합니다. SageMaker Python SDK. 이 모델을 사용하여 여러 언어를 번역하고, 긴 형식의 텍스트를 요약하고, 주어진 컨텍스트를 기반으로 질문에 답하고, 사람이 쓴 텍스트와 구분할 수 없는 텍스트를 생성하는 방법을 보여줍니다.

AlexaTM 20B 및 상황에 맞는 학습

Amazon Alexa AI의 Alexa Teacher Model(AlexaTM) 프로그램은 대규모 다국어 딥 러닝 모델(주로 Transformer 기반)을 구축하도록 설계되어 일반화를 개선하고 다운스트림 작업에 대한 데이터 희소성을 처리하는 것을 목표로 합니다. 대규모 사전 교육을 통해 교사 모델은 희소 데이터에서 새로운 작업을 학습하고 개발자가 다운스트림 작업의 성능을 개선하도록 일반화할 수 있습니다. AlexaTM 20B가 보여준 경쟁력 있는 성능 일반적인 자연어 처리(NLP) 벤치마크 및 기계 번역, 데이터 생성 및 요약과 같은 작업에 대해

AlexaTM 20B와 같은 기본 모델을 사용하면 비용이 많이 드는 모델 사전 교육의 필요성이 줄어들고 적은 노력과 적은 작업별 교육 데이터로 작업 모델을 개발할 수 있는 최첨단 시작점을 제공합니다. 기본 모델의 주요 기능 중 하나는 매우 적은 양의 입력 예제와 미세 조정 또는 기울기 업데이트가 필요하지 않은 상태에서 다른 언어로 질문 및 답변과 같은 새로운 작업을 수행하도록 모델을 가르칠 수 있다는 것입니다. 이것은 다음과 같이 알려져 있습니다. 상황에 맞는 학습. 추론을 위한 컨텍스트로 제공되는 새로운 작업의 몇 가지 예만 있으면 AlexaTM 20B 모델은 언어 간에도 대규모 사전 훈련 중에 학습한 지식을 전달할 수 있습니다. 이것은 ... 불리운다 극소수 학습. 경우에 따라 모델은 훈련 데이터 없이 예측해야 할 사항에 대한 설명만 있으면 잘 수행할 수 있습니다. 이것은 ... 불리운다 제로 샷 학습. 예를 들어 원샷 자연어 생성을 위해 AlexaTM 20B를 사용한다고 가정해 보겠습니다. 모델에 전달된 입력은 해당 출력 텍스트 내러티브와 함께 속성-값 쌍 형식의 학습 예제입니다. 그런 다음 테스트 예제가 추가되어 다음 그림과 같이 전체 입력 프롬프트를 형성합니다.

모델에 대해 자세히 알아보려면 다음을 확인하세요. 20B 매개변수 Alexa 모델은 퓨샷 학습에서 새로운 기록을 세웁니다. 또는 원래 종이.

AlexaTM 20B의 사용은 비상업적 용도로 제공되며 다음의 적용을 받습니다. Alexa 교사 모델 라이선스 계약.

솔루션 개요

다음 섹션에서는 모델을 배포하고, 추론을 실행하고, 맥락 내 학습을 수행하여 소수 학습 작업을 해결하는 방법에 대한 단계별 데모를 제공합니다.

다음 섹션에는 코드 스니펫이 포함되어 있습니다. 이 데모의 모든 단계가 포함된 전체 코드는 함께 제공되는 노트북에서 사용할 수 있습니다. SageMaker JumpStart에서 AlexaTM 20B를 사용한 상황에 맞는 학습.

모델 배포

SageMaker에서 대규모 언어 모델을 사용하려면 모델 로드, 병렬화 등과 같은 단계를 포함하는 모델 전용 추론 스크립트가 필요합니다. 또한 스크립트, 모델 및 원하는 인스턴스 유형에 대한 엔드 투 엔드 테스트를 생성하여 이 세 가지가 모두 함께 작동하는지 확인해야 합니다. JumpStart는 견고하게 테스트된 즉시 사용 가능한 스크립트를 제공하여 이러한 노력을 제거합니다.

SageMaker는 교육 ​​및 추론을 위해 Docker 컨테이너를 광범위하게 실행할 수 있는 기능을 제공합니다. JumpStart는 이러한 사용 가능한 프레임워크별 SageMaker 딥 러닝 컨테이너 (DLC). 최적화된 DLC(deploy_image_uri)을 사용하여 model_id. 그런 다음 model_uri 추론 처리 스크립트 및 관련 종속성과 함께 모델 매개변수를 포함합니다. 다음으로, 우리는 모델 인스턴스 SageMaker에서 실시간 엔드포인트에 배포합니다. 다음 코드를 참조하십시오.

# model_version="*" fetches the latest version of the model
model_id, model_version = "pytorch-textgeneration1-alexa20b", "*"

instance_type = "ml.g4dn.12xlarge"

# Retrieve the inference docker container uri
deploy_image_uri = image_uris.retrieve(
    region=None,
    framework=None,  # automatically inferred from model_id
    image_scope="inference",
    model_id=model_id,
    model_version=model_version,
    instance_type=inference_instance_type,
)

# Retrieve the model uri. This includes the model parameters, all dependencies and scripts for model loading, inference handling etc.
 model_uri = model_uris.retrieve(
 model_id=model_id, 
 model_version=model_version, 
 model_scope="inference")

AlexaTM 20B를 배포하려면 최소 50GB의 CPU 메모리와 최소 42GB의 GPU 메모리가 있는 GPU 지원 인스턴스가 필요합니다. SageMaker는 실시간 추론을 지원하는 많은 인스턴스를 제공합니다. ml.g4dn.12xlarge, ml.p3.8xlarge, ml.p3.16xlarge의 세 가지 인스턴스에서 이 솔루션을 테스트했습니다. 다음 코드를 참조하십시오.

env = {
        "SAGEMAKER_MODEL_SERVER_TIMEOUT": str(3600),
        "MODEL_CACHE_ROOT": "/opt/ml/model",
        "SAGEMAKER_ENV": "1",
        "SAGEMAKER_SUBMIT_DIRECTORY":"/opt/ml/model/code/",
        "SAGEMAKER_PROGRAM": "inference.py",
        "SAGEMAKER_MODEL_SERVER_WORKERS": "1", # One worker for the endpoint rather than one worker per GPU by default
        "TS_DEFAULT_WORKERS_PER_MODEL":"1" # 1 TS worker which allocates all memory to the single master worker.
    }
    
#Create the SageMaker model instance. Note that we need to pass Predictor class when we deploy model through Model class,
#for being able to run inference through the sagemaker API.
model = Model(
    image_uri=deploy_image_uri,
    model_data=model_uri,
    role=aws_role,
    predictor_cls=Predictor,
    name=endpoint_name,
    env=env
)

다음으로 모델을 SageMaker 실시간 엔드포인트에 배포합니다.

# deploy the Model.
model_predictor = model.deploy(
    initial_instance_count=1,
    instance_type=instance_type,
    endpoint_name=endpoint_name,
    volume_size= volume_size, # Specify the size of the Amazon EBS volume in GBs.
    model_data_download_timeout = 3600, # Specify the model download timeout in seconds.
    container_startup_health_check_timeout = 3600, # Specify the health checkup timeout in seconds
)

AlexaTM 20B는 추론 컨테이너에 40GB의 디스크 공간이 필요합니다. ml.g4dn.12xlarge 인스턴스는 이 요구 사항을 충족합니다. 인스턴스 유형 ml.p3.8xlarge 및 ml.p3.16xlarge의 경우 아마존 엘라스틱 블록 스토어 (Amazon EBS) 대형 모델 크기를 처리하는 볼륨. 따라서 우리는 설정 volume_size = None ml.g4dn.12xlarge에 배포할 때 volume_size=256 ml.p3.8xlarge 또는 ml.p3.16xlarge에 배포할 때.

모델을 배포하는 데 최대 10분이 소요될 수 있습니다. 모델이 배포된 후 실시간으로 예측을 얻을 수 있습니다!

추론 실행

AlexaTM 20B는 부분 시퀀스(문장 또는 텍스트 조각)가 주어지면 다음 단어 집합을 생성하는 텍스트 생성 모델입니다. 다음 코드 스니펫은 배포한 엔드포인트를 쿼리하고 자동 완성 작업에 대한 출력을 구문 분석하는 방법을 보여줍니다. 배포된 모델에 요청을 보내기 위해 UTF-8 형식으로 인코딩된 JSON 사전을 사용합니다. 엔드포인트 응답은 생성된 텍스트 목록을 포함하는 JSON 객체입니다.

def query(model_predictor, text, kwargs = None):
    """Query the model predictor."""

    payload = {"text_inputs": text}
    if kwargs is not None:
        payload.update(kwargs)
        
    encoded_inp = json.dumps(payload).encode("utf-8")

    query_response = model_predictor.predict(
        encoded_inp,
        {
            "ContentType": "application/json",
            "Accept": "application/json",
        },
    )
    return query_response
 
def parse_response(query_response):
    """Parse response and return the generated texts."""

    model_predictions = json.loads(query_response)
    generated_texts = model_predictions["generated_texts"]
    return generated_texts

다음으로 엔드포인트를 쿼리하고 샘플 입력 텍스트에 대한 응답을 구문 분석합니다.

# text can be a single string or a list of strings
text = “[CLM]My name is Lewis and I like to"
kwargs = {"num_beams": 5, "no_repeat_ngram_size": 2, “max_length”: 50}
query_response = query_endpoint(model_predictor, text, kwargs)
generated_texts = parse_response(query_response)

Generated_texts: “travel and meet new people. I have been to many countries and I like to meet people from all over the world. If you are interested in meeting me, please feel free to send me a message and we can arrange a meeting.”

AlexaTM 20B는 현재 추론 중에 10개의 텍스트 생성 매개변수를 지원합니다. max_length, num_return_sequences, num_beams, no_repeat_ngram_size, temperature, early_stopping, do_sample, top_k, top_p및 seed. 각 매개변수의 유효한 값과 출력에 미치는 영향에 대한 자세한 내용은 함께 제공되는 노트북을 참조하십시오. SageMaker JumpStart에서 AlexaTM 20B를 사용한 상황에 맞는 학습.

상황에 맞는 학습

상황 내 학습은 다음을 의미합니다. 작업을 시연하는 훈련 입력-출력 쌍으로 구성된 프롬프트가 있는 언어 모델을 제공합니다. 테스트 입력을 프롬프트에 추가하고 언어 모델이 프롬프트를 조건으로 하고 다음 토큰이나 단어를 예측하여 예측할 수 있도록 합니다. 이것은 몇 가지 학습 샘플에서 작업을 학습하는 몇 가지 샷 학습 문제를 해결하는 매우 효과적인 기술입니다.

다음으로 상황 내 학습을 통해 여러 원샷 및 제로샷 작업에 AlexaTM 20B를 사용하는 방법을 보여줍니다. 이전의 sequence-to-sequence 모델과 달리 AlexaTM 1B는 노이즈 제거 외에도 인과 관계 언어 모델링에 대한 교육을 받았으므로 상황 내 학습에 적합한 모델입니다.

원샷 텍스트 요약

텍스트 요약은 데이터를 줄이고 원본 텍스트에 있는 가장 중요한 정보를 나타내는 요약을 만드는 작업입니다. 원샷 텍스트 요약은 단일 교육 샘플을 기반으로 텍스트를 요약하는 방법을 배우는 설정을 말합니다. 다음 코드는 XSUM 데이터 세트:

train_article = "The announcement ends months of uncertainty for Cornish Language Partnership staff whose contracts had been due to end. Local government minister Andrew Stunnell said the three-year funding package for the service would help make sure the language survived. But he warned that long term funding should come from Cornwall. He said it was "important to make sure the Cornish were given the opportunity to put down sound foundations." "In the longer term support for the Cornish language is going to be something which is going to have to be based in Cornwall and will not come from London," he added. The Cornish Language Partnership's, Jennifer Lowe, said: "We can now plan for the future thanks to the funding." The United Nations recently upgraded the status of the Cornish language from "extinct" to "critically endangered". It is thought fewer than 500 people worldwide are fluent in the language.""
                
train_summary = "The government is spending nearly £400,000 to help save the Cornish language."

test_article = "Torrents of water brought down a suspended ceiling and damaged stock "
                "in the Victoria Centre store at about 22:40 BST on Tuesday. Managers "
                "had hoped for a weekend reopening but it is now closed "until "
                "further notice". Staff have been helping with the clean-up "
                "operation. Water poured through from a rooftop room, leaving the "
                "top floor under three inches of water and stock "significantly" "
                "damaged. A spokeswoman said: "Our teams are working around the "
                "clock to get the shop open as quickly as possible and we're sorry "
                "for the inconvenience this has caused to our customers.""

교육 샘플이 하나만 제공되는 경우 요약을 위해 다음 프롬프트를 사용합니다. 모델에서 생성된 텍스트는 테스트 항목의 예상 요약으로 해석됩니다.

출력은 다음과 같습니다.

AlexaTM 20B output: 'The top floor of a London department store has been flooded.'

원샷 자연어 생성

자연어 생성은 입력 텍스트가 주어지면 텍스트 내러티브를 생성하는 작업입니다. 다음 샘플은 E2E 데이터 세트:

train_inp = "name[The Punter], food[Indian], priceRange[cheap]"
train_out = "The Punter provides Indian food in the cheap price range."

test_inp = "name[Blue Spice], eatType[coffee shop], area"

하나의 훈련 샘플(1샷)만 제공되는 경우 자연어 생성을 위해 다음 프롬프트를 사용합니다. 모델에서 생성된 텍스트는 테스트 입력에 대한 예측된 텍스트 내러티브로 해석됩니다(test_inp).

출력은 다음과 같습니다.

AlexaTM 20B output: 'Blue Spice is a coffee shop in the city centre. '

원샷 기계 번역

기계 번역은 텍스트를 한 언어에서 다른 언어로 번역하는 작업입니다. 다음 예는 WMT19 데이터 세트 여기서 우리는 독일어에서 영어로 번역해야 합니다.

train_inp = "Das Parlament erhebt sich zu einer Schweigeminute."
train_out = "The House rose and observed a minute' s silence"

test_inp = "Kleingärtner bewirtschaften den einstigen Grund von Bauern."

하나의 교육 샘플(1샷)만 제공되는 경우 기계 번역에 다음 프롬프트를 사용합니다. 모델에서 생성된 텍스트는 테스트 입력(test_inp).

출력은 다음과 같습니다.

AlexaTM 20B translation: 'Gardeners cultivate the former land of farmers.'

제로샷 추출 질문 답변

추출 질문 답변은 문맥 문단에서 질문에 대한 답을 찾는 작업입니다. 다음은 컨텍스트의 예와 질문입니다. SQuAD v2 데이터 세트:

test_context = "The Normans (Norman: Nourmands; French: Normands; Latin: Normanni) were the people who in the 10th and 11th centuries gave their name to Normandy, a region in France. They were descended from Norse ("Norman" comes from "Norseman") raiders and pirates from Denmark, Iceland and Norway who, under their leader Rollo, agreed to swear fealty to King Charles III of West Francia. Through generations of assimilation and mixing with the native Frankish and Roman-Gaulish populations, their descendants would gradually merge with the Carolingian-based cultures of West Francia. The distinct cultural and ethnic identity of the Normans emerged initially in the first half of the 10th century, and it continued to evolve over the succeeding centuries."
test_question = "In what country is Normandy located?"

작업에 대한 훈련 샘플이 없습니다. 대신 프롬프트의 마지막 단어에 대한 더미 질문을 만듭니다. test_context (더미 샷). 따라서 우리는 실제로 제로 샷 추출 질문 답변을 하고 있습니다.

훈련 샘플이 제공되지 않을 때 추출 질문 답변을 위해 다음 프롬프트를 사용합니다. 모델에서 생성된 텍스트는 테스트 질문에 대한 답변으로 해석됩니다.

출력은 다음과 같습니다.

AlexaTM 20B output: 'France'

신속한 엔지니어링

신속한 엔지니어링은 때때로 예술이 될 수 있습니다. 프롬프트 템플릿을 조금만 변경해도 특정 작업에 대한 모델의 성능이 크게 변경될 수 있습니다. 다음은 좋은 프롬프트 템플릿을 작성하기 위한 몇 가지 조언입니다. 첫째, 모델이 실제 문장의 구조를 학습하도록 학습되었음을 기억하는 것이 중요합니다(인과 언어 모델링). 따라서 프롬프트 템플릿이 문법적으로나 구조적으로 자연어로 올바른지 확인하는 것이 가장 좋습니다. 둘째, 이 특정 모델은 위에서 설명한 것처럼 답변에서 예상되는 구조를 가르치는 데 도움이 되는 더미 샷의 이점을 얻습니다. 셋째, 다양한 후보 프롬프트 템플릿을 통해 작업 성과를 검사하는 것이 항상 권장됩니다. 프롬프트 소스 와 자연스러운 지침 프롬프트 템플릿을 표준화하기 위한 두 가지 오픈 소스 프레임워크이며 기존 모델링 작업에 사용되는 다양한 예제 프롬프트를 제공합니다. 또한 부록 B는 AlexaTM 20B 용지 논문에 제시된 결과를 생성하는 데 사용되는 프롬프트 템플릿을 제공합니다. 자연어 및 연속 프롬프트를 모두 포함하여 작업에 대한 최상의 프롬프트를 자동으로 생성하고 학습하는 전용 하위 필드가 성장하고 있습니다. 이것은 이 튜토리얼의 범위를 벗어납니다.

결론

이 게시물에서는 AlexaTM 20B 모델을 SageMaker 엔드포인트에 배포하고 추론을 실행하는 방법을 보여주었습니다. AlexaTM 20B 모델을 사용하여 다양한 소수 학습 작업에 대한 상황 내 학습을 수행할 수 있습니다. AlexaTM 20B에 대한 자세한 내용은 다음을 참조하십시오. 20B 매개변수 Alexa 모델은 퓨샷 학습에서 새로운 기록을 세웁니다. 또는 원래 종이.

저자는 이번 출시를 가능하게 한 Maciej Rudnicki, Jakub Debski, Ashish Khetan, Anastasiia Dubinina, Vitaliy Korolev, Karl Albertsen, Saleh Soltan 및 Mariusz Momotko의 기술적 기여에 감사드립니다.

점프스타트 정보

JumpStart는 Amazon SageMaker의 기계 학습(ML) 허브로, ML을 빠르게 시작할 수 있도록 350개 이상의 사전 훈련된 모델, 내장 알고리즘 및 사전 구축된 솔루션 템플릿을 제공합니다. JumpStart는 TensorFlow, PyTorch, Hugging Face 및 MXNet과 같은 인기 있는 모델 허브에서 객체 감지, 텍스트 분류 및 텍스트 생성과 같은 인기 있는 ML 작업을 지원하는 최신 모델을 호스팅합니다. ML 연구 커뮤니티는 최근에 개발된 대부분의 모델을 공개적으로 사용할 수 있도록 만들기 위해 많은 노력을 기울였습니다. JumpStart는 올바른 ML 모델과 알고리즘을 찾고 즉시 모델 구축을 시작하도록 돕는 것을 목표로 합니다. 특히 JumpStart는 다음과 같은 이점을 제공합니다.

• UI 및 SDK로 쉽게 액세스 – SageMaker Python SDK를 사용하거나 Amazon SageMaker Studio의 JumpStart UI를 통해 프로그래밍 방식으로 JumpStart의 모델 및 알고리즘에 액세스할 수 있습니다. 현재 AlexaTM 20B는 SageMaker Python SDK를 통해서만 액세스할 수 있습니다.
• SageMaker 기본 제공 알고리즘 – JumpStart는 해당 교육 스크립트(지원되는 경우), 추론 스크립트 및 예제 노트북과 함께 350개 이상의 기본 제공 알고리즘 및 사전 훈련된 모델을 제공합니다. 스크립트는 각 프레임워크 및 작업에 최적화되어 있으며 GPU 지원, 자동 모델 튜닝 및 증분 교육과 같은 기능을 제공합니다. 호환성 문제가 발생하지 않도록 스크립트는 SageMaker 인스턴스 및 기능에 대해서도 테스트됩니다.
• 사전 구축된 솔루션 – JumpStart는 수요 예측, 산업 및 금융 애플리케이션과 같은 일반적인 ML 사용 사례를 위한 23개의 솔루션 세트를 제공하며 몇 번의 클릭만으로 배포할 수 있습니다. 솔루션은 특정 비즈니스 사용 사례를 해결하기 위해 다양한 AWS 서비스를 함께 연결하는 엔드 투 엔드 ML 애플리케이션입니다. 빠른 배포를 위해 AWS CloudFormation 템플릿과 참조 아키텍처를 사용하므로 완벽하게 사용자 지정할 수 있습니다.
• 지원 – SageMaker는 새로운 SageMaker 기능 또는 Deep Learning Container 버전이 출시될 때 최신 버전을 유지하고 SageMaker 환경에서 JumpStart 콘텐츠를 사용하는 방법에 대한 문서를 만드는 등 다양한 지원을 제공합니다.

JumpStart에 대해 자세히 알아보고 다양한 기타 ML 작업을 위해 사전 훈련된 오픈 소스 모델을 사용하는 방법을 알아보려면 다음을 확인하세요. AWS re:Invent 2020 비디오.

저자에 관하여

비벡 마단 박사 Amazon SageMaker JumpStart 팀의 응용 과학자입니다. 그는 일리노이 대학교 어바나 샴페인에서 박사 학위를 받았고 조지아 공대에서 박사후 연구원이었습니다. 그는 기계 학습 및 알고리즘 설계 분야에서 활발한 연구원이며 EMNLP, ICLR, COLT, FOCS 및 SODA 컨퍼런스에 논문을 발표했습니다.

잭 피츠제럴드 Alexa AI의 수석 응용 과학자로서 현재 대규모 언어 모델링, 다국어 텍스트 모델링 및 기계 학습 작업에 주력하고 있습니다.

주앙 모 우라 Amazon Web Services의 AI/ML 전문가 솔루션 아키텍트입니다. 그는 주로 NLP 사용 사례에 초점을 맞추고 고객이 딥 러닝 모델 교육 및 배포를 최적화하도록 지원합니다. 그는 또한 로우 코드 ML 솔루션과 ML 전문 하드웨어의 적극적인 지지자입니다.

준원 SageMaker JumpStart 및 내장 알고리즘을 갖춘 제품 관리자입니다. 그는 SageMaker 고객이 ML 콘텐츠를 쉽게 검색하고 사용할 수 있도록 만드는 데 중점을 둡니다.

풀킷 카푸르 Alexa AI를 사용한 Alexa Teacher Model 프로그램의 제품 리드이며 Alexa의 멀티태스킹 멀티모달 기반 모델의 일반화된 지능 및 애플리케이션에 중점을 둡니다.