Amazon SageMaker 섀도우 테스트로 ML 모델 업데이트의 프로덕션 영향 최소화

아마존 세이지 메이커 이제 모델 서빙 스택의 새 버전 성능을 전체 프로덕션 출시 전에 현재 배포된 버전과 비교할 수 있습니다. 그림자 테스트. 섀도 테스트는 최종 사용자에게 영향을 미치기 전에 잠재적인 구성 오류 및 성능 문제를 식별하는 데 도움이 될 수 있습니다. SageMaker를 사용하면 그림자 테스트 인프라 구축에 투자할 필요가 없으므로 모델 개발에 집중할 수 있습니다. SageMaker는 프로덕션 요청을 제공하는 현재 버전과 함께 새 버전 배포를 처리하고 일부 요청을 섀도우 버전으로 라우팅합니다. 그런 다음 대기 시간 및 오류율과 같은 메트릭을 사용하여 두 버전의 성능을 비교할 수 있습니다. 이렇게 하면 SageMaker 추론 엔드포인트에 대한 프로덕션 롤아웃이 성능 저하를 일으키지 않는다는 확신이 더 커지고 우발적인 잘못된 구성으로 인한 중단을 방지할 수 있습니다.

이 게시물에서는 이 새로운 SageMaker 기능을 시연합니다. 해당 샘플 노트북은 이 GitHub에서 사용할 수 있습니다. 저장소.

솔루션 개요

모델 제공 인프라는 기계 학습(ML) 모델, 제공 컨테이너 또는 컴퓨팅 인스턴스로 구성됩니다. 다음 시나리오를 고려해 보겠습니다.

• 오프라인에서 유효성이 검증된 새 모델을 프로덕션으로 승격하는 것을 고려하고 있지만 이 결정을 내리기 전에 대기 시간, 오류율 등과 같은 운영 성능 메트릭을 평가하려고 합니다.
• 취약성에 패치를 적용하거나 최신 버전으로 업그레이드하는 등 서비스 제공 인프라 컨테이너에 대한 변경을 고려하고 있으며 프로덕션으로 승격하기 전에 이러한 변경의 영향을 평가하려고 합니다.
• ML 인스턴스 변경을 고려하고 있으며 새 인스턴스가 라이브 추론 요청으로 수행되는 방식을 평가하려고 합니다.

다음 다이어그램은 솔루션 아키텍처를 보여줍니다.

이러한 각 시나리오에 대해 테스트할 프로덕션 변형을 선택하면 SageMaker가 섀도우 모드에서 새 변형을 자동으로 배포하고 추론 요청 사본을 동일한 엔드포인트 내에서 실시간으로 라우팅합니다. 프로덕션 변형의 응답만 호출 애플리케이션으로 반환됩니다. 오프라인 비교를 위해 그림자 변형의 응답을 버리거나 기록하도록 선택할 수 있습니다. 선택적으로 성능 메트릭을 나란히 비교하는 기본 제공 대시보드를 통해 변형을 모니터링할 수 있습니다. SageMaker 추론 업데이트 엔드포인트 API 또는 SageMaker 콘솔을 통해 이 기능을 사용할 수 있습니다.

섀도우 변형은 SageMaker 추론 엔드포인트의 프로덕션 변형 기능 위에 구축됩니다. 다시 말하면, 생산 변형 ML 모델, 서빙 컨테이너 및 ML 인스턴스로 구성됩니다. 각 변형은 서로 독립적이므로 변형 간에 모델, 컨테이너 또는 인스턴스 유형이 다를 수 있습니다. SageMaker를 사용하면 변형별로 Auto Scaling 정책을 지정할 수 있으므로 들어오는 로드에 따라 독립적으로 확장할 수 있습니다. SageMaker는 엔드포인트당 최대 10개의 프로덕션 변형을 지원합니다. 변형 가중치를 설정하여 수신 트래픽의 일부를 수신하도록 변형을 구성하거나 수신 요청에서 대상 변형을 지정할 수 있습니다. 프로덕션 변형의 응답이 호출자에게 다시 전달됩니다.

A 그림자 변형(신규) 생산 변형과 동일한 구성 요소가 있습니다. 요청의 사용자 지정 부분 트래픽 샘플링 비율, 그림자 변형으로 전달됩니다. 다음에서 그림자 변형의 응답을 기록하도록 선택할 수 있습니다. 아마존 단순 스토리지 서비스 (Amazon S3) 또는 폐기하십시오.

SageMaker는 엔드포인트당 최대 하나의 그림자 변형을 지원합니다. 섀도우 변형이 있는 엔드포인트의 경우 최대 하나의 프로덕션 변형이 있을 수 있습니다.

프로덕션 및 섀도우 변형을 설정한 후 다음을 모니터링할 수 있습니다. 호출 메트릭 프로덕션 및 섀도우 변형 모두 아마존 클라우드 워치 아래 AWS/SageMaker 네임스페이스. SageMaker 엔드포인트에 대한 모든 업데이트는 다음을 사용하여 조정됩니다. 블루/그린 배포 가용성 손실 없이 발생합니다. 섀도 변형을 추가, 수정 또는 제거할 때 엔드포인트는 프로덕션 요청에 계속 응답합니다.

다음 두 가지 방법 중 하나로 이 기능을 사용할 수 있습니다.

• SageMaker 콘솔을 사용한 관리형 섀도우 테스트 – 가이드 경험을 위해 콘솔을 활용하여 섀도우 테스트의 종단 간 여정을 관리할 수 있습니다. 이를 통해 미리 정의된 기간 동안 섀도우 테스트를 설정하고, 라이브 대시보드를 통해 진행 상황을 모니터링하고, 완료 시 정리하고, 결과에 따라 조치를 취할 수 있습니다.
• SageMaker Inference API를 사용한 셀프 서비스 섀도우 테스트 – 배포 워크플로에서 이미 create/update/delete-endpoint API를 사용하는 경우 이를 계속 사용하여 Shadow Variants를 관리할 수 있습니다.

다음 섹션에서는 이러한 각 시나리오를 살펴봅니다.

시나리오 1 – SageMaker 콘솔을 사용한 관리형 섀도우 테스트

SageMaker를 선택하여 섀도 테스트의 결과를 생성, 관리 및 실행하는 엔드 투 엔드 워크플로를 관리하려면 SageMaker 콘솔의 추론 섹션에서 섀도 테스트 기능을 사용하는 것이 좋습니다. 앞서 언급한 바와 같이 이를 통해 미리 정의된 기간 동안 섀도우 테스트를 설정하고, 라이브 대시보드를 통해 진행 상황을 모니터링하고, 완료 시 정리 옵션을 제시하고, 결과에 따라 조치를 취할 수 있습니다. 자세한 내용은 섀도우 테스트를 참조하십시오. 섹션에 있어야 합니다. 이 기능의 단계별 연습에 대한 설명서를 참조하십시오.

사전 요구 사항

프로덕션 및 섀도우용 모델은 SageMaker에서 생성해야 합니다. 참조하십시오 CreateModel API 여기에서 지금 확인해 보세요..

1단계 - 섀도우 테스트 만들기

로 이동 추론 SageMaker 콘솔 왼쪽 탐색 패널의 섹션을 클릭한 다음 섀도우 테스트를 선택합니다. 이렇게 하면 모든 예약, 실행 및 완료된 섀도우 테스트가 포함된 대시보드로 이동합니다. '를 클릭그림자 테스트 만들기'. 테스트 이름을 입력하고 다음을 선택합니다.

이렇게 하면 섀도우 테스트 설정 페이지로 이동합니다. 기존 IAM 역할을 선택하거나 AmazonSageMakerFullAccess IAM 정책이 첨부되었습니다. 다음으로 '를 선택합니다.새 끝점 만들기' 이름(xgb-prod-shadow-1)을 입력합니다. '를 클릭하여 이 엔드포인트와 연결된 하나의 프로덕션 및 하나의 섀도우 변형을 추가할 수 있습니다.추가하다' 변형 섹션에서. '에서 생성한 모델을 선택할 수 있습니다.모델 추가' 대화 상자. 이렇게 하면 프로덕션 또는 변형이 생성됩니다. 선택적으로 각 변형과 연결된 인스턴스 유형 및 개수를 변경할 수 있습니다.

모든 트래픽은 프로덕션 변형으로 이동하고 호출 요청에 응답합니다. 다음을 변경하여 섀도우 변형으로 라우팅되는 요청의 일부를 제어할 수 있습니다. Traffic Sampling Percentage.

테스트 기간을 30시간에서 7일까지 제어할 수 있습니다. 지정하지 않으면 기본값은 XNUMX일입니다. 이 기간이 지나면 테스트가 완료된 것으로 표시됩니다. 기존 엔드포인트에서 테스트를 실행 중인 경우 완료 시 테스트를 시작하기 전 상태로 롤백됩니다.

선택적으로 다음을 사용하여 Shadow 변형의 요청 및 응답을 캡처할 수 있습니다. 데이터 캡처 옵션. 지정하지 않으면 그림자 변형의 응답이 삭제됩니다.

2단계 – 섀도우 테스트 모니터링

다음으로 이동하여 섀도우 테스트 목록을 볼 수 있습니다. Shadow Tests 추론 아래의 섹션. 이전 단계에서 생성한 섀도우 테스트를 클릭하면 섀도우 테스트의 세부 정보를 보고 진행 중 또는 완료 후 모니터링할 수 있습니다.

Metrics 섹션은 주요 메트릭 비교를 제공하고 기술 통계와 함께 생산 변형과 섀도우 변형 간의 오버레이 그래프를 제공합니다. 다음과 같은 호출 메트릭을 비교할 수 있습니다. ModelLatency 및 Invocation4xxErrors 뿐만 아니라 다음과 같은 인스턴스 지표 CPUUtilization 및 DiskUtilization.

3단계 – Shadow 변형을 새 생산 변형으로 승격

비교할 때 그림자 변형을 새 생산 변형으로 홍보하거나 그림자 변형을 제거하도록 선택할 수 있습니다. 이 두 옵션 모두에 대해 '완료 표시' 페이지 상단에. 이렇게 하면 그림자 변형을 승격하거나 제거할 수 있는 옵션이 제공됩니다.

승격을 선택하면 배포 전에 변형 설정을 확인할 수 있는 배포 페이지로 이동합니다. 배포 전에 호출 트래픽을 100% 처리할 수 있도록 섀도우 변형의 크기를 조정하는 것이 좋습니다. 대체 인스턴스 유형 또는 크기를 평가하기 위해 섀도우 테스트를 사용하지 않는 경우 '생산 변형 설정 유지. 그렇지 않으면 '그림자 변형 설정 유지. 이 옵션을 선택하는 경우 트래픽 샘플링이 100%로 설정되어 있는지 확인하십시오. 또는 이러한 설정을 재정의하려는 경우 인스턴스 유형과 개수를 지정할 수 있습니다.

배포를 확인하면 SageMaker는 엔드포인트에 대한 업데이트를 시작하여 섀도우 변형을 새 프로덕션 변형으로 승격합니다. SageMaker의 모든 업데이트와 마찬가지로 업데이트 중에도 엔드포인트는 계속 작동합니다.

시나리오 2: SageMaker 추론 API를 사용한 섀도우 테스트

이 섹션에서는 기존 SageMaker create/update/delete-endpoint API를 사용하여 섀도우 변형을 배포하는 방법을 설명합니다.

이 예에서는 사전 학습된 모델의 서로 다른 두 가지 버전을 나타내는 두 개의 XGBoost 모델이 있습니다. model.tar.gz 현재 생산에 배포된 모델입니다. model2 최신 모델이며 프로덕션에 사용하기로 결정하기 전에 대기 시간과 같은 운영 메트릭 측면에서 성능을 테스트하려고 합니다. 배포합니다 model2 의 그림자 변형으로 model.tar.gz. 사전 훈련된 두 모델은 퍼블릭 S3 버킷에 저장됩니다. s3://sagemaker-sample-files. 먼저 로컬 컴퓨팅 인스턴스 모델을 다운로드한 다음 S3에 업로드합니다.

이 예의 모델은 모바일 고객이 현재 통신사를 떠날 확률을 예측하는 데 사용됩니다. 우리가 사용하는 데이터 세트는 공개적으로 사용 가능하며 책에서 언급되었습니다. 데이터 지식 발견 다니엘 T. 라로즈. 이 모델은 다음을 사용하여 훈련되었습니다. XGB 이탈 예측 노트북 SageMaker에서. 미리 훈련된 자체 모델을 사용할 수도 있습니다. 이 경우 다음에서 다운로드를 건너뛸 수 있습니다. s3://sagemaker-sample-files 자신의 모델을 모델/폴더에 직접 복사합니다.

!aws s3 cp s3://sagemaker-sample-files/models/xgb-churn/xgb-churn-prediction-model.tar.gz model/
!aws s3 cp s3://sagemaker-sample-files/models/xgb-churn/xgb-churn-prediction-model2.tar.gz model/

1단계 – 모델 만들기

모델 파일을 자체 S3 버킷에 업로드하고 두 개의 SageMaker 모델을 생성합니다. 다음 코드를 참조하십시오.

model_url = S3Uploader.upload(
    local_path="model/xgb-churn-prediction-model.tar.gz",
    desired_s3_uri=f"s3://{bucket}/{prefix}",
)
model_url2 = S3Uploader.upload(
    local_path="model/xgb-churn-prediction-model2.tar.gz",
    desired_s3_uri=f"s3://{bucket}/{prefix}",
from sagemaker import image_uris
image_uri = image_uris.retrieve("xgboost", boto3.Session().region_name, "0.90-1")
image_uri2 = image_uris.retrieve("xgboost", boto3.Session().region_name, "0.90-2")

model_name = f"DEMO-xgb-churn-pred-{datetime.now():%Y-%m-%d-%H-%M-%S}"
model_name2 = f"DEMO-xgb-churn-pred2-{datetime.now():%Y-%m-%d-%H-%M-%S}"

resp = sm.create_model(
    ModelName=model_name,
    ExecutionRoleArn=role,
    Containers=[{"Image": image_uri, "ModelDataUrl": model_url}],
)

resp = sm.create_model(
    ModelName=model_name2,
    ExecutionRoleArn=role,
    Containers=[{"Image": image_uri2, "ModelDataUrl": model_url2}],
)

2단계 – 두 모델을 프로덕션 및 섀도우 변형으로 실시간 추론 엔드포인트에 배포합니다.

프로덕션 및 섀도우 변형으로 엔드포인트 구성을 생성합니다. 그만큼 ProductionVariants 및 ShadowProductionVariants 특히 관심이 있습니다. 이 두 변형 모두 vCPU 5개와 메모리 4GiB의 ml.m16.xlarge 인스턴스가 있으며 초기 인스턴스 수는 1로 설정됩니다. 다음 코드를 참조하십시오.

ep_config_name = f"Shadow-EpConfig-{datetime.now():%Y-%m-%d-%H-%M-%S}"
production_variant_name = "production"
shadow_variant_name = "shadow"
create_endpoint_config_response = sm.create_endpoint_config(
    EndpointConfigName=ep_config_name,
    ProductionVariants=[
    # Type: Array of ProductionVariant (https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html) objects
      { 
         "VariantName": shadow_variant_name,
        {
            "VariantName": production_variant_name,
            "ModelName": model_name,
            "InstanceType": "ml.m5.xlarge",
            "InitialInstanceCount": 2,
            "InitialVariantWeight": 1,
        }
    ],
     # Type: Array of ShadowProductionVariants 
    ShadowProductionVariants = [
         "ModelName": model_name2,
         "InitialInstanceCount": 1,
         "InitialVariantWeight": 0.5,
         "InstanceType": "ml.m5.xlarge" 
      }
   ]
)

마지막으로 프로덕션 및 섀도우 변형을 생성합니다.

endpoint_name = f"xgb-prod-shadow-{datetime.now():%Y-%m-%d-%H-%M-%S}"
create_endpoint_api_response = sm.create_endpoint(
                                    EndpointName=endpoint_name,
                                    EndpointConfigName=ep_config_name,
                                )

3단계 – 테스트를 위해 엔드포인트 호출

엔드포인트가 성공적으로 생성되면 호출을 시작할 수 있습니다. 약 3,000개의 요청을 순차적으로 보냅니다.

def invoke_endpoint(endpoint_name, wait_interval_sec=0.01, should_raise_exp=False):
    with open("test_data/test-dataset-input-cols.csv", "r") as f:
        for row in f:
            payload = row.rstrip("n")
            try:
                for i in range(10): #send the same payload 10 times for testing purpose
                    response = sm_runtime.invoke_endpoint(
                        EndpointName=endpoint_name, ContentType="text/csv", Body=payload
                    )
            except Exception as e:
                print("E", end="", flush=True)
                if should_raise_exp:
                    raise e

invoke_endpoint(endpoint_name)

4단계 - 메트릭 비교

이제 프로덕션 및 섀도우 모델을 모두 배포했으므로 호출 메트릭을 비교해 보겠습니다. 비교할 수 있는 호출 지표 목록은 다음을 참조하십시오. Amazon CloudWatch로 Amazon SageMaker 모니터링. 프로덕션과 섀도우 변형 간의 호출을 비교하는 것으로 시작하겠습니다.

XNUMXD덴탈의 InvocationsPerInstance 메트릭은 프로덕션 변형으로 전송된 호출 수를 나타냅니다. 변형 가중치에 지정된 이러한 호출 중 일부는 섀도우 변형으로 전송됩니다. 인스턴스당 호출은 총 호출 수를 변형의 인스턴스 수로 나누어 계산합니다. 다음 차트에서 볼 수 있듯이 엔드포인트 구성에 지정된 가중치에 따라 프로덕션 및 섀도우 변형 모두 호출 요청을 수신하고 있음을 확인할 수 있습니다.

다음으로 모델 대기 시간(ModelLatency metric) 프로덕션 및 섀도우 변형 사이. 모델 대기 시간은 SageMaker에서 볼 때 모델이 응답하는 데 걸리는 시간입니다. 최종 사용자를 그림자 변형에 노출시키지 않고 그림자 변형의 모델 대기 시간이 프로덕션 변형과 어떻게 비교되는지 관찰할 수 있습니다.

오버헤드 대기 시간(OverheadLatency 메트릭) 프로덕션 및 섀도우 변형 간에 비교할 수 있습니다. 오버헤드 대기 시간은 SageMaker가 요청을 수신한 시간부터 클라이언트에 응답을 반환할 때까지 측정된 간격에서 모델 대기 시간을 뺀 값입니다.

5단계 - 그림자 변형 홍보

섀도우 모델을 프로덕션으로 승격하려면 현재 상태로 새 끝점 구성을 만듭니다. ShadowProductionVariant 새로운 ProductionVariant 및 제거 ShadowProductionVariant. 이것은 현재를 제거합니다 ProductionVariant 새 제품 변형이 되도록 그림자 변형을 승격합니다. 항상 그렇듯이 모든 SageMaker 업데이트는 내부에서 블루/그린 배포로 오케스트레이션되며 업데이트를 수행하는 동안 가용성 손실이 없습니다.

선택적으로 활용할 수 있습니다. 배포 가드레일 업데이트 중에 한꺼번에 트래픽 이동 및 자동 롤백을 사용하려는 경우.

promote_ep_config_name = f"PromoteShadow-EpConfig-{datetime.now():%Y-%m-%d-%H-%M-%S}"

create_endpoint_config_response = sm.create_endpoint_config(
    EndpointConfigName=promote_ep_config_name,
    ProductionVariants=[
        {
            "VariantName": shadow_variant_name,
            "ModelName": model_name2,
            "InstanceType": "ml.m5.xlarge",
            "InitialInstanceCount": 2,
            "InitialVariantWeight": 1.0,
        }
    ],
)
print(f"Created EndpointConfig: {create_endpoint_config_response['EndpointConfigArn']}")

update_endpoint_api_response = sm.update_endpoint(
    EndpointName=endpoint_name,
    EndpointConfigName=promote_ep_config_name,
)

wait_for_endpoint_in_service(endpoint_name)

sm.describe_endpoint(EndpointName=endpoint_name)

6단계 – 정리

이 엔드포인트를 더 이상 사용하지 않으려면 엔드포인트를 삭제하여 추가 비용이 발생하지 않도록 하고 이 블로그에서 생성된 다른 리소스를 정리해야 합니다.

dsm.delete_endpoint(EndpointName=endpoint_name)
sm.delete_endpoint_config(EndpointConfigName=ep_config_name)
sm.delete_endpoint_config(EndpointConfigName=promote_ep_config_name)
sm.delete_model(ModelName=model_name)
sm.delete_model(ModelName=model_name2)

결론

이 게시물에서는 섀도우 테스트라고 하는 배포 안전 사례를 사용하여 전체 프로덕션 롤아웃 전에 모델 제공 스택의 새 버전 성능을 현재 배포된 버전과 비교하는 SageMaker 추론의 새로운 기능을 소개했습니다. 그림자 변형을 사용하는 이점과 방법을 통해 변형을 구성하는 방법을 안내했습니다. 종단 간 예. 그림자 변형에 대해 자세히 알아보려면 그림자 테스트를 참조하세요. 선적 서류 비치.

저자에 관하여

라구 라메샤 Amazon SageMaker 서비스 팀의 기계 학습 솔루션 아키텍트입니다. 그는 고객이 ML 프로덕션 워크로드를 대규모로 구축, 배포 및 SageMaker로 마이그레이션하도록 돕는 데 중점을 둡니다. 그는 기계 학습, AI 및 컴퓨터 비전 도메인을 전문으로 하며 UT 달라스에서 컴퓨터 과학 석사 학위를 받았습니다. 여가 시간에는 여행과 사진 촬영을 즐깁니다.

칭 웨이 리 Amazon Web Services의 기계 학습 전문가입니다. 그는 박사 학위를 받았습니다. 그는 고문의 연구 보조금 계좌를 깨고 그가 약속 한 노벨상을 전달하지 못한 후 Operations Research에서 현재 그는 금융 서비스 및 보험 업계의 고객이 AWS에서 기계 학습 솔루션을 구축하도록 돕습니다. 여가 시간에는 읽기와 가르치기를 좋아합니다.

자오 치윈 Amazon SageMaker 추론 플랫폼 팀의 선임 소프트웨어 개발 엔지니어입니다. 그는 Deployment Guardrails 및 Shadow Deployments의 수석 개발자이며 고가용성으로 고객이 ML 워크로드 및 배포를 대규모로 관리하도록 돕는 데 중점을 둡니다. 또한 빠르고 안전한 ML 작업 배포 및 ML 온라인 실험을 쉽게 실행하기 위한 플랫폼 아키텍처 진화에 대해 작업합니다. 여가 시간에는 독서, 게임, 여행을 즐깁니다.

타룬 사이람 Amazon SageMaker Inference의 선임 제품 관리자입니다. 그는 기계 학습의 최신 동향에 대해 배우고 고객이 이를 활용할 수 있도록 돕는 데 관심이 있습니다. 여가 시간에는 자전거 타기, 스키, 테니스를 즐깁니다.