Amazon SageMaker 자동 모델 조정, 이제 그리드 검색 지원

오늘 아마존 세이지 메이커 에 대한 그리드 검색 지원을 발표했습니다. 자동 모델 튜닝, 사용자에게 모델에 가장 적합한 하이퍼파라미터 구성을 찾기 위한 추가 전략을 제공합니다.

Amazon SageMaker 자동 모델 조정은 범위 지정하는 하이퍼파라미터의 그런 다음 다음으로 측정된 최상의 성능을 내는 모델을 생성하는 하이퍼파라미터 값을 선택합니다. 메트릭 당신의 선택의.

모델에 가장 적합한 하이퍼파라미터 값을 찾기 위해 Amazon SageMaker 자동 모델 조정은 다음을 포함한 여러 전략을 지원합니다. 베이지안 (기본값), 랜덤 무작위 검색 및 하이퍼밴드.

그리드 검색

그리드 검색은 정의한 하이퍼파라미터 그리드의 구성을 철저하게 탐색하므로 그리드에서 가장 유망한 하이퍼파라미터 구성에 대한 통찰력을 얻고 다양한 조정 실행에서 결과를 결정적으로 재현할 수 있습니다. 그리드 검색은 전체 하이퍼 매개변수 검색 공간이 탐색되었다는 확신을 줍니다. 주요 목표가 최상의 하이퍼파라미터 구성을 찾는 것인 경우 베이지안 및 무작위 검색보다 계산 비용이 더 많이 들기 때문에 이 이점은 절충점과 함께 제공됩니다.

Amazon SageMaker를 사용한 그리드 검색

Amazon SageMaker에서는 문제로 인해 목표 지표를 최대화하거나 최소화하는 최적의 하이퍼파라미터 조합이 필요한 경우 그리드 검색을 사용합니다. 고객이 Grid Search를 사용하는 일반적인 사용 사례는 모델 정확도와 재현성이 이를 얻는 데 필요한 교육 비용보다 비즈니스에 더 중요한 경우입니다.

Amazon SageMaker에서 그리드 검색을 활성화하려면 Strategy ~에 필드 Grid 다음과 같이 조정 작업을 생성할 때

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

또한 그리드 검색에서는 검색 공간(데카르트 그리드)을 CategoricalParameterRanges 아래의 키 ParameterRanges 매개변수:

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

지정하지 않습니다. MaxNumberOfTrainingJobs 이는 범주 조합의 수에서 결정되기 때문에 작업 정의의 그리드 검색에 사용됩니다. 랜덤 및 베이지안 검색을 사용할 때 다음을 지정합니다. MaxNumberOfTrainingJobs 컴퓨팅의 상한선을 정의하여 조정 작업 비용을 제어하는 ​​방법으로 매개변수를 사용합니다. 그리드 검색을 사용하면 MaxNumberOfTrainingJobs (현재 선택 사항)은 자동으로 그리드 검색의 후보 수로 설정됩니다. 설명HyperParameterTuningJob 모양. 이를 통해 원하는 하이퍼파라미터 그리드를 철저하게 탐색할 수 있습니다. 또한 그리드 검색 작업 정의는 불연속 범주형 범위만 허용하며 그리드의 각 값이 불연속적인 것으로 간주되기 때문에 연속 또는 정수 범위 정의가 필요하지 않습니다.

그리드 검색 실험

이 실험에서 회귀 작업이 주어지면 200개의 하이퍼파라미터, 20개의 검색 공간 내에서 최적의 하이퍼파라미터를 검색합니다. eta 및 10 alpha 0.1에서 1까지. 우리는 직접 마케팅 데이터 세트 회귀 모델을 조정합니다.

• η: 과적합을 방지하기 위해 업데이트에 사용되는 단계 크기 축소. 각 부스팅 단계 후에 새로운 기능의 가중치를 직접 얻을 수 있습니다. 그만큼 eta 매개변수는 실제로 기능 가중치를 축소하여 부스팅 프로세스를 보다 보수적으로 만듭니다.
• 알파: 가중치에 대한 L1 정규화 항. 이 값을 늘리면 모델이 더 보수적입니다.

왼쪽 차트는 분석 결과를 보여줍니다. eta 목표 메트릭과 관련하여 하이퍼파라미터를 사용하고 최상의 모델을 반환하기 전에 그리드 검색이 X축의 전체 검색 공간(그리드)을 어떻게 소진했는지 보여줍니다. 마찬가지로 오른쪽 차트는 단일 데카르트 공간에서 두 개의 하이퍼파라미터를 분석하여 그리드의 모든 포인트가 튜닝 중에 선택되었음을 보여줍니다.

위의 실험은 그리드 검색의 철저한 특성이 정의된 검색 공간이 주어지면 최적의 하이퍼파라미터 선택을 보장한다는 것을 보여줍니다. 또한 다른 모든 사항은 동일하게 조정 반복을 통해 검색 결과를 재현할 수 있음을 보여줍니다.

Amazon SageMaker 자동 모델 조정 워크플로(AMT)

Amazon SageMaker 자동 모델 조정을 사용하면 베이지안, 랜덤 검색, 그리드 검색 및 하이퍼밴드와 같은 여러 검색 전략을 사용하여 데이터 세트에서 훈련 작업을 실행하여 모델의 최상의 버전을 찾을 수 있습니다. 자동 모델 튜닝을 사용하면 지정한 하이퍼파라미터 범위 내에서 최상의 하이퍼파라미터 구성을 자동으로 검색하여 모델을 튜닝하는 시간을 줄일 수 있습니다.

Amazon SageMaker AMT에서 그리드 검색을 사용할 때의 이점을 검토했으므로 이제 AMT의 워크플로를 살펴보고 SageMaker에서 이 모든 것이 어떻게 결합되는지 이해하겠습니다.

결론

이 게시물에서는 그리드 검색 전략을 사용하여 최상의 모델을 찾는 방법과 다양한 튜닝 작업에서 결과를 결정적으로 재현하는 기능에 대해 논의했습니다. 다른 전략과 비교하여 그리드 검색을 사용할 때의 절충안과 하이퍼파라미터 공간의 어떤 영역이 가장 유망한지 탐색하고 결과를 결정론적으로 재현하는 방법에 대해 논의했습니다.

자동 모델 튜닝에 대해 자세히 알아보려면 다음을 방문하십시오. G 시리즈 페이지 와 기술 문서.

저자,

더그 음바야 데이터 및 분석에 중점을 둔 수석 파트너 솔루션 설계자입니다. Doug는 AWS 파트너와 긴밀하게 협력하여 클라우드에서 데이터 및 분석 솔루션을 통합할 수 있도록 지원합니다.