Điều chỉnh mô hình tự động của Amazon SageMaker hiện hỗ trợ tìm kiếm dạng lưới

Hôm nay Amazon SageMaker đã công bố hỗ trợ tìm kiếm Grid cho điều chỉnh mô hình tự động, cung cấp cho người dùng một chiến lược bổ sung để tìm cấu hình siêu tham số tốt nhất cho mô hình của bạn.

Điều chỉnh mô hình tự động của Amazon SageMaker sẽ tìm ra phiên bản tốt nhất của mô hình bằng cách chạy nhiều công việc đào tạo trên tập dữ liệu của bạn bằng cách sử dụng một phạm vi của siêu tham số mà bạn chỉ định. Sau đó, nó chọn các giá trị siêu tham số dẫn đến mô hình hoạt động tốt nhất, được đo bằng một số liệu Của bạn lựa chọn.

Để tìm các giá trị siêu tham số tốt nhất cho mô hình của bạn, việc điều chỉnh mô hình tự động của Amazon SageMaker hỗ trợ nhiều chiến lược, bao gồm Bayesian (Mặc định), ngẫu nhiên tìm kiếm và Siêu băng thông.

Tìm kiếm lưới

Tìm kiếm lưới khám phá toàn diện các cấu hình trong lưới siêu tham số mà bạn xác định, cho phép bạn hiểu rõ hơn về các cấu hình siêu tham số hứa hẹn nhất trong lưới của bạn và tái tạo một cách xác định kết quả của bạn qua các lần điều chỉnh khác nhau. Tìm kiếm dạng lưới giúp bạn tự tin hơn rằng toàn bộ không gian tìm kiếm siêu tham số đã được khám phá. Lợi ích này đi kèm với sự đánh đổi vì nó đắt hơn về mặt tính toán so với Bayesian và tìm kiếm ngẫu nhiên nếu mục tiêu chính của bạn là tìm ra cấu hình siêu tham số tốt nhất.

Tìm kiếm dạng lưới với Amazon SageMaker

Trong Amazon SageMaker, bạn sử dụng tìm kiếm Lưới khi vấn đề của bạn yêu cầu bạn phải có sự kết hợp siêu tham số tối ưu nhằm tối đa hóa hoặc tối thiểu hóa số liệu mục tiêu của bạn. Một trường hợp sử dụng phổ biến mà khách hàng sử dụng Grid Search là khi độ chính xác và khả năng tái tạo của mô hình quan trọng đối với doanh nghiệp của bạn hơn chi phí đào tạo cần thiết để có được nó.

Để bật Tìm kiếm lưới trong Amazon SageMaker, hãy đặt Strategy trường để Grid khi bạn tạo một công việc điều chỉnh, như sau:

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

Ngoài ra, Tìm kiếm dạng lưới yêu cầu bạn xác định không gian tìm kiếm của mình (lưới Descartes) dưới dạng một phạm vi phân loại gồm các giá trị riêng biệt trong định nghĩa công việc của bạn bằng cách sử dụng CategoricalParameterRanges chìa khóa dưới ParameterRanges tham số như sau:

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

Lưu ý rằng chúng tôi không chỉ định MaxNumberOfTrainingJobs dành cho Tìm kiếm dạng lưới trong định nghĩa công việc vì điều này được xác định cho bạn từ số lượng kết hợp danh mục. Khi sử dụng tìm kiếm Ngẫu nhiên và Bayesian, bạn chỉ định MaxNumberOfTrainingJobs tham số như một cách để kiểm soát chi phí công việc điều chỉnh bằng cách xác định giới hạn trên cho tính toán. Với tìm kiếm dạng lưới, giá trị của MaxNumberOfTrainingJobs (bây giờ là tùy chọn) được tự động đặt làm số lượng ứng cử viên cho tìm kiếm lưới trong Miêu tảHyperParameterTuningJob hình dạng. Điều này cho phép bạn khám phá toàn diện lưới siêu tham số mong muốn của mình. Ngoài ra, định nghĩa công việc tìm kiếm lưới chỉ chấp nhận các phạm vi phân loại riêng biệt và không yêu cầu định nghĩa phạm vi liên tục hoặc số nguyên vì mỗi giá trị trong lưới được coi là rời rạc.

Thử nghiệm tìm kiếm lưới

Trong thử nghiệm này, với một nhiệm vụ hồi quy, chúng tôi tìm kiếm các siêu tham số tối ưu trong không gian tìm kiếm gồm 200 siêu tham số, 20 eta và 10 alpha nằm trong khoảng từ 0.1 đến 1. Chúng tôi sử dụng tập dữ liệu tiếp thị trực tiếp điều chỉnh mô hình hồi quy.

• eta: Thu nhỏ kích thước bước được sử dụng trong các bản cập nhật để ngăn chặn quá khớp. Sau mỗi bước tăng cường, bạn có thể trực tiếp lấy trọng số của các tính năng mới. Các eta tham số thực sự thu nhỏ trọng số của tính năng để làm cho quá trình tăng cường trở nên thận trọng hơn.
• alpha: Thuật ngữ chính quy hóa L1 về trọng số. Việc tăng giá trị này làm cho các mô hình trở nên thận trọng hơn.

Biểu đồ bên trái thể hiện sự phân tích về eta siêu tham số liên quan đến số liệu mục tiêu và cho thấy tìm kiếm lưới đã sử dụng hết toàn bộ không gian tìm kiếm (lưới) trong trục X trước khi trả về mô hình tốt nhất. Tương tự, biểu đồ bên phải phân tích hai siêu tham số trong một không gian Descartes duy nhất để chứng minh rằng tất cả các điểm trong lưới đều được chọn trong quá trình điều chỉnh.

Thử nghiệm ở trên chứng minh rằng tính chất đầy đủ của tìm kiếm Lưới đảm bảo lựa chọn siêu tham số tối ưu cho không gian tìm kiếm được xác định. Nó cũng chứng tỏ rằng bạn có thể tái tạo kết quả tìm kiếm của mình qua các lần điều chỉnh, tất cả những thứ khác đều như nhau.

Quy trình điều chỉnh mô hình tự động của Amazon SageMaker (AMT)

Với tính năng điều chỉnh mô hình tự động của Amazon SageMaker, bạn có thể tìm thấy phiên bản tốt nhất của mô hình bằng cách chạy các công việc đào tạo trên tập dữ liệu của mình bằng một số chiến lược tìm kiếm, chẳng hạn như Bayesian, Tìm kiếm ngẫu nhiên, Tìm kiếm lưới và Hyperband. Điều chỉnh mô hình tự động cho phép bạn giảm thời gian điều chỉnh mô hình bằng cách tự động tìm kiếm cấu hình siêu tham số tốt nhất trong phạm vi siêu tham số mà bạn chỉ định.

Bây giờ chúng ta đã xem xét lợi ích của việc sử dụng tìm kiếm Lưới trong Amazon SageMaker AMT, hãy cùng xem quy trình làm việc của AMT và hiểu cách tất cả những thứ này khớp với nhau trong SageMaker.

Kết luận

Trong bài đăng này, chúng tôi đã thảo luận về cách hiện tại bạn có thể sử dụng chiến lược tìm kiếm Lưới để tìm ra mô hình tốt nhất và khả năng tái tạo kết quả một cách xác định qua các công việc điều chỉnh khác nhau. Chúng tôi đã thảo luận về sự cân bằng khi sử dụng tìm kiếm dạng lưới so với các chiến lược khác và cách nó cho phép bạn khám phá những vùng nào của không gian siêu tham số có triển vọng nhất và tái tạo kết quả của bạn một cách xác định.

Để tìm hiểu thêm về điều chỉnh mô hình tự động, hãy truy cập trang sản phẩm và tài liệu kỹ thuật.

Giới thiệu về tác giả

Doug Mbaya là một kiến ​​trúc sư Giải pháp Đối tác Cấp cao tập trung vào dữ liệu và phân tích. Doug hợp tác chặt chẽ với các đối tác AWS, giúp họ tích hợp các giải pháp phân tích và dữ liệu trên đám mây.