Tổ chức hành trình machine learning của bạn với Amazon SageMaker Experiment và Amazon SageMaker Pipelines

Quá trình xây dựng mô hình học máy (ML) được lặp đi lặp lại cho đến khi bạn tìm thấy mô hình ứng viên đang hoạt động tốt và sẵn sàng triển khai. Khi các nhà khoa học dữ liệu lặp lại quá trình đó, họ cần một phương pháp đáng tin cậy để dễ dàng theo dõi các thử nghiệm nhằm hiểu cách mỗi phiên bản mô hình được xây dựng và cách thức hoạt động của nó.

Amazon SageMaker cho phép các nhóm tận dụng nhiều tính năng để nhanh chóng chuẩn bị, xây dựng, đào tạo, triển khai và giám sát các mô hình ML. Đường ống Amazon SageMaker cung cấp một quy trình lặp lại để lặp lại thông qua các hoạt động xây dựng mô hình và được tích hợp với Thử nghiệm Amazon SageMaker. Theo mặc định, mọi quy trình SageMaker đều được liên kết với một thử nghiệm và mỗi lần chạy quy trình đó đều được theo dõi dưới dạng thử nghiệm trong thử nghiệm đó. Sau đó, các lần lặp lại của bạn sẽ được tự động theo dõi mà không cần bất kỳ bước bổ sung nào.

Trong bài đăng này, chúng ta xem xét kỹ hơn động lực đằng sau việc có quy trình tự động để theo dõi các thử nghiệm bằng Thử nghiệm và các khả năng gốc được tích hợp trong Đường ống.

Tại sao việc tổ chức các thử nghiệm của bạn lại quan trọng?

Hãy lùi lại một chút và cố gắng hiểu lý do tại sao việc tổ chức các thử nghiệm cho máy học lại quan trọng. Khi các nhà khoa học dữ liệu tiếp cận một vấn đề ML mới, họ phải trả lời nhiều câu hỏi khác nhau, từ tính sẵn có của dữ liệu cho đến cách họ đo lường hiệu suất của mô hình.

Khi bắt đầu, quá trình này chứa đầy sự không chắc chắn và có tính lặp lại cao. Do đó, giai đoạn thử nghiệm này có thể tạo ra nhiều mô hình, mỗi mô hình được tạo từ đầu vào của riêng chúng (bộ dữ liệu, tập lệnh huấn luyện và siêu tham số) và tạo ra đầu ra của riêng chúng (tạo phẩm mô hình và số liệu đánh giá). Thách thức sau đó là theo dõi tất cả các đầu vào và đầu ra này của mỗi lần lặp.

Các nhà khoa học dữ liệu thường đào tạo nhiều phiên bản mô hình khác nhau cho đến khi họ tìm thấy sự kết hợp giữa chuyển đổi dữ liệu, thuật toán và siêu tham số dẫn đến phiên bản mô hình hoạt động tốt nhất. Mỗi sự kết hợp độc đáo này là một thử nghiệm duy nhất. Với bản ghi có thể theo dõi về đầu vào, thuật toán và siêu tham số đã được sử dụng trong thử nghiệm đó, nhóm khoa học dữ liệu có thể dễ dàng tái tạo các bước của họ.

Việc có sẵn quy trình tự động để theo dõi các thử nghiệm sẽ cải thiện khả năng tái tạo cũng như triển khai các phiên bản mô hình cụ thể đang hoạt động tốt. Tích hợp gốc Pipelines với Thử nghiệm giúp dễ dàng tự động theo dõi và quản lý thử nghiệm trên các lần chạy quy trình.

Lợi ích của thử nghiệm SageMaker

SageMaker Experiment cho phép các nhà khoa học dữ liệu tổ chức, theo dõi, so sánh và đánh giá các lần lặp lại quá trình đào tạo của họ.

Trước tiên hãy bắt đầu với phần tổng quan về những gì bạn có thể làm với Thử nghiệm:

• Tổ chức thí nghiệm - Thử nghiệm cấu trúc thử nghiệm với thực thể cấp cao nhất được gọi là thử nghiệm có chứa một bộ thử nghiệm. Mỗi thử nghiệm bao gồm một tập hợp các bước được gọi là thành phần thử nghiệm. Mỗi thành phần thử nghiệm là sự kết hợp của bộ dữ liệu, thuật toán và tham số. Bạn có thể hình dung các thử nghiệm như thư mục cấp cao nhất để sắp xếp các giả thuyết của mình, các thử nghiệm của bạn là các thư mục con cho mỗi lần chạy thử nghiệm nhóm và các thành phần thử nghiệm của bạn là các tệp cho mỗi phiên bản của một lần chạy thử nghiệm.
• Theo dõi thí nghiệm – Thử nghiệm cho phép các nhà khoa học dữ liệu theo dõi các thử nghiệm. Nó cung cấp khả năng tự động chỉ định công việc SageMaker cho bản dùng thử thông qua các cấu hình đơn giản và thông qua SDK theo dõi.
• So sánh và đánh giá thí nghiệm – Việc tích hợp các thí nghiệm với Xưởng sản xuất Amazon SageMaker giúp dễ dàng tạo trực quan hóa dữ liệu và so sánh các thử nghiệm khác nhau. Bạn cũng có thể truy cập dữ liệu dùng thử thông qua Python SDK để tạo trực quan hóa của riêng mình bằng cách sử dụng các thư viện vẽ sơ đồ ưa thích của bạn.

Để tìm hiểu thêm về API và SDK thử nghiệm, chúng tôi khuyên bạn nên sử dụng tài liệu sau: TạoThử nghiệm và Thử nghiệm SDK Python của Amazon SageMaker.

Nếu bạn muốn tìm hiểu sâu hơn, chúng tôi khuyên bạn nên xem xét amazon-sagemaker-examples/sagemaker-experiments Kho lưu trữ GitHub cho các ví dụ khác.

Tích hợp giữa các quy trình và thử nghiệm

Quy trình xây dựng mô hình là một phần của Quy trình được xây dựng có mục đích cho ML và cho phép bạn sắp xếp các tác vụ xây dựng mô hình của mình bằng cách sử dụng công cụ quy trình bao gồm tích hợp gốc với các tính năng khác của SageMaker cũng như khả năng linh hoạt mở rộng quy trình của bạn với các bước chạy bên ngoài SageMaker . Mỗi bước xác định một hành động mà quy trình thực hiện. Sự phụ thuộc giữa các bước được xác định bằng biểu đồ chu kỳ trực tiếp (DAG) được xây dựng bằng SDK Python của Pipelines. Bạn có thể xây dựng quy trình SageMaker theo chương trình thông qua cùng một SDK. Sau khi triển khai quy trình, bạn có thể tùy ý trực quan hóa quy trình làm việc của quy trình đó trong Studio.

Quy trình tự động tích hợp với Thử nghiệm bằng cách tự động tạo thử nghiệm và bản dùng thử cho mỗi lần chạy. Quy trình tự động tạo thử nghiệm và bản dùng thử cho mỗi lần chạy quy trình trước khi chạy các bước trừ khi một hoặc cả hai đầu vào này được chỉ định. Trong khi chạy công việc SageMaker của quy trình, quy trình liên kết bản dùng thử với thử nghiệm và liên kết với bản dùng thử mọi thành phần thử nghiệm được công việc tạo ra. Việc chỉ định thử nghiệm hoặc thử nghiệm của riêng bạn theo chương trình cho phép bạn tinh chỉnh cách tổ chức thử nghiệm của mình.

Quy trình làm việc mà chúng tôi trình bày trong ví dụ này bao gồm một loạt các bước: bước tiền xử lý để chia tập dữ liệu đầu vào của chúng tôi thành các tập dữ liệu huấn luyện, kiểm tra và xác thực; một bước điều chỉnh để điều chỉnh các siêu tham số của chúng tôi và bắt đầu công việc đào tạo để đào tạo một mô hình bằng cách sử dụng Thuật toán tích hợp XGBoost; và cuối cùng là bước tạo mô hình để tạo mô hình SageMaker từ tạo phẩm mô hình được đào tạo tốt nhất. Pipelines cũng cung cấp một số tính năng được hỗ trợ nguyên bản các loại bước ngoài những gì được thảo luận trong bài viết này. Chúng tôi cũng minh họa cách bạn có thể theo dõi quy trình làm việc quy trình của mình cũng như tạo các số liệu và biểu đồ so sánh. Hơn nữa, chúng tôi trình bày cách liên kết thử nghiệm mới được tạo với thử nghiệm hiện có có thể đã được tạo trước khi quy trình được xác định.

Mã quy trình SageMaker

Bạn có thể xem lại và tải sổ ghi chép xuống từ Kho GitHub liên kết với bài viết này. Chúng tôi xem xét mã dành riêng cho Đường ống để hiểu rõ hơn.

Đường ống cho phép bạn truyền tham số trong thời gian chạy. Ở đây, chúng tôi xác định số lượng và loại phiên bản đào tạo và xử lý trong thời gian chạy với các giá trị mặc định đặt trước:

base_job_prefix = "pipeline-experiment-sample"
model_package_group_name = "pipeline-experiment-model-package"

processing_instance_count = ParameterInteger(
  name="ProcessingInstanceCount", default_value=1
)

training_instance_count = ParameterInteger(
  name="TrainingInstanceCount", default_value=1
)

processing_instance_type = ParameterString(
  name="ProcessingInstanceType", default_value="ml.m5.xlarge"
)
training_instance_type = ParameterString(
  name="TrainingInstanceType", default_value="ml.m5.xlarge"
)

Tiếp theo, chúng tôi thiết lập một tập lệnh xử lý để tải xuống và chia tập dữ liệu đầu vào thành các phần huấn luyện, kiểm tra và xác thực. Chúng tôi sử dụng SKLearnProcessor để chạy bước tiền xử lý này. Để làm như vậy, chúng tôi xác định một đối tượng bộ xử lý với loại phiên bản và số lượng cần thiết để chạy công việc xử lý.

Quy trình cho phép chúng tôi đạt được việc lập phiên bản dữ liệu theo cách có lập trình bằng cách sử dụng các biến dành riêng cho việc thực thi như ExecutionVariables.PIPELINE_EXECUTION_ID, đây là ID duy nhất của quá trình chạy quy trình. Ví dụ: chúng ta có thể tạo một khóa duy nhất để lưu trữ các tập dữ liệu đầu ra trong Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) liên kết chúng với một đường dẫn cụ thể. Để biết danh sách đầy đủ các biến, hãy tham khảo Biến thực thi.

framework_version = "0.23-1"

sklearn_processor = SKLearnProcessor(
    framework_version=framework_version,
    instance_type=processing_instance_type,
    instance_count=processing_instance_count,
    base_job_name="sklearn-ca-housing",
    role=role,
)

process_step = ProcessingStep(
    name="ca-housing-preprocessing",
    processor=sklearn_processor,
    outputs=[
        ProcessingOutput(
            output_name="train",
            source="/opt/ml/processing/train",
            destination=Join(
                on="/",
                values=[
                    "s3://{}".format(bucket),
                    prefix,
                    ExecutionVariables.PIPELINE_EXECUTION_ID,
                    "train",
                ],
            ),
        ),
        ProcessingOutput(
            output_name="validation",
            source="/opt/ml/processing/validation",
            destination=Join(
                on="/",
                values=[
                    "s3://{}".format(bucket),
                    prefix,
                    ExecutionVariables.PIPELINE_EXECUTION_ID,
                    "validation",
                ],
            )
        ),
        ProcessingOutput(
            output_name="test",
            source="/opt/ml/processing/test",
            destination=Join(
                on="/",
                values=[
                    "s3://{}".format(bucket),
                    prefix,
                    ExecutionVariables.PIPELINE_EXECUTION_ID,
                    "test",
                ],
            )
        ),
    ],
    code="california-housing-preprocessing.py",
)

Sau đó, chúng ta chuyển sang tạo đối tượng ước tính để huấn luyện mô hình XGBoost. Chúng tôi đặt một số siêu tham số tĩnh thường được sử dụng với XGBoost:

model_path = f"s3://{default_bucket}/{base_job_prefix}/ca-housing-experiment-pipeline"

image_uri = sagemaker.image_uris.retrieve(
    framework="xgboost",
    region=region,
    version="1.2-2",
    py_version="py3",
    instance_type=training_instance_type,
)

xgb_train = Estimator(
    image_uri=image_uri,
    instance_type=training_instance_type,
    instance_count=training_instance_count,
    output_path=model_path,
    base_job_name=f"{base_job_prefix}/ca-housing-train",
    sagemaker_session=sagemaker_session,
    role=role,
)

xgb_train.set_hyperparameters(
    eval_metric="rmse",
    objective="reg:squarederror",  # Define the object metric for the training job
    num_round=50,
    max_depth=5,
    eta=0.2,
    gamma=4,
    min_child_weight=6,
    subsample=0.7
)

Chúng tôi thực hiện điều chỉnh siêu tham số của các mô hình mà chúng tôi tạo bằng cách sử dụng ContinuousParameter phạm vi cho lambda. Việc chọn một số liệu làm số liệu khách quan sẽ cho bộ điều chỉnh (phiên bản chạy công việc điều chỉnh siêu tham số) biết rằng bạn sẽ đánh giá công việc đào tạo dựa trên số liệu cụ thể này. Bộ điều chỉnh trả về kết hợp tốt nhất dựa trên giá trị tốt nhất cho số liệu khách quan này, nghĩa là kết hợp tốt nhất giúp giảm thiểu sai số bình phương trung bình gốc tốt nhất (RMSE).

objective_metric_name = "validation:rmse"

hyperparameter_ranges = {
    "lambda": ContinuousParameter(0.01, 10, scaling_type="Logarithmic")
}

tuner = HyperparameterTuner(estimator,
                            objective_metric_name,
                            hyperparameter_ranges,
                            objective_type=objective_type,
                            strategy="Bayesian",
                            max_jobs=10,
                            max_parallel_jobs=3)

tune_step = TuningStep(
    name="HPTuning",
    tuner=tuner_log,
    inputs={
        "train": TrainingInput(
            s3_data=process_step.properties.ProcessingOutputConfig.Outputs[
                "train"
            ].S3Output.S3Uri,
            content_type="text/csv",
        ),
        "validation": TrainingInput(
            s3_data=process_step.properties.ProcessingOutputConfig.Outputs[
                "validation"
            ].S3Output.S3Uri,
            content_type="text/csv",
        ),
    } 
)

Bước điều chỉnh thực hiện nhiều thử nghiệm với mục tiêu xác định mô hình tốt nhất trong số các phạm vi tham số được thử nghiệm. Với phương pháp get_top_model_s3_uri, chúng tôi xếp hạng 50 phiên bản hoạt động tốt nhất của URI cấu phần mềm mô hình S3 và chỉ trích xuất phiên bản hoạt động tốt nhất (chúng tôi chỉ định k=0 tốt nhất) để tạo mô hình SageMaker.

model_bucket_key = f"{default_bucket}/{base_job_prefix}/ca-housing-experiment-pipeline"
model_candidate = Model(
    image_uri=image_uri,
    model_data=tune_step.get_top_model_s3_uri(top_k=0, s3_bucket=model_bucket_key),
    sagemaker_session=sagemaker_session,
    role=role,
    predictor_cls=XGBoostPredictor,
)

create_model_step = CreateModelStep(
    name="CreateTopModel",
    model=model_candidate,
    inputs=sagemaker.inputs.CreateModelInput(instance_type="ml.m4.large"),
)

Khi quy trình chạy, nó sẽ tạo các thành phần thử nghiệm cho từng công việc điều chỉnh siêu tham số và từng công việc SageMaker được tạo bởi các bước quy trình.

Bạn có thể định cấu hình thêm việc tích hợp quy trình với Thử nghiệm bằng cách tạo một PipelineExperimentConfig đối tượng và chuyển nó đến đối tượng đường ống. Hai tham số xác định tên của thử nghiệm sẽ được tạo và thử nghiệm sẽ đề cập đến toàn bộ quá trình chạy quy trình.

Nếu bạn muốn liên kết quá trình chạy quy trình với một thử nghiệm hiện có, bạn có thể chuyển tên của nó và Pipelines sẽ liên kết thử nghiệm mới với thử nghiệm đó. Bạn có thể ngăn việc tạo thử nghiệm và dùng thử cho một quy trình đang chạy bằng cách cài đặt pipeline_experiment_config đến None.

#Pipeline experiment config
ca_housing_experiment_config = PipelineExperimentConfig(
    experiment_name,
    Join(
        on="-",
        values=[
            "pipeline-execution",
            ExecutionVariables.PIPELINE_EXECUTION_ID
        ],
    )
)

Chúng tôi chuyển các loại phiên bản và được tính dưới dạng tham số, đồng thời xâu chuỗi các bước trước đó theo thứ tự như sau. Quy trình làm việc của quy trình được xác định ngầm bởi đầu ra của một bước là đầu vào của bước khác.

pipeline_name = f"CAHousingExperimentsPipeline"

pipeline = Pipeline(
    name=pipeline_name,
    pipeline_experiment_config=ca_housing_experiment_config,
    parameters=[
        processing_instance_count,
        processing_instance_type,
        training_instance_count,
        training_instance_type
    ],
    steps=[process_step,tune_step,create_model_step],
)

Quy trình chính thức hiện đã được tạo và sẵn sàng hoạt động. Chúng tôi thêm vai trò thực thi vào quy trình và khởi động nó. Từ đây, chúng ta có thể đi tới bảng điều khiển SageMaker Studio Pipelines và theo dõi từng bước một cách trực quan. Bạn cũng có thể truy cập nhật ký được liên kết từ bảng điều khiển để gỡ lỗi quy trình.

pipeline.upsert(role_arn=sagemaker.get_execution_role())
execution = pipeline.start()

Ảnh chụp màn hình trước hiển thị đường ống chạy thành công bằng màu xanh lục. Chúng tôi thu được số liệu của một thử nghiệm từ quá trình chạy quy trình với mã sau:

# SM Pipeline injects the Execution ID into trial component names
execution_id = execution.describe()['PipelineExecutionArn'].split('/')[-1]
source_arn_filter = Filter(
    name="TrialComponentName", operator=Operator.CONTAINS, value=execution_id
)

source_type_filter = Filter(
    name="Source.SourceType", operator=Operator.EQUALS, value="SageMakerTrainingJob"
)

search_expression = SearchExpression(
    filters=[source_arn_filter, source_type_filter]
)

trial_component_analytics = ExperimentAnalytics(
    sagemaker_session=sagemaker_session,
    experiment_name=experiment_name,
    search_expression=search_expression.to_boto()
)

analytic_table = trial_component_analytics.dataframe()
analytic_table.head()

So sánh số liệu cho từng thành phần thử nghiệm

Bạn có thể vẽ biểu đồ kết quả điều chỉnh siêu tham số trong Studio hoặc thông qua các thư viện vẽ biểu đồ Python khác. Chúng tôi chỉ ra cả hai cách để làm điều này.

Khám phá các chỉ số đào tạo và đánh giá trong Studio

Studio cung cấp giao diện người dùng tương tác nơi bạn có thể tạo các sơ đồ tương tác. Các bước thực hiện như sau:

1. Chọn Thử nghiệm và Thử nghiệm từ Tài nguyên của SageMaker biểu tượng trên thanh bên trái.
2. Chọn thử nghiệm của bạn để mở nó.
3. Chọn (click chuột phải vào) bản dùng thử quan tâm.
4. Chọn Mở trong danh sách thành phần dùng thử.
5. Ấn Bản sự thay đổi để lựa chọn các thành phần thử nghiệm đại diện cho công việc đào tạo.
6. Chọn Thêm biểu đồ.
7. Chọn Biểu đồ mới và tùy chỉnh nó để lập biểu đồ các chỉ số đã thu thập mà bạn muốn phân tích. Đối với trường hợp sử dụng của chúng tôi, hãy chọn như sau:
   1. Trong Loại dữ liệulựa chọn Tóm tắt thống kê.
   2. Trong loại biểu đồlựa chọn Lô phân tán.
   3. Trong Trục X, chọn lambda.
   4. Trong Trục Y, chọn validation:rmse_last.

Biểu đồ mới xuất hiện ở cuối cửa sổ, được gắn nhãn là '8'.

Bạn có thể bao gồm nhiều hoặc ít công việc đào tạo bằng cách nhấn sự thay đổi và chọn biểu tượng con mắt để có trải nghiệm tương tác hơn.

Phân tích với Thử nghiệm SageMaker

Khi quá trình chạy quy trình hoàn tất, chúng tôi có thể nhanh chóng hình dung các biến thể khác nhau của mô hình so sánh như thế nào về mặt số liệu được thu thập trong quá trình đào tạo. Trước đó, chúng tôi đã xuất tất cả số liệu thử nghiệm sang một Gấu trúc DataFrame sử dụng ExperimentAnalytics. Chúng ta có thể tái tạo cốt truyện thu được trong Studio bằng cách sử dụng thư viện Matplotlib.

analytic_table.plot.scatter("lambda", "validation:rmse - Last", grid=True)

Kết luận

Sự tích hợp tự nhiên giữa SageMaker Pipelines và SageMaker Experiments cho phép các nhà khoa học dữ liệu tự động tổ chức, theo dõi và trực quan hóa các thử nghiệm trong các hoạt động phát triển mô hình. Bạn có thể tạo các thử nghiệm để sắp xếp tất cả công việc phát triển mô hình của mình, chẳng hạn như sau:

• Trường hợp sử dụng kinh doanh mà bạn đang giải quyết, chẳng hạn như tạo thử nghiệm để dự đoán tỷ lệ rời bỏ khách hàng
• Ví dụ: một thử nghiệm thuộc sở hữu của nhóm khoa học dữ liệu liên quan đến phân tích tiếp thị
• Một dự án ML và khoa học dữ liệu cụ thể

Trong bài đăng này, chúng tôi đi sâu vào Đường ống để chỉ ra cách bạn có thể sử dụng nó song song với Thử nghiệm để tổ chức quy trình làm việc từ đầu đến cuối hoàn toàn tự động.

Bước tiếp theo, bạn có thể sử dụng ba tính năng SageMaker này – Studio, Thử nghiệm và Quy trình – cho dự án ML tiếp theo của mình.

Bài đọc được đề xuất

Giới thiệu về tác giả

Paolo Di Francesco là kiến ​​trúc sư giải pháp tại AWS. Ông có kinh nghiệm trong lĩnh vực viễn thông và công nghệ phần mềm. Anh ấy đam mê học máy và hiện đang tập trung vào việc sử dụng kinh nghiệm của mình để giúp khách hàng đạt được mục tiêu của họ trên AWS, đặc biệt là trong các cuộc thảo luận về MLOps. Ngoài công việc, anh thích chơi bóng đá và đọc sách.

Mario Bourgoin là Kiến trúc sư giải pháp đối tác cấp cao của AWS, chuyên gia AI/ML và lãnh đạo công nghệ toàn cầu cho MLOps. Anh làm việc với các khách hàng doanh nghiệp và đối tác triển khai giải pháp AI trên đám mây. Ông có hơn 30 năm kinh nghiệm nghiên cứu về máy học và AI tại các công ty khởi nghiệp và doanh nghiệp, bắt đầu bằng việc tạo ra một trong những hệ thống máy học thương mại đầu tiên cho dữ liệu lớn. Mario dành thời gian rảnh rỗi để chơi với ba chú chó Tervuren người Bỉ, nấu bữa tối cho gia đình và học về toán học và vũ trụ học.

Ganapathi Krishnamoorthi là Kiến trúc sư giải pháp ML cao cấp tại AWS. Ganapathi cung cấp hướng dẫn mang tính quy định cho khách hàng khởi nghiệp và doanh nghiệp, giúp họ thiết kế và triển khai các ứng dụng đám mây trên quy mô lớn. Anh ấy chuyên về học máy và tập trung vào việc giúp khách hàng tận dụng AI/ML để đạt được kết quả kinh doanh của họ. Khi không làm việc, anh ấy thích khám phá ngoài trời và nghe nhạc.

Valerie Sounthakith là Kiến trúc sư giải pháp cho AWS, làm việc trong ngành trò chơi và cùng các Đối tác triển khai các giải pháp AI. Cô đang hướng tới xây dựng sự nghiệp của mình xung quanh Computer Vision. Trong thời gian rảnh rỗi, Valerie dành thời gian để đi du lịch, khám phá những địa điểm ăn uống mới và thay đổi nội thất ngôi nhà.