Cải thiện khả năng quản lý các mô hình máy học của bạn với Amazon SageMaker

Khi các công ty ngày càng áp dụng máy học (ML) cho các ứng dụng doanh nghiệp chủ đạo của họ, nhiều quyết định kinh doanh của họ bị ảnh hưởng bởi các mô hình ML. Do đó, việc kiểm soát truy cập được đơn giản hóa và nâng cao tính minh bạch trên tất cả các mô hình ML của bạn giúp dễ dàng xác thực rằng các mô hình của bạn đang hoạt động tốt và thực hiện hành động khi chúng không hoạt động.

Trong bài đăng này, chúng tôi khám phá cách các công ty có thể cải thiện khả năng hiển thị các mô hình của họ bằng bảng điều khiển tập trung và tài liệu chi tiết về các mô hình của họ bằng hai tính năng mới: Thẻ mô hình SageMaker và Bảng điều khiển mô hình SageMaker. Cả hai tính năng này đều được cung cấp miễn phí cho khách hàng của SageMaker.

Tổng quan về mô hình quản trị

Quản trị mô hình là một khuôn khổ cung cấp khả năng hiển thị có hệ thống đối với quá trình phát triển, xác nhận và sử dụng mô hình. Quản trị mô hình được áp dụng trong quy trình làm việc ML từ đầu đến cuối, bắt đầu từ việc xác định trường hợp sử dụng ML đến giám sát liên tục mô hình đã triển khai thông qua cảnh báo, báo cáo và bảng điều khiển. Khung quản trị mô hình được triển khai tốt sẽ giảm thiểu số lượng giao diện cần thiết để xem, theo dõi và quản lý các nhiệm vụ vòng đời để giúp giám sát vòng đời ML trên quy mô lớn dễ dàng hơn.

Ngày nay, các tổ chức đầu tư chuyên môn kỹ thuật quan trọng vào việc xây dựng công cụ để tự động hóa phần lớn quy trình quản trị và khả năng kiểm toán của họ. Ví dụ: người xây dựng mô hình cần chủ động ghi lại các thông số kỹ thuật của mô hình như mục đích sử dụng cho mô hình, xếp hạng rủi ro và tiêu chí hiệu suất mà mô hình nên được đo lường. Hơn nữa, họ cũng cần ghi lại các quan sát về hành vi của mô hình và ghi lại lý do họ đưa ra các quyết định quan trọng nhất định, chẳng hạn như chức năng mục tiêu mà họ đã tối ưu hóa mô hình.

Các công ty thường sử dụng các công cụ như Excel hoặc email để thu thập và chia sẻ thông tin mô hình đó để sử dụng trong phê duyệt sử dụng sản xuất. Nhưng khi quy mô phát triển ML tăng lên, thông tin có thể dễ dàng bị mất hoặc đặt sai vị trí và việc theo dõi các chi tiết này trở nên không khả thi một cách nhanh chóng. Hơn nữa, sau khi các mô hình này được triển khai, bạn có thể kết hợp dữ liệu từ nhiều nguồn khác nhau để có được khả năng hiển thị từ đầu đến cuối đối với tất cả các mô hình, điểm cuối, lịch sử giám sát và dòng dõi của bạn. Nếu không có chế độ xem như vậy, bạn có thể dễ dàng theo dõi các mô hình của mình và có thể không biết khi nào bạn cần thực hiện hành động đối với chúng. Vấn đề này càng trầm trọng hơn trong các ngành có quy định chặt chẽ vì bạn phải tuân theo các quy định yêu cầu bạn phải duy trì các biện pháp đó.

Khi số lượng mô hình bắt đầu mở rộng, việc quản lý công cụ tùy chỉnh có thể trở thành một thách thức và khiến các tổ chức có ít thời gian hơn để tập trung vào các nhu cầu kinh doanh cốt lõi. Trong các phần sau, chúng tôi khám phá cách Thẻ mô hình SageMaker và Bảng điều khiển mô hình SageMaker có thể giúp bạn mở rộng quy mô các nỗ lực quản trị của mình.

Thẻ mô hình SageMaker

Thẻ mô hình cho phép bạn chuẩn hóa cách các mô hình được ghi lại, do đó đạt được khả năng hiển thị trong vòng đời của một mô hình, từ thiết kế, xây dựng, đào tạo và đánh giá. Thẻ mô hình nhằm mục đích trở thành một nguồn sự thật duy nhất cho siêu dữ liệu kinh doanh và kỹ thuật về mô hình có thể được sử dụng một cách đáng tin cậy cho mục đích kiểm toán và lập tài liệu. Họ cung cấp một tờ thông tin về mô hình rất quan trọng đối với việc quản trị mô hình.

Thẻ mô hình cho phép người dùng tạo và lưu trữ các quyết định chẳng hạn như lý do tại sao một hàm mục tiêu được chọn để tối ưu hóa và các chi tiết như mục đích sử dụng và xếp hạng rủi ro. Bạn cũng có thể đính kèm và xem lại các kết quả đánh giá, đồng thời ghi lại các quan sát để tham khảo sau này.

Đối với các mô hình được đào tạo trên SageMaker, thẻ Mô hình có thể khám phá và tự động điền các chi tiết như công việc đào tạo, tập dữ liệu đào tạo, tạo tác mô hình và môi trường suy luận, từ đó đẩy nhanh quá trình tạo thẻ. Với SageMaker Python SDK, bạn có thể cập nhật liền mạch thẻ Mô hình với các chỉ số đánh giá.

Thẻ mô hình cung cấp cho người quản lý rủi ro mô hình, nhà khoa học dữ liệu và kỹ sư ML khả năng thực hiện các tác vụ sau:

• Các yêu cầu về mô hình tài liệu như xếp hạng rủi ro, mục đích sử dụng, giới hạn và hiệu suất dự kiến
• Tự động điền thẻ Mô hình cho các mô hình được đào tạo của SageMaker
• Mang thông tin của riêng bạn (BYOI) cho các mô hình không phải SageMaker
• Tải lên và chia sẻ kết quả đánh giá mô hình và dữ liệu
• Xác định và nắm bắt thông tin tùy chỉnh
• Nắm bắt trạng thái thẻ Mô hình (bản nháp, đang chờ xem xét hoặc được phê duyệt để sản xuất)
• Truy cập trung tâm thẻ Model từ Bảng điều khiển quản lý AWS
• Tạo, chỉnh sửa, xem, xuất, sao chép và xóa thẻ Mô hình
• Kích hoạt quy trình làm việc bằng cách sử dụng Sự kiện Amazon tích hợp cho các sự kiện thay đổi trạng thái thẻ Mô hình

Tạo Thẻ mô hình SageMaker bằng bảng điều khiển

Bạn có thể dễ dàng tạo thẻ Mô hình bằng bảng điều khiển SageMaker. Tại đây, bạn có thể xem tất cả các thẻ Mô hình hiện có và tạo những thẻ mới nếu cần.

Khi tạo thẻ Mô hình, bạn có thể ghi lại thông tin mô hình quan trọng chẳng hạn như ai đã xây dựng mô hình, lý do phát triển mô hình, cách thức hoạt động của mô hình đối với các đánh giá độc lập và bất kỳ quan sát nào cần được xem xét trước khi sử dụng mô hình cho ứng dụng kinh doanh.

Để tạo thẻ Mô hình trên bảng điều khiển, hãy hoàn thành các bước sau:

1. Nhập chi tiết tổng quan về mô hình.
2. Nhập chi tiết đào tạo (tự động điền nếu mô hình được đào tạo trên SageMaker).
3. Tải lên kết quả đánh giá.
4. Thêm các chi tiết bổ sung như khuyến nghị và cân nhắc về đạo đức.

Sau khi bạn tạo thẻ Model, bạn có thể chọn một phiên bản để xem nó.

Ảnh chụp màn hình sau đây hiển thị chi tiết về thẻ Model của chúng tôi.

Bạn cũng có thể xuất thẻ Mô hình để chia sẻ dưới dạng PDF.

Tạo và khám phá Thẻ mô hình SageMaker thông qua SageMaker Python SDK

Tương tác với thẻ Mô hình không giới hạn ở bảng điều khiển. Bạn cũng có thể sử dụng SageMaker Python SDK để tạo và khám phá các thẻ Mô hình. SageMaker Python SDK cho phép các nhà khoa học dữ liệu và kỹ sư ML dễ dàng tương tác với các thành phần của SageMaker. Các đoạn mã sau giới thiệu quy trình tạo thẻ Mô hình bằng cách sử dụng chức năng SageMaker Python SDK mới được thêm vào.

Đảm bảo rằng bạn đã cài đặt phiên bản mới nhất của SageMaker Python SDK:

$ pip install --upgrade "sagemaker>=2"

Khi bạn đã đào tạo và triển khai một mô hình bằng SageMaker, bạn có thể sử dụng thông tin từ mô hình SageMaker và công việc đào tạo để tự động điền thông tin vào thẻ Mô hình.

Sử dụng SageMaker Python SDK và chuyển tên mô hình SageMaker, chúng tôi có thể tự động thu thập thông tin mô hình cơ bản. Thông tin như ARN mô hình SageMaker, môi trường đào tạo và đầu ra mô hình Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) đều được điền tự động. Chúng tôi có thể thêm các sự kiện mô hình khác, chẳng hạn như mô tả, loại vấn đề, loại thuật toán, người tạo mô hình và chủ sở hữu. Xem đoạn mã sau:

model_overview = ModelOverview.from_name(
    model_name=model_name,
    sagemaker_session=sagemaker_session,
    model_description="This is a simple binary classification model used for Model Card demo",
    problem_type="Binary Classification",
    algorithm_type="Logistic Regression",
    model_creator="DEMO-ModelCard",
    model_owner="DEMO-ModelCard",
)
print(model_overview.model_id) # Provides us with the SageMaker Model ARN
print(model_overview.inference_environment.container_image) # Provides us with the SageMaker inference container URI
print(model_overview.model_artifact) # Provides us with the S3 location of the model artifacts

Chúng tôi cũng có thể tự động thu thập thông tin đào tạo cơ bản như ARN công việc đào tạo, môi trường đào tạo và chỉ số đào tạo. Chi tiết đào tạo bổ sung có thể được thêm vào, như chức năng mục tiêu đào tạo và quan sát. Xem đoạn mã sau:

objective_function = ObjectiveFunction(
    function=Function(
        function=ObjectiveFunctionEnum.MINIMIZE,
        facet=FacetEnum.LOSS,
    ),
    notes="This is a example objective function.",
)
training_details = TrainingDetails.from_model_overview(
    model_overview=model_overview,
    sagemaker_session=sagemaker_session,
    objective_function=objective_function,
    training_observations="Additional training observations could be put here."
)

print(training_details.training_job_details.training_arn) # Provides us with the SageMaker Model ARN
print(training_details.training_job_details.training_environment.container_image) # Provides us with the SageMaker training container URI
print([{"name": i.name, "value": i.value} for i in training_details.training_job_details.training_metrics]) # Provides us with the SageMaker Training Job metrics

Nếu có sẵn các chỉ số đánh giá, chúng ta cũng có thể thêm các chỉ số đó vào thẻ Mô hình:

my_metric_group = MetricGroup(
    name="binary classification metrics",
    metric_data=[Metric(name="accuracy", type=MetricTypeEnum.NUMBER, value=0.5)]
)
evaluation_details = [
    EvaluationJob(
        name="Example evaluation job",
        evaluation_observation="Evaluation observations.",
        datasets=["s3://path/to/evaluation/data"],
        metric_groups=[my_metric_group],
    )
]

Chúng tôi cũng có thể thêm thông tin bổ sung về mô hình có thể giúp quản trị mô hình:

intended_uses = IntendedUses(
    purpose_of_model="Test Model Card.",
    intended_uses="Not used except this test.",
    factors_affecting_model_efficiency="No.",
    risk_rating=RiskRatingEnum.LOW,
    explanations_for_risk_rating="Just an example.",
)
additional_information = AdditionalInformation(
    ethical_considerations="You model ethical consideration.",
    caveats_and_recommendations="Your model's caveats and recommendations.",
    custom_details={"custom details1": "details value"},
)

Sau khi chúng tôi đã cung cấp tất cả các chi tiết mà chúng tôi yêu cầu, chúng tôi có thể tạo thẻ Mô hình bằng cách sử dụng cấu hình trước:

model_card_name = "sample-notebook-model-card"
my_card = ModelCard(
    name=model_card_name,
    status=ModelCardStatusEnum.DRAFT,
    model_overview=model_overview,
    training_details=training_details,
    intended_uses=intended_uses,
    evaluation_details=evaluation_details,
    additional_information=additional_information,
    sagemaker_session=sagemaker_session,
)
my_card.create()

SDK SageMaker cũng cung cấp khả năng cập nhật, tải, liệt kê, xuất và xóa thẻ Mô hình.

Để tìm hiểu thêm về các thẻ Model, hãy tham khảo hướng dẫn nhà phát triển và làm theo điều này sổ ghi chép ví dụ để bắt đầu.

Bảng điều khiển mô hình SageMaker

Bảng điều khiển Mô hình là kho lưu trữ tập trung tất cả các mô hình đã được tạo trong tài khoản. Các mô hình thường được tạo bằng cách đào tạo trên SageMaker hoặc bạn có thể mang các mô hình đã được đào tạo của mình đến nơi khác để lưu trữ trên SageMaker.

Bảng điều khiển Mô hình cung cấp một giao diện duy nhất cho quản trị viên CNTT, người quản lý rủi ro mô hình hoặc lãnh đạo doanh nghiệp để xem tất cả các mô hình đã triển khai và cách chúng hoạt động. Bạn có thể xem các điểm cuối, công việc chuyển đổi hàng loạt và giám sát công việc để hiểu rõ hơn về hiệu suất của mô hình. Các tổ chức có thể tìm hiểu sâu để xác định mô hình nào có màn hình bị thiếu hoặc không hoạt động và thêm chúng bằng cách sử dụng API SageMaker để đảm bảo tất cả các mô hình đều được kiểm tra độ lệch dữ liệu, độ lệch mô hình, độ lệch sai lệch và độ lệch phân bổ tính năng.

Ảnh chụp màn hình sau đây hiển thị một ví dụ về bảng điều khiển Mô hình.

Bảng điều khiển mô hình cung cấp thông tin tổng quan về tất cả các mô hình của bạn, xếp hạng rủi ro của chúng là gì và các mô hình đó đang hoạt động như thế nào trong quá trình sản xuất. Nó thực hiện điều này bằng cách lấy thông tin từ khắp SageMaker. Thông tin giám sát hiệu suất được nắm bắt thông qua Giám sát mô hình Amazon SageMakervà bạn cũng có thể xem thông tin về các mô hình được gọi cho các dự đoán hàng loạt thông qua các công việc chuyển đổi hàng loạt SageMaker. Thông tin dòng giống như cách mô hình được đào tạo, dữ liệu được sử dụng, v.v. được thu thập và thông tin từ thẻ Mô hình cũng được lấy.

Model Monitor giám sát chất lượng của các mô hình SageMaker được sử dụng trong sản xuất để suy luận theo lô hoặc điểm cuối thời gian thực. Bạn có thể thiết lập giám sát liên tục hoặc giám sát theo lịch thông qua API SageMaker và chỉnh sửa cài đặt cảnh báo thông qua bảng điều khiển Mô hình. Bạn có thể đặt cảnh báo thông báo cho bạn khi có sai lệch về chất lượng mô hình. Phát hiện sớm và chủ động những sai lệch này cho phép bạn thực hiện các hành động khắc phục, chẳng hạn như đào tạo lại mô hình, kiểm tra hệ thống ngược dòng hoặc khắc phục sự cố chất lượng mà không cần phải giám sát mô hình theo cách thủ công hoặc xây dựng công cụ bổ sung. Bảng điều khiển Mô hình cung cấp cho bạn thông tin chi tiết nhanh về mô hình nào đang được theo dõi và cách chúng hoạt động. Để biết thêm thông tin về Model Monitor, hãy truy cập Giám sát các mô hình về chất lượng, độ chệch và khả năng giải thích của dữ liệu và mô hình.

Khi bạn chọn một mô hình trong Bảng điều khiển mô hình, bạn có thể hiểu sâu hơn về mô hình, chẳng hạn như thẻ Mô hình (nếu có), dòng dõi mô hình, chi tiết về điểm cuối mà mô hình đã được triển khai và lịch giám sát cho người mẫu.

Chế độ xem này cho phép bạn tạo thẻ Mô hình nếu cần. Lịch giám sát cũng có thể được kích hoạt, hủy kích hoạt hoặc chỉnh sửa thông qua bảng điều khiển Mô hình.

Đối với các mô hình không có lịch trình giám sát, bạn có thể thiết lập lịch trình này bằng cách bật Trình giám sát mô hình cho điểm cuối mà mô hình đã được triển khai. Thông qua các chi tiết và trạng thái cảnh báo, bạn sẽ được thông báo về các mô hình đang hiển thị sai lệch dữ liệu, sai lệch mô hình, sai lệch sai lệch hoặc sai lệch tính năng, tùy thuộc vào màn hình bạn thiết lập.

Hãy xem quy trình công việc ví dụ về cách thiết lập giám sát mô hình. Các bước chính của quá trình này là:

1. Thu thập dữ liệu được gửi đến điểm cuối (hoặc công việc chuyển đổi hàng loạt).
2. Thiết lập đường cơ sở (cho từng loại giám sát).
3. Tạo lịch trình Giám sát mô hình để so sánh các dự đoán trực tiếp với đường cơ sở để báo cáo vi phạm và kích hoạt cảnh báo.

Dựa trên các cảnh báo, bạn có thể thực hiện các hành động như khôi phục điểm cuối về phiên bản trước đó hoặc đào tạo lại mô hình bằng dữ liệu mới. Trong khi làm điều này, có thể cần phải theo dõi cách mô hình được đào tạo, điều này có thể được thực hiện bằng cách trực quan hóa dòng dõi của mô hình.

Bảng điều khiển Mô hình cung cấp một tập hợp thông tin phong phú về hệ sinh thái mô hình tổng thể trong một tài khoản, bên cạnh khả năng đi sâu vào các chi tiết cụ thể của một mô hình. Để tìm hiểu thêm về Bảng điều khiển mô hình, hãy tham khảo hướng dẫn nhà phát triển.

Kết luận

Quản trị mô hình rất phức tạp và thường liên quan đến nhiều nhu cầu tùy chỉnh dành riêng cho một tổ chức hoặc một ngành. Điều này có thể dựa trên các yêu cầu quy định mà tổ chức của bạn cần tuân thủ, các loại cá nhân có trong tổ chức và các loại mô hình đang được sử dụng. Không có cách tiếp cận quản trị nào phù hợp cho tất cả mọi người và điều quan trọng là phải có sẵn các công cụ phù hợp để có thể áp dụng một quy trình quản trị mạnh mẽ.

Với các công cụ quản trị ML được xây dựng có mục đích trong SageMaker, các tổ chức có thể triển khai các cơ chế phù hợp để cải thiện khả năng kiểm soát và khả năng hiển thị đối với các dự án ML cho các trường hợp sử dụng cụ thể của họ. Hãy dùng thử thẻ Mô hình và bảng điều khiển Mô hình, đồng thời để lại nhận xét của bạn với các câu hỏi và phản hồi. Để tìm hiểu thêm về thẻ Mô hình và bảng điều khiển Mô hình, hãy tham khảo hướng dẫn nhà phát triển.

Giới thiệu về tác giả

Kirit Thadaka là một Kiến trúc sư giải pháp ML làm việc trong nhóm SageMaker Service SA. Trước khi gia nhập AWS, Kirit đã làm việc trong các công ty khởi nghiệp AI giai đoạn đầu, sau đó là một thời gian tư vấn trong nhiều vai trò khác nhau trong nghiên cứu AI, MLOps và lãnh đạo kỹ thuật.

Marc Karp là một Kiến trúc sư ML với nhóm Dịch vụ SageMaker. Ông tập trung vào việc giúp khách hàng thiết kế, triển khai và quản lý khối lượng công việc ML trên quy mô lớn. Khi rảnh rỗi, anh ấy thích đi du lịch và khám phá những địa điểm mới.

Raghu Ramesha là một Kiến trúc sư Giải pháp ML của nhóm Dịch vụ Amazon SageMaker. Anh ấy tập trung vào việc giúp khách hàng xây dựng, triển khai và chuyển khối lượng công việc sản xuất ML sang SageMaker trên quy mô lớn. Anh ấy chuyên về học máy, AI và các lĩnh vực thị giác máy tính, và có bằng thạc sĩ về Khoa học máy tính tại UT Dallas. Khi rảnh rỗi, anh thích đi du lịch và chụp ảnh.

Ram Vittal là Kiến trúc sư Giải pháp Chuyên gia ML tại AWS. Ông có hơn 20 năm kinh nghiệm về kiến ​​trúc và xây dựng các ứng dụng phân tán, kết hợp và đám mây. Anh ấy đam mê xây dựng các giải pháp AI / ML và dữ liệu lớn an toàn và có thể mở rộng để giúp khách hàng doanh nghiệp trong hành trình áp dụng và tối ưu hóa đám mây nhằm cải thiện kết quả kinh doanh của họ. Khi rảnh rỗi, anh ấy thích chơi quần vợt, chụp ảnh và đóng phim hành động.

Sahil Saini là Kiến trúc sư giải pháp ISV tại Amazon Web Services . Anh làm việc với các nhóm kỹ thuật và sản phẩm của khách hàng chiến lược AWS để trợ giúp họ về các giải pháp công nghệ sử dụng dịch vụ AWS cho AI/ML, Bộ chứa, HPC và IoT. Anh ấy đã giúp thiết lập nền tảng AI/ML cho khách hàng doanh nghiệp.