Suy luận hàng loạt là một mẫu phổ biến trong đó các yêu cầu dự đoán được nhóm cùng nhau trên đầu vào, một công việc sẽ chạy để xử lý các yêu cầu đó dựa trên một mô hình được đào tạo và đầu ra bao gồm các phản hồi dự đoán hàng loạt mà sau đó có thể được các ứng dụng hoặc chức năng kinh doanh khác sử dụng. Việc chạy các trường hợp sử dụng hàng loạt trong môi trường sản xuất yêu cầu một quy trình có thể lặp lại để đào tạo lại mô hình cũng như suy luận hàng loạt. Quá trình đó cũng nên bao gồm việc giám sát mô hình đó để đo lường hiệu suất theo thời gian.
Trong bài đăng này, chúng tôi trình bày cách tạo quy trình lặp lại cho các trường hợp sử dụng hàng loạt của bạn bằng cách sử dụng Đường ống Amazon SageMaker, Sổ đăng ký mô hình Amazon SageMaker, Các công việc chuyển đổi hàng loạt của SageMakervà Giám sát mô hình Amazon SageMaker. Giải pháp này làm nổi bật khả năng sử dụng các tính năng được quản lý hoàn toàn trong SageMaker MLOps để giảm chi phí hoạt động thông qua các khả năng được quản lý và tích hợp đầy đủ.
Tổng quan về giải pháp
Có nhiều kịch bản để thực hiện suy luận hàng loạt. Trong một số trường hợp, bạn có thể đào tạo lại mô hình của mình mỗi khi chạy suy luận hàng loạt. Ngoài ra, bạn có thể huấn luyện mô hình của mình ít thường xuyên hơn so với khi bạn thực hiện suy luận hàng loạt. Trong bài đăng này, chúng tôi tập trung vào kịch bản thứ hai. Đối với ví dụ này, giả sử bạn có một mô hình được đào tạo định kỳ, khoảng một lần mỗi tháng. Tuy nhiên, suy luận hàng loạt được thực hiện đối với phiên bản mô hình mới nhất hàng ngày. Đây là một tình huống phổ biến, trong đó vòng đời đào tạo mô hình khác với vòng đời suy luận hàng loạt.
Kiến trúc hỗ trợ kịch bản hàng loạt được giới thiệu chứa hai đường dẫn SageMaker riêng biệt, như thể hiện trong sơ đồ sau.
Chúng tôi sử dụng quy trình đầu tiên để đào tạo mô hình và tạo đường cơ sở cho dữ liệu đào tạo. Chúng tôi sử dụng đường cơ sở đã tạo để theo dõi liên tục trong quy trình thứ hai. Quy trình đầu tiên bao gồm các bước cần thiết để chuẩn bị dữ liệu, đào tạo mô hình và đánh giá hiệu suất của mô hình. Nếu mô hình hoạt động ở mức chấp nhận được theo tiêu chí đánh giá, thì quy trình bán hàng sẽ tiếp tục với một bước để tạo đường cơ sở cho dữ liệu bằng cách sử dụng bước Quy trình bán hàng SageMaker tích hợp sẵn. Cho trôi dạt dữ liệu loại, bước cơ sở sử dụng hình ảnh bộ chứa được quản lý bởi SageMaker để tạo số liệu thống kê và ràng buộc dựa trên dữ liệu đào tạo của bạn. Đường cơ sở này sau đó được sử dụng để theo dõi các tín hiệu về độ lệch dữ liệu trong quá trình suy luận hàng loạt. Cuối cùng, quy trình đầu tiên hoàn tất khi một phiên bản mô hình mới được đăng ký vào sổ đăng ký mô hình SageMaker. Tại thời điểm này, mô hình có thể được phê duyệt tự động hoặc có thể yêu cầu phê duyệt thủ công thứ cấp dựa trên đánh giá ngang hàng về hiệu suất của mô hình và bất kỳ tiêu chí đã xác định nào khác.
Trong quy trình thứ hai, bước đầu tiên truy vấn sổ đăng ký mô hình cho phiên bản mô hình được phê duyệt mới nhất và chạy công việc giám sát dữ liệu, so sánh đường cơ sở dữ liệu được tạo từ quy trình đầu tiên với dữ liệu đầu vào hiện tại. Bước cuối cùng trong quy trình là thực hiện suy luận hàng loạt đối với mô hình được phê duyệt mới nhất.
Sơ đồ sau đây minh họa kiến trúc giải pháp cho từng đường ống.
Đối với tập dữ liệu của chúng tôi, chúng tôi sử dụng một bộ dữ liệu tổng hợp từ một hãng điện thoại di động viễn thông. Tập dữ liệu mẫu này chứa 5,000 bản ghi, trong đó mỗi bản ghi sử dụng 21 thuộc tính để mô tả hồ sơ khách hàng. Thuộc tính cuối cùng, Churn
, là thuộc tính mà chúng tôi muốn mô hình ML dự đoán. Thuộc tính đích là nhị phân, nghĩa là mô hình dự đoán đầu ra là một trong hai loại (True
or False
).
Sau đây Repo GitHub chứa mã để minh họa các bước được thực hiện trong mỗi đường ống. Nó chứa ba sổ ghi chép: để thực hiện thiết lập ban đầu, để tạo quy trình đào tạo mô hình và đường cơ sở, cũng như tạo quy trình suy luận hàng loạt và quy trình Giám sát mô hình. Kho lưu trữ cũng bao gồm mã nguồn Python bổ sung với các hàm trợ giúp, được sử dụng trong sổ ghi chép thiết lập, để thiết lập các quyền cần thiết.
Điều kiện tiên quyết
Ảnh chụp màn hình sau đây liệt kê một số chính sách quyền được yêu cầu bởi vai trò thực thi SageMaker cho quy trình làm việc. Bạn có thể bật các chính sách cấp phép này thông qua Quản lý truy cập và nhận dạng AWS (IAM) quyền vai trò.
AmazonSageMaker-ExecutionPolicy-<...>
là vai trò thực thi được liên kết với người dùng SageMaker và có vai trò cần thiết Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) chính sách nhóm. Custom_IAM_roles_policy và Custom_Lambda_policy là hai chính sách tùy chỉnh được tạo để hỗ trợ các hành động cần thiết cho AWS Lambda chức năng. Để thêm hai chính sách tùy chỉnh, hãy chuyển đến vai trò thích hợp (được liên kết với người dùng SageMaker của bạn) trong IAM, nhấp vào Thêm quyền và sau đó Tạo chính sách nội tuyến. Sau đó chọn JSON trong Tạo chính sách, thêm mã chính sách cho chính sách tùy chỉnh đầu tiên và lưu chính sách. Lặp lại tương tự cho chính sách tùy chỉnh thứ hai.
0.Setup.ipynb là sổ ghi chép tiên quyết bắt buộc phải có trước khi chạy sổ ghi chép 1 và 2. Mã này thiết lập đường dẫn S3 cho đầu vào, đầu ra và tạo phẩm của mô hình cũng như tải lên các tập lệnh được sử dụng trong các bước quy trình. Sổ tay này cũng sử dụng một trong các chức năng trợ giúp được cung cấp, create_lambda_role
, để tạo vai trò Lambda được sử dụng trong sổ ghi chép 2, 2.SageMakerPipeline-ModelMonitoring-DataQuality-BatchTransform.ipynb
. Xem mã sau đây:
Sau khi bạn đã hoàn thành thành công tất cả các tác vụ trong sổ tay thiết lập, bạn đã sẵn sàng xây dựng quy trình đầu tiên để đào tạo và lập cơ sở cho mô hình.
Quy trình 1: Đào tạo và quy trình đường cơ sở
Trong phần này, chúng ta sẽ tìm hiểu sâu về quy trình SageMaker được sử dụng để đào tạo và lập cơ sở cho mô hình. Các bước và mã cần thiết nằm trong 1.SageMakerPipeline-BaselineData-Train.ipynb sổ tay. Quy trình này lấy dữ liệu rời khách hàng thô làm đầu vào, sau đó thực hiện các bước cần thiết để chuẩn bị dữ liệu, đào tạo mô hình, đánh giá mô hình, lập cơ sở cho mô hình và đăng ký mô hình trong cơ quan đăng ký mô hình.
Để xây dựng quy trình SageMaker, bạn định cấu hình công việc cơ bản (chẳng hạn như Xử lý SageMaker), định cấu hình các bước quy trình để chạy công việc, sau đó định cấu hình và chạy quy trình. Chúng tôi hoàn thành các bước sau:
- Định cấu hình quy trình xây dựng mô hình để chuẩn bị dữ liệu, huấn luyện mô hình và đánh giá mô hình.
- Định cấu hình bước cơ sở cho dữ liệu trôi dạt với Model Monitor.
- Cấu hình các bước để đóng gói mô hình và đăng ký phiên bản mô hình.
- Định cấu hình một bước có điều kiện để đánh giá hiệu suất của mô hình.
Định cấu hình đường ống xây dựng mô hình
Quy trình xây dựng mô hình là một quy trình gồm ba bước:
- Chuẩn bị dữ liệu.
- Huấn luyện người mẫu.
- Đánh giá mô hình.
Để chuẩn bị dữ liệu, chúng tôi cấu hình một bước xử lý dữ liệu. Bước này chạy một công việc Xử lý SageMaker, sử dụng công cụ tích hợp sẵn Xử lýBước, để chuẩn bị dữ liệu thô về đầu vào cho đào tạo và đánh giá.
Để đào tạo mô hình, chúng tôi định cấu hình một bước công việc đào tạo. Bước này chạy một công việc Đào tạo SageMaker, sử dụng công cụ tích hợp sẵn Đào TạoBước. Đối với trường hợp sử dụng này, chúng tôi thực hiện phân loại nhị phân bằng XGBoost. Đầu ra của bước này là một tạo tác mô hình, model.tar.gz
, được lưu trữ trong Amazon S3.
Bước cuối cùng chịu trách nhiệm đánh giá hiệu suất của mô hình bằng cách sử dụng bộ dữ liệu loại bỏ thử nghiệm. Bước này sử dụng tích hợp sẵn ProcessingStep
với mã được cung cấp, evaluation.py
, để đánh giá chỉ số hiệu suất (độ chính xác, diện tích dưới đường cong).
Định cấu hình bước cơ bản
Để giám sát mô hình và dữ liệu, cần có một đường cơ sở.
Giám sát độ lệch dữ liệu yêu cầu cơ sở dữ liệu đào tạo. Bước cơ bản sử dụng tích hợp sẵn của Pipelines Bước Kiểm Tra Chất Lượng. Bước này sẽ tự động chạy một công việc Xử lý SageMaker sử dụng hình ảnh vùng chứa dựng sẵn của Model Monitor. Chúng tôi sử dụng cùng một hình ảnh vùng chứa này để tạo cơ sở cũng như giám sát mô hình; tuy nhiên, các tham số được sử dụng trong quá trình cấu hình của bước này sẽ chỉ đạo hành vi thích hợp. Trong trường hợp này, chúng tôi đang dựa trên cơ sở dữ liệu, vì vậy chúng tôi cần đảm bảo rằng quality_check_config
tham số đang sử dụng DataQualityCheckConfig
, xác định đường dẫn đầu vào và đầu ra của S3. Chúng tôi cũng đang thiết lập register_new_baseline
và skip_check
đến true
. Khi cả hai giá trị này được đặt thành true
, nó báo cho SageMaker chạy bước này như một công việc cơ sở và tạo một đường cơ sở mới. Để hiểu rõ hơn về các tham số kiểm soát hành vi của hình ảnh bộ chứa dựng sẵn SageMaker, hãy tham khảo Tính toán đường cơ sở, phát hiện sai lệch và vòng đời với các bước ClarifyCheck và QualityCheck trong Quy trình xây dựng mô hình Amazon SageMaker.
Xem mã sau đây:
Bước này tạo ra hai tệp JSON làm đầu ra:
- thống kê.json – Chứa số liệu thống kê được tính toán cho từng tính năng của tập dữ liệu huấn luyện
- ràng buộc.json – Đề xuất các ràng buộc dữ liệu dựa trên số liệu thống kê thu thập được
Những ràng buộc này cũng có thể được sửa đổi và được sử dụng để phát hiện các tín hiệu trôi dạt trong quá trình giám sát mô hình.
Các bước cấu hình đóng gói và đăng ký phiên bản model
Tiếp theo, chúng tôi định cấu hình các bước để đóng gói để triển khai và đăng ký mô hình trong sổ đăng ký mô hình bằng cách sử dụng hai bước quy trình bổ sung.
Bước mô hình gói đóng gói mô hình để sử dụng với tùy chọn triển khai biến đổi hàng loạt SageMaker. model.create()
tạo một thực thể mô hình, thực thể này sẽ được bao gồm trong siêu dữ liệu tùy chỉnh đã đăng ký cho phiên bản mô hình này và sau đó được sử dụng trong quy trình thứ hai để suy luận hàng loạt và giám sát mô hình. Xem đoạn mã sau:
Bước mô hình đăng ký đăng ký phiên bản mô hình và siêu dữ liệu được liên kết với sổ đăng ký mô hình SageMaker. Điều này bao gồm các chỉ số hiệu suất mô hình cũng như siêu dữ liệu cho đường cơ sở trôi dạt dữ liệu, bao gồm các vị trí Amazon S3 của các tệp thống kê và ràng buộc được tạo ra thông qua bước tạo cơ sở. Bạn cũng sẽ nhận thấy siêu dữ liệu tùy chỉnh bổ sung được ghi chú customer_metadata_properties
lấy thông tin thực thể mô hình sẽ được sử dụng sau này trong quy trình suy luận. Khả năng cung cấp siêu dữ liệu tùy chỉnh trong sổ đăng ký mô hình là một cách tuyệt vời để kết hợp siêu dữ liệu bổ sung cần được thu thập không được xác định rõ ràng trong các tham số SageMaker gốc. Xem đoạn mã sau:
Định cấu hình bước có điều kiện để đánh giá hiệu suất của mô hình
Bước có điều kiện Điều kiệnBước, so sánh độ chính xác của mô hình với ngưỡng đã xác định và kiểm tra chất lượng của mô hình được đào tạo.
Nó đọc evaluation.json
tệp và kiểm tra xem độ chính xác của mô hình hoặc bất kỳ số liệu khách quan nào mà bạn đang tối ưu hóa có đáp ứng các tiêu chí mà bạn đã xác định hay không. Trong trường hợp này, tiêu chí được xác định bằng cách sử dụng một trong các điều kiện tích hợp, ConditionGreaterThanOrEqualTo
. Nếu điều kiện được thỏa mãn, quy trình bán hàng tiếp tục tạo đường cơ sở cho dữ liệu và thực hiện các bước tiếp theo trong quy trình bán hàng. Đường ống dừng lại nếu điều kiện không được đáp ứng. Vì điều kiện gọi rõ ràng các bước tiếp theo trong quy trình bán hàng nên chúng tôi phải đảm bảo rằng các bước đó được định cấu hình trước khi định cấu hình bước có điều kiện của chúng tôi. Xem đoạn mã sau:
Xác định, tạo và bắt đầu đường dẫn SageMaker
Tại thời điểm này, tất cả các bước của đường ống đào tạo và cơ sở được xác định và định cấu hình. Bây giờ là lúc để xác định, tạo và bắt đầu quy trình.
Đầu tiên, chúng tôi xác định đường ống, đường ống (), cung cấp tên quy trình và danh sách các bước đã định cấu hình trước đó để đưa vào quy trình. Tiếp theo, chúng tôi tạo đường ống bằng cách sử dụng training_pipeline.upsert()
. Cuối cùng, chúng tôi bắt đầu đường ống bằng cách sử dụng training_pipeline.start()
. Xem mã sau đây:
Khi quy trình bắt đầu chạy, bạn có thể hình dung trạng thái của nó trên Studio. Sơ đồ sau đây cho biết các bước từ quy trình đường ống có liên quan đến các bước của đồ thị tuần hoàn hướng đường ống (DAG). Sau khi đường ống đào tạo và đường cơ sở chạy thành công, nó sẽ đăng ký mô hình được đào tạo như một phần của nhóm mô hình trong sổ đăng ký mô hình. Quy trình hiện được thiết lập để đăng ký mô hình ở trạng thái Đang chờ xử lý, yêu cầu phê duyệt thủ công. Theo tùy chọn, bạn có thể định cấu hình bước đăng ký mô hình để tự động phê duyệt mô hình trong sổ đăng ký mô hình. Quy trình thứ hai sẽ lấy mô hình được phê duyệt mới nhất từ cơ quan đăng ký để suy luận.
Trong Studio, bạn có thể chọn bất kỳ bước nào để xem siêu dữ liệu chính của bước đó. Ví dụ: bước kiểm tra chất lượng dữ liệu (bước cơ bản) trong DAG đường ống hiển thị các vị trí đầu ra S3 của statistics.json
và constraints.json
trong Báo cáo phần. Đây là những tệp chính được tính toán từ dữ liệu thô được sử dụng làm đường cơ sở.
Sau khi đường ống chạy xong, có thể kiểm tra đường cơ sở (số liệu thống kê và ràng buộc) để giám sát chất lượng dữ liệu, như thể hiện trong ảnh chụp màn hình sau.
Quy trình 2: Quy trình suy luận hàng loạt và theo dõi mô hình
Trong phần này, chúng tôi đi sâu vào quy trình thứ hai được sử dụng để theo dõi dữ liệu đầu vào lô mới cho các tín hiệu về độ lệch dữ liệu và chạy suy luận lô bằng cách sử dụng Đường ống SageMaker. Các bước và mã cần thiết nằm trong 2.SageMakerPipeline-ModelMonitoring-DataQuality-BatchTransform.ipynb. Đường ống này bao gồm các bước sau:
- Một bước Lambda để truy xuất phiên bản mô hình được phê duyệt mới nhất và siêu dữ liệu được liên kết từ cơ quan đăng ký mô hình.
- Bước Giám sát mô hình để phát hiện các tín hiệu về độ lệch dữ liệu bằng cách sử dụng dữ liệu đầu vào mới và đường cơ sở từ Đường ống 1.
- Bước chuyển đổi hàng loạt để xử lý dữ liệu đầu vào hàng loạt theo mô hình được phê duyệt mới nhất.
Định cấu hình Bước Lambda
Trước khi bắt đầu công việc giám sát mô hình và chuyển đổi hàng loạt, chúng tôi cần truy vấn cơ quan đăng ký mô hình để nhận mô hình được phê duyệt mới nhất mà chúng tôi sẽ sử dụng để suy luận hàng loạt.
Để làm điều này, chúng tôi sử dụng bước Lambda, cho phép chúng tôi đưa logic tùy chỉnh vào quy trình của mình. Các lambda_getapproved_model.py
Hàm Lambda truy vấn sổ đăng ký mô hình SageMaker cho một nhóm gói mô hình cụ thể được cung cấp trên đầu vào để xác định phiên bản mô hình được phê duyệt mới nhất và trả về siêu dữ liệu liên quan. Đầu ra bao gồm siêu dữ liệu được tạo từ đường dẫn đầu tiên của chúng tôi:
- Gói mô hình ARN
- Tên mô hình đóng gói
- URI S3 cho đường cơ sở thống kê
- URI S3 cho đường cơ sở ràng buộc
Sau đó, đầu ra được sử dụng làm đầu vào trong bước tiếp theo trong quy trình, bước này thực hiện giám sát và chấm điểm hàng loạt bằng cách sử dụng mô hình được phê duyệt mới nhất.
Để tạo và chạy hàm Lambda như một phần của quy trình SageMaker, chúng ta cần thêm hàm dưới dạng LambdaBước trong đường ống:
Định cấu hình trình theo dõi dữ liệu và các bước chuyển đổi hàng loạt
Sau khi chúng tôi tạo bước Lambda để nhận mô hình được phê duyệt mới nhất, chúng tôi có thể tạo Màn HìnhMẻChuyển ĐổiBước. Bước gốc này phối hợp và quản lý hai nhiệm vụ con được chạy liên tiếp. Tác vụ đầu tiên bao gồm công việc Giám sát mô hình chạy một công việc Xử lý bằng cách sử dụng hình ảnh vùng chứa tích hợp được sử dụng để giám sát dữ liệu đầu vào lô và so sánh dữ liệu đó với các ràng buộc từ đường cơ sở được tạo trước đó từ Đường ống 1. Ngoài ra, bước này bắt đầu quy trình công việc chuyển đổi hàng loạt, xử lý dữ liệu đầu vào dựa trên mô hình được phê duyệt mới nhất trong sổ đăng ký mô hình.
Bước giám sát chất lượng dữ liệu và triển khai hàng loạt này lấy URI S3 của dữ liệu đầu vào dự đoán hàng loạt trên đầu vào. Điều này được tham số hóa để cho phép mỗi lần chạy quy trình bao gồm một tập dữ liệu đầu vào mới. Xem đoạn mã sau:
Tiếp theo, chúng ta cần định cấu hình máy biến áp cho công việc biến đổi hàng loạt sẽ xử lý các yêu cầu dự đoán hàng loạt. Trong đoạn mã sau, chúng tôi chuyển vào tên mô hình được lấy từ siêu dữ liệu tùy chỉnh của cơ quan đăng ký mô hình, cùng với các tham số bắt buộc khác:
Trình giám sát chất lượng dữ liệu chấp nhận URI S3 của thống kê cơ sở và các ràng buộc đối với phiên bản mô hình được phê duyệt mới nhất từ cơ quan đăng ký mô hình để chạy công việc giám sát chất lượng dữ liệu trong quá trình chạy đường ống. Công việc này so sánh dữ liệu đầu vào dự đoán hàng loạt với dữ liệu cơ sở để xác định mọi vi phạm báo hiệu khả năng trôi dạt dữ liệu. Xem đoạn mã sau:
Tiếp theo, chúng tôi sử dụng Màn HìnhMẻChuyển ĐổiBước để chạy và giám sát công việc chuyển đổi. Bước này chạy một công việc biến đổi hàng loạt bằng cách sử dụng đối tượng máy biến áp mà chúng tôi đã định cấu hình và giám sát dữ liệu được truyền tới máy biến áp trước khi chạy công việc.
Theo tùy chọn, bạn có thể định cấu hình bước này thành lỗi nếu phát hiện vi phạm chất lượng dữ liệu bằng cách đặt fail_on_violation
gắn cờ cho False
.
Xem mã sau đây:
Xác định, tạo và bắt đầu quy trình
Sau khi chúng tôi xác định LambdaStep
và MonitorBatchTransformStep
, chúng ta có thể tạo đường dẫn SageMaker.
Xem mã sau đây:
Bây giờ chúng ta có thể sử dụng upsert()
sẽ tạo hoặc cập nhật đường dẫn SageMaker với cấu hình mà chúng tôi đã chỉ định:
Mặc dù có nhiều cách để bắt đầu một quy trình SageMaker, khi quy trình đã được tạo, chúng ta có thể chạy quy trình bằng cách sử dụng start()
phương pháp.
Lưu ý rằng để LambdaStep
để truy xuất thành công một mô hình đã được phê duyệt, mô hình đã được đăng ký như một phần của Quy trình 1 cần phải có trạng thái Đã phê duyệt. Điều này có thể được thực hiện trong Studio hoặc sử dụng Boto3. tham khảo Cập nhật Trạng thái Phê duyệt của Mô hình để biết thêm thông tin chi tiết.
Để chạy quy trình SageMaker theo lịch trình hoặc dựa trên một sự kiện, hãy tham khảo Lên lịch cho quy trình bán hàng với Amazon EventBridge.
Xem lại báo cáo Model Monitor
Model Monitor sử dụng công việc Xử lý SageMaker để chạy DataQuality
kiểm tra bằng cách sử dụng các số liệu thống kê cơ bản và các ràng buộc. Các DataQuality
Công việc đang xử lý gửi báo cáo vi phạm tới Amazon S3 và cũng gửi dữ liệu nhật ký tới Nhật ký Amazon CloudWatch trong nhóm nhật ký cho công việc Xử lý tương ứng. Mã mẫu để truy vấn amazoncloudwatch nhật ký được cung cấp trong sổ ghi chép.
Bây giờ, chúng tôi đã hướng dẫn bạn cách tạo quy trình đầu tiên để đào tạo mô hình và tạo cơ sở, cũng như quy trình thứ hai để thực hiện suy luận hàng loạt và theo dõi mô hình. Điều này cho phép bạn tự động hóa cả hai quy trình trong khi kết hợp các vòng đời khác nhau giữa đào tạo và suy luận.
Để hoàn thiện hơn nữa mẫu tham chiếu này, bạn có thể xác định chiến lược cho các vòng phản hồi, cung cấp nhận thức và khả năng hiển thị các tín hiệu tiềm ẩn về sự trôi dạt giữa các bên liên quan chính. Ở mức tối thiểu, bạn nên tự động hóa việc xử lý ngoại lệ bằng cách lọc nhật ký và tạo cảnh báo. Những cảnh báo này có thể cần phân tích bổ sung bởi nhà khoa học dữ liệu hoặc bạn có thể triển khai tự động hóa bổ sung hỗ trợ chiến lược đào tạo lại tự động bằng cách sử dụng dữ liệu thực mới bằng cách tích hợp quy trình đào tạo mô hình và cơ sở dữ liệu với Sự kiện Amazon. Để biết thêm thông tin, hãy tham khảo Tích hợp Amazon EventBridge.
Làm sạch
Sau khi bạn chạy các quy trình giám sát hàng loạt và đường cơ sở, hãy đảm bảo dọn sạch mọi tài nguyên sẽ không được sử dụng, theo chương trình thông qua bảng điều khiển SageMaker hoặc thông qua Studio. Ngoài ra, hãy xóa dữ liệu trong Amazon S3 và đảm bảo dừng mọi phiên bản sổ ghi chép Studio để không phát sinh thêm bất kỳ khoản phí nào.
Kết luận
Trong bài đăng này, bạn đã học cách tạo giải pháp cho mô hình lô được đào tạo ít thường xuyên hơn so với suy luận lô được thực hiện đối với mô hình được đào tạo đó bằng cách sử dụng các tính năng MLOps của SageMaker, bao gồm Đường ống, sổ đăng ký mô hình và Trình giám sát mô hình. Để mở rộng giải pháp này, bạn có thể kết hợp giải pháp này vào một dự án SageMaker tùy chỉnh cũng kết hợp CI/CD và trình kích hoạt tự động bằng cách sử dụng các mẫu MLOps được tiêu chuẩn hóa. Để tìm hiểu sâu hơn về giải pháp và mã được hiển thị trong bản demo này, hãy xem Repo GitHub. Ngoài ra, hãy tham khảo Amazon SageMaker cho MLOps để biết các ví dụ liên quan đến việc triển khai các phương pháp MLOps với SageMaker.
Về các tác giả
Shelbee Eigenbrode là Kiến trúc sư chính về giải pháp chuyên gia về AI và học máy tại Amazon Web Services (AWS). Cô đã làm việc trong lĩnh vực công nghệ được 24 năm với nhiều lĩnh vực, công nghệ và vai trò khác nhau. Cô ấy hiện đang tập trung vào việc kết hợp nền tảng DevOps và ML của mình vào lĩnh vực MLOps để giúp khách hàng phân phối và quản lý khối lượng công việc ML trên quy mô lớn. Với hơn 35 bằng sáng chế được cấp trên các lĩnh vực công nghệ khác nhau, cô ấy có niềm đam mê đổi mới liên tục và sử dụng dữ liệu để thúc đẩy kết quả kinh doanh. Shelbee là người đồng sáng tạo và là người hướng dẫn chuyên môn Khoa học Dữ liệu Thực tế trên Coursera. Cô cũng là Đồng Giám đốc phụ nữ trong dữ liệu lớn (WiBD), chương Denver. Khi rảnh rỗi, cô ấy thích dành thời gian cho gia đình, bạn bè và những chú chó hiếu động của mình.
Sovik Kumar Nath là một kiến trúc sư giải pháp AI/ML với AWS. Ông có kinh nghiệm về thiết kế và giải pháp cho máy học, phân tích kinh doanh trong phân tích tài chính, hoạt động và tiếp thị; chăm sóc sức khỏe; chuỗi cung ứng; và IoT. Ngoài công việc, Sovik thích đi du lịch và xem phim.
Marc Karp là Kiến trúc sư ML của nhóm Dịch vụ Amazon SageMaker. Anh ấy tập trung vào việc giúp khách hàng thiết kế, triển khai và quản lý khối lượng công việc ML trên quy mô lớn. Trong thời gian rảnh rỗi, anh ấy thích đi du lịch và khám phá những địa điểm mới.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. Truy cập Tại đây.
- Đúc kết tương lai với Adryenn Ashley. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/create-sagemaker-pipelines-for-training-consuming-and-monitoring-your-batch-use-cases/
- : có
- :là
- :không phải
- $ LÊN
- 000
- 1
- 10
- 100
- 20
- 7
- a
- có khả năng
- Chấp nhận
- truy cập
- Theo
- chính xác
- ngang qua
- hành động
- xoay vòng
- Ngoài ra
- thêm vào
- Sau
- chống lại
- AI
- AI / ML
- Tất cả
- cho phép
- dọc theo
- Ngoài ra
- đàn bà gan dạ
- Amazon SageMaker
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- phân tích
- phân tích
- và
- bất kì
- các ứng dụng
- thích hợp
- phê duyệt
- phê duyệt
- phê duyệt
- kiến trúc
- LÀ
- KHU VỰC
- AS
- liên kết
- At
- thuộc tính
- tự động hóa
- Tự động
- Tự động
- tự động
- Tự động hóa
- nhận thức
- AWS
- lý lịch
- dựa
- Baseline
- cơ sở
- BE
- bởi vì
- được
- trước
- Hơn
- giữa
- lớn
- Dữ Liệu Lớn.
- cả hai
- xây dựng
- Xây dựng
- được xây dựng trong
- kinh doanh
- chức năng kinh doanh
- by
- tính
- Cuộc gọi
- CAN
- khả năng
- trường hợp
- trường hợp
- đố
- chuỗi
- Chương
- tải
- kiểm tra
- Séc
- trẻ em
- Chọn
- phân loại
- Nhấp chuột
- mã
- kết hợp
- Chung
- so sánh
- hoàn thành
- Hoàn thành
- Hoàn thành
- Tính
- điều kiện
- Cấu hình
- An ủi
- khó khăn
- tiêu thụ
- Container
- chứa
- tiếp tục
- liên tiếp
- liên tục
- điều khiển
- Tương ứng
- có thể
- tạo
- tạo ra
- tạo ra
- Tạo
- tiêu chuẩn
- Current
- Hiện nay
- đường cong
- khách hàng
- khách hàng
- khách hàng
- DAG
- tiền thưởng
- dữ liệu
- xử lý dữ liệu
- khoa học dữ liệu
- nhà khoa học dữ liệu
- sâu
- lặn sâu
- sâu sắc hơn
- xác định
- cung cấp
- thể hiện
- Denver
- triển khai
- triển khai
- mô tả
- Thiết kế
- thiết kế
- phát hiện
- Phát hiện
- khác nhau
- trực tiếp
- miền
- lĩnh vực
- lái xe
- suốt trong
- mỗi
- hay
- cho phép
- đảm bảo
- thực thể
- Môi trường
- môi trường
- đánh giá
- đánh giá
- đánh giá
- Sự kiện
- Mỗi
- ví dụ
- ví dụ
- ngoại lệ
- thực hiện
- Mở rộng
- kinh nghiệm
- Khám phá
- FAIL
- gia đình
- Đặc tính
- Tính năng
- thông tin phản hồi
- Tập tin
- Các tập tin
- lọc
- cuối cùng
- Cuối cùng
- tài chính
- Tên
- Tập trung
- tập trung
- tập trung
- tiếp theo
- Trong
- định dạng
- tìm thấy
- thường xuyên
- bạn bè
- từ
- đầy đủ
- chức năng
- chức năng
- xa hơn
- tạo ra
- tạo ra
- tạo
- được
- Go
- cấp
- đồ thị
- tuyệt vời
- Mặt đất
- Nhóm
- Xử lý
- Có
- he
- chăm sóc sức khỏe
- giúp đỡ
- giúp đỡ
- nổi bật
- Độ đáng tin của
- Hướng dẫn
- Tuy nhiên
- HTML
- http
- HTTPS
- xác định
- xác định
- xác định
- Bản sắc
- hình ảnh
- thực hiện
- thực hiện
- nhập khẩu
- in
- bao gồm
- bao gồm
- bao gồm
- Bao gồm
- kết hợp
- kết hợp
- chỉ
- các ngành công nghiệp
- thông tin
- ban đầu
- sự đổi mới
- đầu vào
- tích hợp
- Tích hợp
- trong
- giới thiệu
- iốt
- IT
- ITS
- Việc làm
- jpg
- json
- Key
- Kicks
- lớn
- Họ
- mới nhất
- học
- học tập
- vòng đời
- vòng đời
- Dòng
- Danh sách
- Chức năng
- . Các địa điểm
- máy
- học máy
- làm cho
- quản lý
- quản lý
- quản lý
- nhãn hiệu
- Marketing
- trưởng thành
- Có thể..
- có nghĩa là
- đo
- trung bình
- Đạt
- Siêu dữ liệu
- phương pháp
- số liệu
- Metrics
- tối thiểu
- ML
- MLOps
- di động
- điện thoại di động
- kiểu mẫu
- sửa đổi
- Màn Hình
- giám sát
- màn hình
- tháng
- chi tiết
- Phim Điện Ảnh
- nhiều
- tên
- tự nhiên
- cần thiết
- Cần
- cần thiết
- nhu cầu
- Mới
- tiếp theo
- máy tính xách tay
- lưu ý
- tại
- vật
- Mục tiêu
- of
- on
- ONE
- đang diễn ra
- hoạt động
- tối ưu hóa
- Tùy chọn
- or
- gọi món
- Nền tảng khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- đầu ra
- bên ngoài
- kết thúc
- gói
- gói
- tham số
- thông số
- một phần
- vượt qua
- thông qua
- niềm đam mê
- Bằng sáng chế
- con đường
- Họa tiết
- lê
- cấp phát chính
- Thực hiện
- hiệu suất
- biểu diễn
- thực hiện
- cho phép
- quyền
- điện thoại
- đường ống dẫn
- Nơi
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Điểm
- Chính sách
- điều luật
- Bài đăng
- tiềm năng
- Thực tế
- thực hành
- dự đoán
- dự đoán
- Dự đoán
- Chuẩn bị
- trước đây
- Hiệu trưởng
- Trước khi
- quá trình
- Quy trình
- xử lý
- Sản xuất
- Sản lượng
- Hồ sơ
- dự án
- tài sản
- cho
- cung cấp
- cung cấp
- kéo
- Python
- chất lượng
- truy vấn
- Nguyên
- sẵn sàng
- đề nghị
- ghi
- hồ sơ
- giảm
- ghi danh
- đăng ký
- đăng ký
- Đăng Ký
- đăng ký
- liên quan
- lặp lại
- có thể lặp lại
- báo cáo
- kho
- yêu cầu
- cần phải
- đòi hỏi
- Thông tin
- chịu trách nhiệm
- trở lại
- xem xét
- Vai trò
- vai trò
- khoảng
- chạy
- chạy
- nhà làm hiền triết
- Đường ống SageMaker
- tương tự
- Tập dữ liệu mẫu
- hài lòng
- Lưu
- Quy mô
- kịch bản
- kịch bản
- lịch trình
- Khoa học
- Nhà khoa học
- ghi bàn
- ảnh chụp màn hình
- kịch bản
- Thứ hai
- trung học
- Phần
- riêng biệt
- dịch vụ
- DỊCH VỤ
- định
- bộ
- thiết lập
- thiết lập
- nên
- hiển thị
- thể hiện
- Chương trình
- tín hiệu
- Đơn giản
- So
- giải pháp
- Giải pháp
- một số
- nguồn
- mã nguồn
- chuyên gia
- riêng
- quy định
- tiêu
- các bên liên quan
- Bắt đầu
- bắt đầu
- Tiểu bang
- số liệu thống kê
- Trạng thái
- Bước
- Các bước
- Dừng
- Dừng
- là gắn
- lưu trữ
- Chiến lược
- phòng thu
- tiếp theo
- Thành công
- như vậy
- Gợi ý
- cung cấp
- chuỗi cung ứng
- hỗ trợ
- Hỗ trợ
- Hãy
- mất
- Mục tiêu
- Nhiệm vụ
- nhiệm vụ
- nhóm
- Công nghệ
- Công nghệ
- viễn thông
- nói
- mẫu
- thử nghiệm
- hơn
- việc này
- Sản phẩm
- Đó
- Kia là
- điều này
- những
- số ba
- ba bước
- ngưỡng
- Thông qua
- thời gian
- đến
- bên nhau
- Train
- đào tạo
- Hội thảo
- Chuyển đổi
- Đi du lịch
- Sự thật
- Dưới
- cơ bản
- sự hiểu biết
- Cập nhật
- us
- sử dụng
- ca sử dụng
- đã sử dụng
- người sử dang
- sử dụng
- tận dụng
- Các giá trị
- khác nhau
- phiên bản
- thông qua
- SỰ VI PHẠM
- Vi phạm
- khả năng hiển thị
- đi bộ
- là
- xem
- Đường..
- cách
- we
- web
- các dịch vụ web
- TỐT
- cái nào
- trong khi
- sẽ
- với
- ở trong
- Dành cho Nữ
- Công việc
- XGBoost
- năm
- Bạn
- trên màn hình
- zephyrnet