Sử dụng tính năng chia sẻ quy trình Amazon SageMaker để xem hoặc quản lý quy trình trên các tài khoản AWS

Vào ngày 9 tháng 2022 năm XNUMX, chúng tôi đã công bố cung cấp rộng rãi tính năng chia sẻ nhiều tài khoản của Thực thể quy trình của Amazon SageMaker. Bây giờ bạn có thể sử dụng hỗ trợ nhiều tài khoản cho Đường ống Amazon SageMaker để chia sẻ các thực thể quy trình trên các tài khoản AWS và truy cập trực tiếp các quy trình được chia sẻ thông qua Amazon SageMaker Lệnh gọi API.

Khách hàng ngày càng áp dụng kiến trúc đa tài khoản để triển khai và quản lý quy trình công việc máy học (ML) với SageMaker Pipelines. Điều này bao gồm việc xây dựng quy trình công việc trong tài khoản phát triển hoặc thử nghiệm (nhà phát triển), triển khai và thử nghiệm chúng trong tài khoản thử nghiệm hoặc tiền sản xuất (thử nghiệm) và cuối cùng là quảng bá chúng lên tài khoản sản xuất (sản xuất) để tích hợp với các quy trình kinh doanh khác. Bạn có thể hưởng lợi từ việc chia sẻ nhiều tài khoản của quy trình SageMaker trong các trường hợp sử dụng sau:

• Khi các nhà khoa học dữ liệu xây dựng quy trình công việc ML trong tài khoản nhà phát triển, các quy trình công việc đó sau đó sẽ được kỹ sư ML triển khai dưới dạng đường dẫn SageMaker vào tài khoản thử nghiệm chuyên dụng. Để giám sát thêm các quy trình công việc đó, các nhà khoa học dữ liệu hiện yêu cầu quyền chỉ đọc trên nhiều tài khoản đối với quy trình đã triển khai trong tài khoản thử nghiệm.
• Các kỹ sư ML, quản trị viên ML và nhóm tuân thủ, những người quản lý việc triển khai và vận hành các quy trình ML đó từ tài khoản dịch vụ dùng chung, cũng yêu cầu khả năng hiển thị về quy trình đã triển khai trong tài khoản thử nghiệm. Họ cũng có thể yêu cầu các quyền bổ sung để bắt đầu, dừng và thử lại các quy trình công việc ML đó.

Trong bài đăng này, chúng tôi trình bày một ví dụ về kiến ​​trúc nhiều tài khoản để phát triển và triển khai quy trình công việc ML với SageMaker Pipelines.

Tổng quan về giải pháp

Chiến lược nhiều tài khoản giúp bạn đạt được sự tách biệt về dữ liệu, dự án và nhóm đồng thời hỗ trợ các bước trong vòng đời phát triển phần mềm. Chia sẻ quy trình giữa các tài khoản hỗ trợ chiến lược nhiều tài khoản, loại bỏ chi phí đăng nhập và đăng xuất khỏi nhiều tài khoản, đồng thời cải thiện quy trình triển khai và thử nghiệm ML bằng cách chia sẻ tài nguyên trực tiếp trên nhiều tài khoản.

Trong ví dụ này, chúng tôi có một nhóm khoa học dữ liệu sử dụng tài khoản nhà phát triển chuyên dụng cho quá trình phát triển ban đầu của quy trình SageMaker. Đường dẫn này sau đó được bàn giao cho một kỹ sư ML, người sẽ tạo ra một Quy trình tích hợp liên tục và phân phối liên tục (CI/CD) trong tài khoản dịch vụ dùng chung của họ để triển khai quy trình này vào tài khoản thử nghiệm. Để vẫn có thể giám sát và kiểm soát quy trình đã triển khai từ tài khoản nhà phát triển và dịch vụ chia sẻ tương ứng của họ, chia sẻ tài nguyên được thiết lập với Trình quản lý truy cập tài nguyên AWS trong tài khoản thử nghiệm và nhà phát triển. Với thiết lập này, kỹ sư ML và nhà khoa học dữ liệu giờ đây có thể giám sát và kiểm soát các quy trình trong tài khoản nhà phát triển và tài khoản thử nghiệm từ các tài khoản tương ứng của họ, như minh họa trong hình sau.

Trong quy trình làm việc, nhà khoa học dữ liệu và kỹ sư ML thực hiện các bước sau:

1. Nhà khoa học dữ liệu (DS) xây dựng quy trình mô hình trong tài khoản nhà phát triển.
2. Kỹ sư ML (MLE) sản xuất quy trình mô hình và tạo quy trình, (đối với bài đăng này, chúng tôi gọi nó là sagemaker-pipeline).
3. sagemaker-pipeline mã được cam kết với một Cam kết mã AWS kho lưu trữ trong tài khoản dịch vụ chia sẻ.
4. Nhà khoa học dữ liệu tạo phần chia sẻ tài nguyên RAM AWS cho sagemaker-pipeline và chia sẻ nó với tài khoản dịch vụ dùng chung, tài khoản này chấp nhận chia sẻ tài nguyên.
5. Từ tài khoản dịch vụ dùng chung, giờ đây các kỹ sư ML có thể mô tả, giám sát và quản lý các hoạt động quy trình trong tài khoản nhà phát triển bằng cách sử dụng Lệnh gọi API SageMaker.
6. Đường dẫn CI/CD được kích hoạt trong tài khoản dịch vụ dùng chung sẽ xây dựng và triển khai mã vào tài khoản thử nghiệm bằng cách sử dụng Đường ống dẫn mã AWS.
7. Đường dẫn CI/CD tạo và chạy sagemaker-pipeline trong tài khoản thử nghiệm.
8. Sau khi chạy sagemaker-pipeline trong tài khoản thử nghiệm, đường dẫn CI/CD tạo chia sẻ tài nguyên cho sagemaker-pipeline trong tài khoản thử nghiệm.
9. Chia sẻ tài nguyên từ bài kiểm tra sagemaker-pipeline với quyền chỉ đọc được tạo bằng tài khoản nhà phát triển, tài khoản này chấp nhận chia sẻ tài nguyên.
10. Nhà khoa học dữ liệu hiện có thể mô tả và giám sát trạng thái chạy quy trình thử nghiệm bằng cách sử dụng lệnh gọi API SageMaker từ tài khoản nhà phát triển.
11. Chia sẻ tài nguyên từ bài kiểm tra sagemaker-pipeline với các quyền mở rộng được tạo bằng tài khoản dịch vụ dùng chung, tài khoản này chấp nhận chia sẻ tài nguyên.
12. Kỹ sư ML hiện có thể mô tả, giám sát và quản lý quá trình chạy quy trình thử nghiệm bằng cách sử dụng lệnh gọi API SageMaker từ tài khoản dịch vụ dùng chung.

Trong các phần sau, chúng tôi sẽ đi sâu vào chi tiết hơn và trình bày cách thiết lập chia sẻ nhiều tài khoản cho quy trình SageMaker.

Cách tạo và chia sẻ quy trình SageMaker giữa các tài khoản

Trong phần này, chúng ta sẽ tìm hiểu các bước cần thiết để tạo và chia sẻ quy trình giữa các tài khoản bằng RAM AWS và API SageMaker.

Thiết lập môi trường

Trước tiên, chúng ta cần thiết lập môi trường nhiều tài khoản để thể hiện tính năng chia sẻ giữa các tài khoản của quy trình SageMaker:

1. Thiết lập hai tài khoản AWS (dev và test). Bạn có thể thiết lập tài khoản này làm tài khoản thành viên của một tổ chức hoặc tài khoản độc lập.
2. Nếu bạn đang thiết lập tài khoản của mình với tư cách là thành viên của một tổ chức, bạn có thể bật chia sẻ tài nguyên với tổ chức của bạn. Với cài đặt này, khi bạn chia sẻ tài nguyên trong tổ chức của mình, RAM AWS sẽ không gửi lời mời đến hiệu trưởng. Hiệu trưởng trong tổ chức của bạn có quyền truy cập vào các tài nguyên được chia sẻ mà không cần trao đổi lời mời.
3. Trong tài khoản thử nghiệm, khởi chạy Xưởng sản xuất Amazon SageMaker và chạy sổ ghi chép đào tạo-đăng ký-triển khai-đường ống-mô hình. Điều này tạo ra một đường dẫn ví dụ trong tài khoản thử nghiệm của bạn. Để đơn giản hóa phần trình diễn, chúng tôi sử dụng SageMaker Studio trong tài khoản thử nghiệm để khởi chạy quy trình. Đối với các dự án thực tế, bạn chỉ nên sử dụng Studio trong tài khoản nhà phát triển và khởi chạy SageMaker Pipeline trong tài khoản thử nghiệm bằng công cụ CI/CD của mình.

Làm theo hướng dẫn trong phần tiếp theo để chia sẻ quy trình này với tài khoản nhà phát triển.

Thiết lập chia sẻ tài nguyên đường ống

Để chia sẻ quy trình của bạn với tài khoản nhà phát triển, hãy hoàn thành các bước sau:

1. Trên bảng điều khiển AWS RAM, hãy chọn Tạo chia sẻ tài nguyên.
2. Trong Chọn loại tài nguyên, chọn Đường ống SageMaker.
3. Chọn quy trình bạn đã tạo ở bước trước.
4. Chọn Sau.
   
5. Trong Quyền, hãy chọn các quyền liên quan của bạn.
6. Chọn Sau.
   Tiếp theo, bạn quyết định cách bạn muốn cấp quyền truy cập cho hiệu trưởng.
7. Nếu bạn chỉ cần chia sẻ quy trình trong tài khoản tổ chức của mình, hãy chọn Chỉ cho phép chia sẻ trong tổ chức của bạn; nếu không thì chọn Cho phép chia sẻ với bất kỳ ai.
8. Trong Hiệu trưởng, chọn loại chính của bạn (bạn có thể sử dụng tài khoản AWS, tổ chức hoặc đơn vị tổ chức, dựa trên yêu cầu chia sẻ của bạn). Đối với bài đăng này, chúng tôi chia sẻ với bất kỳ ai ở cấp tài khoản AWS.
9. Chọn ID chính của bạn.
10. Chọn Sau.
    
11. trên Xem lại và tạo trang, hãy xác minh thông tin của bạn là chính xác và chọn Tạo chia sẻ tài nguyên.
    
12. Điều hướng đến tài khoản đích của bạn (đối với bài đăng này, tài khoản nhà phát triển của bạn).
13. Trên bảng điều khiển AWS RAM, dưới Chia sẻ với tôi trong ngăn điều hướng, chọn Chia sẻ tài nguyên.
14. Chọn chia sẻ tài nguyên của bạn và chọn Chấp nhận chia sẻ tài nguyên.
    

Quyền chia sẻ tài nguyên

Khi tạo chia sẻ tài nguyên, bạn có thể chọn một trong hai chính sách cấp phép được hỗ trợ để liên kết với loại tài nguyên quy trình SageMaker. Cả hai chính sách đều cấp quyền truy cập vào bất kỳ quy trình đã chọn nào và tất cả các hoạt động của quy trình đó.

Sản phẩm AWSRAMDefaultPermissionSageMakerPipeline chính sách cho phép các hành động chỉ đọc sau:

"sagemaker:DescribePipeline"
"sagemaker:DescribePipelineDefinitionForExecution"
"sagemaker:DescribePipelineExecution"
"sagemaker:ListPipelineExecutions"
"sagemaker:ListPipelineExecutionSteps"
"sagemaker:ListPipelineParametersForExecution"
"sagemaker:Search"

Sản phẩm AWSRAMPermissionSageMakerPipelineAllowExecution chính sách bao gồm tất cả các quyền chỉ đọc từ chính sách mặc định, đồng thời cũng cho phép các tài khoản dùng chung bắt đầu, dừng và thử lại các lần chạy quy trình.

Chính sách cấp phép chạy quy trình mở rộng cho phép thực hiện các hành động sau:

"sagemaker:DescribePipeline"
"sagemaker:DescribePipelineDefinitionForExecution"
"sagemaker:DescribePipelineExecution"
"sagemaker:ListPipelineExecutions"
"sagemaker:ListPipelineExecutionSteps"
"sagemaker:ListPipelineParametersForExecution"
"sagemaker:StartPipelineExecution"
"sagemaker:StopPipelineExecution"
"sagemaker:RetryPipelineExecution"
"sagemaker:Search"

Truy cập các thực thể đường dẫn được chia sẻ thông qua lệnh gọi API trực tiếp

Trong phần này, chúng tôi sẽ hướng dẫn cách bạn có thể sử dụng các lệnh gọi API đường dẫn SageMaker khác nhau để có được khả năng hiển thị về các đường dẫn chạy trong tài khoản từ xa đã được chia sẻ với bạn. Để kiểm tra API dựa trên quy trình chạy trong tài khoản thử nghiệm từ tài khoản nhà phát triển, hãy đăng nhập vào tài khoản nhà phát triển và sử dụng Đám mây AWS.

Đối với các lệnh gọi API đường dẫn SageMaker nhiều tài khoản, bạn luôn cần sử dụng ARN đường dẫn của mình làm thông tin nhận dạng đường dẫn. Điều đó cũng bao gồm các lệnh yêu cầu tên đường dẫn, trong đó bạn cần sử dụng ARN đường dẫn của mình làm tên đường dẫn.

Để nhận ARN quy trình, trong tài khoản thử nghiệm của bạn, hãy điều hướng đến thông tin chi tiết quy trình trong Studio thông qua Tài nguyên SageMaker.

Chọn Đường ống trong danh sách tài nguyên của bạn.

Chọn đường dẫn của bạn và đi đến đường dẫn của bạn Cài đặt chuyển hướng. Bạn có thể tìm thấy ARN đường dẫn bằng Siêu dữ liệu thông tin. Trong ví dụ này, ARN của bạn được xác định là "arn:aws:sagemaker:us-east-1:<account-id>:pipeline/serial-inference-pipeline".

ListPipelineThực thi

Lệnh gọi API này liệt kê các lần chạy đường ống của bạn. Chạy lệnh sau, thay thế $SHARED_PIPELINE_ARN với ARN đường dẫn của bạn từ CloudShell hoặc sử dụng Giao diện dòng lệnh AWS (AWS CLI) được định cấu hình với Quản lý truy cập và nhận dạng AWS (TÔI LÀ) vai trò:

aws sagemaker list-pipeline-executions --pipeline-name $SHARED_PIPELINE_ARN

Phản hồi liệt kê tất cả các hoạt động trong quy trình của bạn cùng với PipelineExecutionArn, StartTime, PipelineExecutionStatusvà PipelineExecutionDisplayName:

{
  "PipelineExecutionSummaries": [
    {
      "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>",
      "StartTime": "2022-08-10T11:32:05.543000+00:00",
      "PipelineExecutionStatus": "Executing",
      "PipelineExecutionDisplayName": "execution-321"
    },
    {
      "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>",
      "StartTime": "2022-08-10T11:28:03.680000+00:00",
      "PipelineExecutionStatus": "Stopped",
      "PipelineExecutionDisplayName": "test"
    },
    {
      "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>",
      "StartTime": "2022-08-10T11:03:47.406000+00:00",
      "PipelineExecutionStatus": "Succeeded",
      "PipelineExecutionDisplayName": "execution-123"
    }
  ]
}

Mô tảĐường ống

Lệnh gọi API này mô tả chi tiết đường ống của bạn. Chạy lệnh sau, thay thế $SHARED_PIPELINE_ARN với ARN đường dẫn của bạn:

aws sagemaker describe-pipeline --pipeline-name $SHARED_PIPELINE_ARN

Phản hồi cung cấp siêu dữ liệu cho quy trình của bạn cũng như thông tin về việc tạo và sửa đổi quy trình đó:

Output(truncated): 
{
"PipelineArn": "arn:aws:sagemaker:<region>:<account-id>:pipeline/<pipeline_name>",
"PipelineName": "serial-inference-pipeline",
"PipelineDisplayName": "serial-inference-pipeline",
"PipelineDefinition": "{"Version": "2020-12-01", "Metadata": {}, "Parameters": [{"Name": "TrainingInstanceType", "Type": "String", "DefaultValue": "ml.m5.xlarge"}, {"Name": "ProcessingInstanceType", "Type": "String", "DefaultValue": "ml.m5.xlarge"}, {"Name": "ProcessingInstanceCount", "Type": "Integer", "DefaultValue": 1}, {"Name": "InputData", "Type":

..

"PipelineStatus": "Active",
"CreationTime": "2022-08-08T21:33:39.159000+00:00",
"LastModifiedTime": "2022-08-08T21:48:14.274000+00:00",
"CreatedBy": {},
"LastModifiedBy": {}
}

Mô tảThực hiện đường ống

Lệnh gọi API này mô tả chi tiết quá trình chạy đường ống của bạn. Chạy lệnh sau, thay thế $SHARED_PIPELINE_ARN với ARN đường dẫn của bạn:

aws sagemaker describe-pipeline-execution 
--pipeline-execution-arn $PIPELINE_EXECUTION_ARN

Phản hồi cung cấp thông tin chi tiết về hoạt động quy trình của bạn, bao gồm cả PipelineExecutionStatus, ExperimentNamevà TrialName:

{
  "PipelineArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>",
  "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>",
  "PipelineExecutionDisplayName": "execution-123",
  "PipelineExecutionStatus": "Succeeded",
  "PipelineExperimentConfig": {
  "ExperimentName": "<pipeline_name>",
  "TrialName": "<execution_id>"
},
  "CreationTime": "2022-08-10T11:03:47.406000+00:00",
  "LastModifiedTime": "2022-08-10T11:15:01.102000+00:00",
  "CreatedBy": {},
  "LastModifiedBy": {}
}

Bắt đầu thực thi đường ống

Lệnh gọi API này bắt đầu một đường ống chạy. Chạy lệnh sau, thay thế $SHARED_PIPELINE_ARN với ARN đường dẫn của bạn và $CLIENT_REQUEST_TOKEN bằng mã định danh duy nhất, phân biệt chữ hoa chữ thường mà bạn tạo cho lần chạy này. Mã định danh phải có từ 32–128 ký tự. Chẳng hạn, bạn có thể tạo một chuỗi bằng cách sử dụng Lệnh tạo ngẫu nhiên km AWS CLI.

aws sagemaker start-pipeline-execution 
  --pipeline-name $SHARED_PIPELINE_ARN 
  --client-request-token $CLIENT_REQUEST_TOKEN

Như một phản hồi, lệnh gọi API này trả về PipelineExecutionArn của lần chạy đã bắt đầu:

{
  "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>"
}

DừngĐường ốngThực thi

Lệnh gọi API này điểm dừng một đường ống chạy. Chạy lệnh sau, thay thế $PIPELINE_EXECUTION_ARN với ARN chạy đường ống của đường ống đang chạy của bạn và $CLIENT_REQUEST_TOKEN bằng mã định danh duy nhất, phân biệt chữ hoa chữ thường mà bạn tạo cho lần chạy này. Mã định danh phải có từ 32–128 ký tự. Chẳng hạn, bạn có thể tạo một chuỗi bằng cách sử dụng Lệnh tạo ngẫu nhiên km AWS CLI.

aws sagemaker stop-pipeline-execution 
  --pipeline-execution-arn $PIPELINE_EXECUTION_ARN 
  --client-request-token $CLIENT_REQUEST_TOKEN

Như một phản hồi, lệnh gọi API này trả về PipelineExecutionArn của đường ống bị dừng:

{
  "PipelineExecutionArn": "arn:aws:sagemaker:<region>:<account_id>:pipeline/<pipeline_name>/execution/<execution_id>"
}

Kết luận

Chia sẻ nhiều tài khoản của quy trình SageMaker cho phép bạn chia sẻ các thực thể quy trình một cách an toàn trên các tài khoản AWS và truy cập các quy trình được chia sẻ thông qua lệnh gọi API trực tiếp mà không cần phải đăng nhập và đăng xuất khỏi nhiều tài khoản.

Trong bài đăng này, chúng tôi đi sâu vào chức năng để hiển thị cách bạn có thể chia sẻ quy trình giữa các tài khoản và truy cập chúng thông qua lệnh gọi API SageMaker.

Bước tiếp theo, bạn có thể sử dụng tính năng này cho dự án ML tiếp theo của mình.

Thông tin

Để bắt đầu với Quy trình SageMaker và quy trình chia sẻ giữa các tài khoản, hãy tham khảo các tài nguyên sau:

Giới thiệu về tác giả

Ram Vittal là Kiến trúc sư Giải pháp Chuyên gia ML tại AWS. Ông có hơn 20 năm kinh nghiệm về kiến ​​trúc và xây dựng các ứng dụng phân tán, kết hợp và đám mây. Anh ấy đam mê xây dựng các giải pháp AI / ML và dữ liệu lớn an toàn và có thể mở rộng để giúp khách hàng doanh nghiệp trong hành trình áp dụng và tối ưu hóa đám mây nhằm cải thiện kết quả kinh doanh của họ. Khi rảnh rỗi, anh ấy thích chơi quần vợt, chụp ảnh và đóng phim hành động.

Maira Ladeira Tanke là Kiến trúc sư Giải pháp Chuyên gia ML tại AWS. Với kiến ​​thức nền tảng về khoa học dữ liệu, cô đã có 9 năm kinh nghiệm về kiến ​​trúc và xây dựng các ứng dụng ML với khách hàng trong các ngành công nghiệp. Với tư cách là trưởng nhóm kỹ thuật, cô ấy giúp khách hàng đẩy nhanh việc đạt được giá trị kinh doanh thông qua các công nghệ mới nổi và các giải pháp sáng tạo. Khi rảnh rỗi, Maira thích đi du lịch và dành thời gian cho gia đình ở một nơi ấm áp.

Gabriel Zylka là Nhà tư vấn dịch vụ chuyên nghiệp tại AWS. Anh hợp tác chặt chẽ với khách hàng để đẩy nhanh hành trình áp dụng đám mây của họ. Chuyên về lĩnh vực MLOps, anh tập trung vào việc tạo ra khối lượng công việc máy học bằng cách tự động hóa vòng đời máy học từ đầu đến cuối và giúp đạt được kết quả kinh doanh mong muốn. Trong thời gian rảnh rỗi, anh thích đi du lịch và đi bộ đường dài ở dãy núi Alps ở Bavaria.