Thiết lập phân bổ chi phí cấp doanh nghiệp cho môi trường ML và khối lượng công việc bằng cách sử dụng tính năng gắn thẻ tài nguyên trong Amazon SageMaker

Được xuất bản lại bởi Plato

Người theo dõi: 0

Khi các doanh nghiệp và các nhà lãnh đạo CNTT tìm cách đẩy nhanh việc áp dụng máy học (ML), nhu cầu hiểu rõ về chi tiêu và phân bổ chi phí cho môi trường ML của bạn để đáp ứng các yêu cầu của doanh nghiệp ngày càng tăng. Nếu không quản lý và quản lý chi phí phù hợp, chi tiêu ML của bạn có thể dẫn đến những bất ngờ trong hóa đơn AWS hàng tháng của bạn. Amazon SageMaker là một nền tảng ML được quản lý hoàn toàn trên đám mây nhằm trang bị cho khách hàng doanh nghiệp của chúng tôi các công cụ và tài nguyên để thiết lập các biện pháp phân bổ chi phí và cải thiện khả năng hiển thị về chi phí và mức sử dụng chi tiết của nhóm, đơn vị kinh doanh, sản phẩm của bạn, v.v.

Trong bài đăng này, chúng tôi chia sẻ các mẹo và phương pháp hay nhất về phân bổ chi phí cho môi trường và khối lượng công việc SageMaker của bạn. Trên hầu hết các dịch vụ AWS, bao gồm cả SageMaker, việc gắn thẻ vào tài nguyên là một cách tiêu chuẩn để theo dõi chi phí. Các thẻ này có thể giúp bạn theo dõi, báo cáo và giám sát chi tiêu ML của bạn thông qua các giải pháp sẵn có như Trình khám phá chi phí AWS và Ngân sách AWScũng như các giải pháp tùy chỉnh được xây dựng trên dữ liệu từ Báo cáo chi phí và sử dụng AWS (CUR).

Gắn thẻ phân bổ chi phí

Phân bổ chi phí trên AWS là một quy trình gồm ba bước:

Đính kèm thẻ phân bổ chi phí tới tài nguyên của bạn.
Kích hoạt thẻ của bạn trong Thẻ phân bổ chi phí phần của bảng điều khiển Thanh toán AWS.
Sử dụng thẻ để theo dõi và lọc báo cáo phân bổ chi phí.

Sau khi bạn tạo và đính kèm thẻ vào tài nguyên, chúng sẽ xuất hiện trong bảng điều khiển Thanh toán AWS Thẻ phân bổ chi phí phần dưới Thẻ phân bổ chi phí do người dùng xác định. Có thể mất tới 24 giờ để thẻ xuất hiện sau khi chúng được tạo. Sau đó, bạn cần kích hoạt các thẻ này cho AWS để bắt đầu theo dõi chúng đối với tài nguyên của mình. Thông thường, sau khi thẻ được kích hoạt, phải mất khoảng 24–48 giờ để thẻ hiển thị trong Cost Explorer. Cách dễ nhất để kiểm tra xem thẻ của bạn có hoạt động hay không là tìm thẻ mới trong bộ lọc thẻ trong Cost Explorer. Nếu nó ở đó thì bạn đã sẵn sàng sử dụng thẻ cho báo cáo phân bổ chi phí của mình. Sau đó, bạn có thể chọn nhóm kết quả của mình theo khóa thẻ hoặc lọc theo giá trị thẻ, như minh họa trong ảnh chụp màn hình sau.

Một điều cần lưu ý: nếu bạn sử dụng Tổ chức AWS và có tài khoản AWS được liên kết, thẻ chỉ có thể được kích hoạt trong tài khoản người thanh toán chính. Theo tùy chọn, bạn cũng có thể kích hoạt CUR cho các tài khoản AWS cho phép báo cáo phân bổ chi phí dưới dạng tệp CSV với mức sử dụng và chi phí được nhóm theo thẻ hoạt động của bạn. Điều này giúp bạn theo dõi chi phí chi tiết hơn và giúp bạn thiết lập các giải pháp báo cáo tùy chỉnh của riêng mình dễ dàng hơn.

Gắn thẻ trong SageMaker

Ở cấp độ cao, việc gắn thẻ tài nguyên SageMaker có thể được nhóm thành hai nhóm:

Gắn thẻ môi trường sổ ghi chép SageMaker Xưởng sản xuất Amazon SageMaker tên miền và người dùng tên miền hoặc phiên bản sổ ghi chép SageMaker
Gắn thẻ các công việc do SageMaker quản lý (gắn nhãn, xử lý, đào tạo, điều chỉnh siêu tham số, chuyển đổi hàng loạt, v.v.) và tài nguyên (chẳng hạn như mô hình, nhóm làm việc, cấu hình điểm cuối và điểm cuối)

Chúng tôi đề cập đến những vấn đề này một cách chi tiết hơn trong bài đăng này và cung cấp một số giải pháp về cách áp dụng biện pháp kiểm soát quản trị để đảm bảo gắn thẻ hợp lý.

Gắn thẻ miền và người dùng SageMaker Studio

Studio là môi trường phát triển tích hợp (IDE) dựa trên web dành cho ML, cho phép bạn xây dựng, đào tạo, gỡ lỗi, triển khai và giám sát các mô hình ML của mình. Bạn có thể khởi chạy sổ ghi chép Studio một cách nhanh chóng và tự động quay số lên hoặc xuống các tài nguyên điện toán cơ bản mà không làm gián đoạn công việc của mình.

Để tự động gắn thẻ các tài nguyên động này, bạn cần gán thẻ cho miền SageMaker và những người dùng miền được cấp quyền truy cập vào các tài nguyên đó. Bạn có thể chỉ định các thẻ này trong tham số thẻ của tạo miền or tạo hồ sơ người dùng trong quá trình tạo hồ sơ hoặc tên miền hoặc bạn có thể thêm chúng sau bằng cách sử dụng thẻ bổ sung API. Studio tự động sao chép và gán các thẻ này vào sổ ghi chép Studio được tạo trong miền hoặc bởi những người dùng cụ thể. Bạn cũng có thể thêm thẻ vào miền SageMaker bằng cách chỉnh sửa cài đặt miền trong Bảng điều khiển Studio.

Sau đây là ví dụ về việc gán thẻ cho hồ sơ trong quá trình tạo.

aws sagemaker create-user-profile --domain-id  --user-profile-name data-scientist-full --tags Key=studiouserid,Value= --user-settings ExecutionRole=arn:aws:iam:::role/SageMakerStudioExecutionRole_datascientist-full

Để gắn thẻ các tên miền và người dùng hiện có, hãy sử dụng add-tags API. Sau đó, các thẻ này sẽ được áp dụng cho bất kỳ sổ ghi chép mới nào. Để áp dụng các thẻ này cho sổ ghi chép hiện có của bạn, bạn cần khởi động lại ứng dụng Studio (Cổng hạt nhân và Máy chủ Jupyter) thuộc hồ sơ người dùng đó. Điều này sẽ không gây ra bất kỳ mất mát nào trong dữ liệu máy tính xách tay. Tham khảo cái này Tắt và cập nhật các ứng dụng Studio và SageMaker Studio để tìm hiểu cách xóa và khởi động lại ứng dụng Studio của bạn.

Gắn thẻ phiên bản sổ ghi chép SageMaker

Trong trường hợp phiên bản sổ ghi chép SageMaker, việc gắn thẻ sẽ được áp dụng cho chính phiên bản đó. Các thẻ được gán cho tất cả các tài nguyên đang chạy trong cùng một phiên bản. Bạn có thể chỉ định thẻ theo chương trình bằng cách sử dụng tham số thẻ trong tạo-sổ tay-ví dụ API hoặc thêm chúng thông qua bảng điều khiển SageMaker trong quá trình tạo phiên bản. Bạn cũng có thể thêm hoặc cập nhật thẻ bất cứ lúc nào bằng cách sử dụng thẻ bổ sung API hoặc thông qua bảng điều khiển SageMaker.

Lưu ý rằng điều này không bao gồm các công việc và tài nguyên do SageMaker quản lý, chẳng hạn như các công việc đào tạo và xử lý vì chúng ở trong môi trường dịch vụ chứ không phải trên phiên bản. Trong phần tiếp theo, chúng ta sẽ tìm hiểu cách áp dụng gắn thẻ cho các tài nguyên này một cách chi tiết hơn.

Gắn thẻ công việc và tài nguyên do SageMaker quản lý

Đối với các công việc và tài nguyên do SageMaker quản lý, việc gắn thẻ phải được áp dụng cho tags thuộc tính như một phần của mỗi yêu cầu API. MỘT SKLearnProcessor ví dụ được minh họa trong đoạn mã sau. Bạn có thể tìm thêm ví dụ về cách gán thẻ cho các công việc và tài nguyên khác do SageMaker quản lý trên Repo GitHub.

from sagemaker import get_execution_role
from sagemaker.sklearn.processing import SKLearnProcessor

processing_tags = [{' Key':"cost-center','Value':'TF2WorkflowProcessing'}]
sklearn_processorl = SKLearnProcessor(framework_version='0.23-1' ,
									 role=get_execution_role(),
									 instance_type='ml.m5.xlarge',
									 instance_count=2,
									 tags=processing_tags)

Gắn thẻ quy trình SageMaker

Trong trường hợp quy trình SageMaker, bạn có thể gắn thẻ toàn bộ quy trình thay vì từng bước riêng lẻ. Đường dẫn SageMaker tự động truyền các thẻ tới từng bước của đường dẫn. Bạn vẫn có tùy chọn thêm các thẻ bổ sung, riêng biệt vào các bước riêng lẻ nếu cần. Trong giao diện người dùng Studio, thẻ quy trình xuất hiện trong phần siêu dữ liệu.

Để áp dụng thẻ cho quy trình, hãy sử dụng SageMaker Python SDK:

pipeline_tags = [ {'Key': 'pipeline-type', 'Value': 'TF2WorkflowPipeline'}]
pipeline.upsert(role_arn=role, tags=pipeline_tags)
execution = pipeline.start()

Thực thi gắn thẻ bằng chính sách IAM

Mặc dù gắn thẻ là một cơ chế hiệu quả để triển khai các chiến lược quản trị và quản lý đám mây, nhưng việc thực thi hành vi gắn thẻ phù hợp có thể gặp khó khăn nếu bạn chỉ giao việc đó cho người dùng cuối. Làm cách nào để ngăn chặn việc tạo tài nguyên ML nếu thiếu một thẻ cụ thể, làm cách nào để đảm bảo áp dụng đúng thẻ và làm cách nào để ngăn người dùng xóa các thẻ hiện có?

Bạn có thể thực hiện việc này bằng cách sử dụng Quản lý truy cập và nhận dạng AWS (IAM) chính sách. Mã sau đây là ví dụ về chính sách ngăn chặn các hành động của SageMaker như CreateDomain or CreateNotebookInstance nếu yêu cầu không chứa khóa môi trường và một trong các giá trị danh sách. Các ForAllValues bổ ngữ với aws:TagKeys phím điều kiện cho biết rằng chỉ có phím environment được cho phép trong yêu cầu. Điều này ngăn người dùng thêm các khóa khác, chẳng hạn như vô tình sử dụng Environment thay vì environment.

"sagemaker:CreateTrainingJob"
      ],
      "{
      "Sid": "SageMakerEnforceEnvtOnCreate",
      "Action": [
        "sagemaker:CreateDomain",
        "sagemaker:CreateEndpoint",
        "sagemaker:CreateNotebookInstance",
        Effect": "Allow",
      "Resource": "*",
  "Condition": {
            "StringEquals": {
                "aws:RequestTag/environment": [
                    "dev","staging","production"
                ]
            },
            "ForAllValues:StringEquals": {"aws:TagKeys": "environment"}
        }
      }

Chính sách thẻ và chính sách kiểm soát dịch vụ (SCP) cũng có thể là một cách hay để tiêu chuẩn hóa việc tạo và gắn nhãn tài nguyên ML của bạn. Để biết thêm thông tin về cách triển khai chiến lược gắn thẻ nhằm thực thi và xác thực việc gắn thẻ ở cấp tổ chức, hãy tham khảo Chuỗi blog phân bổ chi phí số 3: Thực thi và xác thực thẻ tài nguyên AWS.

Báo cáo phân bổ chi phí

Bạn có thể xem các thẻ bằng cách lọc các chế độ xem trên Cost Explorer, xem báo cáo phân bổ chi phí hàng tháng, hoặc bằng cách kiểm tra CUR.

Hiển thị thẻ trong Cost Explorer

Cost Explorer là một công cụ cho phép bạn xem và phân tích chi phí cũng như mức sử dụng của mình. Bạn có thể khám phá mức sử dụng và chi phí của mình bằng cách sử dụng biểu đồ chính: báo cáo chi phí và mức sử dụng của Cost Explorer. Để xem video nhanh về cách sử dụng Cost Explorer, hãy xem Làm cách nào tôi có thể sử dụng Cost Explorer để phân tích chi tiêu và mức sử dụng của mình?

Với Cost Explorer, bạn có thể lọc cách xem chi phí AWS theo thẻ. Nhóm theo cho phép chúng tôi lọc kết quả bằng các khóa thẻ như Environment, Deployment, hoặc là Cost Center. Bộ lọc thẻ giúp chúng tôi chọn giá trị mà chúng tôi mong muốn bất kể khóa. Những ví dụ bao gồm Production và Staging. Hãy nhớ rằng bạn phải chạy tài nguyên sau khi thêm và kích hoạt thẻ; nếu không, Cost Explorer sẽ không có bất kỳ dữ liệu sử dụng nào và giá trị thẻ sẽ không được hiển thị dưới dạng bộ lọc hoặc nhóm theo tùy chọn.

Ảnh chụp màn hình sau đây là ví dụ về lọc theo tất cả các giá trị của BusinessUnit tag.

Kiểm tra các thẻ trong CUR

Báo cáo Chi phí và Mức sử dụng chứa tập hợp dữ liệu chi phí và mức sử dụng toàn diện nhất hiện có. Báo cáo chứa các mục hàng cho từng sự kết hợp duy nhất giữa sản phẩm AWS, loại sử dụng và hoạt động mà tài khoản AWS của bạn sử dụng. Bạn có thể tùy chỉnh CUR để tổng hợp thông tin theo giờ hoặc theo ngày. Báo cáo phân bổ chi phí hàng tháng là một cách để thiết lập báo cáo phân bổ chi phí. Bạn có thể thiết lập một báo cáo phân bổ chi phí hàng tháng liệt kê mức sử dụng AWS cho tài khoản của bạn theo danh mục sản phẩm và người dùng tài khoản được liên kết. Báo cáo chứa các chi tiết đơn hàng giống như báo cáo quyết toán chi tiết và các cột bổ sung cho khóa thẻ của bạn. Bạn có thể thiết lập và tải xuống báo cáo của mình bằng cách làm theo các bước trong Báo cáo phân bổ chi phí hàng tháng.

Ảnh chụp màn hình sau đây cho thấy cách các khóa thẻ do người dùng xác định hiển thị trong CUR. Khóa thẻ do người dùng xác định có tiền tố user, Chẳng hạn như user:Department và user:CostCenter. Khóa thẻ do AWS tạo có tiền tố aws.

Trực quan hóa CUR bằng Amazon Athena và Amazon QuickSight

amazon Athena là một dịch vụ truy vấn tương tác giúp dễ dàng phân tích dữ liệu trong Amazon S3 bằng SQL tiêu chuẩn. Athena không có máy chủ nên không cần quản lý cơ sở hạ tầng và bạn chỉ phải trả tiền cho những truy vấn mình chạy. Để tích hợp Athena với CUR, hãy tham khảo Truy vấn báo cáo chi phí và sử dụng bằng Amazon Athena. Sau đó, bạn có thể xây dựng các truy vấn tùy chỉnh để truy vấn dữ liệu CUR bằng SQL tiêu chuẩn. Ảnh chụp màn hình sau đây là ví dụ về truy vấn để lọc tất cả các tài nguyên có giá trị TF2WorkflowTraining cho cost-center tag.

select * from {$table_name} where resource_tags_user_cost-center= 'TF2WorkflowTraining'

Trong ví dụ sau, chúng tôi đang cố gắng tìm ra tài nguyên nào bị thiếu giá trị trong cost-center tag.

SELECT
 bill_payer_account_id, line_item_usage_account_id, DATE_FORMAT((line_item_usage_start_date), '%Y-%m-%d') AS day_line_item_usage_start_date, line_item_resource_id, line_item_usage_type, resource_tags_user_cost-center
FROM
{$table_name} 
WHERE
 resource_tags_user_cost-center IS NULL
AND line_item_product_code = 'AmazonSageMaker'

Thông tin thêm và các truy vấn ví dụ có thể được tìm thấy trong Thư viện truy vấn AWS CUR.

Bạn cũng có thể cung cấp dữ liệu CUR vào Amazon QuickSight, nơi bạn có thể cắt và cắt nó theo bất kỳ cách nào bạn muốn cho mục đích báo cáo hoặc hình ảnh hóa. Để biết hướng dẫn về cách nhập dữ liệu CUR vào QuickSight, hãy xem Làm cách nào để tôi nhập và trực quan hóa Báo cáo chi phí và sử dụng AWS (CUR) vào Amazon QuickSight.

Giám sát ngân sách bằng thẻ

Ngân sách AWS là một cách tuyệt vời để đưa ra cảnh báo sớm nếu chi tiêu tăng đột biến bất ngờ. Bạn có thể tạo ngân sách tùy chỉnh để cảnh báo bạn khi chi phí và mức sử dụng ML của bạn vượt quá (hoặc được dự đoán là vượt quá) ngưỡng do người dùng xác định. Với Ngân sách AWS, bạn có thể theo dõi tổng chi phí ML hàng tháng hoặc lọc ngân sách của mình để theo dõi chi phí liên quan đến các mức sử dụng cụ thể. Ví dụ: bạn có thể đặt phạm vi ngân sách để bao gồm chi phí tài nguyên SageMaker được gắn thẻ là cost-center: ML-Marketing, như minh họa trong ảnh chụp màn hình sau. Để biết thêm kích thước và hướng dẫn chi tiết về cách thiết lập Ngân sách AWS, hãy tham khảo tại đây.

Với cảnh báo ngân sách, bạn có thể gửi thông báo khi giới hạn ngân sách của bạn đã (hoặc sắp vượt quá). Những cảnh báo này cũng có thể được đăng lên một Dịch vụ thông báo đơn giản của Amazon (Amazon SNS) chủ đề. MỘT AWS Lambda Sau đó, chức năng đăng ký chủ đề SNS sẽ được gọi và mọi hành động có thể triển khai theo chương trình đều có thể được thực hiện.

AWS Budgets cũng cho phép bạn định cấu hình hành động ngân sách, là các bước bạn có thể thực hiện khi vượt quá ngưỡng ngân sách (số tiền thực tế hoặc dự báo). Mức độ kiểm soát này cho phép bạn giảm bội chi không chủ ý trong tài khoản của mình. Bạn có thể định cấu hình các phản hồi cụ thể về chi phí và mức sử dụng trong tài khoản của mình. Phản hồi này sẽ được áp dụng tự động hoặc thông qua quy trình phê duyệt quy trình công việc khi vượt quá mục tiêu ngân sách. Đây là một giải pháp thực sự mạnh mẽ để đảm bảo rằng chi tiêu ML của bạn phù hợp với mục tiêu của doanh nghiệp. Bạn có thể chọn loại hành động cần thực hiện. Ví dụ: khi vượt quá ngưỡng ngân sách, bạn có thể chuyển người dùng IAM cụ thể từ quyền quản trị sang quyền chỉ đọc. Đối với những khách hàng sử dụng Tổ chức, bạn có thể áp dụng các hành động cho toàn bộ đơn vị tổ chức bằng cách chuyển chúng từ quản trị viên sang chỉ đọc. Để biết thêm chi tiết về cách quản lý chi phí bằng cách sử dụng các hành động ngân sách, hãy tham khảo Cách quản lý chi phí vượt mức trong môi trường nhiều tài khoản AWS của bạn – Phần 1.

Bạn cũng có thể thiết lập báo cáo để theo dõi hiệu suất ngân sách hiện tại của mình theo tần suất hàng ngày, hàng tuần hoặc hàng tháng và gửi báo cáo đó tới tối đa 50 địa chỉ email. Với Báo cáo ngân sách AWS, bạn có thể kết hợp tất cả ngân sách liên quan đến SageMaker vào một báo cáo duy nhất. Tính năng này cho phép bạn theo dõi dấu chân SageMaker của mình từ một vị trí duy nhất, như minh họa trong ảnh chụp màn hình sau. Bạn có thể chọn nhận các báo cáo này theo tần suất hàng ngày, hàng tuần hoặc hàng tháng (Tôi đã chọn Hàng tuần cho ví dụ này) và chọn ngày trong tuần mà bạn muốn nhận chúng.

Tính năng này hữu ích để giúp các bên liên quan cập nhật chi phí và mức sử dụng SageMaker của bạn, đồng thời giúp họ biết khi nào mức chi tiêu không theo xu hướng như mong đợi.

Sau khi thiết lập cấu hình này, bạn sẽ nhận được một email tương tự như sau.

Kết luận

Trong bài đăng này, chúng tôi đã trình bày cách bạn có thể thiết lập gắn thẻ phân bổ chi phí cho SageMaker và chia sẻ các mẹo về cách gắn thẻ các phương pháp hay nhất cho môi trường và khối lượng công việc SageMaker của bạn. Sau đó, chúng tôi đã thảo luận về các tùy chọn báo cáo khác nhau như Cost Explorer và CUR để giúp bạn cải thiện khả năng hiển thị về chi tiêu ML của mình. Cuối cùng, chúng tôi đã trình diễn Ngân sách AWS và báo cáo tóm tắt ngân sách để giúp bạn giám sát chi tiêu ML của tổ chức mình.

Để biết thêm thông tin về việc áp dụng và kích hoạt thẻ phân bổ chi phí, hãy xem Thẻ phân bổ chi phí do người dùng xác định.

Giới thiệu về tác giả

Sean Morgan là Kiến trúc sư Giải pháp AI / ML tại AWS. Anh ấy có kinh nghiệm trong lĩnh vực nghiên cứu học thuật và bán dẫn, đồng thời sử dụng kinh nghiệm của mình để giúp khách hàng đạt được mục tiêu của họ trên AWS. Trong thời gian rảnh rỗi, Sean là một người đóng góp và bảo trì mã nguồn mở tích cực, đồng thời là trưởng nhóm sở thích đặc biệt cho Tiện ích bổ sung TensorFlow.

Brent Rabowsky tập trung vào khoa học dữ liệu tại AWS và tận dụng kiến thức chuyên môn của mình để giúp khách hàng AWS với các dự án khoa học dữ liệu của riêng họ.

Nilesh Shetty là Giám đốc tài khoản kỹ thuật cấp cao tại AWS, nơi ông giúp khách hàng hỗ trợ doanh nghiệp hợp lý hóa hoạt động đám mây của họ trên AWS. Anh đam mê học máy và có kinh nghiệm làm tư vấn, kiến trúc sư và nhà phát triển. Ngoài công việc, anh thích nghe nhạc và xem thể thao.

James Wu là Kiến trúc sư Giải pháp Chuyên gia về AI / ML Cấp cao tại AWS. giúp khách hàng thiết kế và xây dựng các giải pháp AI / ML. Công việc của James bao gồm một loạt các trường hợp sử dụng ML, với mối quan tâm chính là tầm nhìn máy tính, học sâu và mở rộng ML trong toàn doanh nghiệp. Trước khi gia nhập AWS, James là kiến trúc sư, nhà phát triển và nhà lãnh đạo công nghệ trong hơn 10 năm, bao gồm 6 năm trong lĩnh vực kỹ thuật và 4 năm trong ngành tiếp thị & quảng cáo.