تنظیم تخصیص هزینه در سطح سازمانی برای محیط‌های ML و بارهای کاری با استفاده از برچسب‌گذاری منابع در Amazon SageMaker

از آنجایی که کسب‌وکارها و رهبران فناوری اطلاعات به دنبال تسریع پذیرش یادگیری ماشینی (ML) هستند، نیاز روزافزونی به درک هزینه‌ها و تخصیص هزینه برای محیط ML شما برای برآورده کردن نیازهای سازمانی وجود دارد. بدون مدیریت هزینه و مدیریت مناسب، هزینه های ML شما ممکن است منجر به شگفتی هایی در صورتحساب ماهانه AWS شما شود. آمازون SageMaker یک پلتفرم ML کاملاً مدیریت شده در فضای ابری است که مشتریان سازمانی ما را به ابزارها و منابعی مجهز می کند تا اقدامات تخصیص هزینه را ایجاد کند و دید به جزئیات هزینه و استفاده توسط تیم ها، واحدهای تجاری، محصولات و موارد دیگر را بهبود بخشد.

در این پست، نکات و بهترین روش‌ها را در مورد تخصیص هزینه برای محیط و حجم کاری SageMaker به اشتراک می‌گذاریم. تقریباً در تمام سرویس‌های AWS، از جمله SageMaker، اعمال برچسب‌ها بر روی منابع یک روش استاندارد برای پیگیری هزینه‌ها است. این برچسب‌ها می‌توانند به شما در ردیابی، گزارش و نظارت بر هزینه‌های ML خود از طریق راه‌حل‌های خارج از جعبه کمک کنند AWS Cost Explorer و بودجه های AWS، و همچنین راه حل های سفارشی ساخته شده بر روی داده ها از گزارش های هزینه و استفاده AWS (CURs).

برچسب گذاری تخصیص هزینه

تخصیص هزینه در AWS یک فرآیند سه مرحله ای است:

1. ضمیمه کردن برچسب های تخصیص هزینه به منابع شما
2. تگ های خود را در قسمت فعال کنید برچسب های تخصیص هزینه بخش کنسول صورت‌حساب AWS.
3. از برچسب ها برای پیگیری و فیلتر کردن گزارش تخصیص هزینه استفاده کنید.

پس از ایجاد و پیوست برچسب ها به منابع، آنها در کنسول AWS Billing ظاهر می شوند برچسب های تخصیص هزینه بخش زیر برچسب های تخصیص هزینه تعریف شده توسط کاربر. ممکن است تا 24 ساعت طول بکشد تا برچسب ها پس از ایجاد ظاهر شوند. سپس باید این برچسب ها را برای AWS فعال کنید تا شروع به ردیابی آنها برای منابع شما کند. به طور معمول، پس از فعال شدن یک برچسب، حدود 24 تا 48 ساعت طول می کشد تا برچسب ها در Cost Explorer نمایش داده شوند. ساده ترین راه برای بررسی اینکه آیا تگ های شما کار می کنند این است که به دنبال برچسب جدید خود در فیلتر برچسب ها در Cost Explorer بگردید. اگر وجود دارد، پس شما آماده استفاده از برچسب ها برای گزارش تخصیص هزینه خود هستید. سپس می توانید انتخاب کنید که نتایج خود را بر اساس کلیدهای برچسب گروه بندی کنید یا بر اساس مقادیر برچسب فیلتر کنید، همانطور که در تصویر زیر نشان داده شده است.

یک نکته قابل توجه است: اگر استفاده می کنید سازمانهای AWS و دارای حساب‌های AWS مرتبط هستند، برچسب‌ها فقط در حساب پرداخت‌کننده اولیه فعال می‌شوند. به صورت اختیاری، همچنین می‌توانید CUR‌ها را برای حساب‌های AWS فعال کنید که گزارش‌های تخصیص هزینه را به‌عنوان یک فایل CSV با استفاده و هزینه‌های گروه‌بندی شده براساس برچسب‌های فعال شما فعال می‌کنند. این امر به شما امکان ردیابی دقیق تری از هزینه های خود را می دهد و تنظیم راه حل های گزارش سفارشی خود را آسان تر می کند.

برچسب گذاری در SageMaker

در سطح بالا، برچسب زدن منابع SageMaker را می توان در دو سطل گروه بندی کرد:

• تگ کردن محیط نوت بوک SageMaker یا Amazon SageMaker Studio دامنه ها و کاربران دامنه، یا نمونه های نوت بوک SageMaker
• برچسب‌گذاری مشاغل مدیریت شده توسط SageMaker (برچسب‌گذاری، پردازش، آموزش، تنظیم فراپارامتر، تبدیل دسته‌ای و موارد دیگر) و منابع (مانند مدل‌ها، تیم‌های کاری، پیکربندی‌های نقطه پایانی، و نقاط پایانی)

ما این موارد را با جزئیات بیشتری در این پست پوشش می‌دهیم و راه‌حل‌هایی در مورد نحوه اعمال کنترل حاکمیتی برای اطمینان از بهداشت برچسب‌گذاری خوب ارائه می‌کنیم.

برچسب گذاری دامنه ها و کاربران SageMaker Studio

Studio یک محیط توسعه یکپارچه مبتنی بر وب (IDE) برای ML است که به شما امکان می دهد مدل های ML خود را بسازید، آموزش دهید، اشکال زدایی، استقرار و نظارت کنید. می‌توانید نوت‌بوک‌های استودیو را به‌سرعت راه‌اندازی کنید، و به‌صورت پویا منابع محاسباتی زیربنایی را بدون وقفه در کارتان شماره‌گیری کنید.

برای برچسب‌گذاری خودکار این منابع پویا، باید تگ‌هایی را به دامنه SageMaker و کاربران دامنه‌ای اختصاص دهید که امکان دسترسی به آن منابع را دارند. می توانید این تگ ها را در پارامتر تگ ها مشخص کنید ایجاد دامنه or ایجاد-کاربر-نمایه در حین ایجاد نمایه یا دامنه، یا می توانید بعداً با استفاده از افزودن برچسب API. Studio به طور خودکار این برچسب ها را به نوت بوک های Studio ایجاد شده در دامنه یا توسط کاربران خاص کپی کرده و اختصاص می دهد. همچنین می توانید با ویرایش تنظیمات دامنه در کنترل پنل استودیو، تگ ها را به دامنه های SageMaker اضافه کنید.

در زیر نمونه ای از تخصیص تگ ها به پروفایل در حین ایجاد آورده شده است.

aws sagemaker create-user-profile --domain-id  --user-profile-name data-scientist-full --tags Key=studiouserid,Value= --user-settings ExecutionRole=arn:aws:iam:::role/SageMakerStudioExecutionRole_datascientist-full

برای تگ کردن دامنه ها و کاربران موجود، از add-tags API. سپس برچسب ها بر روی هر نوت بوک جدید اعمال می شود. برای اعمال این برچسب‌ها روی نوت‌بوک‌های موجود، باید برنامه استودیو (دروازه هسته و سرور Jupyter) متعلق به آن نمایه کاربر را دوباره راه‌اندازی کنید. این باعث از دست رفتن داده های نوت بوک نمی شود. رجوع به این شود برنامه های SageMaker Studio و Studio را خاموش و به روز کنید برای یادگیری نحوه حذف و راه اندازی مجدد برنامه های استودیو.

برچسب زدن نمونه های نوت بوک SageMaker

در مورد یک نمونه نوت بوک SageMaker، برچسب گذاری به خود نمونه اعمال می شود. تگ ها به تمام منابعی که در یک نمونه اجرا می شوند اختصاص داده می شوند. شما می توانید برچسب ها را به صورت برنامه ریزی شده با استفاده از پارامتر برچسب ها در قسمت مشخص کنید ایجاد-نوت بوک-نمونه API یا آنها را از طریق کنسول SageMaker در هنگام ایجاد نمونه اضافه کنید. همچنین می‌توانید هر زمان که بخواهید برچسب‌ها را اضافه یا به‌روزرسانی کنید افزودن برچسب API یا از طریق کنسول SageMaker.

توجه داشته باشید که این امر مشاغل و منابع مدیریت شده SageMaker مانند مشاغل آموزشی و پردازشی را مستثنی می‌کند، زیرا آنها در محیط خدمات هستند نه در نمونه. در بخش بعدی، نحوه اعمال برچسب گذاری در این منابع را با جزئیات بیشتر بررسی می کنیم.

برچسب گذاری مشاغل و منابع مدیریت شده SageMaker

برای مشاغل و منابع مدیریت شده SageMaker، برچسب گذاری باید روی آن اعمال شود tags ویژگی به عنوان بخشی از هر درخواست API. یک SKLearnProcessor مثال در کد زیر نشان داده شده است. می‌توانید نمونه‌های بیشتری از نحوه تخصیص برچسب‌ها به سایر مشاغل و منابع مدیریت شده SageMaker را در این قسمت پیدا کنید GitHub repo.

from sagemaker import get_execution_role
from sagemaker.sklearn.processing import SKLearnProcessor

processing_tags = [{' Key':"cost-center','Value':'TF2WorkflowProcessing'}]
sklearn_processorl = SKLearnProcessor(framework_version='0.23-1' ,
									 role=get_execution_role(),
									 instance_type='ml.m5.xlarge',
									 instance_count=2,
									 tags=processing_tags)

برچسب گذاری خطوط لوله SageMaker

در مورد خطوط لوله SageMaker، می توانید به جای هر مرحله جداگانه، کل خط لوله را به عنوان یک کل برچسب گذاری کنید. خط لوله SageMaker به طور خودکار برچسب ها را در هر مرحله خط لوله منتشر می کند. شما همچنان می توانید در صورت نیاز، تگ های جداگانه و اضافی را به مراحل جداگانه اضافه کنید. در رابط کاربری Studio، تگ های خط لوله در بخش ابرداده ظاهر می شوند.

برای اعمال تگ ها به خط لوله، از SageMaker Python SDK استفاده کنید:

pipeline_tags = [ {'Key': 'pipeline-type', 'Value': 'TF2WorkflowPipeline'}]
pipeline.upsert(role_arn=role, tags=pipeline_tags)
execution = pipeline.start()

برچسب گذاری را با استفاده از خط مشی های IAM اجرا کنید

اگرچه برچسب‌گذاری مکانیزمی مؤثر برای پیاده‌سازی استراتژی‌های مدیریت و حاکمیت ابری است، اما اگر آن را به کاربران نهایی بسپارید، اعمال رفتار برچسب‌گذاری مناسب می‌تواند چالش‌برانگیز باشد. چگونه از ایجاد منبع ML در صورت عدم وجود یک برچسب خاص جلوگیری می کنید، چگونه از اعمال تگ های مناسب اطمینان حاصل می کنید و چگونه از حذف تگ های موجود توسط کاربران جلوگیری می کنید؟

شما می توانید این کار را با استفاده از هویت AWS و مدیریت دسترسی سیاست های (IAM) کد زیر نمونه ای از سیاستی است که از اقدامات SageMaker مانند CreateDomain or CreateNotebookInstance اگر درخواست حاوی کلید محیط و یکی از مقادیر لیست نباشد. را ForAllValues اصلاح کننده با aws:TagKeys کلید شرط نشان می دهد که فقط کلید environment در درخواست مجاز است. این کار کاربران را از اضافه کردن کلیدهای دیگر، مانند استفاده تصادفی، باز می دارد Environment بجای environment.

"sagemaker:CreateTrainingJob"
      ],
      "{
      "Sid": "SageMakerEnforceEnvtOnCreate",
      "Action": [
        "sagemaker:CreateDomain",
        "sagemaker:CreateEndpoint",
        "sagemaker:CreateNotebookInstance",
        Effect": "Allow",
      "Resource": "*",
  "Condition": {
            "StringEquals": {
                "aws:RequestTag/environment": [
                    "dev","staging","production"
                ]
            },
            "ForAllValues:StringEquals": {"aws:TagKeys": "environment"}
        }
      }

سیاست‌های برچسب‌گذاری و سیاست های کنترل خدمات (SCP) همچنین می تواند راه خوبی برای استانداردسازی ایجاد و برچسب گذاری منابع ML شما باشد. برای اطلاعات بیشتر در مورد نحوه اجرای استراتژی برچسب گذاری که برچسب گذاری را در سطح سازمان اجرا و اعتبار می بخشد، به سری شماره 3 وبلاگ تخصیص هزینه: تگ های منبع AWS را اجرا و اعتبار سنجی کنید.

گزارش تخصیص هزینه

می توانید برچسب ها را با فیلتر کردن نماها در Cost Explorer مشاهده کنید گزارش تخصیص هزینه ماهانه، یا با بررسی CUR.

تجسم تگ ها در Cost Explorer

Cost Explorer ابزاری است که به شما امکان می دهد هزینه ها و میزان مصرف خود را مشاهده و تجزیه و تحلیل کنید. می‌توانید استفاده و هزینه‌های خود را با استفاده از نمودار اصلی بررسی کنید: گزارش‌های هزینه و استفاده Cost Explorer. برای یک ویدیوی سریع در مورد نحوه استفاده از Cost Explorer، بررسی کنید چگونه می توانم از Cost Explorer برای تجزیه و تحلیل هزینه ها و استفاده خود استفاده کنم؟

با Cost Explorer، می‌توانید نحوه مشاهده هزینه‌های AWS خود را بر اساس برچسب‌ها فیلتر کنید. دسته بندی بر اساس به ما اجازه می دهد تا نتایج را با کلیدهای برچسب مانند Environment, Deployment، یا Cost Center. فیلتر برچسب به ما کمک می کند تا بدون توجه به کلید، مقدار مورد نظر خود را انتخاب کنیم. مثالها عبارتند از Production و Staging. به خاطر داشته باشید که پس از افزودن و فعال کردن برچسب ها باید منابع را اجرا کنید. در غیر این صورت، Cost Explorer هیچ داده استفاده ای نخواهد داشت و مقدار برچسب به عنوان فیلتر یا گروه به گزینه نمایش داده نمی شود.

اسکرین شات زیر نمونه ای از فیلتر کردن بر اساس تمام مقادیر است BusinessUnit برچسب.

بررسی برچسب ها در CUR

گزارش هزینه و استفاده شامل جامع ترین مجموعه داده های هزینه و استفاده موجود است. این گزارش شامل موارد خطی برای هر ترکیب منحصربه‌فرد از محصول AWS، نوع استفاده و عملیاتی است که حساب AWS شما استفاده می‌کند. می توانید CUR را سفارشی کنید تا اطلاعات را به صورت ساعتی یا روزی جمع آوری کنید. گزارش تخصیص هزینه ماهانه یکی از راه‌های تنظیم گزارش تخصیص هزینه است. می توانید یک را راه اندازی کنید گزارش تخصیص هزینه ماهانه که استفاده از AWS را برای حساب شما بر اساس دسته محصول و کاربر حساب مرتبط فهرست می کند. گزارش شامل موارد خطی مشابه است گزارش صورتحساب دقیق و ستون های اضافی برای کلیدهای برچسب شما. می توانید با دنبال کردن مراحل موجود، آن را تنظیم و گزارش خود را دانلود کنید گزارش تخصیص هزینه ماهانه.

تصویر زیر نشان می دهد که چگونه کلیدهای برچسب تعریف شده توسط کاربر در CUR نشان داده می شوند. کلیدهای برچسب تعریف شده توسط کاربر دارای پیشوند هستند user، از جمله user:Department و user:CostCenter. کلیدهای برچسب تولید شده توسط AWS دارای پیشوند هستند aws.

CUR را با استفاده از Amazon Athena و Amazon QuickSight تجسم کنید

آمازون آتنا یک سرویس پرس و جو تعاملی است که تجزیه و تحلیل داده ها را در آمازون S3 با استفاده از SQL استاندارد آسان می کند. Athena بدون سرور است، بنابراین هیچ زیرساختی برای مدیریت وجود ندارد و شما فقط برای کوئری هایی که اجرا می کنید هزینه می پردازید. برای ادغام آتنا با CUR ها به پرس و جو از گزارش های هزینه و استفاده با استفاده از آمازون آتنا. سپس می توانید پرس و جوهای سفارشی برای پرس و جو داده های CUR با استفاده از SQL استاندارد بسازید. تصویر زیر نمونه ای از پرس و جو برای فیلتر کردن تمام منابعی است که دارای مقدار TF2WorkflowTraining برای cost-center برچسب.

select * from {$table_name} where resource_tags_user_cost-center= 'TF2WorkflowTraining'

در مثال زیر، ما سعی می‌کنیم بفهمیم که کدام منابع دارای مقادیری هستند که در زیر قرار دارند cost-center برچسب.

SELECT
 bill_payer_account_id, line_item_usage_account_id, DATE_FORMAT((line_item_usage_start_date), '%Y-%m-%d') AS day_line_item_usage_start_date, line_item_resource_id, line_item_usage_type, resource_tags_user_cost-center
FROM
{$table_name} 
WHERE
 resource_tags_user_cost-center IS NULL
AND line_item_product_code = 'AmazonSageMaker'

اطلاعات بیشتر و نمونه پرس و جوها را می توان در ادامه مطلب یافت کتابخانه پرس و جو AWS CUR.

همچنین می توانید داده های CUR را وارد کنید آمازون QuickSight، که در آن می توانید آن را به هر شکلی که می خواهید برای گزارش یا مصورسازی برش دهید و آن را برش دهید. برای دستورالعمل‌های مربوط به مصرف داده‌های CUR در QuickSight، ببینید چگونه می توانم گزارش هزینه و استفاده AWS (CUR) را در QuickSight آمازون وارد و تجسم کنم.

نظارت بر بودجه با استفاده از برچسب ها

بودجه های AWS یک راه عالی برای ارائه هشدار اولیه در صورت افزایش غیرمنتظره هزینه ها است. می‌توانید بودجه‌های سفارشی ایجاد کنید که وقتی هزینه‌های ML و استفاده شما از آستانه‌های تعریف‌شده توسط کاربر فراتر رفت (یا پیش‌بینی می‌شود از آن فراتر رود) به شما هشدار می‌دهد. با AWS Budgets، می‌توانید کل هزینه‌های ماهانه ML خود را کنترل کنید یا بودجه‌های خود را فیلتر کنید تا هزینه‌های مرتبط با ابعاد استفاده خاص را ردیابی کنید. به عنوان مثال، می‌توانید محدوده بودجه را طوری تنظیم کنید که هزینه‌های منابع SageMaker با عنوان برچسب‌گذاری شده باشد cost-center: ML-Marketing، همانطور که در تصویر زیر نشان داده شده است. برای ابعاد اضافی و دستورالعمل های دقیق در مورد نحوه تنظیم بودجه های AWS، مراجعه کنید اینجا کلیک نمایید.

با هشدارهای بودجه، می توانید زمانی که از محدودیت های بودجه شما فراتر رفت (یا در شرف فراتر رفتن) اعلان ارسال کنید. این هشدارها همچنین می توانند به یک پست ارسال شوند سرویس اطلاع رسانی ساده آمازون موضوع (Amazon SNS). یک AWS لامبدا تابعی که در موضوع SNS مشترک است، فراخوانی می‌شود و هر گونه اقدام قابل پیاده‌سازی برنامه‌ای را می‌توان انجام داد.

AWS Budgets همچنین به شما امکان می دهد پیکربندی کنید اقدامات بودجه، مراحلی هستند که در صورت تجاوز از آستانه بودجه (مقدار واقعی یا پیش بینی شده) می توانید انجام دهید. این سطح از کنترل به شما این امکان را می دهد که هزینه های بیش از حد ناخواسته را در حساب خود کاهش دهید. می‌توانید پاسخ‌های خاصی را برای هزینه و استفاده در حساب خود پیکربندی کنید که به طور خودکار یا از طریق فرآیند تأیید گردش کار زمانی که از هدف بودجه فراتر رفته است اعمال می‌شوند. این یک راه حل واقعا قدرتمند است تا اطمینان حاصل شود که هزینه ML شما با اهداف کسب و کار سازگار است. می توانید نوع اقدامی را که باید انجام دهید انتخاب کنید. به عنوان مثال، وقتی از آستانه بودجه عبور کرد، می‌توانید کاربران خاص IAM را از مجوزهای سرپرست به فقط خواندنی منتقل کنید. برای مشتریانی که از سازمان‌ها استفاده می‌کنند، می‌توانید با انتقال آن‌ها از سرپرست به فقط خواندنی، اقداماتی را برای کل یک واحد سازمانی اعمال کنید. برای جزئیات بیشتر در مورد نحوه مدیریت هزینه با استفاده از اقدامات بودجه، مراجعه کنید نحوه مدیریت بیش از حد هزینه در محیط چند حسابی AWS - قسمت 1.

همچنین می توانید گزارشی برای نظارت بر عملکرد بودجه های موجود خود به صورت روزانه، هفتگی یا ماهانه تنظیم کنید و آن گزارش را به حداکثر 50 آدرس ایمیل تحویل دهید. با گزارش بودجه AWS، می توانید تمام بودجه های مربوط به SageMaker را در یک گزارش واحد ترکیب کنید. این ویژگی به شما امکان می‌دهد تا ردپای SageMaker خود را از یک مکان ردیابی کنید، همانطور که در تصویر زیر نشان داده شده است. شما می توانید انتخاب کنید که این گزارش ها را به صورت روزانه، هفتگی یا ماهانه دریافت کنید (من انتخاب کرده ام هفتگی برای این مثال)، و روز هفته را انتخاب کنید که می خواهید آنها را دریافت کنید.

این ویژگی برای به‌روز نگه داشتن ذینفعان در مورد هزینه‌ها و استفاده از SageMaker مفید است و به آنها کمک می‌کند ببینند چه زمانی هزینه‌ها مطابق انتظار نیست.

پس از تنظیم این پیکربندی، باید ایمیلی مشابه زیر دریافت کنید.

نتیجه

در این پست نشان دادیم که چگونه می‌توانید برچسب‌گذاری تخصیص هزینه را برای SageMaker تنظیم کنید و نکاتی را در مورد برچسب‌گذاری بهترین شیوه‌ها برای محیط و حجم کاری SageMaker خود به اشتراک گذاشتیم. سپس گزینه‌های گزارش‌گیری مختلف مانند Cost Explorer و CUR را مورد بحث قرار دادیم تا به شما در بهبود دید در هزینه‌های ML خود کمک کنیم. در نهایت، ما بودجه‌های AWS و گزارش خلاصه بودجه را برای کمک به نظارت بر هزینه‌های ML سازمان خود نشان دادیم.

برای اطلاعات بیشتر در مورد اعمال و فعال کردن برچسب‌های تخصیص هزینه، رجوع کنید برچسب های تخصیص هزینه تعریف شده توسط کاربر.

درباره نویسندگان

شان مورگان یک معمار راه حل های AI/ML در AWS است. او تجربه ای در زمینه های تحقیقاتی دانشگاهی و نیمه هادی دارد و از تجربه خود برای کمک به مشتریان برای رسیدن به اهداف خود در AWS استفاده می کند. در اوقات فراغت، شان یک مشارکت‌کننده و نگهدار متن‌باز فعال است و رهبر گروه مورد علاقه ویژه افزونه‌های TensorFlow است.

برنت رابوفسکی روی علم داده در AWS تمرکز می کند و از تخصص خود برای کمک به مشتریان AWS در پروژه های علم داده خود استفاده می کند.

نیلش شتی به عنوان یک مدیر ارشد حساب فنی در AWS است، جایی که به مشتریان پشتیبانی سازمانی کمک می کند تا عملیات ابری خود را در AWS ساده کنند. او علاقه زیادی به یادگیری ماشین دارد و تجربه کار به عنوان مشاور، معمار و توسعه دهنده را دارد. در خارج از محل کار، او از گوش دادن به موسیقی و تماشای ورزش لذت می برد.

جیمز وو یک معمار ارشد راه حل متخصص AI/ML در AWS است. کمک به مشتریان در طراحی و ساخت راه حل های AI/ML. کار جیمز طیف گسترده‌ای از موارد استفاده از ML را پوشش می‌دهد، با علاقه اولیه به بینایی رایانه، یادگیری عمیق، و مقیاس‌بندی ML در سراسر سازمان. قبل از پیوستن به AWS، جیمز بیش از 10 سال معمار، توسعه‌دهنده و رهبر فناوری بود، از جمله 6 سال در مهندسی و 4 سال در صنایع بازاریابی و تبلیغات.