قم بإعداد تخصيص التكلفة على مستوى المؤسسة لبيئات التعلم الآلي وأعباء العمل باستخدام علامات الموارد في Amazon SageMaker

نظرًا لأن الشركات وقادة تكنولوجيا المعلومات يتطلعون إلى تسريع تبني التعلم الآلي (ML) ، فهناك حاجة متزايدة لفهم الإنفاق وتخصيص التكلفة لبيئة التعلم الآلي الخاصة بك لتلبية متطلبات المؤسسة. بدون إدارة وحوكمة مناسبة للتكلفة ، قد يؤدي إنفاق ML الخاص بك إلى مفاجآت في فاتورة AWS الشهرية الخاصة بك. الأمازون SageMaker هي عبارة عن منصة ML مُدارة بالكامل في السحابة تزود عملاء مؤسستنا بالأدوات والموارد لإنشاء تدابير تخصيص التكلفة وتحسين الرؤية في التكلفة التفصيلية والاستخدام من قبل فرقك ووحدات عملك ومنتجاتك والمزيد.

في هذا المنشور ، نشارك النصائح وأفضل الممارسات فيما يتعلق بتخصيص التكلفة لبيئة SageMaker وأعباء العمل الخاصة بك. عبر جميع خدمات AWS تقريبًا ، بما في ذلك SageMaker ، يعد تطبيق العلامات على الموارد طريقة قياسية لتتبع التكاليف. يمكن أن تساعدك هذه العلامات في تتبع إنفاق ML الخاص بك والإبلاغ عنه ومراقبته من خلال الحلول الجاهزة مثل مستكشف تكلفة AWS و ميزانيات AWS، بالإضافة إلى حلول مخصصة مبنية على بيانات من تقارير التكلفة والاستخدام في AWS (CURs).

علامات تخصيص التكلفة

يتألف تخصيص التكلفة على AWS من ثلاث خطوات:

1. تعلق علامات تخصيص التكلفة لمواردك.
2. قم بتنشيط العلامات الخاصة بك في ملف علامات تخصيص التكلفة قسم من وحدة تحكم الفوترة في AWS.
3. استخدم العلامات لتتبع تقارير تخصيص التكلفة وتصفيتها.

بعد إنشاء العلامات وإرفاقها بالموارد ، تظهر في وحدة تحكم AWS Billing علامات تخصيص التكلفة تحت قسم علامات تخصيص التكلفة المعرفة من قبل المستخدم. قد يستغرق ظهور العلامات بعد إنشائها ما يصل إلى 24 ساعة. تحتاج بعد ذلك إلى تنشيط هذه العلامات لـ AWS لبدء تعقبها لمواردك. عادةً ، بعد تنشيط إحدى العلامات ، يستغرق ظهور العلامات في Cost Explorer حوالي 24-48 ساعة. أسهل طريقة للتحقق مما إذا كانت علاماتك تعمل أم لا هي البحث عن علامتك الجديدة في مرشح العلامات في Cost Explorer. إذا كانت موجودة ، فأنت جاهز لاستخدام العلامات لتقارير تخصيص التكلفة. يمكنك بعد ذلك اختيار تجميع النتائج حسب مفاتيح العلامات أو التصفية حسب قيم العلامات ، كما هو موضح في لقطة الشاشة التالية.

هناك شيء واحد يجب ملاحظته: إذا كنت تستخدم ملفات منظمات AWS وربط حسابات AWS ، لا يمكن تنشيط العلامات إلا في حساب الدافع الأساسي. اختياريًا ، يمكنك أيضًا تنشيط CURs لحسابات AWS التي تتيح تقارير تخصيص التكلفة كملف CSV مع استخدامك وتكاليفك المجمعة حسب العلامات النشطة الخاصة بك. يمنحك هذا تتبعًا أكثر تفصيلاً لتكاليفك ويجعل من السهل إعداد حلول إعداد التقارير المخصصة الخاصة بك.

وضع العلامات في SageMaker

على مستوى عالٍ ، يمكن تجميع علامات موارد SageMaker في مجموعتين:

• وضع علامة على بيئة دفتر ملاحظات SageMaker أيضًا أمازون ساجميكر ستوديو المجالات ومستخدمي المجال ، أو طبعات دفتر ملاحظات SageMaker
• وضع علامات على الوظائف التي يديرها SageMaker (وضع العلامات والمعالجة والتدريب وضبط المعلمة الفائقة وتحويل الدُفعات والمزيد) والموارد (مثل النماذج وفرق العمل وتكوينات نقطة النهاية ونقاط النهاية)

نحن نغطي هذه بمزيد من التفصيل في هذا المنشور ونقدم بعض الحلول حول كيفية تطبيق رقابة الحوكمة لضمان نظافة العلامات الجيدة.

وضع علامات على مجالات ومستخدمي SageMaker Studio

Studio هو بيئة تطوير متكاملة (IDE) قائمة على الويب للتعلم الآلي تتيح لك إنشاء نماذج ML الخاصة بك وتدريبها وتصحيحها ونشرها ومراقبتها. يمكنك تشغيل دفاتر ملاحظات Studio بسرعة ، والطلب الديناميكي لأعلى أو لأسفل موارد الحوسبة الأساسية دون مقاطعة عملك.

لوضع علامة على هذه الموارد الديناميكية تلقائيًا ، تحتاج إلى تعيين علامات إلى مجال SageMaker ومستخدمي المجال الذين يتم توفير وصولهم إلى هذه الموارد. يمكنك تحديد هذه العلامات في معلمة العلامات من إنشاء المجال or إنشاء ملف تعريف المستخدم أثناء إنشاء الملف الشخصي أو المجال ، أو يمكنك إضافتهما لاحقًا باستخدام اضف اشارة API. يقوم Studio تلقائيًا بنسخ هذه العلامات وتعيينها إلى دفاتر ملاحظات Studio التي تم إنشاؤها في المجال أو بواسطة مستخدمين محددين. يمكنك أيضًا إضافة علامات إلى مجالات SageMaker عن طريق تحرير إعدادات المجال في لوحة تحكم الاستوديو.

فيما يلي مثال على تعيين العلامات إلى ملف التعريف أثناء الإنشاء.

aws sagemaker create-user-profile --domain-id  --user-profile-name data-scientist-full --tags Key=studiouserid,Value= --user-settings ExecutionRole=arn:aws:iam:::role/SageMakerStudioExecutionRole_datascientist-full

لوضع علامة على المجالات والمستخدمين الحاليين ، استخدم ملحق add-tags API. ثم يتم تطبيق العلامات على أي دفاتر ملاحظات جديدة. لتطبيق هذه العلامات على دفاتر ملاحظاتك الحالية ، تحتاج إلى إعادة تشغيل تطبيق Studio (Kernel Gateway و Jupyter Server) الذي ينتمي إلى ملف تعريف المستخدم هذا. لن يتسبب هذا في أي خسارة في بيانات دفتر الملاحظات. الرجوع إلى هذا قم بإغلاق وتحديث تطبيقات SageMaker Studio و Studio لمعرفة كيفية حذف وإعادة تشغيل تطبيقات الاستوديو الخاصة بك.

وضع علامات على مثيلات دفتر SageMaker

في حالة مثيل دفتر ملاحظات SageMaker ، يتم تطبيق العلامات على المثيل نفسه. يتم تعيين العلامات لجميع الموارد التي تعمل في نفس الحالة. يمكنك تحديد العلامات برمجيًا باستخدام معلمة العلامات في ملف إنشاء مثيل دفتر ملاحظات API أو إضافتها عبر وحدة تحكم SageMaker أثناء إنشاء المثيل. يمكنك أيضًا إضافة أو تحديث العلامات في أي وقت باستخدام ملف اضف اشارة API أو عبر وحدة تحكم SageMaker.

لاحظ أن هذا يستثني الوظائف والموارد المُدارة من SageMaker مثل وظائف التدريب والمعالجة لأنها في بيئة الخدمة بدلاً من المثيل. في القسم التالي ، ننتقل إلى كيفية تطبيق العلامات على هذه الموارد بمزيد من التفصيل.

Tagging SageMaker يدير الوظائف والموارد

بالنسبة للوظائف والموارد المُدارة من SageMaker ، يجب تطبيق العلامات على ملف tags كجزء من كل طلب API. ان SKLearnProcessor المثال موضح في الكود التالي. يمكنك العثور على مزيد من الأمثلة حول كيفية تعيين العلامات إلى وظائف وموارد أخرى مدارة من SageMaker في ملف جيثب ريبو.

from sagemaker import get_execution_role
from sagemaker.sklearn.processing import SKLearnProcessor

processing_tags = [{' Key':"cost-center','Value':'TF2WorkflowProcessing'}]
sklearn_processorl = SKLearnProcessor(framework_version='0.23-1' ,
									 role=get_execution_role(),
									 instance_type='ml.m5.xlarge',
									 instance_count=2,
									 tags=processing_tags)

وضع علامات على خطوط أنابيب SageMaker

في حالة خطوط أنابيب SageMaker ، يمكنك وضع علامة على خط الأنابيب بأكمله ككل بدلاً من كل خطوة فردية. ينشر خط أنابيب SageMaker العلامات تلقائيًا لكل خطوة من خطوات خط الأنابيب. لا يزال لديك خيار إضافة علامات إضافية منفصلة إلى الخطوات الفردية إذا لزم الأمر. في Studio UI ، تظهر علامات خطوط الأنابيب في قسم البيانات الوصفية.

لتطبيق العلامات على خط أنابيب ، استخدم SageMaker Python SDK:

pipeline_tags = [ {'Key': 'pipeline-type', 'Value': 'TF2WorkflowPipeline'}]
pipeline.upsert(role_arn=role, tags=pipeline_tags)
execution = pipeline.start()

فرض وضع العلامات باستخدام سياسات IAM

على الرغم من أن وضع العلامات هو آلية فعالة لتنفيذ إدارة السحابة واستراتيجيات الحوكمة ، إلا أن فرض سلوك وضع العلامات الصحيح قد يكون صعبًا إذا تركته للمستخدمين النهائيين. كيف تمنع إنشاء مورد ML إذا كانت علامة معينة مفقودة ، وكيف تتأكد من تطبيق العلامات الصحيحة ، وكيف تمنع المستخدمين من حذف العلامات الموجودة؟

يمكنك تحقيق ذلك باستخدام إدارة الهوية والوصول AWS سياسات (IAM). الكود التالي هو مثال لسياسة تمنع إجراءات SageMaker مثل CreateDomain or CreateNotebookInstance إذا كان الطلب لا يحتوي على مفتاح البيئة وأحد قيم القائمة. ال ForAllValues معدل مع aws:TagKeys يشير مفتاح الشرط إلى أن المفتاح فقط environment مسموح به في الطلب. يؤدي هذا إلى منع المستخدمين من تضمين مفاتيح أخرى ، مثل الاستخدام بدون قصد Environment بدلا من environment.

"sagemaker:CreateTrainingJob"
      ],
      "{
      "Sid": "SageMakerEnforceEnvtOnCreate",
      "Action": [
        "sagemaker:CreateDomain",
        "sagemaker:CreateEndpoint",
        "sagemaker:CreateNotebookInstance",
        Effect": "Allow",
      "Resource": "*",
  "Condition": {
            "StringEquals": {
                "aws:RequestTag/environment": [
                    "dev","staging","production"
                ]
            },
            "ForAllValues:StringEquals": {"aws:TagKeys": "environment"}
        }
      }

سياسات العلامات و سياسات مراقبة الخدمة (SCPs) يمكن أن تكون أيضًا طريقة جيدة لتوحيد إنشاء موارد ML الخاصة بك ووسمها. لمزيد من المعلومات حول كيفية تنفيذ إستراتيجية وضع العلامات التي تقوم بفرض العلامات والتحقق منها على مستوى المؤسسة ، يرجى الرجوع إلى سلسلة مدونة تخصيص التكلفة رقم 3: فرض علامات موارد AWS والتحقق منها.

إعداد تقارير تخصيص التكلفة

يمكنك عرض العلامات عن طريق تصفية طرق العرض في Cost Explorer ، وعرض ملف تقرير تخصيص التكلفة الشهري، أو عن طريق فحص CUR.

تصور العلامات في Cost Explorer

Cost Explorer هو أداة تمكنك من عرض وتحليل التكاليف والاستخدام. يمكنك استكشاف استخدامك وتكاليفك باستخدام الرسم البياني الرئيسي: تكلفة مستكشف التكلفة وتقارير الاستخدام. للحصول على فيديو سريع حول كيفية استخدام Cost Explorer ، تحقق من كيف يمكنني استخدام Cost Explorer لتحليل الإنفاق والاستخدام الخاص بي؟

باستخدام Cost Explorer ، يمكنك تصفية كيفية عرض تكاليف AWS حسب العلامات. مجموعة من يسمح لنا بتصفية النتائج عن طريق مفاتيح العلامات مثل Environment, Deploymentالطرق أو Cost Center. يساعدنا مرشح العلامات في تحديد القيمة التي نريدها بغض النظر عن المفتاح. الامثله تشمل Production و Staging. ضع في اعتبارك أنه يجب عليك تشغيل الموارد بعد إضافة العلامات وتفعيلها ؛ بخلاف ذلك ، لن يكون لدى Cost Explorer أي بيانات استخدام ولن يتم عرض قيمة العلامة كعامل تصفية أو مجموعة حسب الخيار.

لقطة الشاشة التالية هي مثال على التصفية حسب جميع قيم BusinessUnit العلامة.

فحص العلامات في CUR

يحتوي تقرير التكلفة والاستخدام على المجموعة الأكثر شمولاً من بيانات التكلفة والاستخدام المتاحة. يحتوي التقرير على عناصر سطر لكل مجموعة فريدة من منتجات AWS ونوع الاستخدام والعملية التي يستخدمها حساب AWS الخاص بك. يمكنك تخصيص CUR لتجميع المعلومات إما بالساعة أو باليوم. يعد تقرير تخصيص التكلفة الشهري إحدى الطرق لإعداد تقارير تخصيص التكلفة. يمكنك إعداد ملف تقرير تخصيص التكلفة الشهري يسرد استخدام AWS لحسابك حسب فئة المنتج ومستخدم الحساب المرتبط. يحتوي التقرير على نفس عناصر السطر مثل ملف تقرير الفواتير المفصل وأعمدة إضافية لمفاتيح العلامات الخاصة بك. يمكنك إعداده وتنزيل تقريرك باتباع الخطوات الواردة في تقرير تخصيص التكلفة الشهرية.

توضح لقطة الشاشة التالية كيف تظهر مفاتيح العلامات المعرفة من قبل المستخدم في CUR. مفاتيح العلامات المعرفة من قبل المستخدم لها البادئة user، مثل user:Department و user:CostCenter. مفاتيح العلامات المُنشأة من AWS لها البادئة aws.

تصور CUR باستخدام Amazon Athena و Amazon QuickSight

أمازون أثينا هي خدمة استعلام تفاعلية تسهل تحليل البيانات في Amazon S3 باستخدام SQL القياسي. أثينا بلا خادم ، لذلك لا توجد بنية تحتية لإدارتها ، ولا تدفع إلا مقابل الاستعلامات التي تجريها. لدمج أثينا مع CURs ، راجع الاستعلام عن تقارير التكلفة والاستخدام باستخدام Amazon Athena. يمكنك بعد ذلك إنشاء استعلامات مخصصة للاستعلام عن بيانات CUR باستخدام SQL القياسي. لقطة الشاشة التالية هي مثال على استعلام لتصفية جميع الموارد التي لها قيمة TF2WorkflowTraining لملف cost-center العلامة.

select * from {$table_name} where resource_tags_user_cost-center= 'TF2WorkflowTraining'

في المثال التالي ، نحاول معرفة الموارد التي تفتقد إلى القيم ضمن cost-center العلامة.

SELECT
 bill_payer_account_id, line_item_usage_account_id, DATE_FORMAT((line_item_usage_start_date), '%Y-%m-%d') AS day_line_item_usage_start_date, line_item_resource_id, line_item_usage_type, resource_tags_user_cost-center
FROM
{$table_name} 
WHERE
 resource_tags_user_cost-center IS NULL
AND line_item_product_code = 'AmazonSageMaker'

يمكن العثور على مزيد من المعلومات وأمثلة الاستعلامات في مكتبة استعلام AWS CUR.

يمكنك أيضًا إدخال بيانات CUR إلى ملفات أمازون QuickSight، حيث يمكنك تقطيعها وتقطيعها بالطريقة التي تريدها لأغراض إعداد التقارير أو التصور. للحصول على إرشادات حول إدخال بيانات CUR في QuickSight ، راجع كيف يمكنني استيعاب وتصور تقرير تكلفة واستخدام AWS (CUR) في Amazon QuickSight.

مراقبة الميزانية باستخدام العلامات

تعد ميزانيات AWS طريقة ممتازة لتوفير تحذير مبكر في حالة ارتفاع الإنفاق بشكل غير متوقع. يمكنك إنشاء ميزانيات مخصصة تنبهك عندما تتجاوز تكاليف ML واستخدامك (أو من المتوقع أن تتجاوز) الحدود التي يحددها المستخدم. باستخدام ميزانيات AWS ، يمكنك مراقبة إجمالي تكاليف ML الشهرية أو تصفية ميزانياتك لتتبع التكاليف المرتبطة بأبعاد استخدام محددة. على سبيل المثال ، يمكنك تعيين نطاق الميزانية لتضمين تكاليف موارد SageMaker المميزة بعلامة cost-center: ML-Marketing، كما هو موضح في الصورة التالية. للحصول على أبعاد إضافية وإرشادات مفصلة حول كيفية إعداد ميزانيات AWS ، يرجى الرجوع إلى هنا.

بدافع تنبيهات الميزانية، يمكنك إرسال إشعارات عندما يتم تجاوز حدود ميزانيتك (أو على وشك أن يتم تجاوزها). يمكن أيضًا نشر هذه التنبيهات في ملف خدمة إعلام أمازون البسيطة موضوع (Amazon SNS). ان AWS لامدا يتم بعد ذلك استدعاء الوظيفة التي تشترك في موضوع SNS ، ويمكن اتخاذ أي إجراءات قابلة للتنفيذ برمجيًا.

تسمح لك ميزانيات AWS أيضًا بالتهيئة إجراءات الميزانية، وهي خطوات يمكنك اتخاذها عند تجاوز حد الميزانية (المبالغ الفعلية أو المتوقعة). يسمح لك هذا المستوى من التحكم بتقليل الإنفاق الزائد غير المقصود في حسابك. يمكنك تكوين استجابات محددة للتكلفة والاستخدام في حسابك والتي سيتم تطبيقها تلقائيًا أو من خلال عملية الموافقة على سير العمل عند تجاوز هدف الميزانية. يعد هذا حلاً قويًا حقًا لضمان توافق إنفاق ML الخاص بك مع أهداف العمل. يمكنك تحديد نوع الإجراء المطلوب اتخاذه. على سبيل المثال ، عند تجاوز حد الميزانية ، يمكنك نقل مستخدمي IAM محددين من أذونات المسؤول إلى القراءة فقط. بالنسبة للعملاء الذين يستخدمون المؤسسات ، يمكنك تطبيق الإجراءات على وحدة تنظيمية بأكملها عن طريق نقلها من المسؤول إلى للقراءة فقط. لمزيد من التفاصيل حول كيفية إدارة التكلفة باستخدام إجراءات الموازنة ، يرجى الرجوع إلى كيفية إدارة تجاوزات التكلفة في بيئة حسابات AWS المتعددة - الجزء 1.

يمكنك أيضًا إعداد تقرير لمراقبة أداء ميزانياتك الحالية على إيقاع يومي أو أسبوعي أو شهري وتقديم هذا التقرير إلى ما يصل إلى 50 عنوان بريد إلكتروني. مع تقارير ميزانيات AWS، يمكنك دمج جميع الميزانيات المتعلقة بـ SageMaker في تقرير واحد. تمكنك هذه الميزة من تتبع بصمة SageMaker الخاصة بك من مكان واحد ، كما هو موضح في لقطة الشاشة التالية. يمكنك اختيار تلقي هذه التقارير على إيقاع يومي أو أسبوعي أو شهري (اخترت أسبوعيا في هذا المثال) ، واختر اليوم الذي تريد استلامه من الأسبوع.

هذه الميزة مفيدة للحفاظ على أصحاب المصلحة لديك على اطلاع دائم بتكاليف واستخدامات SageMaker ، ومساعدتهم على معرفة متى لا يتجه الإنفاق كما هو متوقع.

بعد إعداد هذا التكوين ، من المفترض أن تتلقى بريدًا إلكترونيًا مشابهًا لما يلي.

وفي الختام

في هذا المنشور ، أظهرنا كيف يمكنك إعداد علامات تخصيص التكلفة لـ SageMaker ونصائح مشتركة حول وضع علامات على أفضل الممارسات لبيئة SageMaker وأعباء العمل الخاصة بك. ناقشنا بعد ذلك خيارات إعداد التقارير المختلفة مثل Cost Explorer و CUR لمساعدتك على تحسين الرؤية في إنفاق ML الخاص بك. أخيرًا ، عرضنا ميزانيات AWS وتقرير ملخص الميزانية لمساعدتك في مراقبة إنفاق ML لمؤسستك.

لمزيد من المعلومات حول تطبيق وتنشيط علامات تخصيص التكلفة ، راجع علامات تخصيص التكلفة المحددة من قبل المستخدم.

عن المؤلفين

شون مورغان هو مهندس حلول AI / ML في AWS. لديه خبرة في مجالات البحث الأكاديمي وأشباه الموصلات ، ويستخدم خبرته لمساعدة العملاء على تحقيق أهدافهم على AWS. في أوقات فراغه ، يعد Sean مساهمًا نشطًا مفتوح المصدر ومشرفًا ، وهو قائد مجموعة الاهتمامات الخاصة لـ TensorFlow Add-ons.

برنت رابوسكي يركز على علوم البيانات في AWS ، ويستفيد من خبرته لمساعدة عملاء AWS في مشاريع علوم البيانات الخاصة بهم.

نيليش شيتي يشغل منصب مدير الحساب الفني الأول في AWS ، حيث يساعد عملاء دعم المؤسسات على تبسيط عملياتهم السحابية على AWS. إنه شغوف بالتعلم الآلي ولديه خبرة في العمل كمستشار ومهندس معماري ومطور. خارج العمل ، يستمتع بالاستماع إلى الموسيقى ومشاهدة الرياضة.

جيمس وو هو مهندس حلول متخصص في الذكاء الاصطناعي / التعلم الآلي في AWS. مساعدة العملاء على تصميم وبناء حلول الذكاء الاصطناعي / التعلم الآلي. يغطي عمل James مجموعة واسعة من حالات استخدام ML ، مع اهتمام أساسي برؤية الكمبيوتر والتعلم العميق وتوسيع ML عبر المؤسسة. قبل انضمامه إلى AWS ، كان جيمس مهندسًا معماريًا ومطورًا وقائدًا في مجال التكنولوجيا لأكثر من 10 سنوات ، بما في ذلك 6 سنوات في الهندسة و 4 سنوات في صناعات التسويق والإعلان.