ایمیزون سیج میکر تجربات اور ایمیزون سیج میکر پائپ لائنز کے ساتھ اپنے مشین لرننگ سفر کو منظم کریں۔

مشین لرننگ (ML) ماڈل بنانے کا عمل اس وقت تک تکراری ہوتا ہے جب تک کہ آپ کو امیدوار ماڈل نہ مل جائے جو اچھی کارکردگی کا مظاہرہ کر رہا ہو اور تعینات ہونے کے لیے تیار ہو۔ جیسا کہ ڈیٹا سائنسدان اس عمل کے ذریعے اعادہ کرتے ہیں، انہیں تجربات کو آسانی سے ٹریک کرنے کے لیے ایک قابل اعتماد طریقہ کی ضرورت ہوتی ہے تاکہ یہ سمجھا جا سکے کہ ہر ماڈل کا ورژن کیسے بنایا گیا تھا اور اس کی کارکردگی کیسی تھی۔

ایمیزون سیج میکر ٹیموں کو ایم ایل ماڈلز کو تیزی سے تیار کرنے، بنانے، تربیت دینے، تعینات کرنے اور مانیٹر کرنے کے لیے خصوصیات کی ایک وسیع رینج سے فائدہ اٹھانے کی اجازت دیتا ہے۔ ایمیزون سیج میکر پائپ لائنز ماڈل کی تعمیر کی سرگرمیوں کے ذریعے تکرار کرنے کے لیے ایک قابل تکرار عمل فراہم کرتا ہے، اور اس کے ساتھ مربوط ہے۔ ایمیزون سیج میکر کے تجربات. پہلے سے طے شدہ طور پر، ہر SageMaker پائپ لائن ایک تجربے سے منسلک ہوتی ہے، اور اس پائپ لائن کے ہر رن کو اس تجربے میں بطور ٹرائل ٹریک کیا جاتا ہے۔ پھر آپ کی تکرار خود بخود بغیر کسی اضافی اقدامات کے ٹریک ہوجاتی ہے۔

اس پوسٹ میں، ہم تجربات کے ساتھ تجربات اور پائپ لائنز میں شامل مقامی صلاحیتوں کو ٹریک کرنے کے لیے خودکار عمل کے پیچھے محرکات پر گہری نظر ڈالتے ہیں۔

اپنے تجربات کو منظم رکھنا کیوں ضروری ہے؟

آئیے ایک لمحے کے لیے ایک قدم پیچھے ہٹیں اور یہ سمجھنے کی کوشش کریں کہ مشین لرننگ کے لیے تجربات کو منظم کرنا کیوں ضروری ہے۔ جب ڈیٹا سائنسدان کسی نئے ML مسئلے سے رجوع کرتے ہیں، تو انہیں ڈیٹا کی دستیابی سے لے کر ماڈل کی کارکردگی کی پیمائش کیسے کریں گے، بہت سے مختلف سوالات کے جوابات دینے ہوتے ہیں۔

شروع میں، عمل غیر یقینی صورتحال سے بھرا ہوا ہے اور انتہائی تکراری ہے۔ نتیجے کے طور پر، یہ تجرباتی مرحلہ متعدد ماڈلز تیار کر سکتا ہے، جن میں سے ہر ایک ان کے اپنے ان پٹس (ڈیٹا سیٹس، ٹریننگ اسکرپٹس، اور ہائپر پیرامیٹرس) سے تخلیق کیا جاتا ہے اور ان کے اپنے آؤٹ پٹس (ماڈل نمونے اور تشخیصی میٹرکس) تیار کرتا ہے۔ اس کے بعد چیلنج یہ ہے کہ ہر اعادہ کے ان تمام ان پٹ اور آؤٹ پٹس کا ٹریک رکھا جائے۔

ڈیٹا سائنسدان عام طور پر بہت سے مختلف ماڈل ورژنز کو تربیت دیتے ہیں جب تک کہ وہ ڈیٹا ٹرانسفارمیشن، الگورتھم، اور ہائپر پیرامیٹر کا مجموعہ تلاش نہ کر لیں جس کے نتیجے میں ماڈل کا بہترین کارکردگی کا مظاہرہ کرنے والا ورژن ہوتا ہے۔ ان منفرد مجموعوں میں سے ہر ایک واحد تجربہ ہے۔ ان پٹ، الگورتھم، اور ہائپر پیرامیٹرس کے قابل سراغ ریکارڈ کے ساتھ جو اس ٹرائل کے ذریعے استعمال کیے گئے تھے، ڈیٹا سائنس ٹیم اپنے اقدامات کو دوبارہ پیش کرنے میں آسانی پیدا کر سکتی ہے۔

تجربات کو ٹریک کرنے کے لیے ایک خودکار عمل کا ہونا دوبارہ پیدا کرنے کی صلاحیت کو بہتر بناتا ہے اور ساتھ ہی ساتھ مخصوص ماڈل ورژنز کو تعینات کرتا ہے جو اچھی کارکردگی کا مظاہرہ کر رہے ہیں۔ تجربات کے ساتھ پائپ لائنز کا مقامی انضمام خود بخود تمام پائپ لائن کے تجربات کو ٹریک کرنا اور ان کا نظم کرنا آسان بناتا ہے۔

سیج میکر کے تجربات کے فوائد

SageMaker تجربات ڈیٹا سائنسدانوں کو ان کی تربیتی تکرار کو منظم کرنے، ٹریک کرنے، موازنہ کرنے اور جانچنے کی اجازت دیتا ہے۔

آئیے پہلے ایک جائزہ کے ساتھ شروع کریں کہ آپ تجربات کے ساتھ کیا کر سکتے ہیں:

• تجربات کو منظم کریں - تجربات ایک اعلیٰ سطحی ہستی کے ساتھ تجربات کی ساخت بناتے ہیں جسے an کہتے ہیں۔ تجربہ جس کا ایک سیٹ ہوتا ہے۔ ٹرائلز. ہر ٹرائل میں مراحل کا ایک سیٹ ہوتا ہے جسے کہا جاتا ہے۔ آزمائشی اجزاء. ہر آزمائشی جزو ڈیٹاسیٹس، الگورتھم اور پیرامیٹرز کا مجموعہ ہے۔ آپ تجربات کو اپنے مفروضوں کو منظم کرنے کے لیے اعلیٰ سطح کے فولڈر کے طور پر، ہر گروپ ٹیسٹ رن کے لیے ذیلی فولڈر کے طور پر آپ کے ٹرائلز، اور ٹیسٹ رن کی ہر مثال کے لیے آپ کے ٹرائل کے اجزاء کو آپ کی فائلوں کے طور پر تصویر کر سکتے ہیں۔
• تجربات کو ٹریک کریں - تجربات ڈیٹا سائنسدانوں کو تجربات کو ٹریک کرنے کی اجازت دیتے ہیں۔ یہ سادہ کنفیگریشنز اور ٹریکنگ SDKs کے ذریعے SageMaker ملازمتوں کو خود بخود ٹرائل کے لیے تفویض کرنے کا امکان فراہم کرتا ہے۔
• تجربات کا موازنہ اور اندازہ کریں - کے ساتھ تجربات کا انضمام ایمیزون سیج میکر اسٹوڈیو ڈیٹا ویژولائزیشن تیار کرنا اور مختلف ٹرائلز کا موازنہ کرنا آسان بناتا ہے۔ آپ Python SDK کے ذریعے آزمائشی ڈیٹا تک بھی رسائی حاصل کر سکتے ہیں تاکہ آپ اپنی ترجیحی پلاٹنگ لائبریریوں کا استعمال کرتے ہوئے اپنا تصور تخلیق کر سکیں۔

Experiments APIs اور SDKs کے بارے میں مزید جاننے کے لیے، ہم درج ذیل دستاویزات کی تجویز کرتے ہیں: تجربہ تخلیق کریں۔ اور Amazon SageMaker تجربات Python SDK۔

اگر آپ گہرائی میں غوطہ لگانا چاہتے ہیں، تو ہم اس کو دیکھنے کی تجویز کرتے ہیں۔ amazon-sagemaker-examples/sagemaker-experiments GitHub ذخیرہ مزید مثالوں کے لیے۔

پائپ لائنز اور تجربات کے درمیان انضمام

ماڈل بلڈنگ پائپ لائنز جو پائپ لائنز کا حصہ ہیں مقصد کے مطابق ایم ایل کے لیے بنائی گئی ہیں اور آپ کو ایک پائپ لائن ٹول کا استعمال کرتے ہوئے اپنے ماڈل کی تعمیر کے کاموں کو ترتیب دینے کی اجازت دیتی ہے جس میں SageMaker کی دیگر خصوصیات کے ساتھ مقامی انضمام کے ساتھ ساتھ SageMaker سے باہر چلنے والے قدموں کے ساتھ آپ کی پائپ لائن کو بڑھانے کی لچک بھی شامل ہے۔ . ہر قدم ایک ایسی کارروائی کی وضاحت کرتا ہے جو پائپ لائن لیتا ہے۔ مراحل کے درمیان انحصار کی وضاحت پائپ لائنز Python SDK کا استعمال کرتے ہوئے ایک ڈائریکٹ ایسکلک گراف (DAG) سے ہوتی ہے۔ آپ اسی SDK کے ذریعے پروگرامی طور پر SageMaker پائپ لائن بنا سکتے ہیں۔ پائپ لائن کے تعینات ہونے کے بعد، آپ اختیاری طور پر اسٹوڈیو کے اندر اس کے ورک فلو کو دیکھ سکتے ہیں۔

پائپ لائنز ہر رن کے لیے خود بخود ایک تجربہ اور ٹرائل بنا کر تجربات کے ساتھ خود بخود ضم ہوجاتی ہیں۔ پائپ لائنز خود بخود ایک تجربہ اور پائپ لائن کے ہر رن کے لیے ایک ٹرائل تیار کرتی ہیں جب تک کہ ان میں سے ایک یا دونوں ان پٹ متعین نہ ہوں۔ پائپ لائن کے SageMaker جاب کو چلاتے ہوئے، پائپ لائن آزمائش کو تجربے کے ساتھ جوڑتی ہے، اور ہر آزمائشی جزو کو آزمائش سے جوڑتی ہے جو جاب کے ذریعے تخلیق کیا جاتا ہے۔ پروگرام کے لحاظ سے آپ کے اپنے تجربے یا ٹرائل کی وضاحت کرنا آپ کو اپنے تجربات کو منظم کرنے کے طریقے کو ٹھیک کرنے کی اجازت دیتا ہے۔

اس مثال میں ہم جو ورک فلو پیش کرتے ہیں وہ مراحل کی ایک سیریز پر مشتمل ہے: ہمارے ان پٹ ڈیٹاسیٹ کو ٹرین، ٹیسٹ، اور توثیق ڈیٹا سیٹس میں تقسیم کرنے کے لیے ایک پری پروسیسنگ مرحلہ؛ ہمارے ہائپر پیرامیٹرز کو ٹیون کرنے اور ماڈل کو استعمال کرنے کے لیے تربیتی ملازمتوں کو شروع کرنے کے لیے ایک ٹیوننگ قدم XGBoost بلٹ ان الگورتھم; اور آخر کار بہترین تربیت یافتہ ماڈل آرٹفیکٹ سے سیج میکر ماڈل بنانے کا ایک ماڈل مرحلہ۔ پائپ لائنز بھی کئی مقامی طور پر معاونت فراہم کرتی ہیں۔ قدم کی اقسام اس پوسٹ میں جو بات کی گئی ہے اس سے باہر۔ ہم یہ بھی واضح کرتے ہیں کہ آپ اپنے پائپ لائن ورک فلو کو کیسے ٹریک کر سکتے ہیں اور میٹرکس اور موازنہ چارٹ کیسے بنا سکتے ہیں۔ مزید برآں، ہم یہ دکھاتے ہیں کہ پیدا ہونے والے نئے ٹرائل کو موجودہ تجربے سے کیسے جوڑا جائے جو پائپ لائن کی وضاحت سے پہلے تخلیق کیا گیا ہو۔

سیج میکر پائپ لائنز کوڈ

آپ نوٹ بک کا جائزہ لے سکتے ہیں اور اس سے ڈاؤن لوڈ کر سکتے ہیں۔ GitHub ذخیرہ اس پوسٹ سے منسلک ہم اسے بہتر طور پر سمجھنے کے لیے پائپ لائنز کے مخصوص کوڈ کو دیکھتے ہیں۔

پائپ لائنز آپ کو چلانے کے وقت پیرامیٹرز کو منتقل کرنے کے قابل بناتی ہیں۔ یہاں ہم پہلے سے طے شدہ ڈیفالٹس کے ساتھ رن ٹائم پر پروسیسنگ اور ٹریننگ مثال کی اقسام اور شمار کی وضاحت کرتے ہیں:

base_job_prefix = "pipeline-experiment-sample"
model_package_group_name = "pipeline-experiment-model-package"

processing_instance_count = ParameterInteger(
  name="ProcessingInstanceCount", default_value=1
)

training_instance_count = ParameterInteger(
  name="TrainingInstanceCount", default_value=1
)

processing_instance_type = ParameterString(
  name="ProcessingInstanceType", default_value="ml.m5.xlarge"
)
training_instance_type = ParameterString(
  name="TrainingInstanceType", default_value="ml.m5.xlarge"
)

اگلا، ہم ایک پروسیسنگ اسکرپٹ ترتیب دیتے ہیں جو ان پٹ ڈیٹاسیٹ کو ڈاؤن لوڈ اور ٹرین، ٹیسٹ، اور تصدیق کے حصوں میں تقسیم کرتا ہے۔ ہم استعمال کرتے ہیں SKLearnProcessor اس پری پروسیسنگ مرحلے کو چلانے کے لیے۔ ایسا کرنے کے لیے، ہم ایک پروسیسر آبجیکٹ کی مثال کی قسم اور شمار کے ساتھ وضاحت کرتے ہیں جو پروسیسنگ جاب کو چلانے کے لیے درکار ہے۔

پائپ لائنز ہمیں ایگزیکیوشن مخصوص متغیرات کا استعمال کرکے پروگرامی طریقے سے ڈیٹا ورژننگ حاصل کرنے کی اجازت دیتی ہیں جیسے ExecutionVariables.PIPELINE_EXECUTION_IDجو کہ پائپ لائن چلانے کی منفرد ID ہے۔ ہم، مثال کے طور پر، آؤٹ پٹ ڈیٹاسیٹس کو ذخیرہ کرنے کے لیے ایک منفرد کلید بنا سکتے ہیں۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) جو انہیں ایک مخصوص پائپ لائن سے جوڑتا ہے۔ متغیرات کی مکمل فہرست کے لیے، رجوع کریں۔ پھانسی کے متغیرات.

framework_version = "0.23-1"

sklearn_processor = SKLearnProcessor(
    framework_version=framework_version,
    instance_type=processing_instance_type,
    instance_count=processing_instance_count,
    base_job_name="sklearn-ca-housing",
    role=role,
)

process_step = ProcessingStep(
    name="ca-housing-preprocessing",
    processor=sklearn_processor,
    outputs=[
        ProcessingOutput(
            output_name="train",
            source="/opt/ml/processing/train",
            destination=Join(
                on="/",
                values=[
                    "s3://{}".format(bucket),
                    prefix,
                    ExecutionVariables.PIPELINE_EXECUTION_ID,
                    "train",
                ],
            ),
        ),
        ProcessingOutput(
            output_name="validation",
            source="/opt/ml/processing/validation",
            destination=Join(
                on="/",
                values=[
                    "s3://{}".format(bucket),
                    prefix,
                    ExecutionVariables.PIPELINE_EXECUTION_ID,
                    "validation",
                ],
            )
        ),
        ProcessingOutput(
            output_name="test",
            source="/opt/ml/processing/test",
            destination=Join(
                on="/",
                values=[
                    "s3://{}".format(bucket),
                    prefix,
                    ExecutionVariables.PIPELINE_EXECUTION_ID,
                    "test",
                ],
            )
        ),
    ],
    code="california-housing-preprocessing.py",
)

پھر ہم XGBoost ماڈل کو تربیت دینے کے لیے ایک تخمینہ کرنے والا آبجیکٹ بنانے کے لیے آگے بڑھتے ہیں۔ ہم نے کچھ جامد ہائپرپیرامیٹر سیٹ کیے ہیں جو عام طور پر XGBoost کے ساتھ استعمال ہوتے ہیں:

model_path = f"s3://{default_bucket}/{base_job_prefix}/ca-housing-experiment-pipeline"

image_uri = sagemaker.image_uris.retrieve(
    framework="xgboost",
    region=region,
    version="1.2-2",
    py_version="py3",
    instance_type=training_instance_type,
)

xgb_train = Estimator(
    image_uri=image_uri,
    instance_type=training_instance_type,
    instance_count=training_instance_count,
    output_path=model_path,
    base_job_name=f"{base_job_prefix}/ca-housing-train",
    sagemaker_session=sagemaker_session,
    role=role,
)

xgb_train.set_hyperparameters(
    eval_metric="rmse",
    objective="reg:squarederror",  # Define the object metric for the training job
    num_round=50,
    max_depth=5,
    eta=0.2,
    gamma=4,
    min_child_weight=6,
    subsample=0.7
)

ہم ان ماڈلز کی ہائپر پیرامیٹر ٹیوننگ کرتے ہیں جو ہم استعمال کرکے بناتے ہیں۔ ContinuousParameter کے لئے حد lambda. مقصدی میٹرک کے لیے ایک میٹرک کا انتخاب کرنا ٹیونر کو بتاتا ہے (وہ مثال جو ہائپر پیرامیٹر ٹیوننگ جابز چلاتی ہے) کہ آپ اس مخصوص میٹرک کی بنیاد پر تربیتی جاب کا اندازہ کریں گے۔ ٹیونر اس معروضی میٹرک کے لیے بہترین قدر کی بنیاد پر بہترین امتزاج لوٹاتا ہے، یعنی بہترین امتزاج جو بہترین روٹ مطلب مربع ایرر (RMSE) کو کم کرتا ہے۔

objective_metric_name = "validation:rmse"

hyperparameter_ranges = {
    "lambda": ContinuousParameter(0.01, 10, scaling_type="Logarithmic")
}

tuner = HyperparameterTuner(estimator,
                            objective_metric_name,
                            hyperparameter_ranges,
                            objective_type=objective_type,
                            strategy="Bayesian",
                            max_jobs=10,
                            max_parallel_jobs=3)

tune_step = TuningStep(
    name="HPTuning",
    tuner=tuner_log,
    inputs={
        "train": TrainingInput(
            s3_data=process_step.properties.ProcessingOutputConfig.Outputs[
                "train"
            ].S3Output.S3Uri,
            content_type="text/csv",
        ),
        "validation": TrainingInput(
            s3_data=process_step.properties.ProcessingOutputConfig.Outputs[
                "validation"
            ].S3Output.S3Uri,
            content_type="text/csv",
        ),
    } 
)

ٹیوننگ مرحلہ متعدد ٹرائلز چلاتا ہے جس کا مقصد پیرامیٹر رینجز میں سے بہترین ماڈل کا تعین کرنا ہے۔ طریقہ کے ساتھ get_top_model_s3_uri، ہم ماڈل آرٹفیکٹ S50 URI کے سب سے اوپر 3 پرفارم کرنے والے ورژن کی درجہ بندی کرتے ہیں اور صرف بہترین کارکردگی والے ورژن کو نکالتے ہیں (ہم وضاحت کرتے ہیں k=0 بہترین کے لیے) سیج میکر ماڈل بنانے کے لیے۔

model_bucket_key = f"{default_bucket}/{base_job_prefix}/ca-housing-experiment-pipeline"
model_candidate = Model(
    image_uri=image_uri,
    model_data=tune_step.get_top_model_s3_uri(top_k=0, s3_bucket=model_bucket_key),
    sagemaker_session=sagemaker_session,
    role=role,
    predictor_cls=XGBoostPredictor,
)

create_model_step = CreateModelStep(
    name="CreateTopModel",
    model=model_candidate,
    inputs=sagemaker.inputs.CreateModelInput(instance_type="ml.m4.large"),
)

جب پائپ لائن چلتی ہے، تو یہ ہر ہائپر پیرامیٹر ٹیوننگ جاب اور پائپ لائن اسٹیپس کے ذریعے تخلیق کردہ ہر SageMaker جاب کے لیے آزمائشی اجزاء بناتی ہے۔

آپ تجربات کے ساتھ پائپ لائنوں کے انضمام کو مزید ترتیب دے کر a بنا سکتے ہیں۔ PipelineExperimentConfig اعتراض کریں اور اسے پائپ لائن آبجیکٹ پر منتقل کریں۔ دو پیرامیٹرز اس تجربے کے نام کی وضاحت کرتے ہیں جو بنایا جائے گا، اور ٹرائل جو پائپ لائن کے پورے رن کا حوالہ دے گا۔

اگر آپ کسی موجودہ تجربے سے چلائی جانے والی پائپ لائن کو منسلک کرنا چاہتے ہیں، تو آپ اس کا نام پاس کر سکتے ہیں، اور پائپ لائنز نئے ٹرائل کو اس سے منسلک کر دیں گی۔ آپ سیٹنگ کے ذریعے چلائی جانے والی پائپ لائن کے لیے تجربہ اور ٹرائل کی تخلیق کو روک سکتے ہیں۔ pipeline_experiment_config کرنے کے لئے None.

#Pipeline experiment config
ca_housing_experiment_config = PipelineExperimentConfig(
    experiment_name,
    Join(
        on="-",
        values=[
            "pipeline-execution",
            ExecutionVariables.PIPELINE_EXECUTION_ID
        ],
    )
)

ہم مثال کی اقسام اور شمار کو پیرامیٹرز کے طور پر منتقل کرتے ہیں، اور مندرجہ ذیل ترتیب سے پچھلے مراحل کو ترتیب دیتے ہیں۔ پائپ لائن ورک فلو کی وضاحت ایک قدم کے آؤٹ پٹس سے ہوتی ہے جو دوسرے مرحلے کے ان پٹ ہوتے ہیں۔

pipeline_name = f"CAHousingExperimentsPipeline"

pipeline = Pipeline(
    name=pipeline_name,
    pipeline_experiment_config=ca_housing_experiment_config,
    parameters=[
        processing_instance_count,
        processing_instance_type,
        training_instance_count,
        training_instance_type
    ],
    steps=[process_step,tune_step,create_model_step],
)

مکمل پائپ لائن اب بن چکی ہے اور جانے کے لیے تیار ہے۔ ہم پائپ لائن میں ایک ایگزیکیوشن رول شامل کرتے ہیں اور اسے شروع کرتے ہیں۔ یہاں سے، ہم سیج میکر اسٹوڈیو پائپ لائنز کنسول پر جا سکتے ہیں اور ہر قدم کو بصری طور پر ٹریک کر سکتے ہیں۔ آپ پائپ لائن کو ڈیبگ کرنے کے لیے کنسول سے منسلک لاگز تک بھی رسائی حاصل کر سکتے ہیں۔

pipeline.upsert(role_arn=sagemaker.get_execution_role())
execution = pipeline.start()

پچھلا اسکرین شاٹ سبز رنگ میں کامیابی سے چلائی گئی پائپ لائن کو دکھاتا ہے۔ ہم درج ذیل کوڈ کے ساتھ پائپ لائن کے رن سے ایک ٹرائل کے میٹرکس حاصل کرتے ہیں:

# SM Pipeline injects the Execution ID into trial component names
execution_id = execution.describe()['PipelineExecutionArn'].split('/')[-1]
source_arn_filter = Filter(
    name="TrialComponentName", operator=Operator.CONTAINS, value=execution_id
)

source_type_filter = Filter(
    name="Source.SourceType", operator=Operator.EQUALS, value="SageMakerTrainingJob"
)

search_expression = SearchExpression(
    filters=[source_arn_filter, source_type_filter]
)

trial_component_analytics = ExperimentAnalytics(
    sagemaker_session=sagemaker_session,
    experiment_name=experiment_name,
    search_expression=search_expression.to_boto()
)

analytic_table = trial_component_analytics.dataframe()
analytic_table.head()

ہر آزمائشی جزو کے لیے میٹرکس کا موازنہ کریں۔

آپ ہائپر پیرامیٹر ٹیوننگ کے نتائج کو سٹوڈیو میں یا دیگر Python پلاٹنگ لائبریریوں کے ذریعے پلاٹ کر سکتے ہیں۔ ہم ایسا کرنے کے دونوں طریقے دکھاتے ہیں۔

اسٹوڈیو میں تربیت اور تشخیصی میٹرکس کو دریافت کریں۔

اسٹوڈیو ایک انٹرایکٹو یوزر انٹرفیس فراہم کرتا ہے جہاں آپ انٹرایکٹو پلاٹ تیار کرسکتے ہیں۔ اقدامات درج ذیل ہیں:

1. میں سے انتخاب کریں تجربات اور آزمائشیں۔ سے سیج میکر کے وسائل بائیں سائڈبار پر آئیکن۔
2. اسے کھولنے کے لیے اپنا تجربہ منتخب کریں۔
3. دلچسپی کا ٹرائل منتخب کریں (دائیں کلک کریں)۔
4. میں سے انتخاب کریں آزمائشی اجزاء کی فہرست میں کھولیں۔.
5. پریس منتقل تربیتی ملازمتوں کی نمائندگی کرنے والے آزمائشی اجزاء کو منتخب کرنے کے لیے۔
6. میں سے انتخاب کریں چارٹ شامل کریں۔.
7. میں سے انتخاب کریں نیا چارٹ اور جمع کردہ میٹرکس کو پلاٹ کرنے کے لیے اپنی مرضی کے مطابق بنائیں جن کا آپ تجزیہ کرنا چاہتے ہیں۔ ہمارے استعمال کے معاملے کے لیے، درج ذیل کو منتخب کریں:
   1. کے لئے ڈیٹا کی قسممنتخب کریں۔ خلاصہ شماریات.
   2. کے لئے چارٹ کی قسممنتخب کریں۔ سکیٹر پلاٹ.
   3. کے لئے ایکس محورمنتخب کریں lambda.
   4. کے لئے Y- محورمنتخب کریں validation:rmse_last.

نیا چارٹ ونڈو کے نیچے ظاہر ہوتا ہے، جس پر '8' کا لیبل لگا ہوا ہے۔

آپ دبانے سے زیادہ یا کم تربیتی ملازمتیں شامل کر سکتے ہیں۔ منتقل اور زیادہ انٹرایکٹو تجربے کے لیے آئی آئیکن کا انتخاب کرنا۔

SageMaker تجربات کے ساتھ تجزیات

جب پائپ لائن رن مکمل ہو جاتی ہے، تو ہم تیزی سے اندازہ لگا سکتے ہیں کہ ٹریننگ کے دوران اکٹھے کیے گئے میٹرکس کے لحاظ سے ماڈل کے مختلف تغیرات کا موازنہ کیسے ہوتا ہے۔ اس سے پہلے، ہم نے تمام ٹرائل میٹرکس کو a پانڈاس DataFrame کا استعمال کرتے ہوئے ExperimentAnalytics. ہم Matplotlib لائبریری کا استعمال کرکے اسٹوڈیو میں حاصل کردہ پلاٹ کو دوبارہ پیش کرسکتے ہیں۔

analytic_table.plot.scatter("lambda", "validation:rmse - Last", grid=True)

نتیجہ

SageMaker Pipelines اور SageMaker Experiments کے درمیان مقامی انضمام ڈیٹا سائنسدانوں کو ماڈل کی ترقی کی سرگرمیوں کے دوران تجربات کو خود بخود منظم، ٹریک، اور تصور کرنے کی اجازت دیتا ہے۔ آپ اپنے تمام ماڈل کے ترقیاتی کاموں کو منظم کرنے کے لیے تجربات بنا سکتے ہیں، جیسے کہ درج ذیل:

• ایک کاروباری استعمال کا معاملہ جس پر آپ توجہ دے رہے ہیں، جیسے کہ گاہک کے منتھن کی پیشن گوئی کرنے کے لیے ایک تجربہ بنانا
• مثال کے طور پر، مارکیٹنگ کے تجزیات سے متعلق ڈیٹا سائنس ٹیم کے زیر ملکیت ایک تجربہ
• ایک مخصوص ڈیٹا سائنس اور ایم ایل پروجیکٹ

اس پوسٹ میں، ہم یہ دکھانے کے لیے پائپ لائنز میں شامل ہوئے ہیں کہ آپ اسے مکمل طور پر خودکار اینڈ ٹو اینڈ ورک فلو کو ترتیب دینے کے لیے تجربات کے ساتھ مل کر کیسے استعمال کر سکتے ہیں۔

اگلے قدم کے طور پر، آپ SageMaker کے ان تین فیچرز - اسٹوڈیو، تجربات اور پائپ لائنز کو اپنے اگلے ML پروجیکٹ کے لیے استعمال کر سکتے ہیں۔

تجویز کردہ ریڈنگ۔

مصنفین کے بارے میں

پاولو ڈی فرانسسکو AWS میں ایک حل آرکیٹیکٹ ہے۔ انہیں ٹیلی کمیونیکیشن اور سافٹ ویئر انجینئرنگ کا تجربہ ہے۔ وہ مشین لرننگ کے بارے میں پرجوش ہے اور فی الحال اپنے تجربے کو استعمال کرنے پر توجہ مرکوز کر رہا ہے تاکہ صارفین کو AWS پر اپنے اہداف تک پہنچنے میں مدد ملے، خاص طور پر MLOps کے بارے میں بات چیت میں۔ کام سے باہر، وہ فٹ بال کھیلنے اور پڑھنے میں لطف اندوز ہوتا ہے۔

ماریو بورگوئن AWS کے لیے ایک سینئر پارٹنر سلوشنز آرکیٹیکٹ، ایک AI/ML ماہر، اور MLOps کے لیے عالمی ٹیک لیڈ ہے۔ وہ انٹرپرائز صارفین اور شراکت داروں کے ساتھ کام کرتا ہے جو کلاؤڈ میں AI سلوشنز تعینات کرتے ہیں۔ اس کے پاس سٹارٹ اپس اور انٹرپرائزز میں مشین لرننگ اور AI کرنے کا 30 سال سے زیادہ کا تجربہ ہے، جس کا آغاز بڑے ڈیٹا کے لیے پہلا تجارتی مشین لرننگ سسٹم بنانے سے ہوتا ہے۔ ماریو اپنا فارغ وقت اپنے تین بیلجیئم ٹیروورینز کے ساتھ کھیلنے، اپنے خاندان کے لیے رات کا کھانا پکانے، اور ریاضی اور کائنات کے بارے میں سیکھنے میں صرف کرتا ہے۔

گنپتی کرشنا مورتی AWS میں ایک سینئر ML Solutions آرکیٹیکٹ ہیں۔ گنپتی سٹارٹ اپ اور انٹرپرائز صارفین کو کلاؤڈ ایپلیکیشنز کو پیمانے پر ڈیزائن اور تعینات کرنے میں ان کی مدد کرنے کے لیے اصولی رہنمائی فراہم کرتا ہے۔ وہ مشین لرننگ میں مہارت رکھتا ہے اور صارفین کو ان کے کاروباری نتائج کے لیے AI/ML کا فائدہ اٹھانے میں مدد کرنے پر توجہ مرکوز کرتا ہے۔ جب وہ کام پر نہیں ہوتا ہے، تو وہ باہر تلاش کرنے اور موسیقی سننے سے لطف اندوز ہوتا ہے۔

ویلری ساؤنتھکیتھ AWS کے لیے ایک حل آرکیٹیکٹ ہے، گیمنگ انڈسٹری میں کام کر رہا ہے اور AI سلوشنز تعینات کرنے والے شراکت داروں کے ساتھ ہے۔ وہ کمپیوٹر وژن کے ارد گرد اپنا کیریئر بنانے کا ارادہ رکھتی ہے۔ اپنے فارغ وقت کے دوران، ویلری اسے سفر کرنے، کھانے کے نئے مقامات دریافت کرنے اور اپنے گھر کے اندرونی حصوں کو تبدیل کرنے میں صرف کرتی ہے۔