حدد غابات المنغروف باستخدام ميزات صور الأقمار الصناعية باستخدام Amazon SageMaker Studio و Amazon SageMaker Autopilot - الجزء 2

تعد غابات المانغروف جزءًا مستوردًا من نظام بيئي صحي ، وتعد الأنشطة البشرية أحد الأسباب الرئيسية للاختفاء التدريجي لها من السواحل حول العالم. إن استخدام نموذج التعلم الآلي (ML) لتحديد مناطق المنغروف من صورة القمر الصناعي يمنح الباحثين طريقة فعالة لمراقبة حجم الغابات بمرور الوقت. في جزء 1 من هذه السلسلة ، أوضحنا كيفية جمع بيانات الأقمار الصناعية بطريقة آلية وتحليلها في أمازون ساجميكر ستوديو مع التصور التفاعلي. في هذا المنشور ، نعرض كيفية الاستخدام Amazon SageMaker الطيار الآلي لأتمتة عملية بناء مصنف مخصص لأشجار القرم.

تدريب نموذج مع الطيار الآلي

يوفر الطيار الآلي طريقة متوازنة لبناء عدة نماذج واختيار أفضلها. أثناء إنشاء مجموعات متعددة من تقنيات المعالجة المسبقة للبيانات المختلفة ونماذج ML بأقل جهد ، يوفر الطيار الآلي تحكمًا كاملاً في خطوات المكونات هذه لعالم البيانات ، إذا رغبت في ذلك.

يمكنك استخدام الطيار الآلي باستخدام أحد مجموعات AWS SDK (التفاصيل متوفرة في ملف دليل مرجعي API للطيار الآلي) أو من خلال الاستوديو. نستخدم الطيار الآلي في حل الاستوديو الخاص بنا باتباع الخطوات الموضحة في هذا القسم:

1. في صفحة Studio Launcher ، اختر علامة الجمع لـ تجربة الطيار الآلي الجديدة.
   
2. في حالة ربط البيانات الخاصة بك، حدد ابحث عن حاوية S3، وأدخل اسم الحاوية حيث احتفظت بمجموعات بيانات التدريب والاختبار.
3. في حالة اسم ملف مجموعة البيانات، أدخل اسم ملف بيانات التدريب الذي قمت بإنشائه في تحضير بيانات التدريب القسم جزء 1.
4. في حالة موقع بيانات الإخراج (دلو S3)، أدخل اسم المجموعة نفسه الذي استخدمته في الخطوة 2.
5. في حالة اسم دليل مجموعة البيانات، أدخل اسم مجلد ضمن الحاوية حيث تريد أن يقوم الطيار الآلي بتخزين العناصر الأثرية.
6. في حالة هل إدخال S3 الخاص بك هو ملف بيان؟، اختر خصم.
7. في حالة الهدف، اختر ملصق.
8. في حالة النشر التلقائي، اختر خصم.
   
9. تحت المبادرة من الإعدادات المتقدمة، ل نوع مشكلة التعلم الآلي، اختر التصنيف الثنائي.
10. في حالة مقياس موضوعي، اختر AUC.
11. في حالة اختر كيفية إجراء تجربتك، اختر لا ، قم بتشغيل إصدار تجريبي لإنشاء دفتر ملاحظات بتعريفات المرشحين.
12. اختار قم بإنشاء التجربة.
    
    لمزيد من المعلومات حول إنشاء تجربة ، يرجى الرجوع إلى أنشئ تجربة Amazon SageMaker Autopilotقد يستغرق تشغيل هذه الخطوة حوالي 15 دقيقة.
13. عند الانتهاء ، اختر افتح دفتر جيل المرشح، والذي يفتح دفتر ملاحظات جديدًا في وضع القراءة فقط.
    
14. اختار دفتر استيراد لجعل دفتر الملاحظات قابلاً للتعديل.
    
15. للصورة ، اختر العلوم البيانات.
16. في حالة نواة، اختر بيثون 3.
17. اختار أختار.
    

يحتوي هذا الكمبيوتر المحمول الذي تم إنشاؤه تلقائيًا على تفسيرات مفصلة ويوفر تحكمًا كاملاً في مهمة بناء النموذج الفعلي التي يجب اتباعها. نسخة مخصصة من مفكرة، حيث يتم تدريب المصنف باستخدام نطاقات القمر الصناعي لاندسات من عام 2013 ، وهو متاح في مستودع الكود الموجود أسفل notebooks/mangrove-2013.ipynb.

يتكون إطار عمل بناء النموذج من جزأين: تحويل الميزات كجزء من خطوة معالجة البيانات ، وتحسين المعلمة الفائقة (HPO) كجزء من خطوة اختيار النموذج. تم إنشاء جميع القطع الأثرية اللازمة لهذه المهام أثناء تجربة الطيار الآلي وحفظها في خدمة تخزين أمازون البسيطة (أمازون S3). تقوم الخلية الأولى في دفتر الملاحظات بتنزيل تلك القطع الأثرية من Amazon S3 إلى المحلي الأمازون SageMaker نظام الملفات للفحص وأي تعديل لازم. يوجد مجلدين: generated_module و sagemaker_automl، حيث يتم تخزين جميع وحدات Python والبرامج النصية اللازمة لتشغيل دفتر الملاحظات. يتم حفظ خطوات تحويل الميزات المختلفة مثل التضمين والقياس و PCA كملف generated_modules/candidate_data_processors/dpp*.py.

يقوم الطيار الآلي بإنشاء ثلاثة نماذج مختلفة بناءً على خوارزميات XGBoost ، والمتعلم الخطي ، وخوارزميات الإدراك متعدد الطبقات (MLP). يتكون خط الأنابيب المرشح من أحد خيارات تحويلات المعالم ، والمعروف باسم data_transformer، وخوارزمية. خط الأنابيب هو قاموس Python ويمكن تعريفه على النحو التالي:

candidate1 = { "data_transformer": { "name": "dpp5", "training_resource_config": { "instance_type": "ml.m5.4xlarge", "instance_count": 1, "volume_size_in_gb": 50 }, "transform_resource_config": { "instance_type": "ml.m5.4xlarge", "instance_count": 1, }, "transforms_label": True, "transformed_data_format": "application/x-recordio-protobuf", "sparse_encoding": True }, "algorithm": { "name": "xgboost", "training_resource_config": { "instance_type": "ml.m5.4xlarge", "instance_count": 1, }, }
}

في هذا المثال ، يقوم خط الأنابيب بتحويل بيانات التدريب وفقًا للبرنامج النصي بتنسيق generated_modules/candidate_data_processors/dpp5.py ويبني نموذج XGBoost. هذا هو المكان الذي يوفر فيه الطيار الآلي التحكم الكامل لعالم البيانات ، الذي يمكنه اختيار تحويل الميزة التي تم إنشاؤها تلقائيًا وخطوات اختيار النموذج أو بناء مجموعته الخاصة.

يمكنك الآن إضافة خط الأنابيب إلى تجمع للطيار الآلي لإجراء التجربة على النحو التالي:

from sagemaker_automl import AutoMLInteractiveRunner, AutoMLLocalCandidate automl_interactive_runner = AutoMLInteractiveRunner(AUTOML_LOCAL_RUN_CONFIG)
automl_interactive_runner.select_candidate(candidate1)

هذه خطوة مهمة حيث يمكنك أن تقرر الاحتفاظ بمجموعة فرعية فقط من المرشحين الذين اقترحهم الطيار الآلي ، بناءً على الخبرة في الموضوع ، لتقليل إجمالي وقت التشغيل. في الوقت الحالي ، احتفظ بجميع اقتراحات الطيار الآلي ، والتي يمكنك سردها على النحو التالي:

automl_interactive_runner.display_candidates()

يتم إجراء تجربة الطيار الآلي الكاملة في جزأين. أولاً ، تحتاج إلى تشغيل وظائف تحويل البيانات:

automl_interactive_runner.fit_data_transformers(parallel_jobs=7)

يجب أن تكتمل هذه الخطوة في حوالي 30 دقيقة لجميع المرشحين ، إذا لم تقم بإجراء تعديلات أخرى على dpp*.py الملفات.

تتمثل الخطوة التالية في بناء أفضل مجموعة من النماذج من خلال ضبط المعلمات الفائقة للخوارزميات المعنية. تنقسم المعلمات الفائقة عادةً إلى قسمين: ثابت وقابل للضبط. تظل المعلمات التشعبية الثابتة بدون تغيير طوال التجربة لجميع المرشحين الذين يشتركون في نفس الخوارزمية. يتم تمرير هذه المعلمات التشعبية إلى التجربة كقاموس. إذا اخترت اختيار أفضل نموذج XGBoost عن طريق تعظيم AUC من ثلاث جولات من نظام التحقق من الصحة الخماسي ، فإن القاموس سيبدو مثل الكود التالي:

{ 'objective': 'binary:logistic', 'eval_metric': 'auc', '_kfold': 5, '_num_cv_round': 3,
} 

بالنسبة للمعلمات الفائقة القابلة للضبط ، تحتاج إلى تمرير قاموس آخر بنطاقات ونوع تحجيم:

{ 'num_round': IntegerParameter(64, 1024, scaling_type='Logarithmic'), 'max_depth': IntegerParameter(2, 8, scaling_type='Logarithmic'), 'eta': ContinuousParameter(1e-3, 1.0, scaling_type='Logarithmic'),
... }

تتوفر المجموعة الكاملة من المعلمات التشعبية في ملف mangrove-2013.ipynb مفكرة.

لإنشاء تجربة حيث يمكن اختبار جميع المرشحين السبعة بالتوازي ، قم بإنشاء موالف HPO متعدد الخوارزميات:

multi_algo_tuning_parameters = automl_interactive_runner.prepare_multi_algo_parameters( objective_metrics=ALGORITHM_OBJECTIVE_METRICS, static_hyperparameters=STATIC_HYPERPARAMETERS, hyperparameters_search_ranges=ALGORITHM_TUNABLE_HYPERPARAMETER_RANGES)

يتم تحديد المقاييس الموضوعية بشكل مستقل لكل خوارزمية:

ALGORITHM_OBJECTIVE_METRICS = { 'xgboost': 'validation:auc', 'linear-learner': 'validation:roc_auc_score', 'mlp': 'validation:roc_auc',
}

محاولة جميع القيم الممكنة للمعلمات الفائقة لجميع التجارب هو إهدار ؛ يمكنك اعتماد إستراتيجية بايزي لإنشاء موالف HPO:

multi_algo_tuning_inputs = automl_interactive_runner.prepare_multi_algo_inputs()
ase_tuning_job_name = "{}-tuning".format(AUTOML_LOCAL_RUN_CONFIG.local_automl_job_name) tuner = HyperparameterTuner.create( base_tuning_job_name=base_tuning_job_name, strategy='Bayesian', objective_type='Maximize', max_parallel_jobs=10, max_jobs=50, **multi_algo_tuning_parameters,
)

في الإعداد الافتراضي ، يختار الطيار الآلي 250 مهمة في الموالف لاختيار أفضل طراز. لحالة الاستخدام هذه ، يكفي ضبطها max_jobs=50 لتوفير الوقت والموارد ، دون أي عقوبة كبيرة من حيث اختيار أفضل مجموعة من المعلمات التشعبية. أخيرًا ، أرسل وظيفة HPO على النحو التالي:

tuner.fit(inputs=multi_algo_tuning_inputs, include_cls_metadata=None)

تستغرق العملية حوالي 80 دقيقة في حالات ml.m5.4xlarge. يمكنك مراقبة التقدم على وحدة تحكم SageMaker عن طريق الاختيار وظائف ضبط Hyperparameter مع قادة الإيمان في جزء التنقل.

يمكنك تصور مجموعة من المعلومات المفيدة ، بما في ذلك أداء كل مرشح ، عن طريق اختيار اسم الوظيفة قيد التقدم.

أخيرًا ، قارن أداء النموذج لأفضل المرشحين على النحو التالي:

from sagemaker.analytics import HyperparameterTuningJobAnalytics SAGEMAKER_SESSION = AUTOML_LOCAL_RUN_CONFIG.sagemaker_session
SAGEMAKER_ROLE = AUTOML_LOCAL_RUN_CONFIG.role tuner_analytics = HyperparameterTuningJobAnalytics( tuner.latest_tuning_job.name, sagemaker_session=SAGEMAKER_SESSION) df_tuning_job_analytics = tuner_analytics.dataframe() df_tuning_job_analytics.sort_values( by=['FinalObjectiveValue'], inplace=True, ascending=False if tuner.objective_type == "Maximize" else True) # select the columns to display and rename
select_columns = ["TrainingJobDefinitionName", "FinalObjectiveValue", "TrainingElapsedTimeSeconds"]
rename_columns = { "TrainingJobDefinitionName": "candidate", "FinalObjectiveValue": "AUC", "TrainingElapsedTimeSeconds": "run_time" } # Show top 5 model performances
df_tuning_job_analytics.rename(columns=rename_columns)[rename_columns.values()].set_index("candidate").head(5)

النموذج الأفضل أداءً الذي يعتمد على MLP ، في حين أنه أفضل بشكل هامشي من طرز XGBoost مع خيارات متنوعة لخطوات معالجة البيانات ، يستغرق أيضًا وقتًا أطول للتدريب. يمكنك العثور على تفاصيل مهمة حول تدريب نموذج MLP ، بما في ذلك مجموعة المعلمات الفائقة المستخدمة ، على النحو التالي:

df_tuning_job_analytics.loc[df_tuning_job_analytics.TrainingJobName==best_training_job].T.dropna() 

قم بإنشاء خط أنابيب للاستدلال

لإنشاء استدلال على البيانات الجديدة ، يجب عليك إنشاء خط أنابيب للاستدلال على SageMaker لاستضافة أفضل نموذج يمكن استدعاؤه لاحقًا لتوليد الاستدلال. يتطلب نموذج خط أنابيب SageMaker ثلاث حاويات كمكوناته: تحويل البيانات ، والخوارزمية ، وتحويل الملصق العكسي (إذا كانت التوقعات الرقمية بحاجة إلى تعيينها على ملصقات غير رقمية). للإيجاز ، يتم عرض جزء فقط من الكود المطلوب في المقتطف التالي ؛ الكود الكامل متاح في mangrove-2013.ipynb مفكرة:

from sagemaker.estimator import Estimator
from sagemaker import PipelineModel
from sagemaker_automl import select_inference_output …
# Final pipeline model model_containers = [best_data_transformer_model, best_algo_model]
if best_candidate.transforms_label: model_containers.append(best_candidate.get_data_transformer_model( transform_mode="inverse-label-transform", role=SAGEMAKER_ROLE, sagemaker_session=SAGEMAKER_SESSION)) # select the output type
model_containers = select_inference_output("BinaryClassification", model_containers, output_keys=['predicted_label'])

بعد إنشاء حاويات النموذج ، يمكنك إنشاء خط الأنابيب ونشره على النحو التالي:

from sagemaker import PipelineModel pipeline_model = PipelineModel( name=f"mangrove-automl-2013", role=SAGEMAKER_ROLE, models=model_containers, vpc_config=AUTOML_LOCAL_RUN_CONFIG.vpc_config) pipeline_model.deploy(initial_instance_count=1, instance_type='ml.m5.2xlarge', endpoint_name=pipeline_model.name, wait=True)

يستغرق نشر نقطة النهاية حوالي 10 دقائق حتى يكتمل.

احصل على استدلال على مجموعة بيانات الاختبار باستخدام نقطة نهاية

بعد نشر نقطة النهاية ، يمكنك استدعاؤها مع حمولة من الميزات B1 – B7 لتصنيف كل بكسل في الصورة إما على هيئة غابات المانغروف (1) أو أخرى (0):

import boto3
sm_runtime = boto3.client('runtime.sagemaker') pred_labels = []
with open(local_download, 'r') as f: for i, row in enumerate(f): payload = row.rstrip('n') x = sm_runtime.invoke_endpoint(EndpointName=inf_endpt, ContentType="text/csv", Body=payload) pred_labels.append(int(x['Body'].read().decode().strip()))

التفاصيل الكاملة حول المعالجة اللاحقة لتنبؤات النموذج للتقييم والتخطيط متوفرة في notebooks/model_performance.ipynb.

احصل على استدلال على مجموعة بيانات الاختبار باستخدام تحويل دفعة

الآن بعد أن أنشأت النموذج الأفضل أداءً باستخدام الطيار الآلي ، يمكننا استخدام النموذج للاستدلال. للحصول على استدلال على مجموعات البيانات الكبيرة ، يكون استخدام تحويل دفعة أكثر كفاءة. دعنا ننشئ تنبؤات على مجموعة البيانات بأكملها (التدريب والاختبار) ونلحق النتائج بالميزات ، حتى نتمكن من إجراء مزيد من التحليل ، على سبيل المثال ، للتحقق من القيم المتوقعة مقابل القيم الفعلية وتوزيع الميزات بين الفئات المتوقعة.

أولاً ، نقوم بإنشاء ملف بيان في Amazon S3 يشير إلى مواقع بيانات التدريب والاختبار من خطوات معالجة البيانات السابقة:

import boto3
data_bucket = <Name of the S3 bucket that has the training data>
prefix = "LANDSAT_LC08_C01_T1_SR/Year2013"
manifest = "[{{"prefix": "s3://{}/{}/"}},n"train.csv",n"test.csv"n]".format(data_bucket, prefix)
s3_client = boto3.client('s3')
s3_client.put_object(Body=manifest, Bucket=data_bucket, Key=f"{prefix}/data.manifest")

الآن يمكننا إنشاء وظيفة تحويل دفعة. لأن لدينا تدريب الإدخال ومجموعة بيانات الاختبار label كعمود أخير ، نحتاج إلى إسقاطه أثناء الاستدلال. للقيام بذلك ، نجتاز InputFilter في ال DataProcessing جدال. الرمز "$[:-2]" يشير إلى إسقاط العمود الأخير. ثم يتم ضم الناتج المتوقع مع بيانات المصدر لمزيد من التحليل.

في الكود التالي ، نقوم ببناء الوسيطات لوظيفة التحويل الدفعي ثم نمرر إلى الامتداد create_transform_job وظيفة:

from time import gmtime, strftime batch_job_name = "Batch-Transform-" + strftime("%Y-%m-%d-%H-%M-%S", gmtime())
output_location = "s3://{}/{}/batch_output/{}".format(data_bucket, prefix, batch_job_name)
input_location = "s3://{}/{}/data.manifest".format(data_bucket, prefix) request = { "TransformJobName": batch_job_name, "ModelName": pipeline_model.name, "TransformOutput": { "S3OutputPath": output_location, "Accept": "text/csv", "AssembleWith": "Line", }, "TransformInput": { "DataSource": {"S3DataSource": {"S3DataType": "ManifestFile", "S3Uri": input_location}}, "ContentType": "text/csv", "SplitType": "Line", "CompressionType": "None", }, "TransformResources": {"InstanceType": "ml.m4.xlarge", "InstanceCount": 1}, "DataProcessing": {"InputFilter": "$[:-2]", "JoinSource": "Input"}
} sagemaker = boto3.client("sagemaker")
sagemaker.create_transform_job(**request)
print("Created Transform job with name: ", batch_job_name)

يمكنك مراقبة حالة المهمة على وحدة تحكم SageMaker.

تصور أداء النموذج

يمكنك الآن تصور أداء أفضل نموذج في مجموعة بيانات الاختبار ، التي تتكون من مناطق من الهند وميانمار وكوبا وفيتنام ، كمصفوفة ارتباك. يحتوي النموذج على قيمة استرداد عالية لوحدات البكسل التي تمثل غابات المنغروف ، ولكن بدقة تصل إلى 75٪ فقط. تبلغ دقة وحدات البكسل غير المنغروف أو وحدات البكسل الأخرى 99٪ مع استدعاء بنسبة 85٪. يمكنك ضبط القطع الاحتمالي لتوقعات النموذج لضبط القيم ذات الصلة اعتمادًا على حالة الاستخدام الخاصة.

تجدر الإشارة إلى أن النتائج تمثل تحسنًا كبيرًا عن نموذج SmileCart المدمج.

تصور تنبؤات النموذج

أخيرًا ، من المفيد مراقبة أداء النموذج في مناطق محددة على الخريطة. في الصورة التالية ، تظهر منطقة المنغروف الواقعة على الحدود بين الهند وبنغلاديش باللون الأحمر. النقاط المأخوذة من رقعة صورة Landsat التي تنتمي إلى مجموعة بيانات الاختبار متراكبة على المنطقة ، حيث تكون كل نقطة بكسل يحدد النموذج أنها تمثل غابات المانغروف. يتم تصنيف النقاط الزرقاء بشكل صحيح بواسطة النموذج ، بينما تمثل النقاط السوداء أخطاء النموذج.

تُظهر الصورة التالية فقط النقاط التي توقع النموذج أنها لا تمثل غابات المانغروف ، بنفس نظام الألوان مثل المثال السابق. المخطط الرمادي هو جزء من رقعة لاندسات لا يتضمن أي غابات منغروف. كما يتضح من الصورة ، لا يرتكب النموذج أي خطأ في تصنيف النقاط على الماء ، ولكنه يواجه تحديًا عند تمييز وحدات البكسل التي تمثل غابات المانغروف عن تلك التي تمثل أوراق الشجر العادية.

تُظهر الصورة التالية أداء النموذج في منطقة المنغروف في ميانمار.

في الصورة التالية ، يقوم النموذج بعمل أفضل في تحديد بكسلات المنغروف.

تنظيف

تستمر نقطة نهاية استدلال SageMaker في تحمل التكلفة إذا تركت قيد التشغيل. احذف نقطة النهاية كما يلي عند الانتهاء:

sagemaker.delete_endpoint(EndpointName=pipeline_model.name)

وفي الختام

قدمت سلسلة المنشورات هذه إطارًا شاملاً لعلماء البيانات لحل مشكلات نظم المعلومات الجغرافية. جزء 1 أظهر عملية ETL وطريقة ملائمة للتفاعل البصري مع البيانات. أظهر الجزء 2 كيفية استخدام الطيار الآلي لأتمتة بناء مصنف مخصص لأشجار القرم.

يمكنك استخدام إطار العمل هذا لاستكشاف مجموعات بيانات الأقمار الصناعية الجديدة التي تحتوي على مجموعة أكثر ثراءً من النطاقات المفيدة لتصنيف المنغروف واستكشاف هندسة الميزات من خلال دمج معرفة المجال.

حول المؤلف

أندريه إيفانوفيتش هو طالب ماجستير وارد في علوم الكمبيوتر في جامعة تورنتو وتخرج مؤخرًا من برنامج العلوم الهندسية في جامعة تورنتو ، ويتخصص في ذكاء الآلة مع تخصص في الروبوتات / الميكاترونكس. إنه مهتم برؤية الكمبيوتر والتعلم العميق والروبوتات. لقد قام بالعمل المقدم في هذا المنشور خلال فترة تدريبه الصيفية في أمازون.

ديفيد دونغ هو عالم بيانات في Amazon Web Services.

اركاجيوتي ميسرا هو عالم بيانات في Amazon LastMile Transportation. إنه متحمس لتطبيق تقنيات الرؤية الحاسوبية لحل المشكلات التي تساعد الأرض. يحب العمل مع المنظمات غير الربحية وهو عضو مؤسس في ekipi.org.

• كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
• بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
• كريبتوهوك. الرادار. تجربة مجانية.
• المصدر: https://aws.amazon.com/blogs/machine-learning/part-2-identify-mangrove-forests-using-satellite-image-features-using-amazon-sagemaker-studio-and-amazon-sagemaker- الطيار الآلي /