זיהוי יערות מנגרובים באמצעות תכונות תמונת לוויין באמצעות Amazon SageMaker Studio ו- Amazon SageMaker Autopilot - חלק 2

יערות המנגרובים הם חלק חשוב ממערכת אקולוגית בריאה, ופעילויות אנושיות הן אחת הסיבות העיקריות להיעלמותן ההדרגתית מקווי החוף ברחבי העולם. שימוש במודל למידת מכונה (ML) לזיהוי אזורי מנגרובים מתמונת לוויין נותן לחוקרים דרך יעילה לנטר את גודל היערות לאורך זמן. ב חלק 1 מהסדרה הזו, הראינו כיצד לאסוף נתוני לוויין בצורה אוטומטית ולנתח אותם סטודיו SageMaker של אמזון עם הדמיה אינטראקטיבית. בפוסט זה, אנו מראים כיצד להשתמש טייס אוטומטי של אמזון לאוטומציה של תהליך בניית סיווג מנגרובים מותאם אישית.

אימון דגם עם טייס אוטומטי

טייס אוטומטי מספק דרך מאוזנת לבנות מספר דגמים ולבחור את הטוב ביותר. תוך יצירת שילובים מרובים של טכניקות שונות לעיבוד מוקדם של נתונים ומודלים של ML במינימום מאמץ, הטייס האוטומטי מספק שליטה מלאה על שלבי הרכיבים הללו למדען הנתונים, אם תרצה בכך.

אתה יכול להשתמש בטייס אוטומטי באמצעות אחד מה-SDKs של AWS (פרטים זמינים ב- מדריך עזר ל-API עבור טייס אוטומטי) או דרך סטודיו. אנו משתמשים בטייס אוטומטי בפתרון הסטודיו שלנו בהתאם לשלבים המתוארים בסעיף זה:

1. בדף Studio Launcher, בחר את סימן הפלוס עבור ניסוי טייס אוטומטי חדש.
   
2. בעד חבר את הנתונים שלך, בחר מצא את דלי S3, והזן את שם הדלי שבו שמרת את מערכי ההדרכה והבדיקות.
3. בעד שם קובץ מערך הנתונים, הזן את השם של קובץ נתוני האימון שיצרת ב- הכן את נתוני ההדרכה קטע ב חלק 1.
4. בעד מיקום נתוני פלט (דלי S3), הזן את אותו שם דלי שבו השתמשת בשלב 2.
5. בעד שם ספריית ערכת הנתונים, הזן שם תיקיה מתחת לדלי שבו תרצה שהטייס האוטומטי יאחסן חפצים.
6. בעד האם קלט ה-S3 שלך הוא קובץ מניפסט?, בחר כבוי.
7. בעד יעד, בחר תווית.
8. בעד פריסה אוטומטית, בחר כבוי.
   
9. תחת הגדרות מתקדמות, עבור סוג בעיית למידת מכונה, בחר סיווג בינארי.
10. בעד מדד אובייקטיבי, בחר AUC.
11. בעד בחר כיצד להפעיל את הניסוי שלך, בחר לא, הפעל פיילוט ליצירת מחברת עם הגדרות מועמדים.
12. בחרו צור ניסוי.
    
    למידע נוסף על יצירת ניסוי, עיין ב צור ניסוי טייס אוטומטי של אמזון SageMaker.ייתכן שייקח כ-15 דקות להפעיל את השלב הזה.
13. בסיום, בחר מחברת פתיחת דור מועמדים פתוחה, שפותח מחברת חדשה במצב קריאה בלבד.
    
14. בחרו ייבוא ​​מחברת כדי להפוך את המחברת לניתנת לעריכה.
    
15. עבור תמונה, בחר מדע נתונים.
16. בעד גַרעִין, בחר פייתון 3.
17. בחרו בחר.
    

למחברת שנוצרה אוטומטית יש הסברים מפורטים ומספקת שליטה מלאה על משימת בניית הדגם בפועל. גרסה מותאמת אישית של מחברה, שבו מסווג מאומן באמצעות פסי לוויין Landsat משנת 2013, זמין במאגר הקודים תחת notebooks/mangrove-2013.ipynb.

מסגרת בניית המודל מורכבת משני חלקים: טרנספורמציה של תכונות כחלק משלב עיבוד הנתונים, ואופטימיזציה של היפרפרמטרים (HPO) כחלק משלב בחירת המודל. כל החפצים הדרושים עבור משימות אלה נוצרו במהלך ניסוי הטייס האוטומטי ונשמרו שירות אחסון פשוט של אמזון (אמזון S3). תא המחברת הראשון מוריד את החפצים הללו מאמזון S3 למקומון אמזון SageMaker מערכת קבצים לבדיקה ולכל שינוי הכרחי. יש שתי תיקיות: generated_module ו sagemaker_automl, שבו מאוחסנים כל המודולים והסקריפטים של Python הדרושים להפעלת המחברת. שלבי שינוי התכונות השונים כמו זקיפה, קנה מידה ו-PCA נשמרים בשם generated_modules/candidate_data_processors/dpp*.py.

הטייס האוטומטי יוצר שלושה מודלים שונים המבוססים על האלגוריתמים XGBoost, לומד לינארי ורב שכבתי (MLP). צינור מועמד מורכב מאחת מאפשרויות טרנספורמציה של תכונה, המכונה data_transformerואלגוריתם. צינור הוא מילון פייתון וניתן להגדיר אותו כך:

candidate1 = { "data_transformer": { "name": "dpp5", "training_resource_config": { "instance_type": "ml.m5.4xlarge", "instance_count": 1, "volume_size_in_gb": 50 }, "transform_resource_config": { "instance_type": "ml.m5.4xlarge", "instance_count": 1, }, "transforms_label": True, "transformed_data_format": "application/x-recordio-protobuf", "sparse_encoding": True }, "algorithm": { "name": "xgboost", "training_resource_config": { "instance_type": "ml.m5.4xlarge", "instance_count": 1, }, }
}

בדוגמה זו, הצינור הופך את נתוני האימון בהתאם לסקריפט פנימה generated_modules/candidate_data_processors/dpp5.py ובונה דגם XGBoost. זה המקום שבו הטייס האוטומטי מספק שליטה מלאה למדען הנתונים, שיכול לבחור את שלבי שינוי התכונות שנוצרו אוטומטית ואת שלבי בחירת המודל או לבנות שילוב משלהם.

כעת תוכל להוסיף את הצינור למאגר כדי שהטייס האוטומטי יפעיל את הניסוי באופן הבא:

from sagemaker_automl import AutoMLInteractiveRunner, AutoMLLocalCandidate automl_interactive_runner = AutoMLInteractiveRunner(AUTOML_LOCAL_RUN_CONFIG)
automl_interactive_runner.select_candidate(candidate1)

זהו צעד חשוב שבו אתה יכול להחליט לשמור רק תת-קבוצה של מועמדים שהוצעו על ידי טייס אוטומטי, בהתבסס על מומחיות בנושא, כדי להפחית את זמן הריצה הכולל. לעת עתה, שמור את כל הצעות הטייס האוטומטי, אותן תוכל לרשום באופן הבא:

automl_interactive_runner.display_candidates()

ניסוי הטייס האוטומטי המלא נעשה בשני חלקים. ראשית, עליך להפעיל את עבודות שינוי הנתונים:

automl_interactive_runner.fit_data_transformers(parallel_jobs=7)

שלב זה אמור להסתיים תוך כ-30 דקות עבור כל המועמדים, אם לא תבצע שינויים נוספים ב- dpp*.py קבצים.

השלב הבא הוא לבנות את קבוצת המודלים הטובה ביותר על ידי כוונון ההיפרפרמטרים עבור האלגוריתמים המתאימים. ההיפרפרמטרים מחולקים בדרך כלל לשני חלקים: סטטי ו-tunable. הפרמטרים ההיפר-סטטיים נשארים ללא שינוי לאורך הניסוי עבור כל המועמדים שחולקים את אותו אלגוריתם. ההיפרפרמטרים הללו מועברים לניסוי כמילון. אם תבחר לבחור את המודל הטוב ביותר של XGBoost על ידי מיקסום AUC משלושה סבבים של ערכת אימות צולב פי חמישה, המילון נראה כמו הקוד הבא:

{ 'objective': 'binary:logistic', 'eval_metric': 'auc', '_kfold': 5, '_num_cv_round': 3,
} 

עבור ההיפרפרמטרים הניתנים לשינוי, עליך להעביר מילון נוסף עם טווחים וסוג קנה מידה:

{ 'num_round': IntegerParameter(64, 1024, scaling_type='Logarithmic'), 'max_depth': IntegerParameter(2, 8, scaling_type='Logarithmic'), 'eta': ContinuousParameter(1e-3, 1.0, scaling_type='Logarithmic'),
... }

הסט המלא של ההיפרפרמטרים זמין ב- mangrove-2013.ipynb מחברה.

כדי ליצור ניסוי שבו ניתן לבדוק את כל שבעת המועמדים במקביל, צור מקלט HPO מרובה אלגוריתמים:

multi_algo_tuning_parameters = automl_interactive_runner.prepare_multi_algo_parameters( objective_metrics=ALGORITHM_OBJECTIVE_METRICS, static_hyperparameters=STATIC_HYPERPARAMETERS, hyperparameters_search_ranges=ALGORITHM_TUNABLE_HYPERPARAMETER_RANGES)

המדדים האובייקטיביים מוגדרים באופן עצמאי עבור כל אלגוריתם:

ALGORITHM_OBJECTIVE_METRICS = { 'xgboost': 'validation:auc', 'linear-learner': 'validation:roc_auc_score', 'mlp': 'validation:roc_auc',
}

ניסיון של כל הערכים האפשריים של היפרפרמטרים עבור כל הניסויים הוא בזבזני; אתה יכול לאמץ אסטרטגיה בייסיאנית ליצירת מקלט HPO:

multi_algo_tuning_inputs = automl_interactive_runner.prepare_multi_algo_inputs()
ase_tuning_job_name = "{}-tuning".format(AUTOML_LOCAL_RUN_CONFIG.local_automl_job_name) tuner = HyperparameterTuner.create( base_tuning_job_name=base_tuning_job_name, strategy='Bayesian', objective_type='Maximize', max_parallel_jobs=10, max_jobs=50, **multi_algo_tuning_parameters,
)

בהגדרת ברירת המחדל, הטייס האוטומטי בוחר 250 עבודות בטיונר כדי לבחור את הדגם הטוב ביותר. עבור מקרה שימוש זה, מספיק להגדיר max_jobs=50 כדי לחסוך זמן ומשאבים, ללא כל עונש משמעותי במונחים של בחירת קבוצת ההיפרפרמטרים הטובה ביותר. לבסוף, שלח את עבודת HPO באופן הבא:

tuner.fit(inputs=multi_algo_tuning_inputs, include_cls_metadata=None)

התהליך אורך כ-80 דקות במופעי ml.m5.4xlarge. אתה יכול לעקוב אחר ההתקדמות בקונסולת SageMaker על ידי בחירה עבודות כוונון היפרפרמטרים תחת הדרכה בחלונית הניווט.

אתה יכול לדמיין שורה של מידע שימושי, כולל הביצועים של כל מועמד, על ידי בחירת שם המשרה בתהליך.

לבסוף, השווה את ביצועי המודל של המועמדים הטובים ביותר באופן הבא:

from sagemaker.analytics import HyperparameterTuningJobAnalytics SAGEMAKER_SESSION = AUTOML_LOCAL_RUN_CONFIG.sagemaker_session
SAGEMAKER_ROLE = AUTOML_LOCAL_RUN_CONFIG.role tuner_analytics = HyperparameterTuningJobAnalytics( tuner.latest_tuning_job.name, sagemaker_session=SAGEMAKER_SESSION) df_tuning_job_analytics = tuner_analytics.dataframe() df_tuning_job_analytics.sort_values( by=['FinalObjectiveValue'], inplace=True, ascending=False if tuner.objective_type == "Maximize" else True) # select the columns to display and rename
select_columns = ["TrainingJobDefinitionName", "FinalObjectiveValue", "TrainingElapsedTimeSeconds"]
rename_columns = { "TrainingJobDefinitionName": "candidate", "FinalObjectiveValue": "AUC", "TrainingElapsedTimeSeconds": "run_time" } # Show top 5 model performances
df_tuning_job_analytics.rename(columns=rename_columns)[rename_columns.values()].set_index("candidate").head(5)

המודל בעל הביצועים הטובים ביותר המבוסס על MLP, למרות שהוא טוב יותר באופן שולי מדגמי XGBoost עם אפשרויות שונות של שלבי עיבוד נתונים, גם לוקח הרבה יותר זמן לאימון. אתה יכול למצוא פרטים חשובים על אימון מודל MLP, כולל שילוב הפרמטרים המשמשים, כדלקמן:

df_tuning_job_analytics.loc[df_tuning_job_analytics.TrainingJobName==best_training_job].T.dropna() 

צור צינור מסקנות

כדי ליצור מסקנות על נתונים חדשים, עליך לבנות צינור מסקנות ב- SageMaker כדי לארח את המודל הטוב ביותר שניתן לקרוא לו מאוחר יותר כדי ליצור מסקנות. מודל הצינור של SageMaker דורש שלושה מיכלים כמרכיביו: טרנספורמציה של נתונים, אלגוריתם ושינוי תוויות הפוך (אם יש למפות תחזיות מספריות לתוויות לא מספריות). למען הקיצור, רק חלק מהקוד הנדרש מוצג בקטע הבא; הקוד המלא זמין ב- mangrove-2013.ipynb מחברה:

from sagemaker.estimator import Estimator
from sagemaker import PipelineModel
from sagemaker_automl import select_inference_output …
# Final pipeline model model_containers = [best_data_transformer_model, best_algo_model]
if best_candidate.transforms_label: model_containers.append(best_candidate.get_data_transformer_model( transform_mode="inverse-label-transform", role=SAGEMAKER_ROLE, sagemaker_session=SAGEMAKER_SESSION)) # select the output type
model_containers = select_inference_output("BinaryClassification", model_containers, output_keys=['predicted_label'])

לאחר בניית מכולות הדגם, תוכל לבנות ולפרוס את הצינור באופן הבא:

from sagemaker import PipelineModel pipeline_model = PipelineModel( name=f"mangrove-automl-2013", role=SAGEMAKER_ROLE, models=model_containers, vpc_config=AUTOML_LOCAL_RUN_CONFIG.vpc_config) pipeline_model.deploy(initial_instance_count=1, instance_type='ml.m5.2xlarge', endpoint_name=pipeline_model.name, wait=True)

פריסת נקודת הקצה נמשכת כ-10 דקות להשלמת.

קבל הסקה על מערך הנתונים של הבדיקה באמצעות נקודת קצה

לאחר פריסת נקודת הקצה, אתה יכול להפעיל אותה עם מטען של תכונות B1–B7 כדי לסווג כל פיקסל בתמונה כמנגרוב (1) או אחר (0):

import boto3
sm_runtime = boto3.client('runtime.sagemaker') pred_labels = []
with open(local_download, 'r') as f: for i, row in enumerate(f): payload = row.rstrip('n') x = sm_runtime.invoke_endpoint(EndpointName=inf_endpt, ContentType="text/csv", Body=payload) pred_labels.append(int(x['Body'].read().decode().strip()))

פרטים מלאים על עיבוד לאחר עיבוד של תחזיות המודל להערכה וזימה זמינים ב notebooks/model_performance.ipynb.

קבל הסקה על מערך הנתונים של הבדיקה באמצעות טרנספורמציה אצווה

כעת, לאחר שיצרת את הדגם בעל הביצועים הטובים ביותר עם טייס אוטומטי, אנו יכולים להשתמש במודל להסקת מסקנות. כדי לקבל מסקנות על מערכי נתונים גדולים, יעיל יותר להשתמש בהמרת אצווה. בואו ניצור תחזיות על כל מערך הנתונים (הדרכה ובדיקה) ונצרף את התוצאות לתכונות, כדי שנוכל לבצע ניתוח נוסף כדי, למשל, לבדוק את החזויים לעומת המציאות ואת התפלגות התכונות בין המחלקות החזויות.

ראשית, אנו יוצרים קובץ מניפסט באמזון S3 המצביע על מיקומי ההדרכה ונתוני הבדיקה משלבי עיבוד הנתונים הקודמים:

import boto3
data_bucket = <Name of the S3 bucket that has the training data>
prefix = "LANDSAT_LC08_C01_T1_SR/Year2013"
manifest = "[{{"prefix": "s3://{}/{}/"}},n"train.csv",n"test.csv"n]".format(data_bucket, prefix)
s3_client = boto3.client('s3')
s3_client.put_object(Body=manifest, Bucket=data_bucket, Key=f"{prefix}/data.manifest")

כעת נוכל ליצור עבודת טרנספורמציה אצווה. כי יש לרכבת הקלט ולמערך הנתונים שלנו label בתור העמודה האחרונה, עלינו לשחרר אותו במהלך ההסקה. כדי לעשות זאת, אנחנו עוברים InputFilter ב DataProcessing טַעֲנָה. הקוד "$[:-2]" מציין לשחרר את העמודה האחרונה. לאחר מכן מצטרף הפלט החזוי עם נתוני המקור לניתוח נוסף.

בקוד הבא, אנו בונים את הארגומנטים עבור עבודת המרת האצווה ולאחר מכן מעבירים ל- create_transform_job פוּנקצִיָה:

from time import gmtime, strftime batch_job_name = "Batch-Transform-" + strftime("%Y-%m-%d-%H-%M-%S", gmtime())
output_location = "s3://{}/{}/batch_output/{}".format(data_bucket, prefix, batch_job_name)
input_location = "s3://{}/{}/data.manifest".format(data_bucket, prefix) request = { "TransformJobName": batch_job_name, "ModelName": pipeline_model.name, "TransformOutput": { "S3OutputPath": output_location, "Accept": "text/csv", "AssembleWith": "Line", }, "TransformInput": { "DataSource": {"S3DataSource": {"S3DataType": "ManifestFile", "S3Uri": input_location}}, "ContentType": "text/csv", "SplitType": "Line", "CompressionType": "None", }, "TransformResources": {"InstanceType": "ml.m4.xlarge", "InstanceCount": 1}, "DataProcessing": {"InputFilter": "$[:-2]", "JoinSource": "Input"}
} sagemaker = boto3.client("sagemaker")
sagemaker.create_transform_job(**request)
print("Created Transform job with name: ", batch_job_name)

אתה יכול לעקוב אחר מצב העבודה בקונסולת SageMaker.

דמיין את ביצועי המודל

כעת אתה יכול לדמיין את הביצועים של המודל הטוב ביותר במערך הבדיקה, המורכב מאזורים מהודו, מיאנמר, קובה וויאטנם, כמטריצת בלבול. למודל יש ערך ריקול גבוה עבור פיקסלים המייצגים מנגרובים, אך רק כ-75% דיוק. הדיוק של פיקסלים שאינם מנגרובים או אחרים עומד על 99% עם ריקול של 85%. אתה יכול לכוון את חתך ההסתברות של תחזיות המודל כדי להתאים את הערכים המתאימים בהתאם למקרה השימוש הספציפי.

ראוי לציין שהתוצאות מהוות שיפור משמעותי ביחס לדגם ה-smileCart המובנה.

דמיין תחזיות מודל

לבסוף, כדאי לצפות בביצועי המודל באזורים ספציפיים במפה. בתמונה הבאה, אזור המנגרובים בגבול הודו-בנגלדש מתואר באדום. נקודות שנדגמו מתיקון התמונה של Landsat השייכות למערך הנתונים של הבדיקה מונחות על האזור, כאשר כל נקודה היא פיקסל שהמודל קובע כמייצג מנגרובים. הנקודות הכחולות מסווגות בצורה נכונה לפי הדגם, בעוד שהנקודות השחורות מייצגות טעויות של הדגם.

התמונה הבאה מציגה רק את הנקודות שהדגם חזה שאינן מייצגות מנגרובים, עם אותה ערכת צבעים כמו הדוגמה הקודמת. קו המתאר האפור הוא החלק של חלקת ה-Landsat שאינו כולל מנגרובים. כפי שעולה מהתמונה, המודל לא עושה שום טעות בסיווג נקודות על מים, אלא עומד בפני אתגר כאשר מבחין בין פיקסלים המייצגים מנגרובים לאלו המייצגים עלווה רגילה.

התמונה הבאה מציגה את ביצועי הדגם באזור המנגרובים של מיאנמר.

בתמונה הבאה, המודל עושה עבודה טובה יותר בזיהוי פיקסלים מנגרובים.

לנקות את

נקודת הסיום של SageMaker ממשיכה לגבות עלות אם היא נשארת פועלת. מחק את נקודת הקצה באופן הבא כשתסיים:

sagemaker.delete_endpoint(EndpointName=pipeline_model.name)

סיכום

סדרת פוסטים זו סיפקה מסגרת מקצה לקצה עבור מדעני נתונים לפתרון בעיות GIS. חלק 1 הראה את תהליך ה-ETL ודרך נוחה לאינטראקציה ויזואלית עם הנתונים. חלק 2 הראה כיצד להשתמש בטייס אוטומטי כדי להפוך בניית סיווג מנגרובים מותאם אישית.

אתה יכול להשתמש במסגרת זו כדי לחקור מערכי נתונים חדשים של לוויינים המכילים קבוצה עשירה יותר של להקות שימושיות לסיווג מנגרובים ולחקור הנדסת תכונות על ידי שילוב ידע בתחום.

על הכותבים

אנדריי איבנוביץ' הוא סטודנט נכנס לתואר שני במדעי המחשב באוניברסיטת טורונטו ובוגר טרי של התוכנית למדעי ההנדסה באוניברסיטת טורונטו, בהתמחות במודיעין מכונה עם קטין רובוטיקה/מכטרוניקה. הוא מתעניין בראייה ממוחשבת, למידה עמוקה ורובוטיקה. הוא עשה את העבודה שהוצגה בפוסט הזה במהלך התמחות הקיץ שלו באמזון.

דיוויד דונג הוא מדען נתונים בשירותי האינטרנט של אמזון.

ארקג'יוטי מיסרה הוא מדען נתונים ב- Amazon LastMile Transportation. הוא נלהב ליישם טכניקות של ראיית מחשב כדי לפתור בעיות שעוזרות לכדור הארץ. הוא אוהב לעבוד עם ארגונים ללא מטרות רווח והוא חבר מייסד של ekipi.org.

• Coinsmart. בורסת הביטקוין והקריפטו הטובה באירופה.
• Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה חופשית.
• CryptoHawk. רדאר אלטקוין. ניסיון חינם.
• מקור: https://aws.amazon.com/blogs/machine-learning/part-2-identify-mangrove-forests-using-satellite-image-features-using-amazon-sagemaker-studio-and-amazon-sagemaker- טייס אוטומטי/