Tunnista mangrovemetsät satelliittikuvaominaisuuksien avulla Amazon SageMaker Studion ja Amazon SageMaker Autopilotin avulla – Osa 2

Mangrovemetsät ovat tärkeä osa tervettä ekosysteemiä, ja ihmisen toiminta on yksi tärkeimmistä syistä niiden asteittaiseen häviämiseen rannikoilta ympäri maailmaa. Koneoppimismallin (ML) käyttäminen mangrovealueiden tunnistamiseen satelliittikuvasta antaa tutkijoille tehokkaan tavan seurata metsien kokoa ajan mittaan. Sisään Osa 1 Tässä sarjassa näytimme, kuinka satelliittidataa kerätään automaattisesti ja analysoidaan Amazon SageMaker Studio interaktiivisella visualisoinnilla. Tässä viestissä näytämme, kuinka sitä käytetään Amazon SageMaker -autopilotti automatisoida mukautetun mangrove-luokittimen rakentamisprosessi.

Kouluta malli Autopilotilla

Autopilotti tarjoaa tasapainoisen tavan rakentaa useita malleja ja valita niistä paras. Luodessaan useita yhdistelmiä erilaisista tietojen esikäsittelytekniikoista ja ML-malleista vähällä vaivalla, Autopilot tarjoaa haluttaessa täydellisen hallinnan näiden komponenttien vaiheisiin tietotutkijalle.

Voit käyttää Autopilotia jollakin AWS SDK:lla (lisätietoja löytyy API-viiteopas Autopilotille) tai Studion kautta. Käytämme Autopilottia Studio-ratkaisussamme tässä osiossa kuvattujen vaiheiden mukaisesti:

1. Valitse Studio Launcher -sivulla plusmerkki Uusi Autopilot-kokeilu.
   
2. varten Yhdistä tietosivalitse Etsi S3-kauha, ja anna sen ryhmän nimi, jossa säilytit harjoitus- ja testitietojoukot.
3. varten Tietojoukon tiedostonimi, kirjoita luomasi harjoitustietotiedoston nimi Valmistele harjoitustiedot osassa Osa 1.
4. varten Lähtötietojen sijainti (S3-ämpäri), anna sama ryhmän nimi, jota käytit vaiheessa 2.
5. varten Tietojoukon hakemiston nimi, kirjoita kansion nimi sängyn alle, johon haluat Autopilotin tallentavan esineitä.
6. varten Onko S3-syöttösi manifestitiedosto?, valitse pois.
7. varten Kohde, valitse etiketti.
8. varten Automaattinen käyttöönotto, valitse pois.
   
9. Alla LisäasetuksetVarten Koneoppimisen ongelmatyyppi, valitse Binääriluokitus.
10. varten Tavoitemittari, valitse AUC.
11. varten Valitse, miten kokeilu suoritetaan, valitse Ei, suorita pilotti ja luo muistikirja ehdokkaiden määritelmillä.
12. Valita Luo kokeilu.
    
    Lisätietoja kokeilun luomisesta on kohdassa Luo Amazon SageMaker Autopilot -kokeilu.Tämän vaiheen suorittaminen voi kestää noin 15 minuuttia.
13. Kun olet valmis, valitse Avoin ehdokas sukupolven muistikirja, joka avaa uuden muistikirjan vain luku -tilassa.
    
14. Valita Tuo muistikirja tehdäksesi muistikirjasta muokattavan.
    
15. Valitse Kuva-kohdassa data Science.
16. varten Ydin, valitse Python 3.
17. Valita valita.
    

Tässä automaattisesti luodussa muistikirjassa on yksityiskohtaiset selitykset ja se tarjoaa täydellisen hallinnan todelliseen mallinrakennustehtävään. Muokattu versio muistikirja, jossa luokittelija on koulutettu Landsat-satelliittikaistoilla vuodesta 2013 alkaen, on saatavilla koodivarastosta kohdasta notebooks/mangrove-2013.ipynb.

Mallinrakennuskehys koostuu kahdesta osasta: ominaisuusmuunnos osana tietojenkäsittelyvaihetta ja hyperparametrien optimointi (HPO) osana mallinvalintavaihetta. Kaikki näihin tehtäviin tarvittavat artefaktit luotiin Autopilot-kokeen aikana ja tallennettiin Amazonin yksinkertainen tallennuspalvelu (Amazon S3). Ensimmäinen kannettavan tietokoneen solu lataa nämä artefaktit Amazon S3:sta paikalliseen Amazon Sage Maker tiedostojärjestelmä tarkastusta ja tarvittavia muutoksia varten. On kaksi kansiota: generated_module ja sagemaker_automl, johon on tallennettu kaikki muistikirjan suorittamiseen tarvittavat Python-moduulit ja komentosarjat. Erilaiset ominaisuuksien muunnosvaiheet, kuten imputointi, skaalaus ja PCA, tallennetaan nimellä generated_modules/candidate_data_processors/dpp*.py.

Autopilot luo kolme eri mallia, jotka perustuvat XGBoost-, lineaarinen oppija- ja multi-layer perceptron (MLP) -algoritmeihin. Ehdokasliukuhihna koostuu yhdestä ominaisuuden muunnosvaihtoehdoista, jotka tunnetaan nimellä data_transformer, ja algoritmi. Liukuhihna on Python-sanakirja ja se voidaan määritellä seuraavasti:

candidate1 = { "data_transformer": { "name": "dpp5", "training_resource_config": { "instance_type": "ml.m5.4xlarge", "instance_count": 1, "volume_size_in_gb": 50 }, "transform_resource_config": { "instance_type": "ml.m5.4xlarge", "instance_count": 1, }, "transforms_label": True, "transformed_data_format": "application/x-recordio-protobuf", "sparse_encoding": True }, "algorithm": { "name": "xgboost", "training_resource_config": { "instance_type": "ml.m5.4xlarge", "instance_count": 1, }, }
}

Tässä esimerkissä liukuhihna muuntaa harjoitustiedot skriptin mukaan generated_modules/candidate_data_processors/dpp5.py ja rakentaa XGBoost-mallin. Täällä Autopilot tarjoaa täydellisen hallinnan datatieteilijälle, joka voi valita automaattisesti luodut ominaisuuden muunnos- ja mallinvalintavaiheet tai rakentaa oman yhdistelmänsä.

Voit nyt lisätä putkilinjan pooliin, jossa Autopilot suorittaa kokeen seuraavasti:

from sagemaker_automl import AutoMLInteractiveRunner, AutoMLLocalCandidate automl_interactive_runner = AutoMLInteractiveRunner(AUTOML_LOCAL_RUN_CONFIG)
automl_interactive_runner.select_candidate(candidate1)

Tämä on tärkeä vaihe, jossa voit päättää säilyttää vain Autopilotin ehdottamien ehdokkaiden osajoukon aiheen asiantuntemuksen perusteella kokonaisajoajan lyhentämiseksi. Säilytä toistaiseksi kaikki Autopilotin ehdotukset, jotka voit listata seuraavasti:

automl_interactive_runner.display_candidates()

Täysi Autopilot-koe tehdään kahdessa osassa. Ensin sinun on suoritettava tietojen muunnostyöt:

automl_interactive_runner.fit_data_transformers(parallel_jobs=7)

Tämän vaiheen pitäisi valmistua noin 30 minuutissa kaikkien ehdokkaiden osalta, jos et tee siihen muita muutoksia dpp*.py tiedostoja.

Seuraava askel on rakentaa paras mallijoukko virittämällä vastaavien algoritmien hyperparametrit. Hyperparametrit on yleensä jaettu kahteen osaan: staattiseen ja viritettävään. Staattiset hyperparametrit pysyvät muuttumattomina koko kokeen ajan kaikille ehdokkaille, jotka jakavat saman algoritmin. Nämä hyperparametrit välitetään kokeeseen sanakirjana. Jos päätät valita parhaan XGBoost-mallin maksimoimalla AUC kolmesta viisinkertaisen ristiinvalidointimenettelyn kierroksesta, sanakirja näyttää seuraavalta koodilta:

{ 'objective': 'binary:logistic', 'eval_metric': 'auc', '_kfold': 5, '_num_cv_round': 3,
} 

Viritettävien hyperparametrien kohdalla sinun on läpäistävä toinen sanakirja, jossa on alueet ja skaalaustyyppi:

{ 'num_round': IntegerParameter(64, 1024, scaling_type='Logarithmic'), 'max_depth': IntegerParameter(2, 8, scaling_type='Logarithmic'), 'eta': ContinuousParameter(1e-3, 1.0, scaling_type='Logarithmic'),
... }

Täydellinen hyperparametrisarja on saatavilla osoitteessa mangrove-2013.ipynb muistikirja.

Jos haluat luoda kokeilun, jossa kaikkia seitsemää ehdokasta voidaan testata rinnakkain, luo monialgoritmi HPO-viritin:

multi_algo_tuning_parameters = automl_interactive_runner.prepare_multi_algo_parameters( objective_metrics=ALGORITHM_OBJECTIVE_METRICS, static_hyperparameters=STATIC_HYPERPARAMETERS, hyperparameters_search_ranges=ALGORITHM_TUNABLE_HYPERPARAMETER_RANGES)

Tavoitemittarit määritellään erikseen kullekin algoritmille:

ALGORITHM_OBJECTIVE_METRICS = { 'xgboost': 'validation:auc', 'linear-learner': 'validation:roc_auc_score', 'mlp': 'validation:roc_auc',
}

Kaikkien mahdollisten hyperparametrien arvojen kokeileminen kaikissa kokeissa on turhaa; voit omaksua Bayesin strategian luodaksesi HPO-virittimen:

multi_algo_tuning_inputs = automl_interactive_runner.prepare_multi_algo_inputs()
ase_tuning_job_name = "{}-tuning".format(AUTOML_LOCAL_RUN_CONFIG.local_automl_job_name) tuner = HyperparameterTuner.create( base_tuning_job_name=base_tuning_job_name, strategy='Bayesian', objective_type='Maximize', max_parallel_jobs=10, max_jobs=50, **multi_algo_tuning_parameters,
)

Oletusasetuksena Autopilot valitsee virittimestä 250 työtä parhaan mallin valitsemiseksi. Tässä käyttötapauksessa riittää, että määritetään max_jobs=50 säästää aikaa ja resursseja ilman merkittäviä seuraamuksia parhaan hyperparametrijoukon valitsemisessa. Lähetä lopuksi HPO-työ seuraavasti:

tuner.fit(inputs=multi_algo_tuning_inputs, include_cls_metadata=None)

Prosessi kestää noin 80 minuuttia ml.m5.4xsuurissa tapauksissa. Voit seurata edistymistä SageMaker-konsolissa valitsemalla Hyperparametrien viritystyöt varten koulutus navigointipaneelissa.

Voit visualisoida monia hyödyllisiä tietoja, mukaan lukien kunkin ehdokkaan suoritus, valitsemalla meneillään olevan työn nimen.

Vertaa lopuksi parhaiden ehdokkaiden mallien suorituskykyä seuraavasti:

from sagemaker.analytics import HyperparameterTuningJobAnalytics SAGEMAKER_SESSION = AUTOML_LOCAL_RUN_CONFIG.sagemaker_session
SAGEMAKER_ROLE = AUTOML_LOCAL_RUN_CONFIG.role tuner_analytics = HyperparameterTuningJobAnalytics( tuner.latest_tuning_job.name, sagemaker_session=SAGEMAKER_SESSION) df_tuning_job_analytics = tuner_analytics.dataframe() df_tuning_job_analytics.sort_values( by=['FinalObjectiveValue'], inplace=True, ascending=False if tuner.objective_type == "Maximize" else True) # select the columns to display and rename
select_columns = ["TrainingJobDefinitionName", "FinalObjectiveValue", "TrainingElapsedTimeSeconds"]
rename_columns = { "TrainingJobDefinitionName": "candidate", "FinalObjectiveValue": "AUC", "TrainingElapsedTimeSeconds": "run_time" } # Show top 5 model performances
df_tuning_job_analytics.rename(columns=rename_columns)[rename_columns.values()].set_index("candidate").head(5)

Huippusuorituskykyinen MLP-pohjainen malli, vaikka se on hieman parempi kuin XGBoost-mallit, joissa on erilaisia ​​tietojenkäsittelyvaiheita, kestää myös paljon kauemmin harjoitella. Löydät tärkeitä tietoja MLP-mallikoulutuksesta, mukaan lukien käytettyjen hyperparametrien yhdistelmä, seuraavasti:

df_tuning_job_analytics.loc[df_tuning_job_analytics.TrainingJobName==best_training_job].T.dropna() 

Luo päätelmäputki

Jotta voit tehdä päätelmiä uusista tiedoista, sinun on rakennettava SageMakeriin päätelmäputki, joka isännöi paras malli, jota voidaan kutsua myöhemmin päätelmien luomiseksi. SageMaker-liukuhihnamalli vaatii komponentteinaan kolme säilöä: datamuunnos, algoritmi ja käänteinen etikettimuunnos (jos numeeriset ennusteet on kartoitettava ei-numeerisiksi tarroiksi). Lyhytyyden vuoksi seuraavassa koodinpätkässä näytetään vain osa vaaditusta koodista; täydellinen koodi on saatavilla osoitteessa mangrove-2013.ipynb muistikirja:

from sagemaker.estimator import Estimator
from sagemaker import PipelineModel
from sagemaker_automl import select_inference_output …
# Final pipeline model model_containers = [best_data_transformer_model, best_algo_model]
if best_candidate.transforms_label: model_containers.append(best_candidate.get_data_transformer_model( transform_mode="inverse-label-transform", role=SAGEMAKER_ROLE, sagemaker_session=SAGEMAKER_SESSION)) # select the output type
model_containers = select_inference_output("BinaryClassification", model_containers, output_keys=['predicted_label'])

Kun mallisäiliöt on rakennettu, voit rakentaa ja ottaa käyttöön putkilinjan seuraavasti:

from sagemaker import PipelineModel pipeline_model = PipelineModel( name=f"mangrove-automl-2013", role=SAGEMAKER_ROLE, models=model_containers, vpc_config=AUTOML_LOCAL_RUN_CONFIG.vpc_config) pipeline_model.deploy(initial_instance_count=1, instance_type='ml.m5.2xlarge', endpoint_name=pipeline_model.name, wait=True)

Päätepisteen käyttöönotto kestää noin 10 minuuttia.

Tee päätelmiä testitietojoukosta päätepisteen avulla

Kun päätepiste on otettu käyttöön, voit kutsua sitä käyttämällä hyötykuormaa ominaisuuksia B1–B7 luokitellaksesi jokaisen kuvan pikselin joko mangroveksi (1) tai muuksi (0):

import boto3
sm_runtime = boto3.client('runtime.sagemaker') pred_labels = []
with open(local_download, 'r') as f: for i, row in enumerate(f): payload = row.rstrip('n') x = sm_runtime.invoke_endpoint(EndpointName=inf_endpt, ContentType="text/csv", Body=payload) pred_labels.append(int(x['Body'].read().decode().strip()))

Täydelliset tiedot malliennusteiden jälkikäsittelystä arviointia ja piirtämistä varten ovat saatavilla osoitteessa notebooks/model_performance.ipynb.

Hanki johtopäätös testitietojoukosta erämuunnoksen avulla

Nyt kun olet luonut parhaiten suoriutuneen mallin Autopilotilla, voimme käyttää mallia johtopäätösten tekemiseen. Päätelmien saamiseksi suurista tietojoukoista on tehokkaampaa käyttää erämuunnosa. Luodaan ennusteita koko tietojoukolle (koulutus ja testi) ja liitetään tulokset ominaisuuksiin, jotta voimme suorittaa lisäanalyysejä esimerkiksi tarkistamaan ennustetut vs. tosiasiat ja ominaisuuksien jakautuminen ennustettujen luokkien kesken.

Ensin luomme Amazon S3:ssa manifestitiedoston, joka osoittaa edellisten tietojenkäsittelyvaiheiden koulutus- ja testitietojen sijainteja:

import boto3
data_bucket = <Name of the S3 bucket that has the training data>
prefix = "LANDSAT_LC08_C01_T1_SR/Year2013"
manifest = "[{{"prefix": "s3://{}/{}/"}},n"train.csv",n"test.csv"n]".format(data_bucket, prefix)
s3_client = boto3.client('s3')
s3_client.put_object(Body=manifest, Bucket=data_bucket, Key=f"{prefix}/data.manifest")

Nyt voimme luoda erämuunnostyön. Koska syöttöjunassamme ja testitietojoukossamme on label viimeisenä sarakkeena meidän on pudotettava se päättelyn aikana. Sitä varten ohitamme InputFilter vuonna DataProcessing Perustelu. Koodi "$[:-2]" osoittaa viimeisen sarakkeen pudottamista. Ennustettu tulos yhdistetään sitten lähdetietoihin lisäanalyysiä varten.

Seuraavassa koodissa rakennamme erämuunnostyön argumentit ja siirrymme sitten tiedostoon create_transform_job toiminto:

from time import gmtime, strftime batch_job_name = "Batch-Transform-" + strftime("%Y-%m-%d-%H-%M-%S", gmtime())
output_location = "s3://{}/{}/batch_output/{}".format(data_bucket, prefix, batch_job_name)
input_location = "s3://{}/{}/data.manifest".format(data_bucket, prefix) request = { "TransformJobName": batch_job_name, "ModelName": pipeline_model.name, "TransformOutput": { "S3OutputPath": output_location, "Accept": "text/csv", "AssembleWith": "Line", }, "TransformInput": { "DataSource": {"S3DataSource": {"S3DataType": "ManifestFile", "S3Uri": input_location}}, "ContentType": "text/csv", "SplitType": "Line", "CompressionType": "None", }, "TransformResources": {"InstanceType": "ml.m4.xlarge", "InstanceCount": 1}, "DataProcessing": {"InputFilter": "$[:-2]", "JoinSource": "Input"}
} sagemaker = boto3.client("sagemaker")
sagemaker.create_transform_job(**request)
print("Created Transform job with name: ", batch_job_name)

Voit seurata työn tilaa SageMaker-konsolista.

Visualisoi mallin suorituskykyä

Voit nyt visualisoida Intian, Myanmarin, Kuuban ja Vietnamin alueista koostuvan testitietojoukon parhaan mallin suorituskyvyn hämmennysmatriisina. Mallilla on korkea palautusarvo mangrovepuuta edustaville pikseleille, mutta vain noin 75 %:n tarkkuus. Muiden kuin mangrove- tai muiden pikselien tarkkuus on 99 % ja palautus 85 %. Voit säätää malliennusteiden todennäköisyysrajaa säätääksesi vastaavia arvoja tietyn käyttötapauksen mukaan.

On syytä huomata, että tulokset ovat merkittävä parannus sisäänrakennettuun smileCart-malliin verrattuna.

Visualisoi mallien ennusteet

Lopuksi on hyödyllistä tarkkailla mallin suorituskykyä tietyillä kartan alueilla. Seuraavassa kuvassa mangrovealue Intian ja Bangladeshin rajalla on kuvattu punaisella. Testiaineistoon kuuluvasta Landsat-kuvakorjauksesta näytteitetyt pisteet asetetaan alueelle, jossa jokainen piste on pikseli, jonka malli määrittelee edustavan mangroveja. Siniset pisteet luokitellaan mallin mukaan oikein, kun taas mustat pisteet edustavat mallin virheitä.

Seuraava kuva näyttää vain ne kohdat, joiden malli ei ennusti edustavan mangrovepuuta, samalla värimaailmalla kuin edellisessä esimerkissä. Harmaa ääriviiva on Landsat-laastarin osa, joka ei sisällä mangrovemetsiä. Kuten kuvasta käy ilmi, malli ei tee virhettä luokitteleessaan pisteitä veden pinnalla, mutta kohtaa haasteen erottaakseen mangrovepuuta edustavat pikselit säännöllistä lehvistöä edustavista pikseleistä.

Seuraava kuva näyttää mallin suorituskyvyn Myanmarin mangrovealueella.

Seuraavassa kuvassa malli tekee parempaa työtä mangrove-pikseleiden tunnistamisessa.

Puhdistaa

SageMaker-päätelmäpäätepisteestä aiheutuu edelleen kustannuksia, jos se jätetään käynnissä. Kun olet valmis, poista päätepiste seuraavasti:

sagemaker.delete_endpoint(EndpointName=pipeline_model.name)

Yhteenveto

Tämä viestisarja tarjosi datatieteilijöille kattavan kehyksen GIS-ongelmien ratkaisemiseen. Osa 1 osoitti ETL-prosessin ja kätevän tavan olla visuaalisesti vuorovaikutuksessa tietojen kanssa. Osa 2 osoitti, kuinka Autopilotilla voidaan automatisoida mukautetun mangrove-luokittimen rakentaminen.

Voit käyttää tätä viitekehystä tutkiaksesi uusia satelliittitietojoukkoja, jotka sisältävät runsaamman joukon mangrove-luokittelussa hyödyllisiä kaistoja, ja tutkia ominaisuussuunnittelua sisällyttämällä siihen verkkotunnuksia.

Tietoja Tekijät

Andrei Ivanović on saapuva tietojenkäsittelytieteen maisterin opiskelija Toronton yliopistossa ja vastavalmistunut Toronton yliopiston Engineering Science -ohjelmasta pääaineenaan koneäly ja sivuaineena Robotics/Mekatroniikka. Hän on kiinnostunut tietokonenäöstä, syväoppimisesta ja robotiikasta. Hän teki tässä postauksessa esitetyt työt kesäharjoittelunsa aikana Amazonissa.

David Dong on datatutkija Amazon Web Services -palvelussa.

Arkajyoti Misra on datatutkija Amazon LastMile Transportationissa. Hän on intohimoinen soveltamaan Computer Vision -tekniikoita ongelmien ratkaisemiseen, jotka auttavat maapalloa. Hän työskentelee mielellään voittoa tavoittelemattomien järjestöjen kanssa ja on niiden perustajajäsen ekipi.org.

• Coinsmart. Euroopan paras Bitcoin- ja kryptopörssi.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. VAPAA PÄÄSY.
• CryptoHawk. Altcoinin tutka. Ilmainen kokeilu.
• Lähde: https://aws.amazon.com/blogs/machine-learning/part-2-identify-mangrove-forests-using-satellite-image-features-using-amazon-sagemaker-studio-and-amazon-sagemaker- autopilotti/