Amazon SageMaker Automatic Model Tuning tukee nyt ruudukkohakua

Tänään Amazon Sage Maker ilmoitti tukevansa Grid-hakua automaattinen mallin viritys, joka tarjoaa käyttäjille lisästrategian parhaan hyperparametrikokoonpanon löytämiseksi mallillesi.

Amazon SageMaker automaattinen mallin viritys löytää mallin parhaan version suorittamalla monia koulutustöitä tietojoukossasi käyttämällä alue määrittämäsi hyperparametrit. Sitten se valitsee hyperparametriarvot, jotka johtavat malliin, joka toimii parhaiten, mitattuna a:lla metrinen Valitsemasi.

Parhaiden hyperparametriarvojen löytämiseksi mallillesi Amazon SageMakerin automaattinen mallin viritys tukee useita strategioita, mukaan lukien Bayes (Oletus), satunnainen haku ja Hyperband.

Verkkohaku

Grid-haku tutkii perusteellisesti määrittämäsi hyperparametrien ruudukon kokoonpanot, minkä avulla voit saada käsityksen ruudukon lupaavimmista hyperparametrikokoonpanoista ja toistaa tulokset deterministisesti eri viritysajoilla. Ruudukkohaku antaa sinulle enemmän varmuutta siitä, että koko hyperparametrihakutila on tutkittu. Tämä etu liittyy kompromissiin, koska se on laskennallisesti kalliimpaa kuin Bayesin haku ja satunnainen haku, jos päätavoitteesi on löytää paras hyperparametrikokoonpano.

Ruudukkohaku Amazon SageMakerilla

Amazon SageMakerissa käytät Grid-hakua, kun ongelmasi edellyttää optimaalista hyperparametriyhdistelmää, joka maksimoi tai minimoi tavoitemittarisi. Yleisin käyttötapaus, jossa asiakkaat käyttävät Grid Searchia, on, kun mallin tarkkuus ja toistettavuus ovat yrityksellesi tärkeämpiä kuin sen hankkimiseen vaadittavat koulutuskustannukset.

Ota Grid Search käyttöön Amazon SageMakerissa asettamalla Strategy kenttään Grid kun luot viritystyön seuraavasti:

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

Lisäksi ruudukkohaku edellyttää, että määrität hakuavaruutesi (Carteesinen ruudukko) diskreettien arvojen kategoriseksi alueeksi työn määrittelyssä käyttämällä CategoricalParameterRanges avain alla ParameterRanges parametri seuraavasti:

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

Huomaa, että emme määritä MaxNumberOfTrainingJobs Ruudukkohaulle työnmäärittelyssä, koska tämä määräytyy sinulle luokkayhdistelmien lukumäärästä. Kun käytät satunnaista ja bayesilaista hakua, määrität MaxNumberOfTrainingJobs parametri keinona hallita viritystyön kustannuksia määrittämällä laskennan yläraja. Grid-haulla arvo MaxNumberOfTrainingJobs (nyt valinnainen) asetetaan automaattisesti ehdokkaiden lukumääräksi ruudukkohakuun Kuvaile HyperParameterTuningJob muoto. Tämän avulla voit tutkia haluamasi hyperparametrien ruudukkoa tyhjentävästi. Lisäksi ruudukon hakutyön määritelmä hyväksyy vain erilliset kategoriset alueet, eikä se vaadi jatkuvaa tai kokonaislukualuetta, koska jokainen ruudukon arvo katsotaan erilliseksi.

Grid Search -kokeilu

Tässä kokeessa etsimme regressiotehtävän perusteella optimaaliset hyperparametrit 200 hyperparametrin hakuavaruudesta, 20 eta ja 10 alpha vaihtelevat välillä 0.1 - 1. Käytämme suoramarkkinoinnin tietojoukko virittää regressiomallin.

• eta: Päivityksissä käytetty porraskokoinen kutistuminen liiallisen sovituksen estämiseksi. Jokaisen tehostusvaiheen jälkeen saat suoraan uusien ominaisuuksien painoarvot. The eta parametri itse asiassa pienentää ominaisuuden painoja tehdäkseen tehostusprosessista konservatiivisemman.
• alfa: L1-regulointitermi painoille. Tämän arvon lisääminen tekee malleista konservatiivisempia.

Vasemmalla oleva kaavio näyttää analyysin eta hyperparametri suhteessa tavoitemetriikkaan ja osoittaa, kuinka ruudukkohaku on käyttänyt koko hakuavaruuden (ruudukon) X-akselilla ennen parhaan mallin palauttamista. Vastaavasti oikealla oleva kaavio analysoi kahta hyperparametria yhdessä suorakulmaisessa avaruudessa osoittaakseen, että kaikki ruudukon pisteet poimittiin virityksen aikana.

Yllä oleva kokeilu osoittaa, että Grid-haun tyhjentävä luonne takaa optimaalisen hyperparametrin valinnan määritetyllä hakualueella. Se osoittaa myös, että voit toistaa hakutuloksen viritysiteraatioiden kautta, kun kaikki muut asiat ovat samat.

Amazon SageMaker Automatic Model Tuning -työnkulut (AMT)

Amazon SageMakerin automaattisen mallin virityksen avulla voit löytää parhaan version mallistasi suorittamalla koulutustöitä tietojoukossasi useilla hakustrategioilla, kuten Bayesian, Random Search, Grid search ja Hyperband. Automaattisen mallin virityksen avulla voit lyhentää mallin virittämiseen kuluvaa aikaa etsimällä automaattisesti parhaan hyperparametrikokoonpanon määrittämiltäsi hyperparametrialueilta.

Nyt kun olemme tarkastelleet Grid-haun käytön edut Amazon SageMaker AMT:ssä, katsotaanpa AMT:n työnkulkuja ja ymmärrämme, kuinka se kaikki sopii yhteen SageMakerissa.

Yhteenveto

Tässä viestissä keskustelimme siitä, kuinka voit nyt käyttää Grid-hakustrategiaa löytääksesi parhaan mallin ja sen kyvyn toistaa tulokset deterministisesti eri viritystöiden aikana. Keskustelimme kompromissista käytettäessä ruudukkohakua muihin strategioihin verrattuna ja kuinka sen avulla voit tutkia, mitkä hyperparametriavaruuksien alueet ovat lupaavimpia ja toistaa tulokset deterministisesti.

Lisätietoja automaattisesta mallin virittämisestä on osoitteessa Tuotesivu ja tekninen dokumentaatio.

Kirjailijasta

Doug Mbaya on Senior Partner Solution -arkkitehti, joka keskittyy dataan ja analytiikkaan. Doug tekee tiivistä yhteistyötä AWS-kumppaneiden kanssa ja auttaa heitä integroimaan data- ja analytiikkaratkaisuja pilveen.