Amazon SageMaker Automatic Model Tuning ondersteunt nu raster zoeken

Heden Amazon Sage Maker kondigde de ondersteuning aan van Grid search for automatische modelafstemming, waardoor gebruikers een extra strategie krijgen om de beste hyperparameterconfiguratie voor uw model te vinden.

Amazon SageMaker automatische modelafstemming vindt de beste versie van een model door veel trainingstaken op uw dataset uit te voeren met behulp van een reeks van hyperparameters die u opgeeft. Vervolgens kiest het de hyperparameterwaarden die resulteren in een model dat het beste presteert, zoals gemeten door a metriek van jouw keuze.

Om de beste hyperparameterwaarden voor uw model te vinden, ondersteunt Amazon SageMaker automatische modelafstemming meerdere strategieën, waaronder: Bayesian (Standaard) Random zoeken, en Hyperband.

Raster zoeken

Grid search onderzoekt uitvoerig de configuraties in het raster van hyperparameters die u definieert, waardoor u inzicht krijgt in de meest veelbelovende hyperparameterconfiguraties in uw raster en uw resultaten deterministisch reproduceert over verschillende afstemmingsruns. Grid zoeken geeft u meer vertrouwen dat de hele hyperparameter-zoekruimte is verkend. Dit voordeel komt met een compromis omdat het rekenkundig duurder is dan Bayesiaans en willekeurig zoeken als het uw belangrijkste doel is om de beste hyperparameterconfiguratie te vinden.

Raster zoeken met Amazon SageMaker

In Amazon SageMaker gebruikt u Grid-zoeken wanneer uw probleem vereist dat u de optimale hyperparametercombinatie heeft die uw objectieve metriek maximaliseert of minimaliseert. Een veelvoorkomend gebruik waarbij klanten Grid Search gebruiken, is wanneer de nauwkeurigheid en reproduceerbaarheid van het model belangrijker zijn voor uw bedrijf dan de trainingskosten die nodig zijn om het te verkrijgen.

Om Grid Search in Amazon SageMaker in te schakelen, stelt u de Strategy veld naar Grid wanneer u een afstemmingstaak aanmaakt, als volgt:

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

Bovendien vereist Grid zoeken dat u uw zoekruimte (Cartesisch raster) definieert als een categorisch bereik van discrete waarden in uw taakdefinitie met behulp van de CategoricalParameterRanges sleutel onder de ParameterRanges parameter, als volgt:

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

Merk op dat we niet specificeren MaxNumberOfTrainingJobs voor Grid zoeken in de functiedefinitie omdat dit voor u wordt bepaald uit het aantal categoriecombinaties. Wanneer u Willekeurig en Bayesiaans zoeken gebruikt, specificeert u de MaxNumberOfTrainingJobs parameter als een manier om de kosten van het afstemmen van taken te beheersen door een bovengrens voor compute te definiëren. Met Grid zoeken, de waarde van MaxNumberOfTrainingJobs (nu optioneel) wordt automatisch ingesteld als het aantal kandidaten voor de rasterzoekopdracht in de BeschrijvenHyperParameterTuningJob vorm geven aan. Dit stelt u in staat om uw gewenste raster van hyperparameters uitputtend te verkennen. Bovendien accepteert de definitie van rasterzoekopdrachten alleen discrete categorische bereiken en vereist geen continue of integere bereikendefinitie omdat elke waarde in het raster als discreet wordt beschouwd.

Rasterzoekexperiment

In dit experiment zoeken we, gegeven een regressietaak, naar de optimale hyperparameters binnen een zoekruimte van 200 hyperparameters, 20 eta en 10 alpha variërend van 0.1 tot 1. We gebruiken de gegevensset voor direct marketing om een ​​regressiemodel af te stemmen.

• eta: Verkleining van de stapgrootte die wordt gebruikt in updates om overmatige pasvorm te voorkomen. Na elke booststap kun je direct de gewichten van nieuwe functies krijgen. De eta parameter verkleint in feite de functiegewichten om het boostingproces conservatiever te maken.
• alpha: L1 regularisatietermijn op gewichten. Het verhogen van deze waarde maakt modellen conservatiever.

De grafiek aan de linkerkant toont een analyse van de eta hyperparameter in relatie tot de objectieve metriek en laat zien hoe zoeken in een raster de volledige zoekruimte (raster) in de X-assen heeft uitgeput voordat het beste model wordt geretourneerd. Op dezelfde manier analyseert de grafiek aan de rechterkant de twee hyperparameters in een enkele cartesiaanse ruimte om aan te tonen dat alle punten in het raster tijdens het afstemmen zijn gekozen.

Het bovenstaande experiment toont aan dat de uitputtende aard van Grid-zoekacties een optimale hyperparameterselectie garandeert, gegeven de gedefinieerde zoekruimte. Het toont ook aan dat u uw zoekresultaat kunt reproduceren in verschillende afstemmings-iteraties, terwijl alle andere dingen gelijk blijven.

Amazon SageMaker Automatic Model Tuning-workflows (AMT)

Met de automatische modelafstemming van Amazon SageMaker kunt u de beste versie van uw model vinden door trainingstaken op uw dataset uit te voeren met verschillende zoekstrategieën, zoals Bayesiaans, Willekeurig zoeken, Grid zoeken en Hyperband. Met automatische modelafstemming kunt u de tijd voor het afstemmen van een model verkorten door automatisch te zoeken naar de beste hyperparameterconfiguratie binnen de hyperparameterbereiken die u opgeeft.

Nu we het voordeel van het gebruik van Grid-zoeken in Amazon SageMaker AMT hebben bekeken, gaan we eens kijken naar de workflows van AMT en begrijpen hoe alles in SageMaker in elkaar past.

Conclusie

In dit bericht hebben we besproken hoe u nu de Grid-zoekstrategie kunt gebruiken om het beste model te vinden en de mogelijkheid om resultaten deterministisch te reproduceren voor verschillende afstemmingstaken. We hebben de wisselwerking besproken bij het gebruik van rasterzoekacties in vergelijking met andere strategieën, en hoe u hiermee kunt onderzoeken welke regio's van de hyperparameterruimten het meest veelbelovend zijn en hoe u uw resultaten deterministisch kunt reproduceren.

Ga voor meer informatie over het automatisch afstemmen van modellen naar de: product pagina en technische documentatie.

Over de auteur

Doug Mbaya is een Senior Partner Solution architect met een focus op data en analytics. Doug werkt nauw samen met AWS-partners en helpt hen data- en analyseoplossingen in de cloud te integreren.