Amazon SageMaker Automatic Model Tuning prend désormais en charge la recherche par grille

Aujourd'hui Amazon Sage Maker a annoncé le support de Grid Search pour réglage automatique du modèle, offrant aux utilisateurs une stratégie supplémentaire pour trouver la meilleure configuration d'hyperparamètres pour votre modèle.

Le réglage automatique du modèle Amazon SageMaker trouve la meilleure version d'un modèle en exécutant de nombreuses tâches de formation sur votre ensemble de données à l'aide d'un gamme des hyperparamètres que vous spécifiez. Ensuite, il choisit les valeurs d'hyperparamètres qui aboutissent à un modèle qui fonctionne le mieux, tel que mesuré par un métrique de votre choix.

Pour trouver les meilleures valeurs d'hyperparamètres pour votre modèle, le réglage automatique du modèle Amazon SageMaker prend en charge plusieurs stratégies, notamment Bayésien (Par défaut), aléatoire recherche, et Hyperbande.

Grille de recherche

La recherche de grille explore de manière exhaustive les configurations de la grille d'hyperparamètres que vous définissez, ce qui vous permet d'obtenir des informations sur les configurations d'hyperparamètres les plus prometteuses de votre grille et de reproduire de manière déterministe vos résultats à travers différentes exécutions de réglage. La recherche par grille vous donne plus de certitude que l'intégralité de l'espace de recherche d'hyperparamètres a été explorée. Cet avantage s'accompagne d'un compromis car il est plus coûteux en termes de calcul que la recherche bayésienne et aléatoire si votre objectif principal est de trouver la meilleure configuration d'hyperparamètres.

Recherche par grille avec Amazon SageMaker

Dans Amazon SageMaker, vous utilisez la recherche par grille lorsque votre problème nécessite que vous disposiez de la combinaison d'hyperparamètres optimale qui maximise ou minimise votre métrique objective. Un cas d'utilisation courant dans lequel les clients utilisent Grid Search se produit lorsque la précision et la reproductibilité du modèle sont plus importantes pour votre entreprise que le coût de formation requis pour l'obtenir.

Pour activer la recherche par grille dans Amazon SageMaker, définissez le Strategy champ à Grid lorsque vous créez une tâche de réglage, comme suit :

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

De plus, la recherche par grille vous oblige à définir votre espace de recherche (grille cartésienne) comme une plage catégorielle de valeurs discrètes dans votre définition de travail à l'aide de l'option CategoricalParameterRanges clé sous le ParameterRanges paramètre, comme suit :

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

Notez que nous ne précisons pas MaxNumberOfTrainingJobs pour la recherche de grille dans la définition du travail, car celle-ci est déterminée pour vous à partir du nombre de combinaisons de catégories. Lorsque vous utilisez la recherche aléatoire et bayésienne, vous spécifiez le MaxNumberOfTrainingJobs paramètre comme moyen de contrôler le coût des tâches de réglage en définissant une limite supérieure pour le calcul. Avec la recherche par grille, la valeur de MaxNumberOfTrainingJobs (désormais facultatif) est automatiquement défini comme le nombre de candidats pour la recherche par grille dans le DescribeHyperParameterTuningJob forme. Cela vous permet d’explorer de manière exhaustive la grille d’hyperparamètres souhaitée. De plus, la définition de tâche de recherche de grille n'accepte que des plages catégorielles discrètes et ne nécessite pas de définition de plages continues ou entières, car chaque valeur de la grille est considérée comme discrète.

Expérience de recherche de grille

Dans cette expérience, étant donné une tâche de régression, nous recherchons les hyperparamètres optimaux dans un espace de recherche de 200 hyperparamètres, 20 eta 10 alpha allant de 0.1 à 1. Nous utilisons le ensemble de données de marketing direct pour régler un modèle de régression.

• eta: Réduction de la taille de pas utilisée dans les mises à jour pour éviter un ajustement excessif. Après chaque étape de boosting, vous pouvez directement obtenir le poids des nouvelles fonctionnalités. Le eta Le paramètre réduit en fait les poids des caractéristiques pour rendre le processus de boosting plus conservateur.
• Alpha: Terme de régularisation L1 sur les poids. L'augmentation de cette valeur rend les modèles plus conservateurs.

Le graphique de gauche montre une analyse de eta hyperparamètre par rapport à la métrique objective et démontre comment la recherche de grille a épuisé tout l'espace de recherche (grille) dans les axes X avant de renvoyer le meilleur modèle. De même, le graphique de droite analyse les deux hyperparamètres dans un seul espace cartésien pour démontrer que tous les points de la grille ont été sélectionnés lors du réglage.

L'expérience ci-dessus démontre que le caractère exhaustif de la recherche Grid garantit une sélection d'hyperparamètres optimale compte tenu de l'espace de recherche défini. Cela démontre également que vous pouvez reproduire votre résultat de recherche à travers les itérations de réglage, toutes choses étant égales par ailleurs.

Flux de travail de réglage automatique de modèle Amazon SageMaker (AMT)

Avec le réglage automatique du modèle Amazon SageMaker, vous pouvez trouver la meilleure version de votre modèle en exécutant des tâches de formation sur votre ensemble de données avec plusieurs stratégies de recherche, telles que la recherche bayésienne, aléatoire, la recherche par grille et Hyperband. Le réglage automatique du modèle vous permet de réduire le temps nécessaire au réglage d'un modèle en recherchant automatiquement la meilleure configuration d'hyperparamètres dans les plages d'hyperparamètres que vous spécifiez.

Maintenant que nous avons examiné les avantages de l'utilisation de la recherche Grid dans Amazon SageMaker AMT, examinons les flux de travail d'AMT et comprenons comment tout cela s'articule dans SageMaker.

Conclusion

Dans cet article, nous avons expliqué comment vous pouvez désormais utiliser la stratégie de recherche Grid pour trouver le meilleur modèle et sa capacité à reproduire de manière déterministe les résultats dans différentes tâches de réglage. Nous avons discuté du compromis lors de l'utilisation de la recherche par grille par rapport à d'autres stratégies, et de la manière dont elle vous permet d'explorer les régions des espaces d'hyperparamètres les plus prometteuses et de reproduire vos résultats de manière déterministe.

Pour en savoir plus sur le réglage automatique du modèle, visitez le page produit ainsi que documentation technique.

A propos de l'auteure

Doug Mbaya est un architecte de solution partenaire principal spécialisé dans les données et l'analyse. Doug travaille en étroite collaboration avec les partenaires AWS, les aidant à intégrer des solutions de données et d'analyse dans le cloud.