Amazon Sage Maker a annoncé la prise en charge de trois nouveaux critères de réalisation pour Amazon SageMaker réglage automatique du modèle, vous offrant un ensemble supplémentaire de leviers pour contrôler les critères d'arrêt de la tâche de réglage lors de la recherche de la meilleure configuration d'hyperparamètres pour votre modèle.
Dans cet article, nous discutons de ces nouveaux critères d'achèvement, quand les utiliser et de certains des avantages qu'ils apportent.
Réglage automatique du modèle SageMaker
Réglage automatique du modèle, également appelé réglage hyperparamètre, trouve la meilleure version d'un modèle telle que mesurée par la métrique que nous choisissons. Il lance de nombreuses tâches de formation sur l'ensemble de données fourni, en utilisant l'algorithme choisi et les plages d'hyperparamètres spécifiées. Chaque tâche de formation peut être terminée tôt lorsque la métrique objective ne s'améliore pas de manière significative, ce qui est connu sous le nom d'arrêt précoce.
Jusqu'à présent, il existait des moyens limités de contrôler la tâche de réglage globale, comme la spécification du nombre maximal de tâches de formation. Cependant, la sélection de cette valeur de paramètre est au mieux heuristique. Une valeur plus élevée augmente les coûts de réglage, et une valeur plus petite peut ne pas produire la meilleure version du modèle à tout moment.
Le réglage automatique du modèle SageMaker résout ces problèmes en vous donnant plusieurs critères d'achèvement pour la tâche de réglage. Il est appliqué au niveau du réglage plutôt qu'à chaque niveau de travail de formation individuel, ce qui signifie qu'il fonctionne à une couche d'abstraction plus élevée.
Avantages du réglage des critères d'achèvement des tâches
Avec un meilleur contrôle sur le moment où la tâche de réglage s'arrêtera, vous bénéficiez d'économies de coûts en n'exécutant pas la tâche pendant de longues périodes et en étant coûteux en calculs. Cela signifie également que vous pouvez vous assurer que le travail ne s'arrête pas trop tôt et que vous obtenez un modèle de qualité suffisante qui répond à vos objectifs. Vous pouvez choisir d'arrêter la tâche de réglage lorsque les modèles ne s'améliorent plus après un ensemble d'itérations ou lorsque l'amélioration résiduelle estimée ne justifie pas les ressources et le temps de calcul.
En plus du nombre maximal existant de critères d'achèvement des emplois de formation Nombre maximal d'emplois de formation, le réglage automatique du modèle introduit la possibilité d'arrêter le réglage en fonction d'un temps de réglage maximal, de la surveillance de l'amélioration et de la détection de la convergence.
Explorons chacun de ces critères.
Temps de réglage maximal
Auparavant, vous aviez la possibilité de définir un nombre maximal de tâches de formation en tant que paramètre de limite de ressources pour contrôler le budget de réglage en termes de ressources de calcul. Cependant, cela peut entraîner des temps de formation inutilement plus longs ou plus courts que nécessaire ou souhaité.
Avec l'ajout des critères de temps de réglage maximal, vous pouvez désormais allouer votre budget de formation en termes de temps pour exécuter la tâche de réglage et terminer automatiquement la tâche après un laps de temps spécifié défini en secondes.
Comme on l'a vu plus haut, on utilise le MaxRuntimeInSeconds
pour définir le temps de syntonisation en secondes. La définition de la limite de temps de réglage vous aide à limiter la durée de la tâche de réglage ainsi que le coût prévu de l'expérience.
Le coût total avant toute remise contractuelle peut être estimé à l'aide de la formule suivante :EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
La durée d'exécution maximale en secondes pourrait être utilisée pour limiter le coût et la durée d'exécution. En d'autres termes, il s'agit d'un contrôle budgétaire des critères de réalisation.
Cette fonctionnalité fait partie d'un critère de contrôle des ressources et ne prend pas en compte la convergence des modèles. Comme nous le verrons plus loin dans cet article, ce critère peut être utilisé en combinaison avec d'autres critères d'arrêt pour contrôler les coûts sans sacrifier la précision.
Métrique cible souhaitée
Un autre critère introduit précédemment consiste à définir l'objectif cible à l'avance. Les critères surveillent les performances du meilleur modèle en fonction d'une métrique objective spécifique et arrêtent le réglage lorsque les modèles atteignent le seuil défini par rapport à une métrique objective spécifiée.
Avec la TargetObjectiveMetricValue
critères, nous pouvons demander à SageMaker d'arrêter de régler le modèle une fois que la métrique objective du meilleur modèle a atteint la valeur spécifiée :
Dans cet exemple, SageMaker nous demande d'arrêter de régler le modèle lorsque la métrique objective du meilleur modèle a atteint 0.95.
Cette méthode est utile lorsque vous souhaitez que votre modèle atteigne un objectif spécifique, tel qu'un certain niveau d'exactitude, de précision, de rappel, de score F1, d'AUC, de perte de log, etc.
Un cas d'utilisation typique pour ce critère serait pour un utilisateur qui est déjà familiarisé avec les performances du modèle à des seuils donnés. Un utilisateur dans la phase d'exploration peut d'abord ajuster le modèle avec un petit sous-ensemble d'un ensemble de données plus grand pour identifier un seuil de métrique d'évaluation satisfaisant à cibler lors de la formation avec l'ensemble de données complet.
Suivi de l'amélioration
Ce critère surveille la convergence des modèles après chaque itération et arrête le réglage si les modèles ne s'améliorent pas après un nombre défini de tâches d'entraînement. Voir la configuration suivante :
Dans ce cas, nous fixons le MaxNumberOfTrainingJobsNotImproving
à 10, ce qui signifie que si la métrique objective cesse de s'améliorer après 10 tâches d'entraînement, le réglage sera arrêté et le meilleur modèle et la meilleure métrique seront signalés.
La surveillance de l'amélioration doit être utilisée pour ajuster un compromis entre la qualité du modèle et la durée globale du flux de travail d'une manière qui est probablement transférable entre différents problèmes d'optimisation.
Détection de convergence
La détection de convergence est un critère d'achèvement qui permet au réglage automatique du modèle de décider quand arrêter le réglage. Généralement, le réglage automatique du modèle s'arrête lorsqu'il estime qu'aucune amélioration significative ne peut être obtenue. Voir la configuration suivante :
Les critères sont mieux adaptés lorsque vous ne savez pas initialement quels paramètres d'arrêt sélectionner.
C'est également utile si vous ne savez pas quelle métrique objective cible est raisonnable pour une bonne prédiction compte tenu du problème et de l'ensemble de données en main, et si vous préférez que le travail de réglage soit terminé lorsqu'il ne s'améliore plus.
Expérimenter une comparaison des critères d'achèvement
Dans cette expérience, étant donné une tâche de régression, nous exécutons 3 expériences de réglage pour trouver le modèle optimal dans un espace de recherche de 2 hyperparamètres ayant 200 configurations d'hyperparamètres au total en utilisant le ensemble de données de marketing direct.
Toutes choses étant égales par ailleurs, le premier modèle a été réglé avec le BestObjectiveNotImproving
critères d'achèvement, le deuxième modèle a été réglé avec les CompleteOnConvergence
et le troisième modèle a été réglé sans aucun critère d'achèvement défini.
Lors de la description de chaque tâche, nous pouvons observer que le réglage de la BestObjectiveNotImproving
les critères ont conduit à la ressource et au temps les plus optimaux par rapport à la métrique objective avec beaucoup moins de travaux exécutés.
La CompleteOnConvergence
Les critères ont également été en mesure d'arrêter le réglage à mi-chemin de l'expérience, ce qui a entraîné moins de tâches de formation et un temps de formation plus court par rapport à l'absence de définition de critères.
Bien que le fait de ne pas fixer de critères d'achèvement ait entraîné une expérience coûteuse, la définition des MaxRuntimeInSeconds
dans le cadre de la limite des ressources serait un moyen de minimiser les coûts.
Les résultats ci-dessus montrent que lors de la définition d'un critère d'achèvement, Amazon SageMaker est capable d'arrêter intelligemment le processus de réglage lorsqu'il détecte que le modèle est moins susceptible de s'améliorer au-delà du résultat actuel.
Notez que les critères d'achèvement pris en charge dans le réglage automatique du modèle SageMaker ne s'excluent pas mutuellement et peuvent être utilisés simultanément lors du réglage d'un modèle.
Lorsque plusieurs critères d'achèvement sont définis, la tâche de réglage se termine lorsque l'un des critères est rempli.
Par exemple, une combinaison d'un critère de limite de ressources comme le temps de réglage maximal avec un critère de convergence, comme la surveillance de l'amélioration ou la détection de la convergence, peut produire un contrôle optimal des coûts et une métrique objective optimale.
Conclusion
Dans cet article, nous avons expliqué comment vous pouvez désormais arrêter intelligemment votre travail de réglage en sélectionnant un ensemble de critères d'achèvement nouvellement introduits dans SageMaker, tels que le temps de réglage maximal, la surveillance de l'amélioration ou la détection de convergence.
Nous avons démontré avec une expérience qu'un arrêt intelligent basé sur l'observation de l'amélioration à travers l'itération peut conduire à une gestion du budget et du temps considérablement optimisée par rapport à la non-définition d'un critère d'achèvement.
Nous avons également montré que ces critères ne sont pas mutuellement exclusifs et peuvent être utilisés simultanément lors du réglage d'un modèle, pour tirer parti à la fois du contrôle budgétaire et de la convergence optimale.
Pour plus de détails sur la configuration et l'exécution du réglage automatique du modèle, reportez-vous à Spécification des paramètres de la tâche de réglage des hyperparamètres.
À propos des auteurs
Doug Mbaya est un architecte de solution partenaire principal spécialisé dans les données et l'analyse. Doug travaille en étroite collaboration avec les partenaires AWS, les aidant à intégrer des solutions de données et d'analyse dans le cloud.
Chaitra Mathur est architecte principal de solutions chez AWS. Elle guide les clients et les partenaires dans la création de solutions hautement évolutives, fiables, sécurisées et rentables sur AWS. Elle est passionnée par l'apprentissage automatique et aide les clients à traduire leurs besoins en ML en solutions à l'aide des services AWS AI/ML. Elle détient 5 certifications dont la certification ML Specialty. Dans ses temps libres, elle aime lire, faire du yoga et passer du temps avec ses filles.
Iaroslav Chtcherbatyi est ingénieur en apprentissage machine chez AWS. Il travaille principalement sur les améliorations de la plateforme Amazon SageMaker et aide les clients à utiliser au mieux ses fonctionnalités. Dans ses temps libres, il aime aller à la gym, faire des sports de plein air comme le patin à glace ou la randonnée, et se tenir au courant des nouvelles recherches sur l'IA.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- Platoblockchain. Intelligence métaverse Web3. Connaissance Amplifiée. Accéder ici.
- La source: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- Capable
- A Propos
- au dessus de
- Compte
- précision
- atteindre
- atteint
- à travers
- ajout
- Supplémentaire
- Avantage
- Après
- AI
- recherche ai
- AI / ML
- algorithme
- Tous
- déjà
- Amazon
- Amazon Sage Maker
- montant
- analytique
- ainsi que le
- appliqué
- Automatique
- automatiquement
- AWS
- basé
- before
- va
- profiter
- avantages.
- LES MEILLEURS
- Améliorée
- jusqu'à XNUMX fois
- Au-delà
- Bound
- apporter
- budget
- Développement
- appelé
- maisons
- Attraper
- certaines
- Certifications
- certifications
- globaux
- Selectionnez
- choisi
- étroitement
- le cloud
- combinaison
- par rapport
- Comparaison
- complet
- Complété
- finalise
- achèvement
- calcul
- configuration
- des bactéries
- Convergence
- Prix
- les économies de coûts
- rentable
- Costs
- pourriez
- critères
- Courant
- Clients
- données
- défini
- définir
- démontré
- voulu
- détails
- Détection
- différent
- La remise
- discuter
- discuté
- Ne fait pas
- Ne pas
- chacun
- "Early Bird"
- activé
- ingénieur
- assurer
- estimé
- estimations
- évaluation
- peut
- exemple
- Exclusive
- existant
- cher
- expérience
- exploration
- explorez
- familier
- Fonctionnalité
- Fonctionnalités:
- Trouvez
- trouver
- trouve
- Prénom
- Focus
- Abonnement
- formule
- plein
- généralement
- obtenez
- donné
- Don
- Go
- objectif
- Bien
- Guides
- salle de sport
- ayant
- aider
- aide
- augmentation
- très
- détient
- Comment
- How To
- Cependant
- HTML
- HTTPS
- Optimisation hyperparamétrique
- Réglage des hyperparamètres
- VÉLO
- identifier
- améliorer
- amélioration
- améliorations
- l'amélioration de
- in
- Dans d'autres
- Y compris
- Augmente
- individuel
- possible
- intégrer
- Intelligent
- introduit
- Introduit
- IT
- itération
- itérations
- Emploi
- Emplois
- Savoir
- connu
- plus importantes
- couche
- conduire
- apprentissage
- LED
- Allons-y
- Niveau
- Probable
- LIMIT
- limité
- plus long
- click
- machine learning
- gestion
- de nombreuses
- Stratégie
- max
- Maximisez
- maximales
- veux dire
- Se rencontre
- méthode
- métrique
- Métrique
- réduisant au minimum
- ML
- modèle
- numériques jumeaux (digital twin models)
- Stack monitoring
- moniteurs
- PLUS
- (en fait, presque toutes)
- plusieurs
- mutuellement
- Besoins
- Nouveauté
- nombre
- objectif
- objectifs
- observer
- ONE
- exploite
- optimaux
- à mettre en œuvre pour gérer une entreprise rentable. Ce guide est basé sur trois décennies d'expérience
- optimisé
- Option
- Autre
- global
- paramètre
- partie
- les partenaires
- partenaires,
- passionné
- performant
- périodes
- phase
- plateforme
- Platon
- Intelligence des données Platon
- PlatonDonnées
- Post
- La précision
- prédiction
- précédemment
- Directeur
- Problème
- d'ouvrabilité
- processus
- produire
- projetée
- à condition de
- aportando
- qualité
- nous joindre
- atteint
- en cours
- raisonnable
- rapport
- fiable
- Signalé
- un article
- ressource
- Resources
- résultat
- résultant
- Résultats
- Courir
- sacrifier
- sagemaker
- Réglage automatique du modèle SageMaker
- Épargnes
- évolutive
- Rechercher
- Deuxièmement
- secondes
- sécurisé
- la sélection
- sélection
- supérieur
- Services
- set
- mise
- Paramétres
- devrait
- montrer
- significative
- de façon significative
- petit
- faibles
- So
- sur mesure
- Solutions
- Résout
- quelques
- Space
- Hébergement spécial
- groupe de neurones
- spécifié
- Dépenses
- spins
- Sports
- Arrêter
- arrêté
- arrêt
- Arrête
- tel
- Support
- Appareils
- Les soutiens
- Prenez
- Target
- Tâche
- conditions
- La
- leur
- Troisièmement
- trois
- порог
- Avec
- fiable
- fois
- à
- trop
- Total
- Formation
- traduire
- débutante
- utilisé
- cas d'utilisation
- Utilisateur
- validation
- Plus-value
- version
- façons
- Quoi
- qui
- WHO
- sera
- dans les
- sans
- des mots
- vos contrats
- pourra
- Rendement
- Yoga
- Vous n'avez
- Votre
- zéphyrnet