Amazon SageMaker Automatic Model Tuning ahora es compatible con la búsqueda en cuadrícula

Hoy Amazon SageMaker anunció el soporte de Grid search para ajuste automático del modelo, proporcionando a los usuarios una estrategia adicional para encontrar la mejor configuración de hiperparámetros para su modelo.

El ajuste automático de modelos de Amazon SageMaker encuentra la mejor versión de un modelo mediante la ejecución de muchos trabajos de entrenamiento en su conjunto de datos mediante un distancia de hiperparámetros que especifique. Luego, elige los valores de hiperparámetros que dan como resultado un modelo que funciona mejor, según lo medido por un métrico de su elección.

Para encontrar los mejores valores de hiperparámetros para su modelo, el ajuste automático del modelo de Amazon SageMaker admite varias estrategias, incluidas Bayesiano (Predeterminado), Aleatorio buscar, y Hiperbanda.

búsqueda de cuadrícula

La búsqueda en cuadrícula explora exhaustivamente las configuraciones en la cuadrícula de hiperparámetros que usted define, lo que le permite obtener información sobre las configuraciones de hiperparámetros más prometedoras en su cuadrícula y reproducir de manera determinista sus resultados en diferentes ejecuciones de ajuste. La búsqueda en cuadrícula le brinda más confianza de que se exploró todo el espacio de búsqueda de hiperparámetros. Este beneficio viene con una compensación porque es computacionalmente más costoso que la búsqueda bayesiana y aleatoria si su objetivo principal es encontrar la mejor configuración de hiperparámetro.

Búsqueda en cuadrícula con Amazon SageMaker

En Amazon SageMaker, utiliza la búsqueda en cuadrícula cuando su problema requiere que tenga la combinación óptima de hiperparámetros que maximice o minimice su métrica objetiva. Un caso de uso común donde el cliente usa Grid Search es cuando la precisión y la reproducibilidad del modelo son más importantes para su negocio que el costo de capacitación requerido para obtenerlo.

Para habilitar Grid Search en Amazon SageMaker, configure el Strategy campo para Grid cuando crea un trabajo de ajuste, de la siguiente manera:

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

Además, la búsqueda en cuadrícula requiere que defina su espacio de búsqueda (cuadrícula cartesiana) como un rango categórico de valores discretos en su definición de trabajo usando el CategoricalParameterRanges llave debajo de la ParameterRanges parámetro, como sigue:

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

Tenga en cuenta que no especificamos MaxNumberOfTrainingJobs para la búsqueda en cuadrícula en la definición de trabajo porque esto se determina a partir del número de combinaciones de categorías. Al utilizar la búsqueda aleatoria y bayesiana, se especifica el MaxNumberOfTrainingJobs parámetro como una forma de controlar el costo del trabajo de ajuste definiendo un límite superior para el cálculo. Con la búsqueda en cuadrícula, el valor de MaxNumberOfTrainingJobs (ahora opcional) se establece automáticamente como el número de candidatos para la búsqueda de cuadrícula en el DescribirHyperParameterTuningJob forma. Esto le permite explorar exhaustivamente la cuadrícula deseada de hiperparámetros. Además, la definición de trabajo de búsqueda de cuadrícula solo acepta rangos categóricos discretos y no requiere una definición de rangos enteros o continuos porque cada valor en la cuadrícula se considera discreto.

Experimento de búsqueda en cuadrícula

En este experimento, dada una tarea de regresión, buscamos los hiperparámetros óptimos dentro de un espacio de búsqueda de 200 hiperparámetros, 20 eta y séptima alpha que va de 0.1 a 1. Usamos el conjunto de datos de marketing directo para ajustar un modelo de regresión.

• eta: Reducción del tamaño del paso utilizada en las actualizaciones para evitar el ajuste excesivo. Después de cada paso de impulso, puede obtener directamente los pesos de las nuevas funciones. los eta El parámetro en realidad reduce los pesos de las características para hacer que el proceso de impulso sea más conservador.
• alfa: Término de regularización L1 sobre pesos. Aumentar este valor hace que los modelos sean más conservadores.

El gráfico de la izquierda muestra un análisis de la eta hiperparámetro en relación con la métrica objetivo y demuestra cómo la búsqueda de cuadrícula ha agotado todo el espacio de búsqueda (cuadrícula) en los ejes X antes de devolver el mejor modelo. Del mismo modo, el gráfico de la derecha analiza los dos hiperparámetros en un solo espacio cartesiano para demostrar que todos los puntos de la cuadrícula se seleccionaron durante la sintonización.

El experimento anterior demuestra que la naturaleza exhaustiva de la búsqueda Grid garantiza una selección óptima de hiperparámetros dado el espacio de búsqueda definido. También demuestra que puede reproducir el resultado de su búsqueda a través de iteraciones de ajuste, en igualdad de condiciones.

Flujos de trabajo de ajuste automático de modelos (AMT) de Amazon SageMaker

Con el ajuste automático de modelos de Amazon SageMaker, puede encontrar la mejor versión de su modelo ejecutando trabajos de entrenamiento en su conjunto de datos con varias estrategias de búsqueda, como bayesiana, búsqueda aleatoria, búsqueda en cuadrícula e hiperbanda. El ajuste automático del modelo le permite reducir el tiempo necesario para ajustar un modelo al buscar automáticamente la mejor configuración de hiperparámetros dentro de los rangos de hiperparámetros que especifique.

Ahora que hemos revisado la ventaja de usar la búsqueda en cuadrícula en Amazon SageMaker AMT, echemos un vistazo a los flujos de trabajo de AMT y comprendamos cómo encaja todo en SageMaker.

Conclusión

En esta publicación, discutimos cómo ahora puede usar la estrategia de búsqueda de Grid para encontrar el mejor modelo y su capacidad para reproducir de manera determinista los resultados en diferentes trabajos de ajuste. Discutimos la compensación cuando se usa la búsqueda en cuadrícula en comparación con otras estrategias, y cómo le permite explorar qué regiones de los espacios de hiperparámetros son más prometedoras y reproducir sus resultados de manera determinista.

Para obtener más información sobre el ajuste automático de modelos, visite el la página del producto y de documentación técnica.

Acerca del autor.

doug mbaya es un arquitecto de soluciones de socio senior con un enfoque en datos y análisis. Doug trabaja en estrecha colaboración con los socios de AWS, ayudándolos a integrar soluciones de análisis y datos en la nube.