Amazon SageMaker tiene anunció el soporte de tres nuevos criterios de finalización para Amazon SageMaker ajuste automático del modelo, brindándole un conjunto adicional de palancas para controlar los criterios de detención del trabajo de ajuste al encontrar la mejor configuración de hiperparámetros para su modelo.
En esta publicación, discutimos estos nuevos criterios de finalización, cuándo usarlos y algunos de los beneficios que brindan.
Ajuste automático del modelo SageMaker
Ajuste automático del modelo, también llamado ajuste de hiperparámetros, encuentra la mejor versión de un modelo medido por la métrica que elegimos. Activa muchos trabajos de entrenamiento en el conjunto de datos proporcionado, utilizando el algoritmo elegido y los rangos de hiperparámetros especificados. Cada trabajo de entrenamiento se puede completar temprano cuando la métrica del objetivo no mejora significativamente, lo que se conoce como detención temprana.
Hasta ahora, había formas limitadas de controlar el trabajo de ajuste general, como especificar el número máximo de trabajos de entrenamiento. Sin embargo, la selección de este valor de parámetro es, en el mejor de los casos, heurística. Un valor mayor aumenta los costos de ajuste y es posible que un valor menor no produzca la mejor versión del modelo en todo momento.
El ajuste automático de modelos de SageMaker resuelve estos desafíos al brindarle múltiples criterios de finalización para el trabajo de ajuste. Se aplica en el nivel de ajuste en lugar de en cada nivel de trabajo de entrenamiento individual, lo que significa que opera en una capa de abstracción más alta.
Beneficios de ajustar los criterios de finalización del trabajo
Con un mejor control sobre cuándo se detendrá el trabajo de ajuste, obtendrá el beneficio de los ahorros de costos al no tener que ejecutar el trabajo durante períodos prolongados y ser computacionalmente costoso. También significa que puede asegurarse de que el trabajo no se detenga demasiado pronto y de que obtenga un modelo de calidad suficiente que cumpla con sus objetivos. Puede optar por detener el trabajo de ajuste cuando los modelos ya no mejoren después de un conjunto de iteraciones o cuando la mejora residual estimada no justifique los recursos informáticos y el tiempo.
Además del número máximo existente de criterios de finalización del trabajo de capacitación Número máximo de trabajos de formación, el ajuste automático del modelo presenta la opción de detener el ajuste en función de un tiempo de ajuste máximo, el control de mejora y la detección de convergencia.
Exploremos cada uno de estos criterios.
Tiempo máximo de sintonía
Anteriormente, tenía la opción de definir una cantidad máxima de trabajos de capacitación como una configuración de límite de recursos para controlar el presupuesto de ajuste en términos de recursos informáticos. Sin embargo, esto puede conducir a tiempos de entrenamiento más largos o más cortos de lo necesario o deseado.
Con la adición de los criterios de tiempo máximo de ajuste, ahora puede asignar su presupuesto de capacitación en términos de cantidad de tiempo para ejecutar el trabajo de ajuste y finalizar automáticamente el trabajo después de una cantidad de tiempo específica definida en segundos.
Como se vio anteriormente, usamos el MaxRuntimeInSeconds
para definir el tiempo de sintonización en segundos. Establecer el límite de tiempo de ajuste lo ayuda a limitar la duración del trabajo de ajuste y también el costo proyectado del experimento.
El costo total antes de cualquier descuento contractual se puede estimar con la siguiente fórmula:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
El tiempo de ejecución máximo en segundos podría usarse para limitar el costo y el tiempo de ejecución. En otras palabras, es un criterio de finalización del control presupuestario.
Esta característica es parte de un criterio de control de recursos y no tiene en cuenta la convergencia de los modelos. Como veremos más adelante en esta publicación, este criterio se puede usar en combinación con otros criterios de parada para lograr el control de costos sin sacrificar la precisión.
Métrica objetivo deseada
Otro criterio introducido anteriormente es definir la meta del objetivo objetivo por adelantado. Los criterios supervisan el rendimiento del mejor modelo en función de una métrica objetiva específica y dejan de ajustar cuando los modelos alcanzan el umbral definido en relación con una métrica objetiva específica.
Con la TargetObjectiveMetricValue
criterios, podemos indicarle a SageMaker que deje de ajustar el modelo después de que la métrica objetiva del mejor modelo haya alcanzado el valor especificado:
En este ejemplo, se le indica a SageMaker que deje de ajustar el modelo cuando la métrica objetiva del mejor modelo alcance 0.95.
Este método es útil cuando tiene un objetivo específico que desea que alcance su modelo, como un cierto nivel de exactitud, precisión, recuperación, puntaje F1, AUC, pérdida de registro, etc.
Un caso de uso típico para este criterio sería para un usuario que ya está familiarizado con el rendimiento del modelo en determinados umbrales. Un usuario en la fase de exploración primero puede ajustar el modelo con un pequeño subconjunto de un conjunto de datos más grande para identificar un umbral de métrica de evaluación satisfactorio para el objetivo al entrenar con el conjunto de datos completo.
Seguimiento de mejora
Este criterio monitorea la convergencia de los modelos después de cada iteración y detiene el ajuste si los modelos no mejoran después de un número definido de trabajos de entrenamiento. Consulte la siguiente configuración:
En este caso configuramos el MaxNumberOfTrainingJobsNotImproving
a 10, lo que significa que si la métrica objetiva deja de mejorar después de 10 trabajos de entrenamiento, se detendrá el ajuste y se informará el mejor modelo y métrica.
La supervisión de mejoras se debe utilizar para ajustar una compensación entre la calidad del modelo y la duración general del flujo de trabajo de una manera que probablemente sea transferible entre diferentes problemas de optimización.
Detección de convergencia
La detección de convergencia es un criterio de finalización que permite que el ajuste automático del modelo decida cuándo detener el ajuste. Generalmente, el ajuste automático del modelo dejará de ajustar cuando estime que no se puede lograr una mejora significativa. Consulte la siguiente configuración:
El criterio es más adecuado cuando inicialmente no sabe qué configuración de parada seleccionar.
También es útil si no sabe qué métrica de objetivo objetivo es razonable para una buena predicción dado el problema y el conjunto de datos en cuestión, y prefiere completar el trabajo de ajuste cuando ya no mejora.
Experimente con una comparación de los criterios de finalización
En este experimento, dada una tarea de regresión, ejecutamos 3 experimentos de ajuste para encontrar el modelo óptimo dentro de un espacio de búsqueda de 2 hiperparámetros que tienen 200 configuraciones de hiperparámetro en total usando el conjunto de datos de marketing directo.
Con todo lo demás en igualdad de condiciones, el primer modelo se sintonizó con el BestObjectiveNotImproving
criterios de finalización, el segundo modelo se ajustó con el CompleteOnConvergence
y el tercer modelo se ajustó sin definir criterios de finalización.
Al describir cada puesto de trabajo, podemos observar que establecer el BestObjectiveNotImproving
ha llevado al recurso y el tiempo más óptimos en relación con la métrica objetiva con una cantidad significativamente menor de trabajos ejecutados.
La CompleteOnConvergence
Los criterios también pudieron detener el ajuste a la mitad del experimento, lo que resultó en menos trabajos de capacitación y un tiempo de capacitación más corto en comparación con no establecer un criterio.
Si bien no establecer un criterio de finalización resultó en un experimento costoso, definir el MaxRuntimeInSeconds
como parte del límite de recursos sería una forma de minimizar el costo.
Los resultados anteriores muestran que, al definir un criterio de finalización, Amazon SageMaker puede detener de manera inteligente el proceso de ajuste cuando detecta que es menos probable que el modelo mejore más allá del resultado actual.
Tenga en cuenta que los criterios de finalización admitidos en el ajuste automático de modelos de SageMaker no se excluyen mutuamente y se pueden usar simultáneamente al ajustar un modelo.
Cuando se define más de un criterio de finalización, el trabajo de ajuste se completa cuando se cumple cualquiera de los criterios.
Por ejemplo, una combinación de un criterio de límite de recursos como el tiempo máximo de ajuste con un criterio de convergencia, como el monitoreo de mejora o la detección de convergencia, puede producir un control de costos óptimo y una métrica objetiva óptima.
Conclusión
En esta publicación, discutimos cómo ahora puede detener de manera inteligente su trabajo de ajuste seleccionando un conjunto de criterios de finalización recientemente introducidos en SageMaker, como el tiempo máximo de ajuste, la supervisión de mejoras o la detección de convergencia.
Demostramos con un experimento que la detención inteligente basada en la observación de mejoras a lo largo de la iteración puede conducir a una gestión del tiempo y el presupuesto significativamente optimizada en comparación con no definir un criterio de finalización.
También demostramos que estos criterios no son mutuamente excluyentes y se pueden usar simultáneamente al ajustar un modelo, para aprovechar tanto el control presupuestario como la convergencia óptima.
Para obtener más detalles sobre cómo configurar y ejecutar el ajuste automático del modelo, consulte Especificar la configuración del trabajo de ajuste de hiperparámetros.
Acerca de los autores
doug mbaya es un arquitecto de soluciones de socio senior con un enfoque en datos y análisis. Doug trabaja en estrecha colaboración con los socios de AWS, ayudándolos a integrar soluciones de análisis y datos en la nube.
Chaitra Mathur es Arquitecto Principal de Soluciones en AWS. Ella guía a los clientes y socios en la creación de soluciones altamente escalables, confiables, seguras y rentables en AWS. Le apasiona el aprendizaje automático y ayuda a los clientes a traducir sus necesidades de ML en soluciones mediante los servicios de IA/ML de AWS. Tiene 5 certificaciones, incluida la certificación de especialidad ML. En su tiempo libre, le gusta leer, hacer yoga y pasar tiempo con sus hijas.
Iaroslav Shcherbatyi es ingeniero de aprendizaje automático en AWS. Trabaja principalmente en las mejoras de la plataforma Amazon SageMaker y en ayudar a los clientes a utilizar mejor sus funciones. En su tiempo libre, le gusta ir al gimnasio, practicar deportes al aire libre como el patinaje sobre hielo o el senderismo, y ponerse al día con las nuevas investigaciones sobre IA.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. Accede Aquí.
- Fuente: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- Poder
- Nuestra Empresa
- arriba
- Mi Cuenta
- la exactitud
- Lograr
- alcanzado
- a través de
- adición
- Adicionales
- Ventaja
- Después
- AI
- ai investigación
- AI / ML
- algoritmo
- Todos
- ya haya utilizado
- Amazon
- Amazon SageMaker
- cantidad
- Analytics
- y
- aplicada
- Automático
- automáticamente
- AWS
- basado
- antes
- "Ser"
- es el beneficio
- beneficios
- MEJOR
- mejores
- entre
- Más allá de
- Bound
- llevar
- presupuesto
- Construir la
- , que son
- case
- lucha
- a ciertos
- de Padi
- certificaciones
- retos
- Elige
- elegido
- de cerca
- Soluciones
- combinación
- en comparación con
- comparación
- completar
- Completado
- ultima
- terminación
- Calcular
- Configuración
- control
- Convergencia
- Cost
- ahorro de costes
- rentable
- Precio
- podría
- criterios
- Current
- Clientes
- datos
- se define
- definir
- demostrado
- deseado
- detalles
- Detección
- una experiencia diferente
- El descuento
- discutir
- discutido
- No
- No
- cada una
- Temprano en la
- facilita
- ingeniero
- garantizar
- estimado
- estima
- evaluación
- todo
- ejemplo
- Exclusiva
- existente
- costoso
- experimento
- exploración
- explorar
- familiar
- Feature
- Caracteristicas
- Encuentre
- la búsqueda de
- encuentra
- Nombre
- Focus
- siguiendo
- fórmula
- ser completados
- en general
- obtener
- dado
- Diezmos y Ofrendas
- Go
- objetivo
- candidato
- Guías
- gimnasio
- es
- ayudando
- ayuda
- más alto
- altamente
- mantiene
- Cómo
- Como Hacer
- Sin embargo
- HTML
- HTTPS
- Optimización de hiperparámetros
- Ajuste de hiperparámetros
- HIELO
- Identifique
- mejorar
- es la mejora continua
- mejoras
- la mejora de
- in
- En otra
- Incluye
- Los aumentos
- INSTRUMENTO individual
- posiblemente
- integrar
- De Operación
- Introducido
- Presenta
- IT
- iteración
- iteraciones
- Trabajos
- Empleo
- Saber
- conocido
- mayores
- .
- Lead
- aprendizaje
- LED
- Permíteme
- Nivel
- que otros
- LIMITE LAS
- Limitada
- por más tiempo
- máquina
- máquina de aprendizaje
- Management
- muchos
- Marketing
- max
- Maximizar
- máximas
- significa
- se une a la
- Método
- métrico
- Métrica
- minimizando
- ML
- modelo
- modelos
- monitoreo
- monitores
- más,
- MEJOR DE TU
- múltiples
- mutuamente
- Nuevo
- número
- objetivo
- ,
- observar
- ONE
- opera
- óptimo
- optimización
- optimizado
- Optión
- Otro
- total
- parámetro
- parte
- Socio
- socios
- apasionado
- actuación
- períodos
- fase
- plataforma
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- Publicación
- Precisión
- predicción
- previamente
- Director de la escuela
- Problema
- problemas
- producir
- proyectado
- previsto
- proporcionando
- calidad
- en comunicarse
- alcanzado
- Reading
- mejor
- relación
- confianza
- reportado
- la investigación
- Recurso
- Recursos
- resultado
- resultante
- Resultados
- Ejecutar
- sacrificando
- sabio
- Ajuste automático de modelos de SageMaker
- Ahorros
- escalable
- Buscar
- Segundo
- segundos
- seguro
- seleccionar
- selección
- mayor
- Servicios
- set
- pólipo
- ajustes
- tienes
- Mostrar
- importante
- significativamente
- chica
- menores
- So
- a medida
- Soluciones
- Resuelve
- algo
- Espacio
- CURSOS
- soluciones y
- especificado
- Gastos
- giros
- Deportes
- Detener
- detenido
- parada
- Paradas
- tal
- SOPORTE
- Soportado
- soportes
- ¡Prepárate!
- Target
- Tarea
- términos
- La
- su
- Código
- Tres
- umbral
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- equipo
- veces
- a
- demasiado
- Total
- Formación
- la traducción
- principiante
- utilizan el
- caso de uso
- Usuario
- validación
- propuesta de
- versión
- formas
- ¿
- que
- QUIENES
- seguirá
- dentro de
- sin
- palabras
- funciona
- se
- Rendimiento
- Yoga
- Usted
- tú
- zephyrnet