Amazon Sage Maker ha ha annunciato il supporto di tre nuovi criteri di completamento per Amazon SageMaker messa a punto automatica del modello, fornendoti un set aggiuntivo di leve per controllare i criteri di arresto del lavoro di ottimizzazione quando trovi la migliore configurazione dell'iperparametro per il tuo modello.
In questo post, discutiamo questi nuovi criteri di completamento, quando utilizzarli e alcuni dei vantaggi che apportano.
Ottimizzazione automatica del modello di SageMaker
Ottimizzazione automatica del modello, chiamata anche messa a punto dell'iperparametro, trova la versione migliore di un modello misurata dalla metrica scelta. Avvia molti processi di addestramento sul set di dati fornito, utilizzando l'algoritmo scelto e gli intervalli di iperparametri specificati. Ogni lavoro di formazione può essere completato in anticipo quando la metrica dell'obiettivo non migliora in modo significativo, il che è noto come arresto anticipato.
Fino ad ora, esistevano modi limitati per controllare il processo di ottimizzazione generale, ad esempio specificando il numero massimo di processi di addestramento. Tuttavia, la selezione di questo valore di parametro è al massimo euristica. Un valore maggiore aumenta i costi di ottimizzazione e un valore inferiore potrebbe non produrre sempre la migliore versione del modello.
La messa a punto automatica del modello SageMaker risolve queste sfide fornendo più criteri di completamento per il lavoro di messa a punto. Viene applicato a livello di messa a punto piuttosto che a ogni singolo livello di lavoro di formazione, il che significa che opera a un livello di astrazione più elevato.
Vantaggi dell'ottimizzazione dei criteri di completamento del lavoro
Con un migliore controllo su quando il lavoro di ottimizzazione verrà interrotto, ottieni il vantaggio di risparmiare sui costi non facendo eseguire il lavoro per periodi prolungati e essendo computazionalmente costoso. Significa anche che puoi assicurarti che il lavoro non si interrompa troppo presto e ottieni un modello di qualità sufficientemente buono che soddisfi i tuoi obiettivi. Puoi scegliere di interrompere il processo di ottimizzazione quando i modelli non migliorano più dopo una serie di iterazioni o quando il miglioramento residuo stimato non giustifica le risorse di calcolo e il tempo.
Oltre al numero massimo esistente di criteri di completamento del lavoro di formazione Numero massimo di lavori di formazione, l'ottimizzazione automatica del modello introduce l'opzione per interrompere l'ottimizzazione in base al tempo massimo di ottimizzazione, al monitoraggio dei miglioramenti e al rilevamento della convergenza.
Esploriamo ciascuno di questi criteri.
Tempo massimo di accordatura
In precedenza, avevi la possibilità di definire un numero massimo di processi di addestramento come impostazione del limite delle risorse per controllare il budget di ottimizzazione in termini di risorse di calcolo. Tuttavia, ciò può portare a tempi di formazione non necessari più lunghi o più brevi di quelli necessari o desiderati.
Con l'aggiunta dei criteri del tempo massimo di ottimizzazione, ora puoi allocare il tuo budget di formazione in termini di tempo per eseguire il lavoro di ottimizzazione e terminare automaticamente il lavoro dopo un periodo di tempo specificato definito in secondi.
Come visto sopra, usiamo il MaxRuntimeInSeconds
per definire il tempo di accordatura in secondi. L'impostazione del limite di tempo di ottimizzazione consente di limitare la durata del processo di ottimizzazione e anche il costo previsto dell'esperimento.
Il costo totale prima di qualsiasi sconto contrattuale può essere stimato con la seguente formula:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
Il tempo di esecuzione massimo in secondi potrebbe essere utilizzato per limitare il costo e il tempo di esecuzione. In altre parole, è un criterio di completamento del controllo del budget.
Questa funzionalità fa parte di un criterio di controllo delle risorse e non tiene conto della convergenza dei modelli. Come vedremo più avanti in questo post, questo criterio può essere utilizzato in combinazione con altri criteri di arresto per ottenere il controllo dei costi senza sacrificare la precisione.
Metrica target desiderata
Un altro criterio introdotto in precedenza è definire in anticipo l'obiettivo obiettivo obiettivo. I criteri monitorano le prestazioni del modello migliore in base a una metrica oggettiva specifica e interrompono l'ottimizzazione quando i modelli raggiungono la soglia definita in relazione a una metrica oggettiva specificata.
Grazie alla TargetObjectiveMetricValue
criteri, possiamo istruire SageMaker a interrompere l'ottimizzazione del modello dopo che la metrica oggettiva del modello migliore ha raggiunto il valore specificato:
In questo esempio, a SageMaker viene chiesto di interrompere l'ottimizzazione del modello quando la metrica oggettiva del modello migliore ha raggiunto 0.95.
Questo metodo è utile quando hai un obiettivo specifico che vuoi che il tuo modello raggiunga, come un certo livello di accuratezza, precisione, richiamo, punteggio F1, AUC, perdita di registro e così via.
Un tipico caso d'uso per questo criterio sarebbe per un utente che ha già familiarità con le prestazioni del modello a determinate soglie. Un utente nella fase di esplorazione può prima mettere a punto il modello con un piccolo sottoinsieme di un set di dati più grande per identificare una soglia metrica di valutazione soddisfacente da raggiungere durante l'addestramento con il set di dati completo.
Monitoraggio del miglioramento
Questo criterio monitora la convergenza dei modelli dopo ogni iterazione e interrompe l'ottimizzazione se i modelli non migliorano dopo un numero definito di processi di addestramento. Vedi la seguente configurazione:
In questo caso impostiamo il MaxNumberOfTrainingJobsNotImproving
a 10, il che significa che se la metrica oggettiva smette di migliorare dopo 10 processi di addestramento, l'ottimizzazione verrà interrotta e verranno riportati il modello e la metrica migliori.
Il monitoraggio del miglioramento dovrebbe essere utilizzato per mettere a punto un compromesso tra la qualità del modello e la durata complessiva del flusso di lavoro in un modo che sia probabilmente trasferibile tra diversi problemi di ottimizzazione.
Rilevamento della convergenza
Il rilevamento della convergenza è un criterio di completamento che consente all'ottimizzazione automatica del modello di decidere quando interrompere l'ottimizzazione. In genere, l'ottimizzazione automatica del modello interrompe l'ottimizzazione quando stima che non è possibile ottenere miglioramenti significativi. Vedi la seguente configurazione:
I criteri sono più adatti quando inizialmente non sai quali impostazioni di arresto selezionare.
È anche utile se non sai quale metrica oggettiva di destinazione è ragionevole per una buona previsione dato il problema e il set di dati in mano e preferisci completare il lavoro di ottimizzazione quando non migliora più.
Esperimento con un confronto dei criteri di completamento
In questo esperimento, data un'attività di regressione, eseguiamo 3 esperimenti di ottimizzazione per trovare il modello ottimale all'interno di uno spazio di ricerca di 2 iperparametri con 200 configurazioni di iperparametri in totale utilizzando il set di dati di marketing diretto.
A parità di tutto il resto, il primo modello è stato messo a punto con il BestObjectiveNotImproving
criteri di completamento, il secondo modello è stato messo a punto con il CompleteOnConvergence
e il terzo modello è stato messo a punto senza criteri di completamento definiti.
Nel descrivere ogni lavoro, possiamo osservare che impostando il file BestObjectiveNotImproving
criteri ha portato alla risorsa e al tempo più ottimali rispetto alla metrica oggettiva con un numero significativamente inferiore di lavori eseguiti.
Il CompleteOnConvergence
criteri è stato anche in grado di interrompere la messa a punto a metà dell'esperimento, con il risultato di un minor numero di lavori di formazione e tempi di formazione più brevi rispetto alla mancata impostazione di criteri.
Sebbene la mancata impostazione di un criterio di completamento abbia comportato un costoso esperimento, la definizione del file MaxRuntimeInSeconds
come parte del limite delle risorse sarebbe un modo per minimizzare il costo.
I risultati sopra mostrano che durante la definizione di un criterio di completamento, Amazon SageMaker è in grado di interrompere in modo intelligente il processo di ottimizzazione quando rileva che il modello ha meno probabilità di migliorare oltre il risultato corrente.
Tieni presente che i criteri di completamento supportati nell'ottimizzazione automatica del modello di SageMaker non si escludono a vicenda e possono essere utilizzati contemporaneamente durante l'ottimizzazione di un modello.
Quando viene definito più di un criterio di completamento, il processo di ottimizzazione viene completato quando viene soddisfatto uno qualsiasi dei criteri.
Ad esempio, una combinazione di un criterio di limite delle risorse come il tempo massimo di ottimizzazione con un criterio di convergenza, come il monitoraggio del miglioramento o il rilevamento della convergenza, può produrre un controllo dei costi ottimale e una metrica oggettiva ottimale.
Conclusione
In questo post, abbiamo discusso di come ora puoi interrompere in modo intelligente il tuo lavoro di ottimizzazione selezionando una serie di criteri di completamento appena introdotti in SageMaker, come il tempo massimo di ottimizzazione, il monitoraggio del miglioramento o il rilevamento della convergenza.
Abbiamo dimostrato con un esperimento che l'arresto intelligente basato sull'osservazione del miglioramento attraverso l'iterazione può portare a una gestione del budget e del tempo significativamente ottimizzata rispetto alla mancata definizione di criteri di completamento.
Abbiamo anche dimostrato che questi criteri non si escludono a vicenda e possono essere utilizzati contemporaneamente durante la messa a punto di un modello, per sfruttare sia il controllo del budget che la convergenza ottimale.
Per ulteriori dettagli su come configurare ed eseguire l'ottimizzazione automatica del modello, fare riferimento a Specificare le impostazioni del lavoro di ottimizzazione degli iperparametri.
Informazioni sugli autori
Doug Mbaya è un Senior Partner Solution architect con un focus su dati e analisi. Doug lavora a stretto contatto con i partner AWS, aiutandoli a integrare soluzioni di dati e analisi nel cloud.
Chaitrà Mathur è Principal Solutions Architect presso AWS. Guida clienti e partner nella creazione di soluzioni altamente scalabili, affidabili, sicure ed economiche su AWS. È appassionata di Machine Learning e aiuta i clienti a tradurre le loro esigenze di machine learning in soluzioni che utilizzano i servizi AWS AI/ML. Ha conseguito 5 certificazioni tra cui la certificazione ML Specialty. Nel tempo libero le piace leggere, fare yoga e passare il tempo con le sue figlie.
Iaroslav Shcherbatyi è un Machine Learning Engineer presso AWS. Si occupa principalmente di migliorare la piattaforma Amazon SageMaker e di aiutare i clienti a utilizzarne al meglio le funzionalità. Nel tempo libero gli piace andare in palestra, fare sport all'aria aperta come il pattinaggio sul ghiaccio o l'escursionismo e aggiornarsi sulle nuove ricerche sull'IA.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- capace
- WRI
- sopra
- Il mio account
- precisione
- Raggiungere
- raggiunto
- operanti in
- aggiunta
- aggiuntivo
- Vantaggio
- Dopo shavasana, sedersi in silenzio; saluti;
- AI
- ricerca ai
- AI / ML
- algoritmo
- Tutti
- già
- Amazon
- Amazon Sage Maker
- quantità
- analitica
- ed
- applicato
- Automatico
- automaticamente
- AWS
- basato
- prima
- essendo
- beneficio
- vantaggi
- MIGLIORE
- Meglio
- fra
- Al di là di
- Bound
- portare
- budget limitato.
- Costruzione
- detto
- Custodie
- lotta
- certo
- Certificazione
- certificazioni
- sfide
- Scegli
- scelto
- strettamente
- Cloud
- combinazione
- rispetto
- confronto
- completamento di una
- Completato
- Completa
- completamento
- Calcolare
- Configurazione
- di controllo
- Convergenza
- Costo
- risparmi
- costo effettivo
- Costi
- potuto
- criteri
- Corrente
- Clienti
- dati
- definito
- definizione
- dimostrato
- desiderato
- dettagli
- rivelazione
- diverso
- Codice Sconto
- discutere
- discusso
- non
- Dont
- ogni
- Presto
- abilitato
- ingegnere
- garantire
- stimato
- stime
- valutazione
- qualunque cosa
- esempio
- Exclusive
- esistente
- costoso
- esperimento
- esplorazione
- esplora
- familiare
- caratteristica
- Caratteristiche
- Trovate
- ricerca
- trova
- Nome
- Focus
- i seguenti
- formula
- pieno
- generalmente
- ottenere
- dato
- Dare
- Go
- scopo
- buono
- Guide
- palestra
- avendo
- aiutare
- aiuta
- superiore
- vivamente
- detiene
- Come
- Tutorial
- Tuttavia
- HTML
- HTTPS
- Ottimizzazione dell'iperparametro
- Sintonia iperparametro
- ICE
- identificare
- competenze
- miglioramento
- miglioramenti
- miglioramento
- in
- In altre
- Compreso
- Aumenta
- individuale
- inizialmente
- integrare
- Intelligente
- introdotto
- Introduce
- IT
- iterazione
- iterazioni
- Lavoro
- Offerte di lavoro
- Sapere
- conosciuto
- superiore, se assunto singolarmente.
- strato
- portare
- apprendimento
- Guidato
- Consente di
- Livello
- probabile
- LIMITE
- Limitato
- più a lungo
- macchina
- machine learning
- gestione
- molti
- Marketing
- max
- Massimizzare
- massimo
- si intende
- Soddisfa
- metodo
- metrico
- Metrica
- minimizzando
- ML
- modello
- modelli
- monitoraggio
- monitor
- Scopri di più
- maggior parte
- multiplo
- reciprocamente
- esigenze
- New
- numero
- obiettivo
- Obiettivi d'Esame
- osservare
- ONE
- opera
- ottimale
- ottimizzazione
- ottimizzati
- Opzione
- Altro
- complessivo
- parametro
- parte
- partner
- partner
- appassionato
- performance
- periodi
- fase
- piattaforma
- Platone
- Platone Data Intelligence
- PlatoneDati
- Post
- Precisione
- predizione
- in precedenza
- Direttore
- Problema
- problemi
- processi
- produrre
- proiettato
- purché
- fornitura
- qualità
- raggiungere
- a raggiunto
- Lettura
- ragionevole
- relazione
- affidabile
- Segnalati
- riparazioni
- risorsa
- Risorse
- colpevole
- risultante
- Risultati
- Correre
- sacrificando
- sagemaker
- Sintonizzazione automatica del modello SageMaker
- Risparmio
- scalabile
- Cerca
- Secondo
- secondo
- sicuro
- Selezione
- prodotti
- anziano
- Servizi
- set
- regolazione
- impostazioni
- dovrebbero
- mostrare attraverso le sue creazioni
- significativa
- significativamente
- piccole
- inferiore
- So
- soluzione
- Soluzioni
- risolve
- alcuni
- lo spazio
- Specialità
- specifico
- specificato
- Spendere
- giri
- Sports
- Fermare
- fermato
- sosta
- Interrompe
- tale
- supporto
- supportato
- supporti
- Fai
- Target
- Task
- condizioni
- Il
- loro
- Terza
- tre
- soglia
- Attraverso
- tempo
- volte
- a
- pure
- Totale
- Training
- tradurre
- tipico
- uso
- caso d'uso
- Utente
- convalida
- APPREZZIAMO
- versione
- modi
- Che
- quale
- OMS
- volere
- entro
- senza
- parole
- lavori
- sarebbe
- dare la precedenza
- Yoga
- Tu
- Trasferimento da aeroporto a Sharm
- zefiro