L'ottimizzazione automatica dei modelli di Amazon SageMaker ora supporta la ricerca a griglia

Oggi Amazon Sage Maker ha annunciato il supporto di Grid Search per messa a punto automatica del modello, fornendo agli utenti una strategia aggiuntiva per trovare la migliore configurazione degli iperparametri per il tuo modello.

L'ottimizzazione automatica del modello Amazon SageMaker trova la versione migliore di un modello eseguendo numerosi processi di formazione sul set di dati utilizzando un file gamma degli iperparametri specificati. Quindi sceglie i valori degli iperparametri che risultano in un modello con le prestazioni migliori, come misurato da a metrico di vostra scelta.

Per trovare i migliori valori degli iperparametri per il tuo modello, l'ottimizzazione automatica del modello Amazon SageMaker supporta più strategie, tra cui bayesiano (Impostazione predefinita), Random ricerca e Iperbanda.

Ricerca a griglia

La ricerca della griglia esplora in modo esaustivo le configurazioni nella griglia di iperparametri da te definite, consentendoti di ottenere informazioni dettagliate sulle configurazioni di iperparametri più promettenti nella griglia e di riprodurre in modo deterministico i risultati in diverse esecuzioni di ottimizzazione. La ricerca a griglia ti dà più sicurezza che sia stato esplorato l'intero spazio di ricerca degli iperparametri. Questo vantaggio comporta un compromesso perché è computazionalmente più costoso della ricerca bayesiana e casuale se l'obiettivo principale è trovare la migliore configurazione dell'iperparametro.

Ricerca a griglia con Amazon SageMaker

In Amazon SageMaker, utilizzi la ricerca a griglia quando il tuo problema richiede la combinazione ottimale di iperparametri che massimizza o minimizza il tuo parametro obiettivo. Un caso d'uso comune in cui i clienti utilizzano Grid Search è quando l'accuratezza e la riproducibilità del modello sono più importanti per la tua azienda rispetto al costo di formazione richiesto per ottenerlo.

Per abilitare la ricerca a griglia in Amazon SageMaker, imposta il file Strategy campo Grid quando crei un lavoro di ottimizzazione, come segue:

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

Inoltre, la ricerca a griglia richiede di definire lo spazio di ricerca (griglia cartesiana) come un intervallo categoriale di valori discreti nella definizione del lavoro utilizzando l'opzione CategoricalParameterRanges chiave sotto il ParameterRanges parametro, come segue:

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

Tieni presente che non specifichiamo MaxNumberOfTrainingJobs per la ricerca a griglia nella definizione del lavoro perché questo è determinato per te dal numero di combinazioni di categorie. Quando si utilizza la ricerca casuale e bayesiana, si specifica il file MaxNumberOfTrainingJobs parametro come modo per controllare il costo del lavoro di ottimizzazione definendo un limite superiore per il calcolo. Con la ricerca a griglia, il valore di MaxNumberOfTrainingJobs (ora facoltativo) viene impostato automaticamente come numero di candidati per la ricerca nella griglia Descrivi il lavoro di ottimizzazione dei parametri iperparametrici forma. Ciò ti consente di esplorare in modo esaustivo la griglia di iperparametri desiderata. Inoltre, la definizione del lavoro di ricerca della griglia accetta solo intervalli categorici discreti e non richiede una definizione di intervalli continui o interi perché ogni valore nella griglia è considerato discreto.

Esperimento di ricerca su griglia

In questo esperimento, dato un compito di regressione, cerchiamo gli iperparametri ottimali all'interno di uno spazio di ricerca di 200 iperparametri, 20 eta e 10 alpha compreso tra 0.1 e 1. Usiamo il set di dati di marketing diretto per mettere a punto un modello di regressione.

• eta: riduzione della dimensione del passo utilizzata negli aggiornamenti per evitare un adattamento eccessivo. Dopo ogni passaggio di potenziamento, puoi ottenere direttamente i pesi delle nuove funzionalità. IL eta Il parametro riduce effettivamente il peso delle funzionalità per rendere il processo di potenziamento più conservativo.
• alfa: Termine di regolarizzazione L1 sui pesi. L'aumento di questo valore rende i modelli più conservativi.

Il grafico a sinistra mostra un'analisi del eta iperparametro in relazione alla metrica oggettiva e dimostra come la ricerca della griglia abbia esaurito l'intero spazio di ricerca (griglia) negli assi X prima di restituire il modello migliore. Allo stesso modo, il grafico a destra analizza i due iperparametri in un unico spazio cartesiano per dimostrare che tutti i punti della griglia sono stati selezionati durante la messa a punto.

L'esperimento di cui sopra dimostra che la natura esaustiva della ricerca su griglia garantisce una selezione ottimale degli iperparametri dato lo spazio di ricerca definito. Dimostra inoltre che è possibile riprodurre il risultato della ricerca attraverso le iterazioni di ottimizzazione, a parità di tutte le altre condizioni.

Flussi di lavoro di ottimizzazione automatica dei modelli (AMT) di Amazon SageMaker

Con l'ottimizzazione automatica dei modelli di Amazon SageMaker, puoi trovare la versione migliore del tuo modello eseguendo processi di formazione sul tuo set di dati con diverse strategie di ricerca, come bayesiana, ricerca casuale, ricerca a griglia e iperbanda. L'ottimizzazione automatica del modello consente di ridurre il tempo necessario per ottimizzare un modello ricercando automaticamente la migliore configurazione di iperparametri all'interno degli intervalli di iperparametri specificati.

Ora che abbiamo esaminato il vantaggio di utilizzare la ricerca a griglia in Amazon SageMaker AMT, diamo un'occhiata ai flussi di lavoro di AMT e comprendiamo come tutto si integra in SageMaker.

Conclusione

In questo post abbiamo discusso di come ora è possibile utilizzare la strategia di ricerca a griglia per trovare il modello migliore e la sua capacità di riprodurre in modo deterministico i risultati in diversi processi di ottimizzazione. Abbiamo discusso il compromesso quando si utilizza la ricerca su griglia rispetto ad altre strategie e come consente di esplorare quali regioni degli spazi iperparametrici sono più promettenti e riprodurre i risultati in modo deterministico.

Per ulteriori informazioni sull'ottimizzazione automatica del modello, visitare il ed documentazione tecnica.

Circa l'autore

Doug Mbaya è un Senior Partner Solution architect con un focus su dati e analisi. Doug lavora a stretto contatto con i partner AWS, aiutandoli a integrare soluzioni di dati e analisi nel cloud.