Amazon SageMaker har meddelade stödet av tre nya slutförandekriterier för Amazon SageMaker automatisk modelljustering, vilket ger dig en extra uppsättning spakar för att styra stoppkriterierna för trimningsjobbet när du hittar den bästa hyperparameterkonfigurationen för din modell.
I det här inlägget diskuterar vi dessa nya slutförandekriterier, när de ska användas och några av fördelarna de medför.
SageMaker automatisk modelljustering
Automatisk modellinställning, även kallad hyperparameterinställning, hittar den bästa versionen av en modell mätt med måtten vi väljer. Den skapar många träningsjobb på den tillhandahållna datamängden, med hjälp av den valda algoritmen och de angivna hyperparametrarna. Varje träningsjobb kan slutföras tidigt när det objektiva måttet inte förbättras nämnvärt, vilket är känt som tidig stopp.
Hittills har det funnits begränsade sätt att kontrollera det övergripande trimjobbet, som att ange det maximala antalet utbildningsjobb. Valet av detta parametervärde är dock i bästa fall heuristiskt. Ett högre värde ökar trimningskostnaderna, och ett mindre värde kanske inte alltid ger den bästa versionen av modellen.
SageMaker automatisk modellinställning löser dessa utmaningar genom att ge dig flera slutförandekriterier för trimningsjobbet. Det tillämpas på trimningsnivå snarare än på varje enskilt träningsjobbsnivå, vilket innebär att den arbetar på ett högre abstraktionsskikt.
Fördelar med att justera kriterier för slutförande av jobb
Med bättre kontroll över när trimningsjobbet kommer att upphöra, får du fördelen av kostnadsbesparingar genom att inte ha jobbet kört under längre perioder och vara beräkningsmässigt dyrt. Det innebär också att du kan se till att jobbet inte slutar för tidigt och att du får en tillräckligt bra kvalitetsmodell som uppfyller dina mål. Du kan välja att stoppa trimningsjobbet när modellerna inte längre förbättras efter en uppsättning iterationer eller när den beräknade kvarvarande förbättringen inte motiverar beräkningsresurserna och tiden.
Utöver det befintliga maximala antalet utbildningskriterier för slutförande av jobb MaxNumberOfTrainingJobs, automatisk modellinställning introducerar alternativet att stoppa inställningen baserat på en maximal inställningstid, förbättringsövervakning och konvergensdetektering.
Låt oss utforska vart och ett av dessa kriterier.
Maximal inställningstid
Tidigare hade du möjlighet att definiera ett maximalt antal utbildningsjobb som en resursgränsinställning för att styra inställningsbudgeten när det gäller beräkningsresurser. Detta kan dock leda till onödigt längre eller kortare träningstider än vad som behövs eller önskas.
Med tillägget av kriterierna för maximal trimningstid kan du nu allokera din träningsbudget i form av tid för att köra trimningsjobbet och automatiskt avsluta jobbet efter en angiven tidsperiod definierad i sekunder.
Som framgår ovan använder vi MaxRuntimeInSeconds
för att definiera inställningstiden i sekunder. Att ställa in tidsgränsen för trimning hjälper dig att begränsa trimningsjobbets varaktighet och även den beräknade kostnaden för experimentet.
Den totala kostnaden före eventuell avtalsrabatt kan uppskattas med följande formel:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
Den maximala körtiden i sekunder kan användas för att binda kostnad och körtid. Med andra ord, det är ett slutförandekriterier för budgetkontroll.
Den här funktionen är en del av ett resurskontrollkriterium och tar inte hänsyn till modellernas konvergens. Som vi ser längre fram i detta inlägg kan detta kriterium användas i kombination med andra stoppkriterier för att uppnå kostnadskontroll utan att ge avkall på noggrannheten.
Önskat målmått
Ett annat tidigare infört kriterium är att definiera målmålet i förväg. Kriterierna övervakar prestandan för den bästa modellen baserat på ett specifikt målmått och slutar trimmas när modellerna når det definierade tröskelvärdet i förhållande till ett specificerat målmått.
Med TargetObjectiveMetricValue
kriterier, kan vi instruera SageMaker att sluta ställa in modellen efter det att det objektiva måttet för den bästa modellen har nått det angivna värdet:
I det här exemplet instrueras vi SageMaker att sluta ställa in modellen när objektivmåttet för den bästa modellen har nått 0.95.
Den här metoden är användbar när du har ett specifikt mål som du vill att din modell ska nå, till exempel en viss nivå av noggrannhet, precision, återkallelse, F1-poäng, AUC, loggförlust och så vidare.
Ett typiskt användningsfall för detta kriterium skulle vara för en användare som redan är bekant med modellens prestanda vid givna trösklar. En användare i utforskningsfasen kan först ställa in modellen med en liten delmängd av en större datamängd för att identifiera en tillfredsställande utvärderingsmetrisk tröskel att rikta in sig på när han tränar med hela datamängden.
Förbättringsövervakning
Detta kriterium övervakar modellernas konvergens efter varje iteration och stoppar justeringen om modellerna inte förbättras efter ett definierat antal träningsjobb. Se följande konfiguration:
I det här fallet ställer vi in MaxNumberOfTrainingJobsNotImproving
till 10, vilket innebär att om det objektiva måttet slutar förbättras efter 10 träningsjobb, kommer inställningen att stoppas och den bästa modellen och mätvärdet rapporteras.
Förbättringsövervakning bör användas för att ställa in en avvägning mellan modellkvalitet och övergripande arbetsflödeslängd på ett sätt som sannolikt kan överföras mellan olika optimeringsproblem.
Konvergensdetektering
Konvergensdetektering är ett kompletteringskriterie som låter automatisk modellinställning bestämma när trimningen ska stoppas. I allmänhet kommer automatisk modellinställning att sluta trimma när den uppskattar att ingen betydande förbättring kan uppnås. Se följande konfiguration:
Kriterierna passar bäst när du till en början inte vet vilka stoppinställningar du ska välja.
Det är också användbart om du inte vet vilket mål som är rimligt för en bra förutsägelse med tanke på problemet och datauppsättningen i handen, och hellre vill ha inställningsjobbet klart när det inte längre förbättras.
Experimentera med en jämförelse av slutförandekriterier
I det här experimentet, med en regressionsuppgift, kör vi 3 inställningsexperiment för att hitta den optimala modellen inom ett sökutrymme med 2 hyperparametrar med totalt 200 hyperparameterkonfigurationer med hjälp av datauppsättning för direkt marknadsföring.
Med allt annat lika, trimmades den första modellen med BestObjectiveNotImproving
slutförandekriterier, den andra modellen trimmades med CompleteOnConvergence
och den tredje modellen trimmades utan att några slutförandekriterier definierades.
När vi beskriver varje jobb kan vi observera att inställningen BestObjectiveNotImproving
kriterier har lett till den mest optimala resursen och tiden i förhållande till det objektiva måttet med betydligt färre jobb.
Smakämnen CompleteOnConvergence
Kriterierna kunde också sluta trimma halvvägs genom experimentet, vilket resulterade i färre träningsjobb och kortare utbildningstid jämfört med att inte ange ett kriterium.
Även om det inte sattes ett slutförandekriterier resulterade det i ett kostsamt experiment, att definiera MaxRuntimeInSeconds
som en del av resursgränsen skulle vara ett sätt att minimera kostnaden.
Resultaten ovan visar att när Amazon SageMaker definierar ett slutförandekriterium kan den intelligent stoppa inställningsprocessen när den upptäcker att modellen är mindre sannolikt att förbättras utöver det aktuella resultatet.
Observera att kompletteringskriterierna som stöds i SageMakers automatiska modellinställning inte utesluter varandra och kan användas samtidigt när du ställer in en modell.
När mer än ett slutförandekriterie har definierats slutförs trimningsjobbet när något av kriterierna är uppfyllt.
Till exempel kan en kombination av ett resursbegränsningskriterier som maximal inställningstid med ett konvergenskriterium, såsom förbättringsövervakning eller konvergensdetektering, ge en optimal kostnadskontroll och ett optimalt objektivt mått.
Slutsats
I det här inlägget diskuterade vi hur du nu på ett intelligent sätt kan stoppa ditt trimningsjobb genom att välja en uppsättning slutförandekriterier som nyligen introducerats i SageMaker, såsom maximal inställningstid, förbättringsövervakning eller konvergensdetektering.
Vi visade med ett experiment att intelligent stopp baserat på förbättringsobservation över iteration kan leda till en avsevärt optimerad budget och tidshantering jämfört med att inte definiera ett slutförandekriterie.
Vi visade också att dessa kriterier inte utesluter varandra och kan användas samtidigt när man ställer in en modell, för att dra fördel av både budgetkontroll och optimal konvergens.
För mer information om hur du konfigurerar och kör automatisk modellinställning, se Ange inställningarna för Hyperparameter Tuning Job Settings.
Om författarna
Doug Mbaya är en Senior Partner Solution arkitekt med fokus på data och analys. Doug arbetar nära med AWS-partners och hjälper dem att integrera data- och analyslösningar i molnet.
Chaitra Mathur är en Principal Solutions Architect på AWS. Hon vägleder kunder och partners i att bygga mycket skalbara, pålitliga, säkra och kostnadseffektiva lösningar på AWS. Hon brinner för Machine Learning och hjälper kunder att översätta sina ML-behov till lösningar som använder AWS AI/ML-tjänster. Hon har 5 certifieringar inklusive ML Specialty certifiering. På fritiden tycker hon om att läsa, yoga och umgås med sina döttrar.
Iaroslav Shcherbatyi är maskininlärningsingenjör på AWS. Han arbetar huvudsakligen med förbättringar av Amazon SageMaker-plattformen och hjälper kunder att använda dess funktioner på bästa sätt. På fritiden gillar han att gå på gym, ägna sig åt utomhussporter som skridskoåkning eller vandring och att komma ikapp med ny AI-forskning.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. Tillgång här.
- Källa: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- Able
- Om oss
- ovan
- Konto
- noggrannhet
- Uppnå
- uppnås
- tvärs
- Dessutom
- Annat
- Fördel
- Efter
- AI
- ai forskning
- AI / ML
- algoritm
- Alla
- redan
- amason
- Amazon SageMaker
- mängd
- analytics
- och
- tillämpas
- Automat
- automatiskt
- AWS
- baserat
- innan
- Där vi får lov att vara utan att konstant prestera,
- fördel
- Fördelarna
- BÄST
- Bättre
- mellan
- Bortom
- Bunden
- föra
- budget
- Byggnad
- kallas
- Vid
- brottning
- vissa
- certifiering
- certifieringar
- utmaningar
- Välja
- valda
- nära
- cloud
- kombination
- jämfört
- jämförelse
- fullborda
- Avslutade
- slutför
- fullbordan
- Compute
- konfiguration
- kontroll
- Konvergens
- Pris
- kostnadsbesparingar
- kostnadseffektiv
- Kostar
- kunde
- kriterier
- Aktuella
- Kunder
- datum
- definierade
- definierande
- demonstreras
- önskas
- detaljer
- Detektering
- olika
- Rabatt
- diskutera
- diskuteras
- inte
- inte
- varje
- Tidig
- aktiverad
- ingenjör
- säkerställa
- beräknad
- uppskattningar
- utvärdering
- allt
- exempel
- Exklusiv
- befintliga
- dyra
- experimentera
- utforskning
- utforska
- bekant
- Leverans
- Funktioner
- hitta
- finna
- fynd
- Förnamn
- Fokus
- efter
- formeln
- full
- allmänhet
- skaffa sig
- ges
- Ge
- Go
- Målet
- god
- Guider
- gym
- har
- hjälpa
- hjälper
- högre
- höggradigt
- innehar
- Hur ser din drömresa ut
- How To
- Men
- html
- HTTPS
- Hyperparameteroptimering
- Inställning av hyperparameter
- IS
- identifiera
- förbättra
- förbättring
- förbättringar
- förbättra
- in
- I andra
- Inklusive
- Ökar
- individuellt
- initialt
- integrera
- Intelligent
- introducerade
- Introducerar
- IT
- iteration
- iterationer
- Jobb
- Lediga jobb
- Vet
- känd
- större
- lager
- leda
- inlärning
- Led
- Lets
- Nivå
- sannolikt
- BEGRÄNSA
- Begränsad
- längre
- Maskinen
- maskininlärning
- ledning
- många
- Marknadsföring
- max
- Maximera
- maximal
- betyder
- möter
- metod
- metriska
- Metrics
- minimerande
- ML
- modell
- modeller
- övervakning
- monitorer
- mer
- mest
- multipel
- ömsesidigt
- behov
- Nya
- antal
- mål
- mål
- observera
- ONE
- fungerar
- optimala
- optimering
- optimerad
- Alternativet
- Övriga
- övergripande
- parameter
- del
- partnern
- partner
- brinner
- prestanda
- perioder
- fas
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- Inlägg
- Precision
- förutsägelse
- tidigare
- Principal
- Problem
- problem
- process
- producera
- projicerade
- förutsatt
- tillhandahålla
- kvalitet
- nå
- kommit fram till
- Läsning
- rimlig
- förhållande
- pålitlig
- Rapporterad
- forskning
- resurs
- Resurser
- resultera
- resulterande
- Resultat
- Körning
- offra
- sagemaker
- SageMaker Automatisk modellinställning
- Besparingar
- skalbar
- Sök
- Andra
- sekunder
- säkra
- väljer
- Val
- senior
- Tjänster
- in
- inställning
- inställningar
- skall
- show
- signifikant
- signifikant
- Small
- mindre
- So
- lösning
- Lösningar
- Löser
- några
- Utrymme
- Specialitet
- specifik
- specificerade
- Spendera
- snurrar
- Sporter
- Sluta
- slutade
- stoppa
- Stoppar
- sådana
- stödja
- Som stöds
- Stöder
- Ta
- Målet
- uppgift
- villkor
- Smakämnen
- deras
- Tredje
- tre
- tröskelvärde
- Genom
- tid
- gånger
- till
- alltför
- Totalt
- Utbildning
- Översätt
- typisk
- användning
- användningsfall
- Användare
- godkännande
- värde
- version
- sätt
- Vad
- som
- VEM
- kommer
- inom
- utan
- ord
- fungerar
- skulle
- Avkastning
- Yoga
- Om er
- Din
- zephyrnet