Amazon Sage Maker heeft aangekondigd de ondersteuning van drie nieuwe voltooiingscriteria voor Amazon SageMaker automatische modelafstemming, waardoor u een extra set hendels krijgt om de stopcriteria van de afstemmingstaak te regelen bij het vinden van de beste hyperparameterconfiguratie voor uw model.
In dit bericht bespreken we deze nieuwe voltooiingscriteria, wanneer ze moeten worden gebruikt en enkele van de voordelen die ze met zich meebrengen.
Automatische afstemming van SageMaker-modellen
Automatische modeltuning, ook wel genoemd afstemming van hyperparameters, vindt de beste versie van een model, gemeten aan de hand van de statistiek die we kiezen. Het voert veel trainingstaken uit op de verstrekte dataset, met behulp van het gekozen algoritme en de opgegeven hyperparameterbereiken. Elke trainingstaak kan vroegtijdig worden voltooid wanneer de doelstellingsstatistiek niet significant verbetert, wat bekend staat als vroegtijdig stoppen.
Tot nu toe waren er beperkte manieren om de algehele afstemmingstaak te controleren, zoals het specificeren van het maximale aantal trainingstaken. De selectie van deze parameterwaarde is echter op zijn best heuristisch. Een grotere waarde verhoogt de afstemmingskosten en een kleinere waarde levert mogelijk niet altijd de beste versie van het model op.
SageMaker automatische modelafstemming lost deze uitdagingen op door u meerdere voltooiingscriteria voor de afstemmingstaak te geven. Het wordt toegepast op afstemmingsniveau in plaats van op elk individueel opleidingsniveau, wat betekent dat het op een hogere abstractielaag werkt.
Voordelen van het afstemmen van criteria voor het voltooien van taken
Met betere controle over wanneer de afstemmingstaak stopt, profiteert u van kostenbesparingen doordat de taak gedurende langere perioden niet wordt uitgevoerd en rekenkundig duur is. Het betekent ook dat u ervoor kunt zorgen dat de klus niet te vroeg stopt en dat u een model van voldoende goede kwaliteit krijgt dat beantwoordt aan uw doelstellingen. U kunt ervoor kiezen om de afstemmingstaak te stoppen wanneer de modellen niet langer verbeteren na een reeks iteraties of wanneer de geschatte resterende verbetering de rekenresources en -tijd niet rechtvaardigt.
Naast het bestaande maximum aantal criteria voor het voltooien van een opleidingsfunctie MaxAantalTrainingsJobs, introduceert automatische modelafstemming de optie om het afstemmen te stoppen op basis van een maximale afstemtijd, verbeteringsbewaking en convergentiedetectie.
Laten we elk van deze criteria eens nader bekijken.
Maximale afstemtijd
Voorheen had u de optie om een maximum aantal trainingstaken te definiëren als instelling voor een resourcelimiet om het afstemmingsbudget in termen van rekenresource te beheren. Dit kan echter leiden tot onnodig langere of kortere trainingstijden dan nodig of gewenst is.
Met de toevoeging van de criteria voor maximale afstemmingstijd, kunt u nu uw trainingsbudget toewijzen in termen van tijd om de afstemmingstaak uit te voeren en de taak automatisch te beëindigen na een opgegeven hoeveelheid tijd gedefinieerd in seconden.
Zoals hierboven te zien is, gebruiken we de MaxRuntimeInSeconds
om de afstemtijd in seconden te definiëren. Door de tijdslimiet voor afstemming in te stellen, kunt u de duur van de afstemmingstaak en ook de verwachte kosten van het experiment beperken.
De totale kosten vóór eventuele contractuele korting kunnen worden geschat met de volgende formule:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
De maximale looptijd in seconden kan worden gebruikt om kosten en looptijd te binden. Met andere woorden, het is een voltooiingscriterium voor budgetbeheer.
Deze functie maakt deel uit van criteria voor resourcebeheer en houdt geen rekening met de convergentie van de modellen. Zoals we later in dit bericht zullen zien, kan dit criterium worden gebruikt in combinatie met andere stopcriteria om kostenbeheersing te bereiken zonder aan nauwkeurigheid in te boeten.
Gewenste doelstatistiek
Een ander eerder geïntroduceerd criterium is om vooraf het beoogde doel te definiëren. De criteria bewaken de prestaties van het beste model op basis van een specifieke objectieve maatstaf en stoppen met afstemmen wanneer de modellen de gedefinieerde drempel bereiken met betrekking tot een gespecificeerde objectieve maatstaf.
Met de TargetObjectiveMetricValue
criteria, kunnen we SageMaker instrueren om te stoppen met het afstemmen van het model nadat de objectieve metriek van het beste model de gespecificeerde waarde heeft bereikt:
In dit voorbeeld krijgen we SageMaker de opdracht om te stoppen met het afstemmen van het model wanneer de objectieve metriek van het beste model 0.95 heeft bereikt.
Deze methode is handig wanneer u een specifiek doel hebt dat u met uw model wilt bereiken, zoals een bepaald niveau van nauwkeurigheid, precisie, terugroepen, F1-score, AUC, logverlies, enzovoort.
Een typische use case voor deze criteria is voor een gebruiker die al bekend is met de modelprestaties bij bepaalde drempels. Een gebruiker in de verkenningsfase kan het model eerst afstemmen met een kleine subset van een grotere dataset om een bevredigende drempelwaarde voor evaluatiestatistieken te identificeren die moet worden nagestreefd bij het trainen met de volledige dataset.
Verbeterbewaking
Dit criterium bewaakt de convergentie van de modellen na elke iteratie en stopt de afstemming als de modellen niet verbeteren na een bepaald aantal trainingstaken. Zie de volgende configuratie:
In dit geval zetten we de MaxNumberOfTrainingJobsNotImproving
tot 10, wat betekent dat als de objectieve metriek niet meer verbetert na 10 trainingstaken, de afstemming wordt gestopt en het beste model en de beste metriek worden gerapporteerd.
Monitoring van verbeteringen moet worden gebruikt om een afweging te maken tussen de kwaliteit van het model en de totale duur van de workflow op een manier die waarschijnlijk overdraagbaar is tussen verschillende optimalisatieproblemen.
Convergentie detectie
Convergentiedetectie is een voltooiingscriterium waarmee automatisch afstemmen van modellen kan worden bepaald wanneer het afstemmen moet worden gestopt. Over het algemeen stopt automatische afstemming van modellen met afstemmen wanneer wordt geschat dat er geen significante verbetering kan worden bereikt. Zie de volgende configuratie:
Het criterium is het meest geschikt als u in eerste instantie niet weet welke stopinstellingen u moet selecteren.
Het is ook handig als u niet weet welke doeldoelstatistiek redelijk is voor een goede voorspelling gezien het probleem en de dataset in kwestie, en u liever de afstemmingstaak wilt laten voltooien wanneer deze niet langer verbetert.
Experimenteer met een vergelijking van voltooiingscriteria
In dit experiment voeren we, gegeven een regressietaak, 3 afstemmingsexperimenten uit om het optimale model te vinden binnen een zoekruimte van 2 hyperparameters met in totaal 200 hyperparameterconfiguraties met behulp van de gegevensset voor direct marketing.
Terwijl al het andere gelijk bleef, werd het eerste model afgestemd met de BestObjectiveNotImproving
voltooiingscriteria, werd het tweede model afgestemd met de CompleteOnConvergence
en het derde model is afgestemd zonder dat er voltooiingscriteria zijn gedefinieerd.
Bij het beschrijven van elke taak kunnen we zien dat het instellen van de BestObjectiveNotImproving
criteria heeft geleid tot de meest optimale middelen en tijd ten opzichte van de objectieve maatstaf met aanzienlijk minder uitgevoerde taken.
De CompleteOnConvergence
criteria kon halverwege het experiment ook stoppen met afstemmen, wat resulteerde in minder trainingsbanen en kortere trainingstijd in vergelijking met het niet stellen van een criterium.
Hoewel het niet instellen van voltooiingscriteria resulteerde in een kostbaar experiment, het definiëren van de MaxRuntimeInSeconds
als onderdeel van de beperkte middelen zou een manier zijn om de kosten te minimaliseren.
De bovenstaande resultaten laten zien dat Amazon SageMaker bij het definiëren van een voltooiingscriterium in staat is om het afstemmingsproces op intelligente wijze te stoppen wanneer het detecteert dat het minder waarschijnlijk is dat het model beter zal worden dan het huidige resultaat.
Houd er rekening mee dat de voltooiingscriteria die worden ondersteund in de automatische modelafstemming van SageMaker elkaar niet uitsluiten en gelijktijdig kunnen worden gebruikt bij het afstemmen van een model.
Wanneer er meer dan één voltooiingscriterium is gedefinieerd, wordt de afstemmingstaak voltooid wanneer aan een van de criteria wordt voldaan.
Een combinatie van een criterium voor resourcelimieten, zoals maximale afstemtijd, met convergentiecriteria, zoals verbeteringsbewaking of convergentiedetectie, kan bijvoorbeeld een optimale kostenbeheersing en een optimale objectieve maatstaf opleveren.
Conclusie
In dit bericht hebben we besproken hoe u uw afstemmingstaak nu op intelligente wijze kunt stoppen door een reeks voltooiingscriteria te selecteren die nieuw zijn geïntroduceerd in SageMaker, zoals maximale afstemmingstijd, verbeteringsbewaking of convergentiedetectie.
We hebben met een experiment aangetoond dat intelligent stoppen op basis van observatie van verbeteringen tijdens iteraties kan leiden tot een aanzienlijk geoptimaliseerd budget- en tijdbeheer in vergelijking met het niet definiëren van voltooiingscriteria.
We hebben ook aangetoond dat deze criteria elkaar niet uitsluiten en gelijktijdig kunnen worden gebruikt bij het afstemmen van een model, om te profiteren van zowel budgetcontrole als optimale convergentie.
Raadpleeg voor meer informatie over het configureren en uitvoeren van automatische modelafstemming Geef de taakinstellingen voor het afstemmen van hyperparameters op.
Over de auteurs
Doug Mbaya is een Senior Partner Solution architect met een focus op data en analytics. Doug werkt nauw samen met AWS-partners en helpt hen data- en analyseoplossingen in de cloud te integreren.
Chaitra Mathur is Principal Solutions Architect bij AWS. Ze begeleidt klanten en partners bij het bouwen van zeer schaalbare, betrouwbare, veilige en kosteneffectieve oplossingen op AWS. Ze is gepassioneerd door Machine Learning en helpt klanten hun ML-behoeften te vertalen naar oplossingen met behulp van AWS AI/ML-services. Ze heeft 5 certificeringen, waaronder de ML Specialty-certificering. In haar vrije tijd houdt ze van lezen, yoga en tijd doorbrengen met haar dochters.
Iaroslav Sjtsjerbatyi is een Machine Learning Engineer bij AWS. Hij werkt voornamelijk aan verbeteringen aan het Amazon SageMaker-platform en helpt klanten de functies ervan optimaal te gebruiken. In zijn vrije tijd gaat hij graag naar de sportschool, doet hij aan buitensporten zoals schaatsen of wandelen, en houdt hij zich bezig met nieuw AI-onderzoek.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
- Bron: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- in staat
- Over
- boven
- Account
- nauwkeurigheid
- Bereiken
- bereikt
- over
- toevoeging
- Extra
- Voordeel
- Na
- AI
- ai onderzoek
- AI / ML
- algoritme
- Alles
- al
- Amazone
- Amazon Sage Maker
- bedragen
- analytics
- en
- toegepast
- Automatisch
- webmaster.
- AWS
- gebaseerde
- vaardigheden
- wezen
- voordeel
- betekent
- BEST
- Betere
- tussen
- Verder
- Gebonden
- brengen
- begroting
- Gebouw
- Dit betekent dat we onszelf en onze geliefden praktisch vergiftigen.
- geval
- het worstelen
- zeker
- Certificering
- certificeringen
- uitdagingen
- Kies
- uitgekozen
- van nabij
- Cloud
- combinatie van
- vergeleken
- vergelijking
- compleet
- Voltooid
- voltooit
- voltooiing
- Berekenen
- Configuratie
- onder controle te houden
- Convergentie
- Kosten
- kostenbesparingen
- kostenefficient
- Kosten
- kon
- criteria
- Actueel
- Klanten
- gegevens
- gedefinieerd
- het definiëren van
- gedemonstreerd
- gewenste
- gegevens
- Opsporing
- anders
- Korting
- bespreken
- besproken
- Nee
- Dont
- elk
- Vroeg
- ingeschakeld
- ingenieur
- verzekeren
- geschat
- schattingen
- evaluatie
- alles
- voorbeeld
- Nieuwste vermeldingen
- bestaand
- duur
- experiment
- exploratie
- Verken
- vertrouwd
- Kenmerk
- Voordelen
- VIND DE PLEK DIE PERFECT VOOR JOU IS
- het vinden van
- vondsten
- Voornaam*
- Focus
- volgend
- formule
- vol
- algemeen
- krijgen
- gegeven
- Vrijgevigheid
- Go
- doel
- goed
- Guides
- gym
- met
- het helpen van
- helpt
- hoger
- zeer
- houdt
- Hoe
- How To
- Echter
- HTML
- HTTPS
- Optimalisatie van hyperparameters
- Hyperparameter afstemmen
- ICE
- identificeren
- verbeteren
- verbetering
- verbeteringen
- het verbeteren van
- in
- Anders
- Inclusief
- Verhoogt
- individueel
- eerste
- integreren
- Intelligent
- geïntroduceerd
- Introduceert
- IT
- herhaling
- iteraties
- Jobomschrijving:
- Vacatures
- blijven
- bekend
- groter
- lagen
- leiden
- leren
- LED
- Laten we
- Niveau
- Waarschijnlijk
- LIMIT
- Beperkt
- langer
- machine
- machine learning
- management
- veel
- Marketing
- max
- Maximaliseren
- maximaal
- middel
- Meets
- methode
- metriek
- Metriek
- minimaliseren
- ML
- model
- modellen
- Grensverkeer
- monitors
- meer
- meest
- meervoudig
- onderling
- behoeften
- New
- aantal
- doel van de persoon
- doelstellingen
- waarnemen
- EEN
- exploiteert
- optimale
- optimalisatie
- geoptimaliseerde
- Keuze
- Overige
- totaal
- parameter
- deel
- partner
- partners
- hartstochtelijk
- prestatie
- periodes
- fase
- platform
- Plato
- Plato gegevensintelligentie
- PlatoData
- Post
- precisie
- voorspelling
- die eerder
- Principal
- probleem
- problemen
- produceren
- geprojecteerde
- mits
- het verstrekken van
- kwaliteit
- bereiken
- bereikt
- lezing
- redelijk
- relatie
- betrouwbaar
- gemeld
- onderzoek
- hulpbron
- Resources
- resultaat
- verkregen
- Resultaten
- lopen
- concessies te doen
- sagemaker
- SageMaker automatische modelafstemming
- Bespaar geld
- schaalbare
- Ontdek
- Tweede
- seconden
- beveiligen
- selecteren
- selectie
- senior
- Diensten
- reeks
- het instellen van
- settings
- moet
- tonen
- aanzienlijke
- aanzienlijk
- Klein
- kleinere
- So
- oplossing
- Oplossingen
- Lost op
- sommige
- Tussenruimte
- Specialiteit
- specifiek
- gespecificeerd
- Uitgaven
- spins
- Sport
- stop
- gestopt
- stoppen
- Stopt
- dergelijk
- ondersteuning
- ondersteunde
- steunen
- Nemen
- doelwit
- Taak
- termen
- De
- hun
- Derde
- drie
- drempel
- Door
- niet de tijd of
- keer
- naar
- ook
- Totaal
- Trainingen
- vertalen
- typisch
- .
- use case
- Gebruiker
- bevestiging
- waarde
- versie
- manieren
- Wat
- welke
- WIE
- wil
- binnen
- zonder
- woorden
- Bedrijven
- zou
- Opbrengst
- Yoga
- You
- Your
- zephyrnet