Nadat u uw machine learning-model (ML) hebt gebouwd, getraind en geëvalueerd om er zeker van te zijn dat het voorgestelde zakelijke probleem wordt opgelost, wilt u dat model implementeren om besluitvorming in de bedrijfsvoering mogelijk te maken. Modellen die bedrijfskritische functies ondersteunen, worden geïmplementeerd in een productieomgeving waar een strategie voor het vrijgeven van modellen wordt ingevoerd. Gezien de aard van ML-modellen, waarbij de gegevens voortdurend veranderen, wilt u er ook voor zorgen dat een geïmplementeerd model nog steeds relevant is voor nieuwe gegevens en dat het model wordt bijgewerkt wanneer dit niet het geval is. Dit omvat het kiezen van een implementatiestrategie die risico's en downtime minimaliseert. Deze optimale implementatiestrategie moet een hoge beschikbaarheid van het model behouden, rekening houden met de bedrijfskosten van het implementeren van een model dat inferieur is aan wat al in productie is, en functionaliteit bevatten om gemakkelijk terug te gaan naar een vorige modelversie. Veel van deze aanbevolen overwegingen en implementatiepatronen worden ook behandeld in de AWS Goed ontworpen raamwerk – Machine Learning-lens.
Naast het kiezen van de juiste implementatiestrategie, moet die strategie worden geïmplementeerd met behulp van een betrouwbaar mechanisme dat MLOps-praktijken omvat. MLOps omvat werkwijzen die ML-workloads integreren in releasebeheer, CI/CD en bewerkingen, rekening houdend met de unieke aspecten van ML-projecten, inclusief overwegingen voor het implementeren en bewaken van modellen. Amazon SageMaker voor MLOps biedt speciaal gebouwde tools om stappen in de ML-levenscyclus te automatiseren en te standaardiseren, inclusief mogelijkheden om nieuwe modellen te implementeren en te beheren met behulp van geavanceerde implementatiepatronen.
In dit bericht bespreken we hoe u ML-modellen kunt implementeren Amazon Sage Maker op een herhaalbare en geautomatiseerde manier, waarbij de productie varianten en inzet vangrails mogelijkheden van SageMaker met MLOps-oplossingen. We geven u een inleiding over hoe u de MLOps-tools van SageMaker integreert met SageMaker-modelimplementatiepatronen, met de nadruk op real-time single-model eindpunten.
Overzicht oplossingen
We onderzoeken de volgende modeltest- en vangrailpatronen en hun integratie met SageMaker MLOps-tools:
- Model testen – We vergelijken verschillende modelversies in productie voordat we de huidige modelversie vervangen. Dit bericht vergelijkt de volgende mogelijkheden voor het testen van modellen:
- A / B-testen – Met A/B-testen vergelijkt u verschillende versies van uw model in productie door het eindpuntverkeer te verdelen over uw modelvarianten. A/B-testen worden gebruikt in scenario's waarin feedback met een gesloten lus de modeloutput rechtstreeks kan koppelen aan downstream-bedrijfsstatistieken. Deze feedback wordt vervolgens gebruikt om de statistische significantie te bepalen van het overstappen van het ene model naar het andere, zodat u het beste model kunt selecteren door middel van live productietests.
- Schaduw testen – Met schaduwtesten test je een nieuwe versie van je model in productie door parallel verzoeken naar het productiemodel en het nieuwe model te sturen. De voorspellingsresponsgegevens van het productiemodel worden aangeboden aan de toepassing, terwijl de voorspellingen van de nieuwe modelversie worden opgeslagen voor testen, maar niet worden geleverd aan de productietoepassing. Schaduwtesten worden gebruikt in situaties waarin er geen closed loop-feedback is die een bedrijfsstatistiek terugkoppelt aan de voorspellingen van een model. In dit scenario gebruikt u modelkwaliteit en operationele metrische gegevens om meerdere modellen te vergelijken in plaats van enige impact op downstream zakelijke metrische gegevens.
- Wisselend verkeer – Nadat u de nieuwe versie van het model hebt getest en tevreden bent met de prestaties, is de volgende stap het verschuiven van het verkeer van het huidige model naar het nieuwe. De blauw/groene inzet vangrails in SageMaker kunt u eenvoudig en gecontroleerd overschakelen van het huidige model in productie (blauwe vloot) naar een nieuwe (groene vloot). Blauw/groene implementaties voorkomen downtime tijdens de updates van uw model, zoals bij een in-place implementatiescenario. Om de beschikbaarheid van modellen te maximaliseren, zijn vanaf dit schrijven blauw/groene implementaties de standaardoptie voor modelupdates in SageMaker. We bespreken de volgende methoden voor het verplaatsen van verkeer in dit bericht:
- Ineens verschuift het verkeer – 100% van uw eindpuntverkeer wordt verschoven van uw blauwe vloot naar uw groene vloot nadat de groene vloot beschikbaar is. We gebruiken alarm in Amazon Cloud Watch die uw groene wagenpark gedurende een bepaalde tijd bewaken (de bakken periode) en als er geen alarm wordt geactiveerd, wordt de blauwe vloot na de bakperiode door SageMaker verwijderd.
- Canarische verkeer verschuiven – Uw groene wagenpark wordt eerst blootgesteld aan een kleiner deel van uw verkeer (a kanarie) en gevalideerd voor eventuele problemen met behulp van CloudWatch-alarmen gedurende een bakperiode terwijl de blauwe vloot het grootste deel van het eindpuntverkeer blijft ontvangen. Nadat de groene vloot is gevalideerd, wordt al het verkeer verplaatst naar de nieuwe vloot en wordt de blauwe vloot vervolgens verwijderd door SageMaker.
- Blauw/groen lineair verkeer verschuiven trapleuning – Stapsgewijs verplaatst u het verkeer van uw blauwe wagenpark naar uw groene wagenpark. Uw model wordt vervolgens gecontroleerd met CloudWatch-alarmen gedurende een bakperiode in elke stap voordat de Blue-vloot volledig wordt vervangen.
Dit bericht richt zich op het beschrijven van architecturen die SageMaker MLOps-functies gebruiken om gecontroleerde implementaties van modellen uit te voeren via de implementatie-vangrails en modelleringsteststrategieën die we hebben vermeld. Raadpleeg voor algemene informatie over deze patronen Profiteer van geavanceerde implementatiestrategieën met behulp van Amazon SageMaker-implementatieleuningen en Inzet vangrails.
Implementeer een model met SageMaker
SageMaker biedt een breed scala aan inzetopties die variëren van lage latentie en hoge doorvoer tot langlopende inferentietaken. Deze opties omvatten overwegingen voor batch, real-time of bijna real-time gevolgtrekking. Elke optie biedt verschillende geavanceerde functies, zoals de mogelijkheid om meerdere modellen op één eindpunt uit te voeren. Zoals eerder vermeld, behandelen we voor dit bericht echter alleen MLOps-implementatiepatronen met behulp van eindpunten met één model. Om verder te duiken in meer geavanceerde SageMaker-implementatiefuncties voor real-time gevolgtrekking, raadpleeg Model hostingpatronen in Amazon SageMaker, deel 2: Aan de slag met het implementeren van real-time modellen op SageMaker.
Om de implementatie van geavanceerde implementatiepatronen met behulp van continuous delivery (CD)-pijplijnen te begrijpen, bespreken we eerst een sleutelconcept binnen SageMaker genaamd modelvarianten.
SageMaker-modelvarianten
Met modelvarianten kunt u meerdere versies van uw model op hetzelfde eindpunt implementeren om uw model te testen. Modelvarianten worden geïmplementeerd om afzonderlijke instanties te scheiden, dus er is geen impact op andere varianten wanneer er een wordt bijgewerkt. In SageMaker worden modelvarianten geïmplementeerd als productie- en schaduwvarianten.
productie varianten kunt u meerdere versies van uw model A/B testen om hun prestaties te vergelijken. In dit scenario retourneren alle versies van uw model antwoorden op de modelaanvragen. Uw eindpuntverkeer wordt verdeeld over de bestaande varianten, ofwel door verkeersverdeling, waarbij u een gewicht toekent aan elke variant, of per doelvariant, waarbij een bepaalde parameter (bijvoorbeeld Regio of markt) bepaalt welk model moet worden aangeroepen.
Schaduwvarianten kunt u een nieuwe versie van uw model schaduwtesten. In dit scenario heeft uw model een productievariant en een schaduwvariant die parallel aan hetzelfde eindpunt zijn geïmplementeerd. De schaduwvariant ontvangt het volledige (of gesamplede) dataverkeer van uw eindpunt. Alleen de voorspellingen van de productievarianten worden echter teruggestuurd naar de gebruikers van uw applicatie en de voorspellingen van de schaduwvarianten worden gelogd voor analyse. Omdat schaduwvarianten worden gelanceerd op afzonderlijke exemplaren van de productievariant, heeft deze test geen invloed op de prestaties van uw productievariant. Met deze optie test u het nieuwe model en minimaliseert u de risico's van een slecht presterend model, en kunt u de prestaties van beide modellen vergelijken met dezelfde gegevens.
SageMaker-implementatie vangrails
Vangrails zijn een essentieel onderdeel van softwareontwikkeling. Ze beschermen uw applicatie en minimaliseren het risico van de implementatie van een nieuwe versie van uw applicatie. Evenzo kunt u met SageMaker-implementatievangrails op een gecontroleerde manier overschakelen van de ene modelversie naar de andere. Vanaf december 2022 bieden SageMaker-vangrails implementatie voor blauw/groene, kanarie en lineaire verkeersverschuivingsimplementaties. In combinatie met modelvarianten kunnen implementatievangrails worden toegepast op zowel productie- als schaduwvarianten van uw model, zodat er geen downtime is tijdens het updaten van een nieuwe variant, waarbij de verkeersverschuiving wordt geregeld volgens de geselecteerde optie.
MLOps-basis voor modelimplementatie
In de bredere context van een workflow voor het bouwen en implementeren van ML-modellen, willen we CI/CD-praktijken gebruiken die speciaal zijn ontwikkeld voor de ML-workflow. Net als bij traditionele CI/CD-systemen willen we softwaretests, integratietests en productie-implementaties automatiseren. We moeten echter ook specifieke bewerkingen in de ML-levenscyclus opnemen die niet aanwezig zijn in de traditionele levenscyclus van softwareontwikkeling, zoals modeltraining, modelexperimenten, modeltesten en modelbewaking.
Om deze ML-specifieke mogelijkheden te bereiken, worden MLOps-fundamenten zoals geautomatiseerde modeltests, implementatie-guardrails, multi-account implementaties en geautomatiseerde model-rollback toegevoegd aan het model-implementatieproces. Dit zorgt ervoor dat de reeds beschreven mogelijkheden het testen van modellen mogelijk maken en downtime voorkomen tijdens het proces van een modelupdate. Het biedt ook de betrouwbaarheid en traceerbaarheid die nodig zijn voor de continue verbetering van een productiegereed model. Bovendien zorgen mogelijkheden zoals de mogelijkheid om bestaande oplossingen in herbruikbare sjablonen te verpakken en modellen te implementeren in een opstelling met meerdere accounts, voor de schaalbaarheid van de modelimplementatiepatronen die in de post worden besproken naar verschillende modellen in een organisatie.
De volgende afbeelding toont een gemeenschappelijk patroon voor de verbinding van SageMaker-mogelijkheden om een end-to-end modelbouw- en implementatiepijplijn te creëren. In dit voorbeeld wordt een model ontwikkeld in SageMaker met behulp van Vacatures voor SageMaker Processing om gegevensverwerkingscode uit te voeren die wordt gebruikt om gegevens voor een ML-algoritme voor te bereiden. SageMaker Training banen worden vervolgens gebruikt om een ML-model te trainen op de gegevens die door de verwerkingstaak worden geproduceerd. De modelartefacten en bijbehorende metadata worden opgeslagen in het SageMaker-modelregister als laatste stap in het opleidingsproces. Dit wordt georkestreerd door SageMaker-pijpleidingen, een speciaal gebouwde CI/CD-service voor ML die helpt bij het automatiseren en beheren van ML-workflows op schaal.
Nadat het model is goedgekeurd, wordt het in productie getest met een A/B-test of een schaduwimplementatie. Nadat het model in productie is gevalideerd, gebruiken we het modelregister om het model goed te keuren voor productie-implementatie naar een SageMaker-eindpunt met behulp van een van de opties voor deployment guardrails.
Wanneer het modelupdateproces is voltooid, SageMaker-modelmonitor bewaakt voortdurend de modelprestaties op driften in het model en gegevenskwaliteit. Dit proces is geautomatiseerd om meerdere use cases te gebruiken SageMaker-project sjablonen die de infrastructuurimplementatie toewijzen aan een configuratie met meerdere accounts om volledige resource-isolatie en eenvoudigere kostenbeheersing te garanderen.
Implementatiepatronen voor eindpunten met één model
Wanneer u voor het eerst modellen implementeert in een productieomgeving, heeft u geen model om mee te vergelijken en wordt het geïmplementeerde model gebruikt door uw bedrijfstoepassing. Nadat het model is geïmplementeerd en gecontroleerd in een productieomgeving, wilt u het model mogelijk regelmatig of op aanvraag bijwerken wanneer er nieuwe gegevens beschikbaar zijn of wanneer uw model een prestatiekloof heeft gedetecteerd. Wanneer u een bestaand model bijwerkt, wilt u ervoor zorgen dat het nieuwe model beter presteert dan het huidige en het voorspellingsverzoekverkeer van uw bedrijfsapplicaties aankan. Tijdens deze validatieperiode wilt u dat het huidige model nog steeds beschikbaar is voor een mogelijke rollback om het risico op downtime voor uw applicaties te minimaliseren.
In een breder beeld van modelontwikkeling worden modellen doorgaans getraind in een data science-ontwikkelingsaccount. Dit omvat experimenteerworkflows die vaak worden gebruikt bij de ontwikkeling van modellen, evenals omscholingsworkflows die worden gebruikt in pijplijnen die klaar zijn voor productie. Alle metadata voor deze experimenten kunnen worden gevolgd met behulp van Amazon SageMaker-experimenten tijdens de ontwikkeling. Nadat de workflow is opgenomen in een pijplijn voor productiegebruik, worden de metadata automatisch gevolgd via SageMaker Pipelines. Om levensvatbare productiemodellen op één plek bij te houden, nadat experimenten de prestatiestatistieken van een model (precisie, terugroeping, enzovoort) tot een acceptabel niveau voor productie hebben gebracht, een voorwaarde stap in de SageMaker-pijplijn kan het model worden geregistreerd in het modelregister.
Met het modelregister kunt u de implementatie van dit model activeren met een handmatig of geautomatiseerd goedkeuringsproces. Deze implementatie vindt plaats in een ML-testaccount waar operationele tests zoals integratietests, unittests, modellatentie en eventuele aanvullende modelvalidatie kunnen worden uitgevoerd tegen de nieuwe modelversie. Houd er rekening mee dat A/B-testen en schaduwtesten niet worden uitgevoerd in het ML-testaccount, maar in het ML-productieaccount.
Nadat het model alle validaties in het testaccount heeft doorstaan, is het klaar om te worden geïmplementeerd in een productieomgeving. Een nieuw goedkeuringsproces activeert deze implementatie, en SageMaker-implementatiebeschermingen zorgen voor een gecontroleerde release en een transparant modelupdateproces volgens de geselecteerde verkeersverschuivingsmodus.
Het volgende diagram illustreert deze oplossingsarchitectuur.
Ineens verschuift het verkeer
De in één keer verkeersverschuivingsmodus stelt u in staat een nieuwe modelversie (groen wagenpark) bij te werken door 100% van het verkeer van uw huidige model (blauw wagenpark) volledig naar uw nieuwe model te verplaatsen. Met deze optie kunt u een bakperiode configureren waarin beide versies van uw model nog actief zijn, en kunt u snel en automatisch teruggaan naar de huidige versie als uw nieuwe model niet presteert zoals verwacht. Het nadeel van deze optie is dat al uw dataverkeer in één keer wordt beïnvloed, dus als er een probleem is met uw modelimplementatie, worden alle gebruikers die de applicatie gebruiken tijdens het implementatieproces getroffen. De volgende architectuur laat zien hoe de optie voor het in één keer verplaatsen van verkeer omgaat met modelupdates.
Verkeersverschuivingen kunnen in één keer worden opgenomen in uw MLOps-tooling door een eindpuntimplementatieconfiguratie te definiëren met BlueGreenUpdate-beleid ingesteld op ALL_AT_ONCE
. In uw MLOps-pijplijn, nadat een nieuw model is goedgekeurd voor implementatie naar het ML-productieaccount, controleert SageMaker of uw modeleindpunt al bestaat. Zo ja, de ALL_AT_ONCE
configuratie activeert een eindpuntupdate die de architectuur volgt. Het terugdraaien van uw eindpunt wordt beheerd op basis van CloudWatch-alarmen gedefinieerd door uw eindpunt AutoRollbackConfiguration
, die bij activering automatisch het terugdraaien van het model start naar uw huidige modelversie.
Canarische verkeer verschuiven
De kanarie verkeer verschuiven In de modus kunt u uw nieuwe model (groene vloot) testen met een klein deel van het dataverkeer voordat u het lopende model (blauwe vloot) bijwerkt naar de nieuwe versie of de nieuwe versie terugdraait, afhankelijk van de uitkomst van de kanarietests. Het deel van het verkeer dat wordt gebruikt om het nieuwe model te testen, wordt de kanarie genoemd, en bij deze optie wordt uw risico op een problematisch nieuw model geminimaliseerd voor het kanarieverkeer terwijl de updatetijd nog steeds wordt geminimaliseerd.
Met Canary-implementaties kunt u het risico van het implementeren van een nieuwe modelversie minimaliseren door de nieuwe modelversie bloot te stellen aan een kleinere groep gebruikers om de effectiviteit gedurende een bepaalde periode te bewaken. Het nadeel is het beheer van meerdere versies gedurende een bepaalde periode, waardoor prestatiestatistieken kunnen worden verzameld die zinvol genoeg zijn om de impact op de prestaties te bepalen. Het voordeel is de mogelijkheid om risico's te isoleren voor een kleinere groep gebruikers.
Canary traffic shifting kan worden opgenomen in uw MLOps-tooling door een eindpuntimplementatieconfiguratie te definiëren met een BlueGreenUpdate-beleid ingesteld op CANARY
en het definiëren van de CanarySize
om te bepalen hoeveel van uw eindpuntverkeer moet worden omgeleid naar een nieuwe modelversie. Net als bij de optie alles tegelijk, controleert SageMaker in uw MLOps-pijplijn, nadat een nieuw model is goedgekeurd voor implementatie op het ML-productieaccount, of uw modeleindpunt al bestaat. Zo ja, de CANARY
configuratie activeert een eindpuntupdate die de architectuur volgt die wordt beschreven in het volgende diagram. Het terugdraaien van uw eindpunt wordt beheerd op basis van CloudWatch-alarmen die door uw eindpunt zijn gedefinieerd AutoRollbackConfiguration
dat wanneer het wordt geactiveerd, het model automatisch wordt teruggedraaid naar uw huidige modelversie. Handige alarmtypen om hier te implementeren zijn 500 statuscodes en modellatentie; deze alarminstellingen moeten echter worden aangepast aan uw specifieke zakelijke use case en ML-technologie.
Lineair verkeer verschuiven
In het lineaire verkeersverschuiving model, verander je geleidelijk het verkeer van je huidige model (blauwe vloot) naar je nieuwe modelversie (groene vloot) door het dataverkeer dat naar het nieuwe model wordt gestuurd in stappen te verhogen. Op deze manier neemt het deel van het verkeer dat wordt gebruikt om uw nieuwe modelversie te testen geleidelijk toe met elke stap, en een baktijd voor elke stap zorgt ervoor dat uw model nog steeds operationeel is met het nieuwe verkeer. Met deze optie minimaliseert u het risico van het implementeren van een slecht presterend model en stelt u het nieuwe model geleidelijk bloot aan meer dataverkeer. Het nadeel van deze aanpak is dat uw updatetijd langer is en dat de kosten van het parallel draaien van beide modellen toenemen.
Lineaire verkeersverschuiving kan worden opgenomen in uw MLOps-tooling door een eindpuntimplementatieconfiguratie te definiëren met BlueGreenUpdatePolicy ingesteld op LINEAR
en het definiëren van de LinearStepSize
om te bepalen hoeveel van uw verkeer bij elke stap moet worden omgeleid naar een nieuw model. Net als bij de optie alles tegelijk, controleert SageMaker in uw MLOps-pijplijn, nadat een nieuw model is goedgekeurd voor implementatie op het ML-productieaccount, of uw modeleindpunt al bestaat. Zo ja, de LINEAR
configuratie activeert een eindpuntupdate die de architectuur volgt die wordt aangegeven in het volgende diagram. Het terugdraaien van uw eindpunt wordt beheerd op basis van CloudWatch-alarmen die door uw eindpunt zijn gedefinieerd AutoRollbackConfiguration
dat wanneer het wordt geactiveerd, het model automatisch wordt teruggedraaid naar uw huidige modelversie.
Implementatiepatronen met modelproductievarianten
Onafhankelijk van het implementatiepatroon dat u voor uw toepassing hebt gekozen, kunt u ook productievarianten gebruiken om uw modelprestaties te valideren voordat u uw eindpunt bijwerkt of aanvullende implementatiepatronen implementeren, zoals schaduwimplementaties. In dit geval wilt u een handmatig of geautomatiseerd proces toevoegen om het beste model te selecteren dat moet worden geïmplementeerd voordat u uw eindpunt bijwerkt. De volgende architectuur laat zien hoe uw eindpuntverkeer en respons zich gedragen in een schaduwimplementatiescenario. In dit scenario wordt elk voorspellingsverzoek ingediend bij zowel de nieuwe als de geïmplementeerde modellen; alleen het momenteel geïmplementeerde model levert echter de voorspellingsreactie op de bedrijfstoepassing, terwijl de voorspelling die vanuit het nieuwe model wordt geleverd, alleen wordt onderhouden voor analyse van de prestaties ten opzichte van het momenteel geïmplementeerde model. Nadat de modelprestaties zijn geëvalueerd, kan de nieuwe modelversie worden geïmplementeerd om voorspellingsresponsverkeer naar zakelijke toepassingen te onderhouden.
Rollback
Onafhankelijk van de implementatiestrategie die u voor uw modelimplementatie hebt gekozen, wilt u terug kunnen gaan naar de vorige modelversie als de prestaties van uw nieuwe model lager zijn dan uw huidige modelprestaties. Om dit te doen en tegelijkertijd de downtime van uw applicatie te minimaliseren, moet u uw huidige model parallel aan het nieuwe laten draaien totdat u er zeker van bent dat uw nieuwe model beter presteert dan het huidige.
Met SageMaker-implementatiebeschermingen kunt u alarmen instellen en automatisch teruggaan naar eerdere modelversies tijdens de modelvalidatieperiode. Nadat de validatieperiode voorbij is, moet u mogelijk nog steeds teruggaan naar een vorige modelversie om een nieuw probleem op te lossen dat wordt ontdekt nadat de modelupdate is voltooid. Om dit te doen, kunt u profiteren van het SageMaker-modelregister om afgekeurde en goedgekeurde modellen en activeer een terugdraaiproces.
Conclusie
In dit bericht heb je geleerd hoe je SageMaker-eindpuntmodelvarianten en implementatie-guardrails kunt combineren met MLOps-mogelijkheden om end-to-end patronen voor modelontwikkeling te creëren. We hebben een voorbeeldimplementatie gegeven voor vangrails voor kanarie- en lineair verschuivende implementaties die zijn verbonden met SageMaker-pijplijnen en het modelregister via een aangepast SageMaker-project. Probeer als volgende stap het volgende aan te passen sjabloon om de implementatiestrategie van uw organisatie te implementeren.
Referenties
Over de auteurs
Maira Ladeira Tanke is een ML Specialist Solutions Architect bij AWS. Met een achtergrond in datawetenschap heeft ze 9 jaar ervaring met het ontwerpen en bouwen van ML-applicaties met klanten in verschillende sectoren. Als technisch leider helpt ze klanten hun bedrijfswaarde te versnellen door middel van opkomende technologieën en innovatieve oplossingen. In haar vrije tijd houdt Maira van reizen en tijd doorbrengen met haar familie op een warme plek.
Klei Elmore is een AI/ML Specialist Solutions Architect bij AWS. Na vele uren in een materiaalonderzoekslaboratorium te hebben doorgebracht, liet hij zijn achtergrond in chemische technologie al snel achter zich om zijn interesse in machine learning na te jagen. Hij heeft gewerkt aan ML-applicaties in veel verschillende industrieën, variërend van energiehandel tot horecamarketing. Clay heeft er een speciaal belang bij om softwareontwikkelingspraktijken naar ML te brengen en klanten te begeleiden naar herhaalbare, schaalbare oplossingen door deze principes te gebruiken. In zijn vrije tijd houdt Clay van skiën, Rubiks kubussen oplossen, lezen en koken.
Shelbee Eigenbrode is een Principal AI en Machine Learning Specialist Solutions Architect bij AWS. Ze is al 24 jaar werkzaam in de technologie in meerdere industrieën, technologieën en rollen. Ze concentreert zich momenteel op het combineren van haar DevOps- en ML-achtergrond in het domein van MLOps om klanten te helpen ML-workloads op schaal te leveren en te beheren. Met meer dan 35 verleende patenten in verschillende technologiedomeinen, heeft ze een passie voor continue innovatie en het gebruik van data om bedrijfsresultaten te stimuleren. Shelbee is mede-bedenker en docent van de specialisatie Practical Data Science op Coursera. Ze is ook de mededirecteur van Women In Big Data (WiBD), afdeling Denver. In haar vrije tijd brengt ze graag tijd door met haar familie, vrienden en overactieve honden.
Qiyun Zhao is een Senior Software Development Engineer bij het Amazon SageMaker Inference Platform-team. Hij is de hoofdontwikkelaar van de deployment guardrails en shadow deployments, en hij richt zich op het helpen van klanten bij het beheren van ML-workloads en -implementaties op schaal met hoge beschikbaarheid. Hij werkt ook aan platformarchitectuurevoluties voor een snelle en veilige implementatie van ML-taken en het gemakkelijk uitvoeren van online ML-experimenten. In zijn vrije tijd houdt hij van lezen, gamen en reizen.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
- Bron: https://aws.amazon.com/blogs/machine-learning/mlops-deployment-best-practices-for-real-time-inference-model-serving-endpoints-with-amazon-sagemaker/
- 100
- 2022
- 7
- 9
- a
- vermogen
- in staat
- versnellen
- aanvaardbaar
- Volgens
- Account
- Accounting
- Bereiken
- prestatie
- over
- toegevoegd
- toevoeging
- Extra
- Daarnaast
- vergevorderd
- Voordeel
- Na
- tegen
- AI
- AI / ML
- alarm
- algoritme
- Alles
- toestaat
- al
- Amazone
- Amazon Sage Maker
- bedragen
- analyse
- en
- Nog een
- Aanvraag
- toepassingen
- toegepast
- nadering
- goedkeuring
- goedkeuren
- goedgekeurd
- architectuur
- rond
- aspecten
- geassocieerd
- automatiseren
- geautomatiseerde
- webmaster.
- beschikbaarheid
- Beschikbaar
- AWS
- terug
- achtergrond
- gebaseerde
- basis
- omdat
- wordt
- vaardigheden
- achter
- wezen
- voordeel
- BEST
- 'best practices'
- Betere
- tussen
- Groot
- Big data
- Blauw
- Bringing
- breed
- bredere
- bracht
- bouw
- Gebouw
- bebouwd
- bedrijfsdeskundigen
- Business Applications
- Dit betekent dat we onszelf en onze geliefden praktisch vergiftigen.
- mogelijkheden
- geval
- gevallen
- CD
- zeker
- verandering
- veranderende
- Hoofdstuk
- Controles
- chemisch
- het kiezen van
- koos
- CLOSED
- code
- combineren
- gecombineerde
- combineren
- Gemeen
- vergelijken
- compleet
- compleet
- concept
- zeker
- Configuratie
- gekoppeld blijven
- versterken
- Overwegen
- overwegingen
- bevatten
- verband
- permanent
- doorlopend
- doorlopend
- onder controle te houden
- gecontroleerd
- Kosten
- Kosten
- deksel
- bedekt
- en je merk te creëren
- Actueel
- Op dit moment
- gewoonte
- Klanten
- aangepaste
- gegevens
- gegevensverwerking
- data science
- December
- Besluitvorming
- Standaard
- gedefinieerd
- het definiëren van
- leveren
- levering
- Vraag
- demonstreert
- Denver
- Afhankelijk
- implementeren
- ingezet
- het inzetten
- inzet
- implementaties
- beschreven
- gedetecteerd
- Bepalen
- ontwikkelde
- Ontwikkelaar
- Ontwikkeling
- anders
- direct
- ontdekt
- bespreken
- besproken
- verdeeld
- verspreiden van
- distributie
- Nee
- domein
- domeinen
- Dont
- keerzijde
- uitvaltijd
- rit
- gedurende
- elk
- gemakkelijker
- gemakkelijk
- effectiviteit
- beide
- opkomende
- in staat stellen
- eind tot eind
- Endpoint
- energie-niveau
- ingenieur
- Engineering
- genoeg
- verzekeren
- waarborgt
- zorgen
- Milieu
- essentieel
- schatten
- geëvalueerd
- evoluties
- voorbeeld
- bestaand
- bestaat
- verwacht
- ervaring
- Verken
- blootgestelde
- familie
- SNELLE
- Voordelen
- feedback
- Figuur
- Voornaam*
- eerste keer
- VLOOT
- richt
- gericht
- volgend
- volgt
- Stichtingen
- Achtergrond
- Gratis
- vrienden
- oppompen van
- vol
- functionaliteit
- functies
- verder
- gaming
- kloof
- verzameling
- Algemeen
- het krijgen van
- Geven
- gegeven
- geleidelijk
- verleend
- Groen
- Groep
- handvat
- Handvaten
- hulp
- het helpen van
- helpt
- hier
- Hoge
- hospitality
- Hosting
- HOURS
- Hoe
- How To
- Echter
- HTML
- HTTPS
- Impact
- uitvoeren
- uitvoering
- geïmplementeerd
- uitvoering
- verbetering
- in
- omvatten
- omvat
- Inclusief
- Incorporated
- meer
- Verhoogt
- meer
- industrieën
- informatie
- Infrastructuur
- Innovatie
- innovatieve
- instantie
- verkrijgen in plaats daarvan
- integreren
- Integreren
- integratie
- belang
- Introductie
- isolatie
- kwestie
- problemen
- IT
- Jobomschrijving:
- Vacatures
- Houden
- sleutel
- laboratorium
- Achternaam*
- Wachttijd
- gelanceerd
- leiden
- geleerd
- leren
- Niveau
- levenscyclus van uw product
- opgesomd
- leven
- langer
- Laag
- machine
- machine learning
- onderhouden
- beheer
- management
- beheren
- handboek
- veel
- in kaart brengen
- Markt
- Marketing
- materieel
- Maximaliseren
- zinvolle
- mechanisme
- vermeld
- Metadata
- methoden
- metriek
- Metriek
- macht
- minimaliseren
- ML
- MLops
- Mode
- model
- Model testen
- modellen
- monitor
- bewaakt
- Grensverkeer
- monitors
- meer
- meest
- meervoudig
- NATUUR
- noodzakelijk
- Noodzaak
- New
- volgende
- Aanbod
- EEN
- online.
- operationele
- Operations
- optimale
- Keuze
- Opties
- bestellen
- organisatie
- Overige
- Resultaat
- geschetst
- pakket
- Parallel
- parameter
- deel
- passes
- passie
- Octrooien
- Patronen
- patronen
- Uitvoeren
- prestatie
- presteert
- periode
- beeld
- pijpleiding
- plaats
- platform
- Plato
- Plato gegevensintelligentie
- PlatoData
- mogelijk
- Post
- PRAKTISCH
- praktijken
- precisie
- voorspelling
- Voorspellingen
- Voorbereiden
- presenteren
- vorig
- die eerder
- Principal
- principes
- probleem
- verwerking
- geproduceerd
- productie
- project
- projecten
- voorgestelde
- beschermen
- zorgen voor
- mits
- biedt
- doel
- zetten
- kwaliteit
- snel
- reeks
- variërend
- lezing
- klaar
- vast
- real-time
- ontvangt
- ontvangende
- aanbevolen
- regio
- geregistreerd
- register
- regelmatig
- los
- relevante
- betrouwbaarheid
- betrouwbaar
- herhaalbare
- vervangen
- te vragen
- verzoeken
- onderzoek
- hulpbron
- antwoord
- terugkeer
- herbruikbare
- Risico
- risico's
- rollen
- Rollen
- Rollen
- lopen
- lopend
- sagemaker
- SageMaker Inferentie
- SageMaker-pijpleidingen
- dezelfde
- tevreden
- tevreden met
- Schaalbaarheid
- schaalbare
- Scale
- scenario
- scenario's
- Wetenschap
- beveiligen
- gekozen
- verzending
- senior
- apart
- bedient
- service
- serveer-
- reeks
- settings
- setup
- verscheidene
- Shadow
- Schaduw testen
- verschuiving
- VERSCHUIVEN
- moet
- Shows
- betekenis
- gelijk
- evenzo
- single
- situaties
- Klein
- kleinere
- So
- Software
- software development
- oplossing
- Oplossingen
- OPLOSSEN
- Het oplossen van
- special
- specialist
- specifiek
- besteden
- Uitgaven
- gestart
- starts
- statistisch
- Status
- Stap voor
- Stappen
- Still
- opgeslagen
- strategieën
- Strategie
- ingediend
- dergelijk
- ondersteuning
- Stap over voor slechts
- Systems
- Nemen
- neemt
- doelwit
- team
- Technisch
- Technologies
- Technologie
- templates
- proef
- Testen
- testen
- De
- hun
- Door
- doorvoer
- BINDEN
- niet de tijd of
- naar
- tools
- in de richting van
- Traceerbaarheid
- spoor
- Handel
- traditioneel
- verkeer
- Trainen
- getraind
- Trainingen
- transparant
- Reizend
- leiden
- veroorzaakt
- types
- typisch
- begrijpen
- unieke
- eenheid
- bijwerken
- bijgewerkt
- updates
- bijwerken
- .
- use case
- gebruikers
- gebruik maken van
- BEVESTIG
- gevalideerd
- bevestiging
- waarde
- Variant
- divers
- versie
- via
- rendabel
- warm
- gewicht
- Wat
- Wat is
- welke
- en
- wil
- binnen
- Dames
- werkte
- workflows
- Bedrijven
- zou
- het schrijven van
- jaar
- You
- Your
- zephyrnet