Storskala inntektsprognoser hos Bosch med Amazon Forecast og Amazon SageMaker tilpassede modeller

Dette innlegget er skrevet av Goktug Cinar, Michael Binder og Adrian Horvath fra Bosch Center for Artificial Intelligence (BCAI).

Inntektsprognose er en utfordrende, men likevel avgjørende oppgave for strategiske forretningsbeslutninger og finansiell planlegging i de fleste organisasjoner. Ofte utføres inntektsprognose manuelt av finansanalytikere og er både tidkrevende og subjektivt. Slik manuell innsats er spesielt utfordrende for storskala, multinasjonale forretningsorganisasjoner som krever inntektsprognoser over et bredt spekter av produktgrupper og geografiske områder på flere nivåer av granularitet. Dette krever ikke bare nøyaktighet, men også hierarkisk sammenheng i prognosene.

Bosch er et multinasjonalt selskap med enheter som opererer i flere sektorer, inkludert bilindustrien, industrielle løsninger og forbruksvarer. Gitt virkningen av nøyaktige og sammenhengende inntektsprognoser på sunn forretningsdrift, Bosch senter for kunstig intelligens (BCAI) har investert tungt i bruk av maskinlæring (ML) for å forbedre effektiviteten og nøyaktigheten til økonomiske planleggingsprosesser. Målet er å lindre de manuelle prosessene ved å gi rimelige grunninntektsprognoser via ML, med bare sporadiske justeringer som trengs av finansanalytikerne som bruker sin bransje- og domenekunnskap.

For å oppnå dette målet har BCAI utviklet et internt prognoserammeverk som er i stand til å gi storskala hierarkiske prognoser via tilpassede ensembler av et bredt spekter av basismodeller. En meta-lærer velger modellene med best ytelse basert på funksjoner hentet fra hver tidsserie. Prognosene fra de valgte modellene blir deretter gjennomsnittliggjort for å få den aggregerte prognosen. Den arkitektoniske utformingen er modularisert og utvidbar gjennom implementering av et grensesnitt i REST-stil, som tillater kontinuerlig ytelsesforbedring via inkludering av tilleggsmodeller.

BCAI samarbeidet med Amazon ML Solutions Lab (MLSL) for å innlemme de siste fremskrittene innen dype nevrale nettverk (DNN)-baserte modeller for inntektsprognose. Nylige fremskritt innen nevrale varslere har vist toppmoderne ytelse for mange praktiske prognoseproblemer. Sammenlignet med tradisjonelle prognosemodeller, kan mange nevrale prognosemakere inkludere ytterligere kovariater eller metadata fra tidsserien. Vi inkluderer CNN-QR og DeepAR+, to hyllemodeller i Amazon Prognose, samt en tilpasset Transformer-modell trent ved hjelp av Amazon SageMaker. De tre modellene dekker et representativt sett av koderens ryggrad som ofte brukes i nevrale prognosemakere: konvolusjonelt nevralt nettverk (CNN), sekvensielt tilbakevendende nevralt nettverk (RNN) og transformatorbaserte kodere.

En av hovedutfordringene BCAI-MLSL-partnerskapet står overfor var å gi robuste og rimelige prognoser under påvirkningen av COVID-19, en enestående global begivenhet som forårsaker stor volatilitet i globale bedriftsøkonomiske resultater. Fordi nevrale varslere er trent på historiske data, kan prognosene som genereres basert på data utenfor distribusjon fra de mer volatile periodene være unøyaktige og upålitelige. Derfor foreslo vi å legge til en maskert oppmerksomhetsmekanisme i Transformer-arkitekturen for å løse dette problemet.

De nevrale varslerne kan pakkes sammen som en enkelt ensemblemodell, eller integreres individuelt i Boschs modellunivers, og lett tilgjengelig via REST API-endepunkter. Vi foreslår en tilnærming for å samle nevrale prognosemakere gjennom tilbaketestresultater, som gir konkurransedyktig og robust ytelse over tid. I tillegg undersøkte og evaluerte vi en rekke klassiske hierarkiske avstemmingsteknikker for å sikre at prognoser aggregerer sammenhengende på tvers av produktgrupper, geografier og forretningsorganisasjoner.

I dette innlegget viser vi følgende:

• Hvordan bruke Forecast og SageMaker tilpasset modellopplæring for hierarkiske, storskala tidsserieprognoseproblemer
• Hvordan sette sammen tilpassede modeller med hyllemodeller fra Forecast
• Hvordan redusere virkningen av forstyrrende hendelser som COVID-19 på prognoseproblemer
• Hvordan bygge en ende-til-ende arbeidsflyt for prognoser på AWS

Utfordringer

Vi tok opp to utfordringer: å lage hierarkiske, storskala inntektsprognoser, og virkningen av COVID-19-pandemien på langsiktige prognoser.

Hierarkisk, storskala inntektsprognose

Finansanalytikere har i oppgave å forutsi økonomiske nøkkeltall, inkludert inntekter, driftskostnader og FoU-utgifter. Disse beregningene gir innsikt i forretningsplanlegging på ulike nivåer av aggregering og muliggjør datadrevet beslutningstaking. Enhver automatisert prognoseløsning må gi prognoser på et hvilket som helst vilkårlig nivå av aggregering av forretningslinje. Hos Bosch kan aggregeringene tenkes som grupperte tidsserier som en mer generell form for hierarkisk struktur. Følgende figur viser et forenklet eksempel med en struktur på to nivåer, som etterligner den hierarkiske inntektsprognosestrukturen hos Bosch. Den totale inntekten er delt inn i flere aggregeringsnivåer basert på produkt og region.

Det totale antallet tidsserier som må prognostiseres hos Bosch er i størrelsesorden millioner. Legg merke til at tidsseriene på øverste nivå kan deles av enten produkter eller regioner, og skaper flere baner til prognoser på nederste nivå. Inntektene må prognostiseres ved hver node i hierarkiet med en prognosehorisont på 12 måneder inn i fremtiden. Månedlige historiske data er tilgjengelige.

Den hierarkiske strukturen kan representeres ved å bruke følgende skjema med notasjonen til en summeringsmatrise S (Hyndman og Athanasopoulos):

I denne ligningen, Y tilsvarer følgende:

Her b representerer bunnnivåets tidsserie til tider t.

Virkningene av COVID-19-pandemien

COVID-19-pandemien ga betydelige utfordringer for prognoser på grunn av dens forstyrrende og enestående effekter på nesten alle aspekter av arbeid og sosialt liv. For langsiktige inntektsprognoser førte forstyrrelsen også til uventede nedstrømseffekter. For å illustrere dette problemet viser følgende figur et eksempel på en tidsserie der produktinntektene opplevde et betydelig fall ved starten av pandemien og gradvis kom seg etterpå. En typisk nevral prognosemodell vil ta inntektsdata inkludert COVID-perioden utenfor distribusjon (OOD) som historisk kontekstinndata, så vel som grunnsannheten for modelltrening. Som et resultat er prognosene som produseres ikke lenger pålitelige.

Modelleringsmetoder

I denne delen diskuterer vi våre ulike modelleringstilnærminger.

Amazon Prognose

Forecast er en fullt administrert AI/ML-tjeneste fra AWS som gir forhåndskonfigurerte, toppmoderne tidsserieprognosemodeller. Den kombinerer disse tilbudene med sine interne muligheter for automatisert hyperparameteroptimalisering, ensemblemodellering (for modellene levert av Forecast) og probabilistisk prognosegenerering. Dette lar deg enkelt innta tilpassede datasett, forhåndsbehandle data, trene prognosemodeller og generere robuste prognoser. Tjenestens modulære design gjør oss videre i stand til å enkelt spørre og kombinere spådommer fra flere tilpassede modeller utviklet parallelt.

Vi inkorporerer to nevrale varslere fra Forecast: CNN-QR og DeepAR+. Begge er veiledede dyplæringsmetoder som trener en global modell for hele tidsseriedatasettet. Både CNNQR- og DeepAR+-modeller kan ta inn statisk metadatainformasjon om hver tidsserie, som er det tilsvarende produktet, regionen og forretningsorganisasjonen i vårt tilfelle. De legger også automatisk til tidsmessige funksjoner som måned i året som en del av input til modellen.

Transformator med oppmerksomhetsmasker for COVID

Transformatorarkitekturen (Vaswani et al.), opprinnelig designet for naturlig språkbehandling (NLP), dukket nylig opp som et populært arkitektonisk valg for tidsserieprognoser. Her brukte vi Transformer-arkitekturen beskrevet i Zhou et al. uten probabilistisk logg sparsom oppmerksomhet. Modellen bruker en typisk arkitekturdesign ved å kombinere en koder og en dekoder. For inntektsprognoser konfigurerer vi dekoderen til å sende ut prognosen for 12-måneders horisonten direkte i stedet for å generere prognosen måned for måned på en autoregressiv måte. Basert på frekvensen av tidsserien, legges tilleggstidsrelaterte funksjoner som måned i året til som inngangsvariabel. Ytterligere kategoriske variabler som beskriver metainformasjonen (produkt, region, forretningsorganisasjon) mates inn i nettverket via et trenerbart innebyggingslag.

Følgende diagram illustrerer transformatorarkitekturen og oppmerksomhetsmaskeringsmekanismen. Oppmerksomhetsmaskering påføres gjennom alle koder- og dekoderlagene, som uthevet i oransje, for å forhindre at OOD-data påvirker prognosene.

Vi reduserer virkningen av OOD kontekstvinduer ved å legge til oppmerksomhetsmasker. Modellen er opplært til å bruke svært lite oppmerksomhet på COVID-perioden som inneholder uteliggere via maskering, og utfører prognoser med maskert informasjon. Oppmerksomhetsmasken påføres gjennom hvert lag av dekoder- og koderarkitekturen. Det maskerte vinduet kan enten spesifiseres manuelt eller gjennom en avvikdeteksjonsalgoritme. I tillegg, når du bruker et tidsvindu som inneholder uteliggere som treningsetiketter, forplantes ikke tapene tilbake. Denne oppmerksomhetsmaskeringsbaserte metoden kan brukes til å håndtere forstyrrelser og OOD-saker forårsaket av andre sjeldne hendelser og forbedre robustheten til prognosene.

Modellensemble

Modellensemble utkonkurrerer ofte enkeltmodeller for prognoser – det forbedrer modellens generaliserbarhet og er bedre til å håndtere tidsseriedata med varierende karakteristikker i periodisitet og intermittens. Vi inkorporerer en rekke modellensemblestrategier for å forbedre modellytelsen og robustheten til prognoser. En vanlig form for dyplæringsmodellensemble er å samle resultater fra modellkjøringer med forskjellige tilfeldige vektinitialiseringer, eller fra forskjellige treningsepoker. Vi bruker denne strategien for å få prognoser for transformatormodellen.

For å bygge et ensemble videre på toppen av forskjellige modellarkitekturer, som Transformer, CNNQR og DeepAR+, bruker vi en pan-modell ensemblestrategi som velger de beste modellene for hver tidsserie basert på tilbaketestresultatene og oppnår deres gjennomsnitt. Fordi tilbaketestresultater kan eksporteres direkte fra trente prognosemodeller, gjør denne strategien oss i stand til å dra nytte av nøkkelferdige tjenester som Forecast med forbedringer oppnådd fra tilpassede modeller som Transformer. En slik ende-til-ende modellensembletilnærming krever ikke opplæring av en meta-lærer eller beregning av tidsseriefunksjoner for modellvalg.

Hierarkisk forsoning

Rammeverket er adaptivt for å inkorporere et bredt spekter av teknikker som etterbehandlingstrinn for hierarkisk prognoseavstemming, inkludert nedenfra og opp (BU), topp-ned avstemming med prognoseproporsjoner (TDFP), ordinær minste kvadrat (OLS) og vektet minste kvadrat ( WLS). Alle de eksperimentelle resultatene i dette innlegget er rapportert ved hjelp av topp-ned-avstemming med prognoseproporsjoner.

Arkitekturoversikt

Vi utviklet en automatisert ende-til-ende arbeidsflyt på AWS for å generere inntektsprognoser ved å bruke tjenester inkludert Forecast, SageMaker, Amazon enkel lagringstjeneste (Amazon S3), AWS Lambda, AWS trinnfunksjonerog AWS skyutviklingssett (AWS CDK). Den distribuerte løsningen gir individuelle tidsserieprognoser gjennom en REST API ved hjelp av Amazon API-gateway, ved å returnere resultatene i forhåndsdefinert JSON-format.

Følgende diagram illustrerer arbeidsflyten for ende-til-ende prognoser.

Viktige designhensyn for arkitekturen er allsidighet, ytelse og brukervennlighet. Systemet bør være tilstrekkelig allsidig til å inkludere et mangfoldig sett med algoritmer under utvikling og distribusjon, med minimale nødvendige endringer, og kan enkelt utvides når nye algoritmer legges til i fremtiden. Systemet bør også legge til minimum overhead og støtte parallellisert trening for både Forecast og SageMaker for å redusere treningstiden og få den siste prognosen raskere. Til slutt bør systemet være enkelt å bruke for eksperimenteringsformål.

Ende-til-ende arbeidsflyten går sekvensielt gjennom følgende moduler:

1. En forbehandlingsmodul for omformatering og transformasjon av data
2. En modelltreningsmodul som inkluderer både prognosemodellen og tilpasset modell på SageMaker (begge kjører parallelt)
3. En etterbehandlingsmodul som støtter modellensemble, hierarkisk avstemming, beregninger og rapportgenerering

Step Functions organiserer og orkestrerer arbeidsflyten fra ende til annen som en tilstandsmaskin. Tilstandsmaskinkjøringen er konfigurert med en JSON-fil som inneholder all nødvendig informasjon, inkludert plasseringen av de historiske inntekts-CSV-filene i Amazon S3, prognosestarttid og modellhyperparameterinnstillinger for å kjøre ende-til-ende arbeidsflyten. Asynkrone anrop opprettes for å parallellisere modelltrening i tilstandsmaskinen ved å bruke Lambda-funksjoner. Alle historiske data, konfigurasjonsfiler, prognoseresultater, samt mellomresultater som backtesting-resultater er lagret i Amazon S3. REST API er bygget på toppen av Amazon S3 for å gi et søkbart grensesnitt for å spørre om prognoseresultater. Systemet kan utvides til å inkludere nye prognosemodeller og støttefunksjoner som å generere prognosevisualiseringsrapporter.

Evaluering

I denne delen beskriver vi eksperimentoppsettet. Nøkkelkomponenter inkluderer datasettet, evalueringsberegninger, backtest-vinduer og modelloppsett og opplæring.

datasett

For å beskytte det økonomiske personvernet til Bosch mens vi bruker et meningsfullt datasett, brukte vi et syntetisk datasett som har lignende statistiske egenskaper som et virkelig inntektsdatasett fra én forretningsenhet hos Bosch. Datasettet inneholder totalt 1,216 2016 tidsserier med inntekter registrert i en månedlig frekvens, som dekker januar 2022 til april 877. Datasettet leveres med XNUMX tidsserier på det mest granulære nivået (nederste tidsserier), med en tilsvarende gruppert tidsseriestruktur representert som en summeringsmatrise S. Hver tidsserie er assosiert med tre statiske kategoriske attributter, som tilsvarer produktkategori, region og organisasjonsenhet i det virkelige datasettet (anonymisert i de syntetiske dataene).

Evalueringsberegninger

Vi bruker median-Mean Arctangent Absolute Percentage Error (median-MAAPE) og vektet-MAAPE for å evaluere modellytelsen og utføre komparativ analyse, som er standardberegningene som brukes hos Bosch. MAAPE adresserer manglene ved MAP-beregningen (Mean Absolute Percentage Error) som vanligvis brukes i forretningssammenheng. Median-MAAPE gir en oversikt over modellens ytelse ved å beregne medianen av MAAPE-ene beregnet individuelt for hver tidsserie. Weighted-MAAPE rapporterer en vektet kombinasjon av de individuelle MAAPE-ene. Vektene er andelen av inntekten for hver tidsserie sammenlignet med den aggregerte inntekten for hele datasettet. Vektet-MAAPE reflekterer bedre nedstrøms forretningseffekter av prognosenøyaktigheten. Begge metrikkene er rapportert på hele datasettet på 1,216 XNUMX tidsserier.

Tilbaketest vinduer

Vi bruker rullende 12-måneders baktestvinduer for å sammenligne modellytelse. Følgende figur illustrerer backtest-vinduene som ble brukt i eksperimentene og fremhever de tilsvarende dataene som brukes for trening og hyperparameteroptimalisering (HPO). For backtest-vinduer etter at COVID-19 starter, påvirkes resultatet av OOD-inndata fra april til mai 2020, basert på det vi observerte fra inntektstidsserien.

Modelloppsett og opplæring

For transformatortrening brukte vi kvantiltap og skalerte hver tidsserie ved å bruke dens historiske middelverdi før vi matet den inn i transformatoren og beregnet treningstapet. De endelige prognosene skaleres tilbake for å beregne nøyaktighetsmålene, ved å bruke MeanScaler implementert i GluonTS. Vi bruker et kontekstvindu med månedlige inntektsdata fra de siste 18 månedene, valgt via HPO i backtest-vinduet fra juli 2018 til juni 2019. Ytterligere metadata om hver tidsserie i form av statiske kategoriske variabler mates inn i modellen via en innebygging lag før det mates til transformatorlagene. Vi trener transformatoren med fem forskjellige tilfeldige vektinitialiseringer og snitter prognoseresultatene fra de siste tre epokene for hver kjøring, totalt i gjennomsnitt 15 modeller. De fem modelltreningsløpene kan parallelliseres for å redusere treningstiden. For den maskerte transformatoren angir vi månedene fra april til mai 2020 som avvikere.

For all trening av prognosemodeller har vi aktivert automatisk HPO, som kan velge modell og treningsparametere basert på en brukerspesifisert tilbaketestperiode, som er satt til de siste 12 månedene i datavinduet som brukes til trening og HPO.

Eksperimentresultater

Vi trener maskerte og demaskerte transformatorer ved å bruke det samme settet med hyperparametere, og sammenlignet ytelsen deres for backtest-vinduer umiddelbart etter COVID-19-sjokket. I den maskerte transformatoren er de to maskerte månedene april og mai 2020. Tabellen nedenfor viser resultatene fra en serie tilbaketestperioder med 12-måneders prognosevinduer som starter fra juni 2020. Vi kan observere at den maskerte transformatoren konsekvent overgår den umaskerte versjonen .

Vi utførte videre evaluering på modellensemblestrategien basert på tilbaketestresultater. Spesielt sammenligner vi de to tilfellene når bare den best presterende modellen er valgt vs. når de to best presterende modellene er valgt, og modellgjennomsnittet utføres ved å beregne middelverdien av prognosene. Vi sammenligner ytelsen til basismodellene og ensemblemodellene i de følgende figurene. Legg merke til at ingen av nevrale varslere konsekvent utkonkurrerer andre for de rullende tilbaketestvinduene.

Tabellen nedenfor viser at ensemblemodellering av de to øverste modellene i gjennomsnitt gir best ytelse. CNNQR gir det nest beste resultatet.

konklusjonen

Dette innlegget demonstrerte hvordan man bygger en ende-til-ende ML-løsning for storskala prognoseproblemer ved å kombinere Forecast og en tilpasset modell trent på SageMaker. Avhengig av dine forretningsbehov og ML-kunnskap, kan du bruke en fullstendig administrert tjeneste som Forecast for å avlaste bygge-, opplærings- og distribusjonsprosessen til en prognosemodell; bygg din egendefinerte modell med spesifikke innstillingsmekanismer med SageMaker; eller utfør modellensembling ved å kombinere de to tjenestene.

Hvis du vil ha hjelp til å fremskynde bruken av ML i produktene og tjenestene dine, vennligst kontakt Amazon ML Solutions Lab program.

Referanser

Hyndman RJ, Athanasopoulos G. Forecasting: prinsipper og praksis. Otekster; 2018. mai 8.

Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, Kaiser Ł, Polosukhin I. Oppmerksomhet er alt du trenger. Fremskritt innen nevrale informasjonsbehandlingssystemer. 2017;30.

Zhou H, Zhang S, Peng J, Zhang S, Li J, Xiong H, Zhang W. Informer: Beyond effektiv transformator for lang sekvens tidsserieprognoser. InProceedings of AAAI 2021 2. februar.

---

Om forfatterne

Goktug Cinar er en ledende ML-forsker og teknisk leder for ML og statistikkbasert prognoser ved Robert Bosch LLC og Bosch Center for Artificial Intelligence. Han leder forskningen av prognosemodellene, hierarkisk konsolidering og modellkombinasjonsteknikker samt programvareutviklingsteamet som skalerer disse modellene og betjener dem som en del av den interne ende-til-ende-programvaren for økonomiske prognoser.

Michael Binder er produkteier hos Bosch Global Services, hvor han koordinerer utviklingen, distribusjonen og implementeringen av selskapets prediktive analyseapplikasjon for storskala automatiserte datadrevne prognoser av økonomiske nøkkeltall.

Adrian Horvath er programvareutvikler ved Bosch Center for Artificial Intelligence, hvor han utvikler og vedlikeholder systemer for å lage spådommer basert på ulike prognosemodeller.

Panpan Xu er Senior Applied Scientist og leder ved Amazon ML Solutions Lab ved AWS. Hun jobber med forskning og utvikling av Machine Learning-algoritmer for effektfulle kundeapplikasjoner i en rekke industrielle vertikaler for å akselerere deres AI og skyadopsjon. Hennes forskningsinteresse inkluderer modelltolkbarhet, årsaksanalyse, human-in-the-loop AI og interaktiv datavisualisering.

Jasleen Grewal er en Applied Scientist ved Amazon Web Services, hvor hun jobber med AWS-kunder for å løse virkelige problemer ved hjelp av maskinlæring, med spesielt fokus på presisjonsmedisin og genomikk. Hun har en sterk bakgrunn innen bioinformatikk, onkologi og klinisk genomikk. Hun brenner for å bruke AI/ML og skytjenester for å forbedre pasientbehandlingen.

Selvan Senthivel er senior ML-ingeniør med Amazon ML Solutions Lab hos AWS, med fokus på å hjelpe kunder med maskinlæring, dyplæringsproblemer og ende-til-ende ML-løsninger. Han var en grunnleggende ingeniørleder for Amazon Comprehend Medical og bidro til utformingen og arkitekturen til flere AWS AI-tjenester.

Ruilin Zhang er en SDE med Amazon ML Solutions Lab ved AWS. Han hjelper kunder å ta i bruk AWS AI-tjenester ved å bygge løsninger for å løse vanlige forretningsproblemer.

Shane Rai er Sr. ML-strateg ved Amazon ML Solutions Lab ved AWS. Han jobber med kunder på tvers av et mangfold av bransjer for å løse deres mest presserende og innovative forretningsbehov ved å bruke AWSs bredde av skybaserte AI/ML-tjenester.

Lin Lee Cheong er en Applied Science Manager hos Amazon ML Solutions Lab-teamet hos AWS. Hun jobber med strategiske AWS-kunder for å utforske og bruke kunstig intelligens og maskinlæring for å oppdage ny innsikt og løse komplekse problemer.