Dies ist ein Gastbeitrag, der gemeinsam von Nafi Ahmet Turgut, Mutlu Polatcan, Pınar Baki, Mehmet İkbal Özmen, Hasan Burak Yel und Hamza Akyıldız von Getir verfasst wurde.
gebracht ist der Pionier der ultraschnellen Lebensmittellieferung. Das Technologieunternehmen hat mit seinem Lieferangebot „Lebensmittel in wenigen Minuten“ die Zustellung auf der letzten Meile revolutioniert. Getir wurde 2015 gegründet und ist in der Türkei, Großbritannien, den Niederlanden, Deutschland, Frankreich, Spanien, Italien, Portugal und den Vereinigten Staaten tätig. Heute ist Getir ein Konglomerat, das neun Branchen unter derselben Marke vereint.
Die Vorhersage der zukünftigen Nachfrage ist eine der wichtigsten Erkenntnisse für Getir und eine der größten Herausforderungen, vor denen wir stehen. Getir verlässt sich in hohem Maße auf genaue Nachfrageprognosen auf SKU-Ebene, wenn es Geschäftsentscheidungen in einer Vielzahl von Bereichen trifft, darunter Marketing, Produktion, Lagerbestand und Finanzen. Zur Unterstützung von Lagerhaltungs- und Nachschubentscheidungen sind genaue Prognosen erforderlich. Wenn wir ein klares und zuverlässiges Bild der prognostizierten Nachfrage für den nächsten Tag oder die nächste Woche haben, können wir unsere Strategie anpassen und unsere Fähigkeit verbessern, Verkaufs- und Umsatzziele zu erreichen.
Getir verwendet Amazon-Prognose, ein vollständig verwalteter Dienst, der mithilfe von Algorithmen des maschinellen Lernens (ML) hochpräzise Zeitreihenprognosen liefert, um den Umsatz um vier Prozent zu steigern und die Abfallkosten um 50 Prozent zu senken. In diesem Beitrag beschreiben wir, wie wir Forecast verwendet haben, um diese Vorteile zu erzielen. Wir erläutern, wie wir mithilfe von Forecast eine automatisierte Nachfrageprognose-Pipeline aufgebaut und orchestriert haben AWS Step-Funktionen um die tägliche Nachfrage nach SKUs vorherzusagen. Diese Lösung führte zu hochpräzisen Prognosen für über 10,000 SKUs in allen Ländern, in denen wir tätig sind, und trug erheblich zu unserer Fähigkeit bei, hoch skalierbare interne Lieferkettenprozesse zu entwickeln.
Forecast automatisiert einen Großteil des Zeitreihenprognoseprozesses, sodass Sie sich auf die Vorbereitung Ihrer Datensätze und die Interpretation Ihrer Vorhersagen konzentrieren können.
Step Functions ist ein vollständig verwalteter Dienst, der die Koordination der Komponenten verteilter Anwendungen und Microservices mithilfe visueller Workflows erleichtert. Durch die Erstellung von Anwendungen aus einzelnen Komponenten, die jeweils eine eigene Funktion ausführen, können Sie einfacher skalieren und Anwendungen schneller ändern. Step Functions löst automatisch jeden Schritt aus, verfolgt ihn und versucht es erneut, wenn Fehler auftreten, sodass Ihre Anwendung in der richtigen Reihenfolge und wie erwartet ausgeführt wird.
Lösungsüberblick
Sechs Personen aus dem Data-Science-Team und dem Infrastrukturteam von Getir arbeiteten bei diesem Projekt zusammen. Das Projekt wurde in drei Monaten abgeschlossen und nach zweimonatiger Testphase in der Produktion eingesetzt.
Das folgende Diagramm zeigt die Architektur der Lösung.
Die Modellpipeline wird für jedes Land separat ausgeführt. Die Architektur umfasst vier Airflow-Cron-Jobs, die nach einem definierten Zeitplan ausgeführt werden. Die Pipeline beginnt mit der Feature-Erstellung, bei der zunächst die Features erstellt und geladen werden Amazon RedShift. Als Nächstes bereitet ein Feature-Verarbeitungsauftrag die in Amazon Redshift gespeicherten täglichen Features vor und lädt die Zeitreihendaten dorthin Amazon Simple Storage-Service (Amazon S3). Ein zweiter Airflow-Job ist für das Auslösen der Forecast-Pipeline über verantwortlich Amazon EventBridge. Die Pipeline besteht aus Amazon Lambda-Funktionen, die Prädiktoren und Prognosen basierend auf in Amazon S3 gespeicherten Parametern erstellen. Forecast liest Daten aus Amazon S3, trainiert das Modell mit Hyperparameteroptimierung (HPO), um die Modellleistung zu optimieren, und erstellt zukünftige Vorhersagen für Produktverkäufe. Anschließend wird für jedes Land die Step Functions-Pipeline „WaitInProgress“ ausgelöst, die die parallele Ausführung einer Pipeline für jedes Land ermöglicht.
Algorithmusauswahl
Amazon Forecast verfügt über sechs integrierte Algorithmen (ARIMA, ETS, NPTS, Prophet, DeepAR +, CNN-QR), die in zwei Gruppen eingeteilt sind: statistische und tiefe/neuronale Netzwerke. Unter diesen Algorithmen eignen sich tiefe/neuronale Netze besser für E-Commerce-Prognoseprobleme, da sie Artikelmetadatenfunktionen, zukunftsgerichtete Funktionen für Kampagnen- und Marketingaktivitäten und – am wichtigsten – damit verbundene Zeitreihenfunktionen akzeptieren. Algorithmen für tiefe/neuronale Netzwerke funktionieren auch bei spärlichen Datensätzen und in Kaltstartszenarien (Einführung neuer Elemente) sehr gut.
Insgesamt haben wir in unseren Experimenten beobachtet, dass tiefe/neuronale Netzwerkmodelle deutlich besser abschneiden als die statistischen Modelle. Daher haben wir unsere Deep-Dive-Tests auf DeepAR+ und CNN-QR konzentriert
Einer der wichtigsten Vorteile von Amazon Forecast ist die Skalierbarkeit und genaue Ergebnisse für viele Produkt- und Länderkombinationen. In unseren Tests waren sowohl die DeepAR+- als auch die CNN-QR-Algorithmen erfolgreich bei der Erfassung von Trends und Saisonalität, sodass wir effiziente Ergebnisse bei Produkten erzielen konnten, deren Nachfrage sich sehr häufig ändert.
Deep AutoRegressive Plus (DeepAR+) ist ein überwachter univariater Prognosealgorithmus, der auf rekurrenten neuronalen Netzen (RNNs) basiert und von erstellt wurde Amazon-Forschung. Seine Hauptvorteile bestehen darin, dass es leicht skalierbar ist, relevante Kovariablen in die Daten integrieren kann (z. B. verwandte Daten und Metadaten) und Kaltstartelemente vorhersagen kann. Anstatt separate Modelle für jede Zeitreihe anzupassen, wird ein globales Modell aus verwandten Zeitreihen erstellt, um durch Neuskalierung und geschwindigkeitsbasierte Stichproben stark variierende Maßstäbe zu bewältigen. Die RNN-Architektur beinhaltet die binomiale Wahrscheinlichkeit, um probabilistische Prognosen zu erstellen, und wird von den Autoren von empfohlen DeepAR: Probabilistische Vorhersage mit autoregressiven wiederkehrenden Netzwerken.
Wir haben uns letztendlich für das entschieden Amazon CNN-QR (Convolutional Neural Network – Quantile Regression) Algorithmus für unsere Prognosen aufgrund seiner hohen Leistung im Backtest-Prozess. CNN-QR ist ein proprietärer ML-Algorithmus, der von Amazon für die Vorhersage skalarer (eindimensionaler) Zeitreihen mithilfe kausaler Convolutional Neural Networks (CNNs) entwickelt wurde.
Wie bereits erwähnt, kann CNN-QR verwandte Zeitreihen und Metadaten zu den prognostizierten Elementen verwenden. Metadaten müssen einen Eintrag für alle eindeutigen Artikel in der Zielzeitreihe enthalten, bei denen es sich in unserem Fall um die Produkte handelt, deren Nachfrage wir prognostizieren. Um die Genauigkeit zu verbessern, verwendeten wir Kategorie- und Unterkategorie-Metadaten, die dem Modell dabei halfen, die Beziehung zwischen bestimmten Produkten, einschließlich Komplementär- und Ersatzprodukten, zu verstehen. Beispielsweise bieten wir für Getränke eine zusätzliche Flagge für Snacks an, da die beiden Kategorien einander ergänzen.
Ein wesentlicher Vorteil von CNN-QR ist die Fähigkeit, Prognosen ohne zukunftsbezogene Zeitreihen zu erstellen, was wichtig ist, wenn Sie keine zugehörigen Funktionen für das Prognosefenster bereitstellen können. Diese Fähigkeit sowie die Prognosegenauigkeit führten dazu, dass CNN-QR mit unseren Daten und unserem Anwendungsfall die besten Ergebnisse erzielte.
Prognoseausgabe
Über das System erstellte Prognosen werden nach dem Empfang auf Länderbasis in separate S3-Buckets geschrieben. Anschließend werden Prognosen basierend auf SKU und Land mit täglichen Aufträgen an Amazon Redshift geschrieben. Anschließend führen wir auf Basis unserer Prognosen eine tägliche Produktbestandsplanung durch.
Wir berechnen fortlaufend mittlere absolute prozentuale Fehlerquoten (MAPE) mit produktbasierten Daten und optimieren Modell- und Feature-Ingestion-Prozesse.
Zusammenfassung
In diesem Beitrag haben wir eine automatisierte Nachfrageprognose-Pipeline durchgegangen, die wir mit Amazon Forecast und AWS Step Functions erstellt haben.
Mit Amazon Forecast haben wir unser länderspezifisches MAPE um 10 Prozent verbessert. Dies hat zu einer Umsatzsteigerung von vier Prozent geführt und unsere Abfallkosten um 50 Prozent gesenkt. Darüber hinaus haben wir hinsichtlich der Skalierbarkeit eine 80-prozentige Verbesserung unserer Trainingszeiten in täglichen Prognosen erreicht. Wir sind in der Lage, täglich über 10,000 SKUs in allen von uns belieferten Ländern zu prognostizieren.
Weitere Informationen zum Einstieg in den Aufbau eigener Pipelines mit Forecast finden Sie unter Amazon Forecast-Ressourcen. Sie können auch besuchen AWS Step-Funktionen um weitere Informationen darüber zu erhalten, wie man automatisierte Prozesse erstellt und ML-Pipelines orchestriert und erstellt. Viel Spaß beim Prognosen und beginnen Sie noch heute mit der Verbesserung Ihres Geschäfts!
Über die Autoren
Nafi Ahmet Turgut schloss sein Masterstudium in Elektrotechnik und Elektronik ab und arbeitete als wissenschaftlicher Mitarbeiter. Sein Schwerpunkt lag auf der Entwicklung von Algorithmen für maschinelles Lernen, um Anomalien nervöser Netzwerke zu simulieren. Er kam 2019 zu Getir und arbeitet derzeit als Senior Data Science & Analytics Manager. Sein Team ist für den Entwurf, die Implementierung und die Wartung von End-to-End-Algorithmen für maschinelles Lernen und datengesteuerten Lösungen für Getir verantwortlich.
Mutlu Polatcan ist Staff Data Engineer bei Getir und auf den Entwurf und Aufbau cloudnativer Datenplattformen spezialisiert. Er liebt es, Open-Source-Projekte mit Cloud-Diensten zu kombinieren.
Pınar Baki erhielt ihren Master-Abschluss an der Fakultät für Computertechnik der Boğaziçi-Universität. Sie arbeitete als Datenwissenschaftlerin bei Arcelik und konzentrierte sich auf Ersatzteilempfehlungsmodelle sowie Alters-, Geschlechts- und Emotionsanalysen aus Sprachdaten. Anschließend kam sie 2022 als Senior Data Scientist zu Getir und arbeitete an Prognose- und Suchmaschinenprojekten.
Mehmet İkbal Özmen erhielt seinen Master-Abschluss in Wirtschaftswissenschaften und arbeitete als wissenschaftlicher Mitarbeiter. Sein Forschungsgebiet waren hauptsächlich wirtschaftliche Zeitreihenmodelle, Markov-Simulationen und Rezessionsprognosen. Anschließend kam er 2019 zu Getir und arbeitet derzeit als Data Science & Analytics Manager. Sein Team ist für Optimierungs- und Prognosealgorithmen verantwortlich, um die komplexen Probleme der Betriebs- und Lieferkettenunternehmen zu lösen.
Hasan Burak Yel erhielt seinen Bachelor-Abschluss in Elektrotechnik und Elektronik an der Boğaziçi-Universität. Er arbeitete bei Turkcell und konzentrierte sich hauptsächlich auf Zeitreihenprognosen, Datenvisualisierung und Netzwerkautomatisierung. Er kam 2021 zu Getir und arbeitet derzeit als Lead Data Scientist mit der Verantwortung für Such- und Empfehlungsmaschinen sowie Kundenverhaltensmodelle.
Hamza Akyıldız erhielt seinen Bachelor-Abschluss in Mathematik und Computertechnik an der Boğaziçi-Universität. Sein Schwerpunkt liegt auf der Optimierung von Machine-Learning-Algorithmen mit ihrem mathematischen Hintergrund. Er kam 2021 zu Getir und arbeitete als Datenwissenschaftler. Er hat an Projekten im Zusammenhang mit Personalisierung und Lieferkette gearbeitet.
Esra Kayabali ist Senior Solutions Architect bei AWS und spezialisiert auf den Analysebereich, einschließlich Data Warehousing, Data Lakes, Big Data Analytics, Batch- und Echtzeit-Datenstreaming und Datenintegration. Sie verfügt über 12 Jahre Erfahrung in der Softwareentwicklung und Architektur. Ihre Leidenschaft gilt dem Lernen und Lehren von Cloud-Technologien.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoAiStream. Web3-Datenintelligenz. Wissen verstärkt. Hier zugreifen.
- Die Zukunft prägen mit Adryenn Ashley. Hier zugreifen.
- Kaufen und verkaufen Sie Anteile an PRE-IPO-Unternehmen mit PREIPO®. Hier zugreifen.
- Quelle: https://aws.amazon.com/blogs/machine-learning/demand-forecasting-at-getir-built-with-amazon-forecast/
- :hast
- :Ist
- :Wo
- 000
- 10
- 100
- 12
- 2015
- 2019
- 2021
- 2022
- 50
- 7
- a
- Fähigkeit
- Fähig
- LiveBuzz
- Absolute
- Akzeptieren
- Genauigkeit
- genau
- Erreichen
- erreicht
- über
- Aktivitäten
- Zusatz
- Zusätzliche
- Vorteil
- Vorteilen
- Nach der
- Alter
- Algorithmus
- Algorithmen
- Alle
- Zulassen
- erlaubt
- entlang
- ebenfalls
- Amazon
- Amazon-Prognose
- Amazon RedShift
- Amazon Web Services
- unter
- an
- Analyse
- Analytik
- und
- und Infrastruktur
- Anwendung
- Anwendungen
- Architektur
- SIND
- Bereich
- Bereiche
- AS
- Assistentin
- At
- Autoren
- Automatisiert
- Automatisches Erfassen:
- Im Prinzip so, wie Sie es von Google Maps kennen.
- Automation
- AWS
- AWS Step-Funktionen
- Hintergrund
- Backtest
- basierend
- Grundlage
- war
- Sein
- Vorteile
- BESTE
- Besser
- zwischen
- Big
- Big Data
- Größte
- beide
- Marke
- gebracht
- bauen
- Building
- erbaut
- eingebaut
- Geschäft
- Unternehmen
- by
- Berechnen
- Kampagnen (Campaign)
- CAN
- Capturing
- tragen
- Häuser
- Kategorien
- Kategorie
- sicher
- Kette
- Herausforderungen
- Übernehmen
- Änderungen
- klar
- Cloud
- Cloud-Services
- Kombinationen
- Vereinigung
- Unternehmen
- komplementär
- Abgeschlossene Verkäufe
- Komplex
- Komponenten
- Computer
- Informationstechnik
- Konglomerat
- beigetragen
- Koordinate
- Kosten
- Kosten
- Ländern
- Land
- länderspezifische
- erstellen
- erstellt
- schafft
- Schaffung
- Zur Zeit
- Kunde
- Kundenverhalten
- Unterricht
- technische Daten
- Datenanalyse
- Datenwissenschaft
- Datenwissenschaftler
- Datensatz
- Datenvisualisierung
- datengesteuerte
- Datensätze
- Tag
- Entscheidungen
- definiert
- Grad
- Übergeben
- Lieferanten
- Demand
- Nachfragevorhersage
- Abteilung
- Einsatz
- beschreiben
- Entwerfen
- entwickeln
- entwickelt
- Entwicklung
- verteilt
- Domain
- angetrieben
- zwei
- e-commerce
- jeder
- einfacher
- leicht
- Wirtschaftlich
- Wirtschaftskunde
- effizient
- Elektronik
- ermöglicht
- ermöglichen
- End-to-End
- Motor
- Ingenieur
- Entwicklung
- Eintrag
- Fehler
- Fehler
- Beispiel
- Führt aus
- Ausführung
- erwartet
- ERFAHRUNGEN
- erfahrensten
- Gesicht
- Merkmal
- Eigenschaften
- Finanzen
- Vorname
- passend zu
- Setzen Sie mit Achtsamkeit
- konzentriert
- konzentriert
- Fokussierung
- Folgende
- Aussichten für
- Prognose
- Prognosen
- vorausschau
- Gründung
- vier
- Frankreich
- häufig
- für
- voll
- Funktion
- Funktionen
- Zukunft
- Geschlecht
- Deutschland
- bekommen
- Global
- Ziele
- Abschluss
- Gruppen
- GUEST
- Guest Post
- Griff
- glücklich
- mit
- he
- schwer
- dazu beigetragen,
- hilft
- hier (auf dänisch)
- GUTE
- hoch
- seine
- Halten
- Ultraschall
- Hilfe
- HTML
- HTTPS
- Hyperparameteroptimierung
- Umsetzung
- wichtig
- zu unterstützen,
- verbessert
- Verbesserung
- Verbesserung
- in
- das
- Dazu gehören
- Einschließlich
- integrieren
- einarbeiten
- Erhöhung
- Krankengymnastik
- Information
- Infrastruktur
- Einblicke
- beantragen müssen
- Integration
- intern
- in
- Einleitung
- Inventar
- IT
- Italien
- Artikel
- SEINE
- Job
- Jobs
- beigetreten
- jpg
- führen
- lernen
- geführt
- Niveau
- Gefällt mir
- Belastungen
- liebt
- Maschine
- Maschinelles Lernen
- Main
- hauptsächlich
- Aufrechterhaltung
- MACHT
- Making
- verwaltet
- Manager
- viele
- Marketing
- Meister
- mathematisch
- Mathematik
- bedeuten
- gemeint
- Triff
- erwähnt
- Metadaten
- Methoden
- Microservices
- ML
- Modell
- für
- Monat
- mehr
- vor allem warme
- viel
- sollen
- notwendig,
- Niederlande
- Netzwerk
- Netzwerke
- neuronale Netzwerk
- Neuronale Netze
- Neu
- weiter
- erhalten
- of
- on
- EINEM
- laufend
- Open-Source-
- betreiben
- arbeitet
- Betrieb
- Optimierung
- Optimieren
- Optimierung
- or
- orchestriert
- Auftrag
- Andere
- UNSERE
- skizzieren
- Übertreffen
- übrig
- besitzen
- Parallel
- Parameter
- leidenschaftlich
- Personen
- Prozent
- Prozentsatz
- Ausführen
- Leistung
- Personalisierung
- ein Bild
- Pionier
- Pipeline
- Planung
- Plattformen
- Plato
- Datenintelligenz von Plato
- PlatoData
- erfahren
- Portugal
- Post
- vorhersagen
- vorhergesagt
- Prognosen
- Bereitet sich vor
- Vorbereitung
- vorher
- Probleme
- Prozessdefinierung
- anpassen
- Verarbeitung
- produziert
- Produziert
- Produkt
- Produktion
- Produkte
- Projekt
- Projekte
- Vorschlag
- Eigentums-
- die
- schnell
- Angebot
- Echtzeit
- Echtzeitdaten
- Received
- Rezession
- Software Empfehlungen
- Veteran
- Abfall reduzieren
- bezogene
- Beziehung
- relevant
- zuverlässig
- Forschungsprojekte
- Verantwortung
- für ihren Verlust verantwortlich.
- Die Ergebnisse
- Einnahmen
- revolutioniert
- Laufen
- Vertrieb
- gleich
- Skalierbarkeit
- skalierbaren
- Skalieren
- Waage
- Szenarien
- Zeitplan
- Wissenschaft
- Wissenschaftler
- Suche
- Suchmaschine
- Zweite
- sehen
- ausgewählt
- Senior
- getrennte
- Modellreihe
- brauchen
- Lösungen
- kompensieren
- sie
- Konzerte
- signifikant
- bedeutend
- Einfacher
- da
- SIX
- snacks
- So
- Software
- Software-Entwicklung
- Lösung
- Lösungen
- LÖSEN
- Spanien
- spezialisieren
- Rede
- Unser Team
- Anfang
- begonnen
- beginnt
- Staaten
- statistisch
- Schritt
- -bestands-
- Lagerung
- gelagert
- Strategie
- Streaming
- Erfolg
- so
- geeignet
- liefern
- Supply Chain
- Unterstützung
- System
- Target
- Einführungen
- Team
- Tech
- Technologieunternehmen
- Technologies
- AGB
- Testen
- als
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- Niederlande
- Großbritannien
- ihr
- Sie
- dann
- Dort.
- deswegen
- Diese
- vom Nutzer definierten
- fehlen uns die Worte.
- diejenigen
- Durch
- Zeit
- Zeitfolgen
- mal
- zu
- heute
- gemeinsam
- traditionell
- Ausbildung
- schult Ehrenamtliche
- Trends
- ausgelöst
- Auslösen
- Türkei
- XNUMX
- Uk
- Letztlich
- für
- verstehen
- einzigartiges
- Vereinigt
- USA
- Universität
- us
- -
- Anwendungsfall
- benutzt
- Verwendung von
- Vertikalen
- sehr
- Besuchen Sie
- Visualisierung
- ging
- wurde
- Abfall / Verschnitt
- we
- Netz
- Web-Services
- Woche
- GUT
- wann
- welche
- deren
- breit
- Große Auswahl
- mit
- ohne
- gearbeitet
- Workflows
- arbeiten,
- Werk
- geschrieben
- Jahr
- Du
- Ihr
- Zephyrnet