Πώς η Yara χρησιμοποιεί τις δυνατότητες MLOps του Amazon SageMaker για να κλιμακώσει τη βελτιστοποίηση ενέργειας σε όλες τις μονάδες αμμωνίας της

Yara είναι η κορυφαία εταιρεία διατροφής καλλιεργειών στον κόσμο και πάροχος περιβαλλοντικών και γεωργικών λύσεων. Η φιλοδοξία της Yara επικεντρώνεται στην ανάπτυξη ενός θετικού για τη φύση μέλλοντος τροφίμων που δημιουργεί αξία για τους πελάτες, τους μετόχους και την κοινωνία γενικότερα και προσφέρει μια πιο βιώσιμη αλυσίδα αξίας τροφίμων. Υποστηρίζοντας το όραμά μας για έναν κόσμο χωρίς πείνα και έναν πλανήτη σεβαστό, η Yara ακολουθεί μια στρατηγική βιώσιμης ανάπτυξης αξίας, προωθώντας τη διατροφή των καλλιεργειών φιλική προς το κλίμα και ενεργειακές λύσεις μηδενικών εκπομπών. Η Yara είναι επίσης ο μεγαλύτερος παραγωγός αμμωνίας, νιτρικών αλάτων στον κόσμο και NPK λιπάσματα. Ως εκ τούτου, το τμήμα παραγωγής τους είναι ένα αναπόσπαστο δομικό στοιχείο για την επίτευξη της αποστολής τους - με μια ξεκάθαρη φιλοδοξία να γίνουν παγκόσμιοι κορυφαίοι σε μετρήσεις όπως η ασφάλεια, το περιβαλλοντικό αποτύπωμα, η ποιότητα και το κόστος παραγωγής. Ο μακροπρόθεσμος στόχος της Yara είναι το «Plant of the Future» με μηδενικές εκπομπές ρύπων και χαμηλό κόστος.

Οικοδομώντας σε έναν λιτό μετασχηματισμό, η Yara εντείνει την εστίασή της στις ψηφιακές λύσεις για να τους βοηθήσει να επιτύχουν τις φιλοδοξίες τους. Για να ηγηθεί αυτής της προσπάθειας, η Yara ίδρυσε μια παγκόσμια μονάδα που ονομάζεται Digital Production. Η επιτυχία της Ψηφιακής Παραγωγής και των λύσεών της αποτελεί βασική προτεραιότητα για τη Yara και η Yara αύξησε σημαντικά τις προσπάθειές της σε αυτόν τον τομέα. Ένας κρίσιμος τομέας εστίασης είναι να επωφεληθούν από την τεράστια ποσότητα δεδομένων που παράγονται ως μέρος των λειτουργιών τους. Ως εκ τούτου, η Yara κατασκευάζει προϊόντα βάσει δεδομένων που τους βοηθούν να βελτιστοποιήσουν την παραγωγή, να αυξήσουν την ποιότητα των προϊόντων, να αυξήσουν την αξιοπιστία των χώρων παραγωγής, να μειώσουν τις εκπομπές, να αυξήσουν την ασφάλεια και την παραγωγικότητα των εργαζομένων, να αυτοματοποιήσουν τις χειροκίνητες διαδικασίες και πολλά άλλα.

Η ενέργεια αποτελεί σημαντικό στοιχείο κόστους για πολλές μονάδες παραγωγής. Ως εκ τούτου, η ενεργειακή απόδοση έχει ουσιαστικό αντίκτυπο στην κερδοφορία. Ωστόσο, συχνά υπάρχει έλλειψη σταθερών αναφορών για το πώς φαίνεται η καλή απόδοση και πώς να φτάσετε εκεί. Η Καμπύλη Ενεργειακού Φορτίου (ELC) της Yara είναι μια λύση που χρησιμοποιεί τις καλύτερες ιστορικές επιδόσεις όσον αφορά την κατανάλωση ενέργειας σε σύγκριση με την τρέχουσα απόδοση. Εάν η τρέχουσα κατανάλωση αποκλίνει πάρα πολύ από την ιστορική καλύτερη, το εργαλείο δίνει συστάσεις στους χειριστές προκειμένου να κατευθύνουν την κατανάλωση ενέργειας.

Για να αναπτύξει το ELC σε εργοστάσια παραγωγής και να το κλιμακώσει σε πολλές τοποθεσίες σε όλο τον κόσμο, η Yara χρειάστηκε να δημιουργήσει μια πλατφόρμα MLOps. Αυτό θα διασφάλιζε ότι η Yara θα εκπαιδεύει, θα αναπτύσσει και θα συντηρεί τα μοντέλα αξιόπιστα και αποτελεσματικά. Επιπλέον, για να το κλιμακώσει σε πολλούς ιστότοπους, η Yara χρειάστηκε να αυτοματοποιήσει τις διαδικασίες ανάπτυξης και συντήρησης. Σε αυτήν την ανάρτηση, συζητάμε πώς χρησιμοποιεί η Yara Amazon Sage Maker χαρακτηριστικά, συμπεριλαμβανομένου του μητρώου μοντέλων, Παρακολούθηση μοντέλου Amazon SageMaker, να Αγωγοί Amazon SageMaker για τον εξορθολογισμό του κύκλου ζωής της μηχανικής μάθησης (ML) αυτοματοποιώντας και τυποποιώντας τις πρακτικές MLOps. Παρέχουμε μια επισκόπηση της ρύθμισης, παρουσιάζοντας τη διαδικασία κατασκευής, εκπαίδευσης, ανάπτυξης και παρακολούθησης μοντέλων ML για εγκαταστάσεις σε όλο τον κόσμο.

Επισκόπηση της λύσης

Το ELC χρησιμοποιεί δεδομένα αισθητήρων Internet of Things (IoT) από ένα εργοστάσιο. Αυτοί οι αισθητήρες μετρούν μετρήσεις όπως η απόδοση παραγωγής, οι συνθήκες περιβάλλοντος και οι συνθήκες πρώτων υλών κ.λπ. Αυτά τα δεδομένα χρησιμοποιούνται για την εκπαίδευση ενός μοντέλου πρόβλεψης ενέργειας το οποίο στη συνέχεια χρησιμοποιείται για τη δημιουργία ωριαίων προβλέψεων. Οι χειριστές των εγκαταστάσεων παρακολουθούν την πραγματική κατανάλωση ενέργειας και τη συγκρίνουν με τη βέλτιστη κατανάλωση όπως προβλέπεται από την ELC. Εάν η τρέχουσα κατανάλωση ενέργειας αποκλίνει υπερβολικά από το βέλτιστο σημείο, το ELC παρέχει μια ενέργεια για την προσαρμογή των εσωτερικών μεταβλητών της διαδικασίας για τη βελτιστοποίηση της ενεργειακής απόδοσης με βάση αναλυτικά μοντέλα.

Το ELC φιλοξενείται στο cloud. Για τη ροή δεδομένων αισθητήρων από μια εγκατάσταση σε πραγματικό χρόνο, η Yara χρησιμοποιεί AWS IoT Greengrass να επικοινωνούν με ασφάλεια με AWS Core IoT και εξάγετε δεδομένα IoT στο σύννεφο AWS. AWS IoT SiteWise είναι μια διαχειριζόμενη υπηρεσία που μπορεί να συλλέξει, να οργανώσει, να αναζητήσει και να καταναλώσει δεδομένα εξοπλισμού από βιομηχανικό εξοπλισμό σε κλίμακα. Η Yara έχει δημιουργήσει API χρησιμοποιώντας Amazon API Gateway για την έκθεση των δεδομένων του αισθητήρα σε εφαρμογές όπως το ELC.

Το backend της εφαρμογής ELC αναπτύσσεται μέσω του Amazon ECS και τροφοδοτεί τους πίνακες εργαλείων ELC στο μπροστινό μέρος που χρησιμοποιούνται από τους χειριστές των εγκαταστάσεων. Η εφαρμογή ELC είναι υπεύθυνη για την παροχή ωριαίων προγνωστικών μετρήσεων κατανάλωσης ενέργειας στους χειριστές των εγκαταστάσεων. Κάθε μονάδα είναι εξοπλισμένη με το δικό της μοντέλο, επειδή τα χαρακτηριστικά κατανάλωσης ενέργειας διαφέρουν. Επιπλέον, τα φυτά συγκεντρώνονται σε διαφορετικές Περιφέρειες AWS με βάση την τοποθεσία τους.

Το παρακάτω διάγραμμα απεικονίζει αυτή την αρχιτεκτονική.

Για την κατασκευή ELC και την κλιμάκωση σε πολλαπλές εγκαταστάσεις, χρειαζόμασταν μια λύση MLOps που υποστηρίζει τα ακόλουθα:

• Απεριόριστες δυνατότητες – Μπορεί να κλιμακωθεί ανάλογα με τους όγκους δεδομένων. Ορισμένα φυτά παράγουν περισσότερα δεδομένα από άλλα. κάθε εγκατάσταση μπορεί να παράγει πολλά gigabyte δεδομένων την ημέρα.
• Επεκτασιμότητα – Μπορεί να αναπτυχθεί σε νέες Περιφέρειες και λογαριασμούς.
• Επαναληψιμότητα – Έχει κοινά πρότυπα που μπορούμε να χρησιμοποιήσουμε για να επιβιβαστούμε σε ένα νέο εργοστάσιο.
• Ευελιξία – Μπορεί να αλλάξει τη διαμόρφωση ανάπτυξης με βάση τις ανάγκες κάθε εγκατάστασης.
• Αξιοπιστία και παρακολούθηση – Μπορεί να εκτελέσει δοκιμές και να έχει σαφή ορατότητα στην κατάσταση όλων των ενεργών εγκαταστάσεων. Σε περίπτωση αποτυχίας, μπορεί να επιστρέψει στην προηγούμενη σταθερή κατάσταση.
• Συντήρηση – Η λύση θα πρέπει να έχει χαμηλό κόστος συντήρησης. Θα πρέπει να χρησιμοποιεί υπηρεσίες χωρίς διακομιστή όπου είναι δυνατόν για να μειώσει το αποτύπωμα της υποδομής.

Για την ML, η Yara αποφάσισε να χρησιμοποιήσει το SageMaker. Το SageMaker είναι μια πλήρως διαχειριζόμενη υπηρεσία που καλύπτει ολόκληρη τη ροή εργασίας ML. Τα ακόλουθα χαρακτηριστικά ήταν κρίσιμα για την επιλογή του SageMaker:

• Εμπορευματοκιβώτια πλαισίου SageMaker – Η Yara είχε εκπαιδεύσει μοντέλα πρόβλεψης ELC στο TensorFlow και με δοχεία πλαισίου SageMaker, η Yara ήταν σε θέση να ανυψώσει και να μεταφέρει αυτά τα μοντέλα με ελάχιστες αλλαγές κώδικα στο SageMaker.
• Αγωγοί SageMaker – Το SageMaker Pipelines προσφέρει μια διεπαφή Python για τους επιστήμονες δεδομένων για τη σύνταξη γραμμών ML. Ένα μεγάλο μέρος του κώδικα ELC αποτελείται από μια εκπαίδευση και μια διοχέτευση συμπερασμάτων, τα οποία ορίζονται στην Python.
• Μητρώο μοντέλων SageMaker – Το μητρώο μοντέλων SageMaker καθιστά δυνατή την καταλογογράφηση και τον έλεγχο εκδόσεων μοντέλων. Επιπλέον, διευκολύνει τη διαχείριση των μεταδεδομένων του μοντέλου, όπως οι μετρήσεις εκπαίδευσης.
• Οθόνη SageMaker Model – Η Yara ήθελε να παρακολουθεί την ποιότητα και τη διανομή των εισερχόμενων δεδομένων καθώς και την απόδοση του μοντέλου ELC. Τα API του SageMaker Model Monitor προσφέρουν παρακολούθηση δεδομένων και ποιότητας μοντέλου.

Για τη διαχείριση της συνεχούς ενοποίησης και της συνεχούς παράδοσης (CI/CD) για τους αγωγούς ML, η Yara χρησιμοποιεί Πλαίσιο ανάπτυξης της Amazon (ADF). Το ADF είναι ένα πλαίσιο ανοιχτού κώδικα που αναπτύχθηκε από την AWS για τη διαχείριση και την ανάπτυξη πόρων σε πολλούς λογαριασμούς και Περιοχές AWS σε έναν Οργανισμό AWS. Το ADF επιτρέπει τη σταδιακή, παράλληλη, πολλαπλών λογαριασμών και διαπεριφερειακών αναπτύξεων εφαρμογών ή πόρων μέσω της δομής που ορίζεται στο Οργανισμοί AWS, αξιοποιώντας παράλληλα υπηρεσίες όπως π.χ Αγωγός κώδικα AWS, AWS CodeBuild, AWS CodeCommit, να AWS CloudFormation για να ανακουφίσει την ανύψωση βαρέων και τη διαχείριση σε σύγκριση με μια παραδοσιακή εγκατάσταση CI/CD.

Επισκόπηση λύσεων

Η όλη λύση για την πλατφόρμα MLOps χτίστηκε μέσα σε δύο μήνες σε μια προσπάθεια συνεργασίας με Επαγγελματικές υπηρεσίες AWS. Η ομάδα που εργαζόταν στο έργο αποτελούνταν από επιστήμονες δεδομένων, μηχανικούς δεδομένων και ειδικούς DevOps. Για να διευκολύνει την ταχύτερη ανάπτυξη σε ένα περιβάλλον πολλών ομάδων, η Yara επέλεξε να χρησιμοποιήσει AWS Landing Zone και Οργανισμοί για τη κεντρική δημιουργία, διαχείριση και διαχείριση διαφορετικών λογαριασμών AWS. Για παράδειγμα, το Yara έχει έναν κεντρικό λογαριασμό ανάπτυξης και χρησιμοποιεί λογαριασμούς φόρτου εργασίας για να φιλοξενήσει επιχειρηματικές εφαρμογές. Το ELC είναι μια περίπτωση χρήσης βελτιστοποίησης διαδικασίας και χρησιμοποιείται για τη βελτιστοποίηση των λογαριασμών φόρτου εργασίας. Η ομάδα της Yara Digital Production εργάζεται επίσης σε περιπτώσεις χρήσης ML σε τομείς διαφορετικούς από τη βελτιστοποίηση. Το πλαίσιο MLOps υποστηρίζει την ανάπτυξη σε οποιουσδήποτε λογαριασμούς φόρτου εργασίας, εφόσον οι λογαριασμοί δημιουργούνται μέσω Οργανισμών.

Το παρακάτω διάγραμμα απεικονίζει αυτή την αρχιτεκτονική.

Η χρήση ενός κεντρικού λογαριασμού ανάπτυξης διευκολύνει τη διαχείριση κοινών τεχνουργημάτων και αγωγών CI/CD. Όσον αφορά τη διαχείριση πρόσβασης και την ασφάλεια αυτών των κοινών τεχνουργημάτων, είναι απλούστερη σχεδίαση, επειδή τα όρια αδειών και τα κλειδιά κρυπτογράφησης διαχειρίζονται κεντρικά σε ένα μέρος. Στις επόμενες ενότητες, σας καθοδηγούμε στα βήματα που απαιτούνται για την ενσωμάτωση μιας νέας περίπτωσης χρήσης στην πλατφόρμα MLOps της Yara.

Όσον αφορά τη στρατηγική του λογαριασμού, το Yara έχει μια ρύθμιση sandbox, DEV, TEST και PROD. Ο λογαριασμός sandbox χρησιμοποιείται για πειραματισμούς και δοκιμή νέων ιδεών. Ο λογαριασμός DEV είναι το σημείο εκκίνησης των αγωγών CI/CD και όλη η ανάπτυξη ξεκινά εδώ. Ο λογαριασμός ανάπτυξης περιέχει τον ορισμό του αγωγού CI/CD και μπορεί να αναπτυχθεί στους λογαριασμούς DEV, TEST και PROD. Αυτή η ρύθμιση λογαριασμού απεικονίζεται στο παρακάτω σχήμα.

Ενσωμάτωση νέας θήκης χρήσης

Για αυτήν την ανάρτηση, υποθέτουμε ότι έχουμε ένα λειτουργικό πρωτότυπο μιας περίπτωσης χρήσης και τώρα θέλουμε να το θέσουμε σε λειτουργία. Σε περίπτωση που αυτή η περίπτωση χρήσης ανήκει σε μια νέα περιοχή προϊόντων, πρέπει πρώτα να παρέχουμε τους λογαριασμούς χρησιμοποιώντας Οργανισμούς, κάτι που ενεργοποιεί αυτόματα το ADF για την εκκίνηση αυτών των λογαριασμών για ανάπτυξη. Η Yara ακολουθεί μια στρατηγική λογαριασμού DEV>TEST>PROD. Ωστόσο, αυτή η διαμόρφωση δεν είναι υποχρεωτική. Οι λογαριασμοί δεδομένων εκθέτουν τα API για πρόσβαση σε δεδομένα και για μια νέα περίπτωση χρήσης, οι ρόλοι πρέπει να εκχωρηθούν τα απαραίτητα Διαχείριση ταυτότητας και πρόσβασης AWS (IAM) για να μπορούν να έχουν πρόσβαση στα API δεδομένων.

Στη συνέχεια, πρέπει να ορίσουμε σε ποιους λογαριασμούς θα αναπτυχθεί αυτή η περίπτωση χρήσης. Αυτό γίνεται χρησιμοποιώντας έναν χάρτη ανάπτυξης στο ADF. Ο χάρτης ανάπτυξης είναι ένα αρχείο διαμόρφωσης που περιέχει την αντιστοίχιση σταδίων και στόχων για τον αγωγό. Για την εκτέλεση του χάρτη ανάπτυξης, ο ADF χρησιμοποιεί το CodePipeline. Ο ADF παρέχει την ευελιξία για τη διαχείριση των παραμέτρων ανά περιβάλλον στόχο στο οποίο αναπτύσσεται η στοίβα. Αυτό καθιστά εύκολη τη διαχείριση των αναπτύξεων και τη δοκιμή με μικρότερες παρουσίες.

Για την κρυπτογράφηση όλων των τεχνουργημάτων, όπως κώδικα, δεδομένα και αρχεία μοντέλων, δημιουργούμε ένα Υπηρεσία διαχείρισης κλειδιών AWS κλειδί (AWS KMS). Μπορείτε επίσης να χρησιμοποιήσετε κρυπτογράφηση από την πλευρά του διακομιστή. Ωστόσο, επειδή ορισμένα από τα δημιουργούμενα τεχνουργήματα έχουν πρόσβαση σε όλους τους λογαριασμούς, πρέπει να δημιουργήσουμε το δικό μας κλειδί και να διαχειριστούμε τις πολιτικές αδειών του για να παραχωρήσουμε πρόσβαση μεταξύ λογαριασμών.

Τέλος, πρέπει να δημιουργήσουμε μια ομάδα πακέτων μοντέλων για να ομαδοποιήσουμε διαφορετικές εκδόσεις ενός μοντέλου χρησιμοποιώντας το μητρώο μοντέλων του SageMaker, το οποίο είναι η δυνατότητα του SageMaker για παρακολούθηση και διαχείριση μοντέλων καθώς κινούνται στον κύκλο ζωής του ML.

Μοντέλο αγωγού εκπαίδευσης

Για κάθε νέο εργοστάσιο που ενσωματώνεται στο ELC, δημιουργούμε έναν νέο εκπαιδευτικό αγωγό SageMaker. Αυτός ο αγωγός αποτελείται από βήματα προεπεξεργασίας δεδομένων και εκπαίδευσης μοντέλων. Οι αγωγοί SageMaker είναι κατάλληλοι για το Yara επειδή προσφέρουν μια διεπαφή Python για τον καθορισμό μιας ροής εργασίας ML. Επιπλέον, διαφορετικά βήματα της ροής εργασίας μπορούν να διαμορφωθούν για διαφορετική κλίμακα. Για παράδειγμα, μπορείτε να ορίσετε ένα πολύ μεγαλύτερο παράδειγμα για την εκπαίδευση παρά για το βήμα αξιολόγησης του μοντέλου. Οι παράμετροι εισόδου και εξόδου για κάθε βήμα του αγωγού αποθηκεύονται, γεγονός που καθιστά εύκολη την παρακολούθηση κάθε εκτέλεσης και των εξόδων της. Το περίγραμμα υψηλού επιπέδου της ροής εργασιών εκπαίδευσης έχει ως εξής.

Ως μέρος του σταδίου αξιολόγησης του μοντέλου, χρησιμοποιείται ένα σύνολο δεδομένων αξιολόγησης για τη δημιουργία μετρήσεων, όπως η ακρίβεια και η απόκλιση ριζικού μέσου τετραγωνικού σφάλματος (RMSE) στο εκπαιδευμένο μοντέλο. Αυτές οι μετρήσεις προστίθενται στα μεταδεδομένα του μοντέλου πριν από την εγγραφή του μοντέλου στο μητρώο μοντέλου. Επί του παρόντος, τα μοντέλα προωθούνται με μη αυτόματο τρόπο σε υψηλότερα περιβάλλοντα και ο υπεύθυνος έγκρισης μοντέλου μπορεί να δει τις μετρήσεις του μοντέλου για να διασφαλίσει ότι η νέα έκδοση έχει καλύτερη απόδοση από το τρέχον μοντέλο.

Τα μοντέλα ελέγχονται εκδόσεις με το μητρώο μοντέλων, με κάθε εγκατάσταση να έχει τη δική της ομάδα πακέτων μοντέλων. Επιπλέον, μπορείτε να χρησιμοποιήσετε το μητρώο μοντέλων για να παρακολουθείτε ποιες εκδόσεις μοντέλων αναπτύσσονται σε ποια περιβάλλοντα. Ένα μοντέλο μπορεί να είναι σε α Απορρίπτεται, Εκκρεμεί Εγχειρίδιο Έγκριση, ή Εγκεκριμένη κατάσταση, και μόνο τα μοντέλα που βρίσκονται στο Εγκεκριμένη κατάσταση μπορεί να αναπτυχθεί. Αυτό προσφέρει επίσης προστασία από την κατά λάθος ανάπτυξη μιας μη εγκεκριμένης έκδοσης του μοντέλου.

Υπόδειγμα συμπερασμάτων και αγωγού παρακολούθησης

Για να αναπτύξουμε το μοντέλο και να ρυθμίσουμε την παρακολούθηση μοντέλου, δημιουργήσαμε μια δεύτερη διοχέτευση SageMaker. Η εφαρμογή ELC παρέχει προβλέψεις χειριστή εγκαταστάσεων κατά ζήτηση, επομένως η πρόσβαση στα μοντέλα γίνεται μέσω κλήσεων API που πραγματοποιούνται από το σύστημα υποστήριξης ELC. Τα τελικά σημεία συμπερασμάτων SageMaker παρέχουν μια πλήρως διαχειριζόμενη λύση φιλοξενίας μοντέλων με επίπεδο API. Τα τελικά σημεία λαμβάνουν την είσοδο μοντέλου ως προβλέψεις ωφέλιμου φορτίου και επιστροφής. Επειδή η καθυστέρηση είναι επίσης κρίσιμος παράγοντας για τους τελικούς χρήστες που δεν θέλουν να περιμένουν πολύ πριν λάβουν ενημερωμένες προβλέψεις, η Yara επέλεξε τα τελικά σημεία συμπερασμάτων σε πραγματικό χρόνο του SageMaker, τα οποία είναι ιδιαίτερα κατάλληλα για φόρτους εργασίας με πολύ χαμηλές απαιτήσεις καθυστέρησης. Τέλος, επειδή η εφαρμογή ELC δεν μπορεί να έχει χρόνο διακοπής κατά την ανάπτυξη ενημερωμένων μοντέλων, βασίζεται στην μπλε/πράσινη δυνατότητα ανάπτυξης των σημείων λήξης σε πραγματικό χρόνο του SageMaker για να διασφαλίσει ότι η παλιά έκδοση μοντέλου θα συνεχίσει να εξυπηρετεί πρόβλεψη μέχρι να αναπτυχθεί η νέα έκδοση .

Το παρακάτω διάγραμμα απεικονίζει τη ρύθμιση ανάπτυξης και παρακολούθησης.

Για την παρακολούθηση μοντέλων, η Yara εκτελεί το SageMaker την ποιότητα των δεδομένων, ποιότητα μοντέλου, να επεξηγησιμότητα του μοντέλου παρακολούθηση. Η παρακολούθηση της ποιότητας των δεδομένων ελέγχει τη συνέπεια και παράγει στατιστικά στοιχεία διανομής δεδομένων. Η παρακολούθηση ποιότητας μοντέλου ελέγχει την απόδοση του μοντέλου και συγκρίνει την ακρίβεια του μοντέλου με τις μετρήσεις εκπαίδευσης. Οι εκθέσεις παρακολούθησης μοντέλων δημιουργούνται σε ωριαία βάση. Αυτές οι αναφορές χρησιμοποιούνται για την παρακολούθηση της απόδοσης του μοντέλου στην παραγωγή. Η παρακολούθηση επεξήγησης μοντέλων χρησιμοποιείται για να κατανοήσει ποια χαρακτηριστικά συμβάλλουν περισσότερο σε μια πρόβλεψη.

Αυτά τα αποτελέσματα της επεξήγησης του μοντέλου κοινοποιούνται στον πίνακα εργαλείων ELC για να παρέχουν στους χειριστές της εγκατάστασης περισσότερο πλαίσιο σχετικά με το τι οδηγεί στην κατανάλωση ενέργειας. Αυτό υποστηρίζει επίσης τον προσδιορισμό της ενέργειας για την προσαρμογή της εσωτερικής διαδικασίας σε περίπτωση που η κατανάλωση ενέργειας αποκλίνει από το βέλτιστο σημείο.

Ροή CI/CD

Η ροή CI/CD για τους αγωγούς εκπαίδευσης ξεκινά στον λογαριασμό DEV. Το Yara ακολουθεί ένα μοντέλο ανάπτυξης που βασίζεται σε χαρακτηριστικά και όταν αναπτύσσεται ένα νέο χαρακτηριστικό, ο κλάδος χαρακτηριστικών συγχωνεύεται στον κορμό, ο οποίος ξεκινά την ανάπτυξη. Τα μοντέλα ELC εκπαιδεύονται στον λογαριασμό DEV και αφού το μοντέλο εκπαιδευτεί και αξιολογηθεί, καταχωρείται στο μητρώο μοντέλων. Ένας υπεύθυνος έγκρισης μοντέλου εκτελεί ελέγχους υγιεινής πριν από την ενημέρωση της κατάστασης του μοντέλου σε Εγκεκριμένη. Αυτή η ενέργεια δημιουργεί ένα συμβάν που ενεργοποιεί την ανάπτυξη του αγωγού συμπερασμάτων μοντέλου. Η διοχέτευση συμπερασμάτων μοντέλου αναπτύσσει τη νέα έκδοση μοντέλου σε ένα τελικό σημείο του SageMaker στο DEV.

Μετά την ανάπτυξη του τελικού σημείου, ξεκινούν οι δοκιμές για τον έλεγχο της συμπεριφοράς της εγκατάστασης. Για δοκιμές, το Yara χρησιμοποιεί Αναφορές δοκιμών CodeBuild. Αυτή η δυνατότητα επιτρέπει στους προγραμματιστές να εκτελούν δοκιμές μονάδων, δοκιμές διαμόρφωσης και λειτουργικές δοκιμές πριν και μετά την ανάπτυξη. Σε αυτήν την περίπτωση, το Yara εκτελεί λειτουργικές δοκιμές περνώντας δοκιμαστικά ωφέλιμα φορτία στα τελικά σημεία του SageMaker και αξιολογώντας την απόκριση. Αφού περάσουν αυτές οι δοκιμές, η διοχέτευση προχωρά στην ανάπτυξη των τελικών σημείων του SageMaker στο TEST. Το backend ELC αναπτύσσεται επίσης στο TEST, το οποίο καθιστά δυνατή τη δοκιμή από άκρο σε άκρο για την εφαρμογή σε αυτό το περιβάλλον. Επιπλέον, το Yara εκτελεί δοκιμές αποδοχής χρήστη στο TEST. Η ενεργοποίηση από την ανάπτυξη TEST στην ανάπτυξη PROD είναι μια χειροκίνητη ενέργεια έγκρισης. Αφού η νέα έκδοση του μοντέλου έχει περάσει τόσο τη λειτουργική όσο και τη δοκιμή αποδοχής από τον χρήστη στο TEST, η ομάδα μηχανικών εγκρίνει την ανάπτυξη του μοντέλου στο PROD.

Το παρακάτω σχήμα απεικονίζει αυτή τη ροή εργασίας.

Κοινά συστατικά

Για το ELC, χρησιμοποιούμε πολλά στοιχεία που είναι κοινά για όλα τα στάδια ανάπτυξης (DEV, TEST, PROD) και τα μοντέλα. Αυτά τα στοιχεία βρίσκονται στον λογαριασμό ανάπτυξης μας και περιλαμβάνουν έλεγχο έκδοσης μοντέλου, χώρο αποθήκευσης εικόνων κοντέινερ, κλειδί κρυπτογράφησης και κάδο για την αποθήκευση κοινών τεχνουργημάτων.

Υπάρχουν πολλά πλεονεκτήματα από τη χρήση κοινών τεχνουργημάτων. Για παράδειγμα, οι πόροι δεν χρειάζεται να δημιουργηθούν για κάθε λογαριασμό, γεγονός που επιβάλλει τη συμβατότητα μεταξύ των λογαριασμών. Αυτό σημαίνει ότι δημιουργούμε εικόνες κοντέινερ μία φορά και τις επαναχρησιμοποιούμε σε όλους τους στοχευόμενους λογαριασμούς, μειώνοντας τον χρόνο δημιουργίας.

Αυτή η διοχέτευση αποθηκεύει τις διαφορετικές εκδόσεις μοντέλων σε ένα κοινό μητρώο μοντέλων στον λογαριασμό ανάπτυξης. Από αυτήν την κεντρική τοποθεσία, τα μοντέλα μπορούν να αναπτυχθούν σε όλους τους λογαριασμούς χωρίς να μεταφερθούν. Ομοίως, η χρήση ενός κεντρικά αποθηκευμένου κλειδιού κρυπτογράφησης διευκολύνει τη διαχείριση του κλειδιού και των δικαιωμάτων μεταξύ λογαριασμών.

Ένα μειονέκτημα της χρήσης κοινών τεχνουργημάτων είναι ότι το βήμα ενσωμάτωσης μιας νέας περίπτωσης χρήσης μπορεί να γίνει πιο περίπλοκο. Για να ενσωματώσετε μια νέα περίπτωση χρήσης, πρέπει να δημιουργηθεί ένα νέο μητρώο μοντέλου και, εάν απαιτείται, ένα νέο αποθετήριο εικόνων κοντέινερ. Συνιστούμε επίσης να δημιουργήσετε ένα νέο κλειδί κρυπτογράφησης για αυστηρά διαχωρισμό πόρων και αποθηκευμένων δεδομένων.

Συμπέρασμα

Σε αυτήν την ανάρτηση, δείξαμε πώς η Yara χρησιμοποίησε το SageMaker και το ADF για να δημιουργήσει μια πλατφόρμα MLOps με μεγάλη κλίμακα. Η ML είναι μια διαλειτουργική ικανότητα και οι ομάδες αναπτύσσουν μοντέλα σε διαφορετικούς λογαριασμούς επιχειρηματικών μονάδων. Επομένως, το ADF, το οποίο προσφέρει εγγενή ενοποίηση με Οργανισμούς, το καθιστά ιδανικό υποψήφιο για την εκκίνηση λογαριασμών για τη δημιουργία αγωγών CI/CD. Λειτουργικά, οι αγωγοί ADF εκτελούνται στον κεντρικό λογαριασμό ανάπτυξης, γεγονός που διευκολύνει τη λήψη μιας συνολικής εικόνας υγείας των αναπτύξεων. Τέλος, το ADF χρησιμοποιεί υπηρεσίες διαχείρισης AWS όπως το CodeBuild, το CodeDeploy, το CodePipeline και το CloudFormation, διευκολύνοντας τη διαμόρφωση και τη συντήρηση.

Το SageMaker παρέχει ένα ευρύ φάσμα δυνατοτήτων ML, το οποίο επιτρέπει στις ομάδες να εστιάζουν περισσότερο στην επίλυση επιχειρηματικών προβλημάτων και λιγότερο στη δημιουργία και τη συντήρηση υποδομής. Επιπλέον, το SageMaker Pipelines παρέχει ένα πλούσιο σύνολο API για τη δημιουργία, ενημέρωση και ανάπτυξη ροών εργασίας ML, καθιστώντας το ιδανικό για MLOps.

Τέλος, το MLOps παρέχει τις βέλτιστες πρακτικές για την ανάπτυξη και τη διατήρηση μοντέλων ML στην παραγωγή αξιόπιστα και αποτελεσματικά. Είναι κρίσιμο για τις ομάδες που δημιουργούν και αναπτύσσουν λύσεις ML σε κλίμακα να εφαρμόζουν MLO. Στην περίπτωση του Yara, το MLOps μειώνει σημαντικά την προσπάθεια που απαιτείται για την εγκατάσταση ενός νέου εργοστασίου, τη διάθεση ενημερώσεων στο ELC και τη διασφάλιση της ποιότητας των μοντέλων.

Για περισσότερες πληροφορίες σχετικά με τον τρόπο ανάπτυξης εφαρμογών με χρήση ADF, ανατρέξτε στο παραδείγματα.

---

Σχετικά με τους συγγραφείς

Shaheer Mansoor είναι Επιστήμονας Δεδομένων στο AWS. Η εστίασή του είναι στη δημιουργία πλατφορμών μηχανικής μάθησης που μπορούν να φιλοξενήσουν λύσεις τεχνητής νοημοσύνης σε κλίμακα. Οι τομείς ενδιαφέροντός του είναι τα MLOps, τα καταστήματα χαρακτηριστικών, η φιλοξενία μοντέλων και η παρακολούθηση μοντέλων.

Τιμ Μπέκερ είναι Senior Data Scientist στο Yara International. Στο πλαίσιο της Ψηφιακής Παραγωγής, η εστίασή του είναι στη βελτιστοποίηση της διαδικασίας παραγωγής αμμωνίας και νιτρικού οξέος. Είναι κάτοχος διδακτορικού στη Θερμοδυναμική και είναι παθιασμένος με το να συνδυάζει τη μηχανική διεργασιών και τη μηχανική μάθηση.

Yongyos Kaewpitakkun είναι ανώτερος επιστήμονας δεδομένων στην ομάδα Digital Production στη Yara International. Έχει διδακτορικό στην τεχνητή νοημοσύνη/μηχανική εκμάθηση και πολλά χρόνια πρακτικής εμπειρίας αξιοποιώντας τη μηχανική μάθηση, την όραση υπολογιστών και τα μοντέλα επεξεργασίας φυσικής γλώσσας για την επίλυση προκλητικών επιχειρηματικών προβλημάτων.