Αυτή είναι η δεύτερη ανάρτηση μιας σειράς τεσσάρων μερών που περιγράφει λεπτομερώς τον τρόπο Όμιλος NatWest, ένα σημαντικό ίδρυμα χρηματοπιστωτικών υπηρεσιών, σε συνεργασία με Επαγγελματικές υπηρεσίες AWS για τη δημιουργία μιας νέας πλατφόρμας λειτουργιών μηχανικής μάθησης (MLOps). Σε αυτήν την ανάρτηση, μοιραζόμαστε πώς ο Όμιλος NatWest χρησιμοποίησε το AWS για να επιτρέψει την ανάπτυξη αυτοεξυπηρέτησης της τυποποιημένης, ασφαλούς και συμβατής πλατφόρμας MLOps χρησιμοποιώντας Κατάλογος υπηρεσιών AWS και Amazon Sage Maker. Αυτό οδήγησε σε μείωση του χρόνου που απαιτείται για την παροχή νέων περιβαλλόντων από ημέρες σε λίγες μόνο ώρες.
Πιστεύουμε ότι οι υπεύθυνοι λήψης αποφάσεων μπορούν να επωφεληθούν από αυτό το περιεχόμενο. Οι CTO, οι CDAO, οι ανώτεροι επιστήμονες δεδομένων και οι ανώτεροι μηχανικοί cloud μπορούν να ακολουθήσουν αυτό το μοτίβο για να παρέχουν καινοτόμες λύσεις για τις ομάδες επιστήμης δεδομένων και μηχανικής τους.
Διαβάστε ολόκληρη τη σειρά:
|
Τεχνολογία στον Όμιλο NatWest
Ο Όμιλος NatWest είναι μια τράπεζα σχέσεων για έναν ψηφιακό κόσμο που παρέχει χρηματοοικονομικές υπηρεσίες σε περισσότερους από 19 εκατομμύρια πελάτες σε όλο το Ηνωμένο Βασίλειο. Ο Όμιλος διαθέτει ένα ποικίλο χαρτοφυλάκιο τεχνολογίας, όπου οι λύσεις στις επιχειρηματικές προκλήσεις συχνά παρέχονται χρησιμοποιώντας ειδικά σχέδια και με μεγάλα χρονοδιαγράμματα.
Πρόσφατα, ο Όμιλος NatWest υιοθέτησε μια στρατηγική για το cloud-first, η οποία επέτρεψε στην εταιρεία να χρησιμοποιεί διαχειριζόμενες υπηρεσίες για την παροχή πόρων υπολογιστών και αποθήκευσης κατ' απαίτηση. Αυτή η κίνηση οδήγησε σε βελτίωση της συνολικής σταθερότητας, της επεκτασιμότητας και της απόδοσης των επιχειρηματικών λύσεων, μειώνοντας ταυτόχρονα το κόστος και επιταχύνοντας τον ρυθμό παράδοσης. Επιπλέον, η μετάβαση στο cloud επιτρέπει στον NatWest Group να απλοποιήσει τη στοίβα τεχνολογίας του επιβάλλοντας ένα σύνολο συνεπών, επαναλαμβανόμενων και προεγκεκριμένων σχεδίων λύσεων για την κάλυψη των κανονιστικών απαιτήσεων και τη λειτουργία με ελεγχόμενο τρόπο.
Προκλήσεις
Τα πιλοτικά στάδια της υιοθέτησης μιας προσέγγισης στο cloud-first περιλάμβαναν διάφορες φάσεις πειραματισμού και αξιολόγησης που χρησιμοποιούν μια μεγάλη ποικιλία υπηρεσίες ανάλυσης στο AWS. Οι πρώτες επαναλήψεις της πλατφόρμας cloud του NatWest Group για φόρτους εργασίας επιστήμης δεδομένων αντιμετώπισαν προκλήσεις με την παροχή συνεπών, ασφαλών και συμβατών περιβαλλόντων cloud. Η διαδικασία δημιουργίας νέων περιβαλλόντων διήρκεσε από μερικές ημέρες έως εβδομάδες ή και μήνες. Η εξάρτηση από ομάδες κεντρικής πλατφόρμας για τη δημιουργία, την παροχή, την ασφάλεια, την ανάπτυξη και τη διαχείριση υποδομών και πηγών δεδομένων κατέστησε δύσκολη την ενσωμάτωση νέων ομάδων για εργασία στο cloud.
Λόγω της διαφοράς στη διαμόρφωση της υποδομής μεταξύ των λογαριασμών AWS, οι ομάδες που αποφάσισαν να μεταφέρουν τον φόρτο εργασίας τους στο cloud έπρεπε να περάσουν από μια περίπλοκη διαδικασία συμμόρφωσης. Κάθε στοιχείο υποδομής έπρεπε να αναλυθεί ξεχωριστά, γεγονός που αύξησε τα χρονοδιαγράμματα ελέγχου ασφαλείας.
Το να ξεκινήσετε με την ανάπτυξη στο AWS περιλάμβανε την ανάγνωση ενός συνόλου οδηγών τεκμηρίωσης που γράφτηκαν από ομάδες πλατφόρμας. Τα αρχικά βήματα ρύθμισης περιβάλλοντος περιελάμβαναν τη διαχείριση δημόσιων και ιδιωτικών κλειδιών για έλεγχο ταυτότητας, τη διαμόρφωση συνδέσεων σε απομακρυσμένες υπηρεσίες χρησιμοποιώντας το Διεπαφή γραμμής εντολών AWS (AWS CLI) ή SDK από τοπικά περιβάλλοντα ανάπτυξης και εκτέλεση προσαρμοσμένων σεναρίων για τη σύνδεση τοπικών IDE με υπηρεσίες cloud. Οι τεχνικές προκλήσεις συχνά καθιστούσαν δύσκολη την επιβίβαση νέων μελών της ομάδας. Μετά τη διαμόρφωση των περιβαλλόντων ανάπτυξης, η διαδρομή για την κυκλοφορία του λογισμικού στην παραγωγή ήταν εξίσου πολύπλοκη και μακρά.
Όπως περιγράφεται στο Μέρος 1 αυτής της σειράς, η κοινή ομάδα έργου συγκέντρωσε μεγάλες ποσότητες σχολίων σχετικά με την εμπειρία των χρηστών και τις απαιτήσεις από ομάδες σε όλο τον Όμιλο NatWest πριν από την κατασκευή της νέας πλατφόρμας επιστήμης δεδομένων και MLOps. Ένα κοινό θέμα σε αυτή την ανατροφοδότηση ήταν η ανάγκη για αυτοματοποίηση και τυποποίηση ως προάγγελος για γρήγορη και αποτελεσματική παράδοση έργου στο AWS. Η νέα πλατφόρμα χρησιμοποιεί υπηρεσίες διαχείρισης AWS για τη βελτιστοποίηση του κόστους, τη μείωση των προσπαθειών διαμόρφωσης πλατφόρμας και τη μείωση του αποτυπώματος άνθρακα από την εκτέλεση άσκοπων μεγάλων εργασιών υπολογισμού. Η τυποποίηση είναι ενσωματωμένη στην καρδιά της πλατφόρμας, με προεγκεκριμένα, πλήρως διαμορφωμένα, ασφαλή, συμβατά και επαναχρησιμοποιήσιμα στοιχεία υποδομής που μπορούν να μοιραστούν μεταξύ των ομάδων δεδομένων και ανάλυσης.
Γιατί το SageMaker Studio;
Η ομάδα επέλεξε Στούντιο Amazon SageMaker ως το κύριο εργαλείο για την κατασκευή και την ανάπτυξη αγωγών ML. Το Studio παρέχει μια ενιαία διεπαφή βασισμένη στον ιστό που παρέχει στους χρήστες πλήρη πρόσβαση, έλεγχο και ορατότητα σε κάθε βήμα που απαιτείται για τη δημιουργία, την εκπαίδευση και την ανάπτυξη μοντέλων. Η ωριμότητα του Studio IDE (ενσωματωμένο περιβάλλον ανάπτυξης) για την ανάπτυξη μοντέλων, την παρακολούθηση μεταδεδομένων, τη διαχείριση τεχνουργημάτων και την ανάπτυξη ήταν μεταξύ των χαρακτηριστικών που απασχόλησαν έντονα την ομάδα του NatWest Group.
Οι επιστήμονες δεδομένων στο NatWest Group εργάζονται με φορητούς υπολογιστές SageMaker μέσα στο Studio κατά τα αρχικά στάδια της ανάπτυξης μοντέλων για την εκτέλεση ανάλυσης δεδομένων, διαμάχης δεδομένων και μηχανισμού χαρακτηριστικών. Αφού οι χρήστες είναι ευχαριστημένοι με τα αποτελέσματα αυτής της αρχικής εργασίας, ο κώδικας μετατρέπεται εύκολα σε συναρτήσεις για μετασχηματισμό δεδομένων, εκπαίδευση μοντέλων, συναγωγή συμπερασμάτων, καταγραφή και δοκιμές μονάδων, ώστε να είναι σε κατάσταση ετοιμότητας παραγωγής.
Μεταγενέστερα στάδια του κύκλου ζωής ανάπτυξης του μοντέλου περιλαμβάνουν τη χρήση του Αγωγοί Amazon SageMaker, το οποίο μπορεί να επιθεωρηθεί οπτικά και να παρακολουθηθεί στο Studio. Οι αγωγοί οπτικοποιούνται σε ένα DAG (Directed Acyclic Graph) που κωδικοποιεί τα βήματα με βάση την κατάστασή τους ενώ εκτελείται ο αγωγός. Επιπλέον, μια περίληψη του Αρχεία καταγραφής CloudWatch του Amazon εμφανίζεται δίπλα στο DAG για διευκόλυνση του εντοπισμού σφαλμάτων των αποτυχημένων βημάτων. Στους επιστήμονες δεδομένων παρέχεται ένα πρότυπο κώδικα που αποτελείται από όλα τα θεμελιώδη βήματα σε έναν αγωγό SageMaker. Αυτό παρέχει ένα τυποποιημένο πλαίσιο (συνεπές σε όλους τους χρήστες της πλατφόρμας για διευκόλυνση της συνεργασίας και της ανταλλαγής γνώσεων) στο οποίο οι προγραμματιστές μπορούν να προσθέσουν την προσαρμοσμένη λογική και τον κώδικα εφαρμογής που είναι ειδικά για την επιχειρηματική πρόκληση που επιλύουν.
Οι προγραμματιστές εκτελούν τις αγωγές εντός του Studio IDE για να διασφαλίσουν ότι οι αλλαγές στον κώδικα ενσωματώνονται σωστά με άλλα βήματα διοχέτευσης. Αφού ελεγχθούν και εγκριθούν οι αλλαγές στον κώδικα, αυτοί οι αγωγοί κατασκευάζονται και εκτελούνται αυτόματα με βάση μια ενεργοποίηση διακλάδωσης κύριου αποθετηρίου Git. Κατά τη διάρκεια της εκπαίδευσης του μοντέλου, οι μετρήσεις αξιολόγησης μοντέλων αποθηκεύονται και παρακολουθούνται στα πειράματα SageMaker, τα οποία μπορούν να χρησιμοποιηθούν για συντονισμό υπερπαραμέτρων. Αφού εκπαιδευτεί ένα μοντέλο, το τεχνούργημα του μοντέλου αποθηκεύεται στο Μητρώο μοντέλων SageMaker, μαζί με μεταδεδομένα που σχετίζονται με κοντέινερ μοντέλων, δεδομένα που χρησιμοποιούνται κατά την εκπαίδευση, χαρακτηριστικά μοντέλου και κώδικα μοντέλου. Το μητρώο μοντέλων διαδραματίζει βασικό ρόλο στη διαδικασία ανάπτυξης του μοντέλου, επειδή συσκευάζει όλες τις πληροφορίες μοντέλου και επιτρέπει την αυτοματοποίηση της προώθησης του μοντέλου σε περιβάλλοντα παραγωγής.
Οι μηχανικοί MLOps αναπτύσσουν διαχείριση Εργασίες μαζικής μετατροπής του SageMaker, η οποία κλιμακώνεται για να καλύψει τις απαιτήσεις φόρτου εργασίας. Τόσο οι εργασίες συμπερασμάτων παρτίδας εκτός σύνδεσης όσο και τα διαδικτυακά μοντέλα που εξυπηρετούνται μέσω ενός τελικού σημείου χρησιμοποιούν τη λειτουργικότητα διαχειριζόμενων συμπερασμάτων του SageMaker. Αυτό ωφελεί τόσο τις ομάδες πλατφόρμας όσο και τις ομάδες επιχειρηματικών εφαρμογών, επειδή οι μηχανικοί της πλατφόρμας δεν ξοδεύουν πλέον χρόνο στη διαμόρφωση στοιχείων υποδομής για εξαγωγή συμπερασμάτων μοντέλων και οι ομάδες επιχειρηματικών εφαρμογών δεν γράφουν πρόσθετο κώδικα λέβητα για να ρυθμίσουν και να αλληλεπιδράσουν με περιπτώσεις υπολογισμού.
Γιατί ο Κατάλογος Υπηρεσιών AWS;
Η ομάδα επέλεξε τον Κατάλογο υπηρεσιών AWS για να δημιουργήσει έναν κατάλογο ασφαλών, συμβατών και προεγκεκριμένων προτύπων υποδομής. Τα στοιχεία υποδομής σε ένα προϊόν καταλόγου υπηρεσιών AWS έχουν προρυθμιστεί ώστε να πληρούν τις απαιτήσεις ασφαλείας του Ομίλου NatWest. Η διαχείριση πρόσβασης ρόλων, οι πολιτικές πόρων, η διαμόρφωση δικτύων και οι πολιτικές κεντρικού ελέγχου διαμορφώνονται για κάθε πόρο που συσκευάζεται σε ένα προϊόν καταλόγου υπηρεσιών AWS. Τα προϊόντα έχουν εκδοθεί και κοινοποιούνται σε ομάδες εφαρμογών ακολουθώντας μια τυπική διαδικασία που επιτρέπει στις ομάδες επιστήμης δεδομένων και μηχανικής να αυτοεξυπηρετούνται και να αναπτύσσουν υποδομή αμέσως μετά την απόκτηση πρόσβασης στους λογαριασμούς τους AWS.
Οι ομάδες ανάπτυξης πλατφόρμας μπορούν εύκολα να εξελίξουν τα προϊόντα του καταλόγου υπηρεσιών AWS με την πάροδο του χρόνου για να επιτρέψουν την εφαρμογή νέων δυνατοτήτων με βάση τις επιχειρηματικές απαιτήσεις. Οι επαναληπτικές αλλαγές στα προϊόντα γίνονται με τη βοήθεια της έκδοσης προϊόντων του καταλόγου υπηρεσιών AWS. Όταν κυκλοφορήσει μια νέα έκδοση προϊόντος, η ομάδα της πλατφόρμας συγχωνεύει τις αλλαγές κώδικα στον κύριο κλάδο Git και αυξάνει την έκδοση του προϊόντος του καταλόγου υπηρεσιών AWS. Υπάρχει ένας βαθμός αυτονομίας και ευελιξίας στην ενημέρωση της υποδομής, επειδή οι λογαριασμοί επιχειρηματικών εφαρμογών μπορούν να χρησιμοποιούν προηγούμενες εκδόσεις προϊόντων προτού μετεγκατασταθούν στην πιο πρόσφατη έκδοση.
Επισκόπηση λύσεων
Το παρακάτω διάγραμμα αρχιτεκτονικής υψηλού επιπέδου δείχνει πώς αναπτύσσεται μια τυπική περίπτωση χρήσης επιχειρηματικής εφαρμογής στο AWS. Οι ακόλουθες ενότητες παρουσιάζουν περισσότερες λεπτομέρειες σχετικά με την αρχιτεκτονική του λογαριασμού, τον τρόπο ανάπτυξης της υποδομής, τη διαχείριση πρόσβασης χρηστών και τον τρόπο με τον οποίο χρησιμοποιούνται διαφορετικές υπηρεσίες AWS για τη δημιουργία λύσεων ML.
Όπως φαίνεται στο διάγραμμα αρχιτεκτονικής, οι λογαριασμοί ακολουθούν ένα μοντέλο διανομέα και ακτίνας. Ένας κοινόχρηστος λογαριασμός πλατφόρμας χρησιμεύει ως λογαριασμός διανομέα, όπου οι πόροι που απαιτούνται από τους λογαριασμούς της ομάδας επιχειρηματικών εφαρμογών (spoke) φιλοξενούνται από την ομάδα της πλατφόρμας. Αυτοί οι πόροι περιλαμβάνουν τα ακόλουθα:
- Μια βιβλιοθήκη ασφαλών, τυποποιημένων προϊόντων υποδομής που χρησιμοποιούνται για αναπτύξεις υποδομής αυτοεξυπηρέτησης, που φιλοξενείται από τον Κατάλογο υπηρεσιών AWS
- Εικόνες Docker, αποθηκευμένες σε Μητρώο εμπορευματοκιβωτίων Amazon Elastic (Amazon ECR), τα οποία χρησιμοποιούνται κατά τη διάρκεια της εκτέλεσης των βημάτων του αγωγού SageMaker και των συμπερασμάτων μοντέλου
- AWS CodeArtifact αποθετήρια, τα οποία φιλοξενούν προεγκεκριμένα πακέτα Python
Αυτοί οι πόροι κοινοποιούνται αυτόματα σε λογαριασμούς ακτίνας μέσω της δυνατότητας κοινής χρήσης και εισαγωγής χαρτοφυλακίου καταλόγου υπηρεσιών AWS, και Διαχείριση ταυτότητας και πρόσβασης AWS Πολιτικές εμπιστοσύνης (IAM) στην περίπτωση τόσο του Amazon ECR όσο και του CodeArtifact.
Κάθε ομάδα επιχειρηματικής εφαρμογής διαθέτει τρεις λογαριασμούς AWS στο περιβάλλον υποδομής του Ομίλου NatWest: ανάπτυξη, προπαραγωγή και παραγωγή. Τα ονόματα περιβάλλοντος αναφέρονται στον προβλεπόμενο ρόλο του λογαριασμού στον κύκλο ζωής ανάπτυξης της επιστήμης δεδομένων. Ο λογαριασμός ανάπτυξης χρησιμοποιείται για την εκτέλεση ανάλυσης δεδομένων και τη διαμάχη, τη σύνταξη του κώδικα διοχέτευσης μοντέλων και μοντέλων, μοντέλων αμαξοστοιχίας και την ενεργοποίηση ανάπτυξης μοντέλων σε περιβάλλοντα προπαραγωγής και παραγωγής μέσω του SageMaker Studio. Ο λογαριασμός προπαραγωγής αντικατοπτρίζει τη ρύθμιση του λογαριασμού παραγωγής και χρησιμοποιείται για τον έλεγχο των αναπτύξεων μοντέλων και των εργασιών μετατροπής κατά παρτίδες πριν από την κυκλοφορία τους στην παραγωγή. Ο λογαριασμός παραγωγής φιλοξενεί μοντέλα και εκτελεί φόρτους εργασίας εξαγωγής συμπερασμάτων παραγωγής.
Διαχείριση χρηστών
Ο Όμιλος NatWest διαθέτει αυστηρές διαδικασίες διακυβέρνησης για την επιβολή του διαχωρισμού των ρόλων των χρηστών. Έχουν δημιουργηθεί πέντε ξεχωριστοί ρόλοι IAM για κάθε περσόνα χρήστη.
Η ομάδα της πλατφόρμας χρησιμοποιεί τους ακόλουθους ρόλους:
- Μηχανικός υποστήριξης πλατφόρμας – Αυτός ο ρόλος περιέχει δικαιώματα για εργασίες όπως συνήθως και μια προβολή μόνο για ανάγνωση του υπόλοιπου περιβάλλοντος για την παρακολούθηση και τον εντοπισμό σφαλμάτων της πλατφόρμας.
- Μηχανικός επισκευής πλατφόρμας – Αυτός ο ρόλος έχει δημιουργηθεί με αυξημένα δικαιώματα. Χρησιμοποιείται εάν υπάρχουν προβλήματα με την πλατφόρμα που απαιτούν μη αυτόματη παρέμβαση. Αυτός ο ρόλος αναλαμβάνεται μόνο με εγκεκριμένο, χρονικά περιορισμένο τρόπο.
Οι ομάδες ανάπτυξης επιχειρηματικών εφαρμογών έχουν τρεις διακριτούς ρόλους:
- Τεχνικός μόλυβδος – Αυτός ο ρόλος ανατίθεται στον επικεφαλής της ομάδας εφαρμογών, συχνά ανώτερο επιστήμονα δεδομένων. Αυτός ο χρήστης έχει άδεια να αναπτύξει και να διαχειριστεί προϊόντα καταλόγου υπηρεσιών AWS, να ενεργοποιήσει εκδόσεις στην παραγωγή και να ελέγξει την κατάσταση του περιβάλλοντος, όπως π.χ. Αγωγός κώδικα AWS καταστάσεις και αρχεία καταγραφής. Αυτός ο ρόλος δεν έχει άδεια να εγκρίνει ένα μοντέλο στο μητρώο μοντέλων του SageMaker.
- Εργολάβος – Αυτός ο ρόλος ανατίθεται σε όλα τα μέλη της ομάδας που εργάζονται με το SageMaker Studio, το οποίο περιλαμβάνει μηχανικούς, επιστήμονες δεδομένων και συχνά τον επικεφαλής της ομάδας. Αυτός ο ρόλος έχει δικαιώματα για να ανοίξει το Studio, να γράψει κώδικα και να εκτελέσει και να αναπτύξει αγωγούς SageMaker. Όπως ο τεχνικός υπεύθυνος, αυτός ο ρόλος δεν έχει άδεια έγκρισης μοντέλου στο μητρώο μοντέλων.
- Υπεύθυνος έγκρισης μοντέλου – Αυτός ο ρόλος έχει περιορισμένα δικαιώματα σχετικά με την προβολή, την έγκριση και την απόρριψη μοντέλων στο μητρώο μοντέλων. Ο λόγος για αυτόν τον διαχωρισμό είναι να αποτρέψει τους χρήστες που μπορούν να δημιουργήσουν και να εκπαιδεύσουν μοντέλα από το να εγκρίνουν και να κυκλοφορήσουν τα δικά τους μοντέλα σε περιβάλλοντα κλιμάκωσης.
Δημιουργούνται ξεχωριστά προφίλ χρηστών Studio για προγραμματιστές και εγκρίσεις μοντέλων. Η λύση χρησιμοποιεί έναν συνδυασμό δηλώσεων πολιτικής IAM και ετικετών προφίλ χρήστη του SageMaker, έτσι ώστε οι χρήστες να επιτρέπεται να ανοίγουν μόνο ένα προφίλ χρήστη που ταιριάζει με τον τύπο χρήστη τους. Αυτό διασφαλίζει ότι ο χρήστης έχει εκχωρηθεί ο σωστός ρόλος IAM εκτέλεσης του SageMaker (και επομένως δικαιώματα) όταν ανοίγει το Studio IDE.
Αναπτύξεις αυτοεξυπηρέτησης με τον κατάλογο υπηρεσιών AWS
Οι τελικοί χρήστες χρησιμοποιούν τον Κατάλογο υπηρεσιών AWS για την ανάπτυξη προϊόντων υποδομής επιστήμης δεδομένων, όπως τα ακόλουθα:
- Ένα περιβάλλον στούντιο
- Προφίλ χρηστών στούντιο
- Μοντέλο αγωγών ανάπτυξης
- Αγωγοί εκπαίδευσης
- Σωληνώσεις συμπερασμάτων
- Ένα σύστημα παρακολούθησης και ειδοποίησης
Οι τελικοί χρήστες αναπτύσσουν αυτά τα προϊόντα απευθείας μέσω της διεπαφής χρήστη του καταλόγου υπηρεσιών AWS, πράγμα που σημαίνει ότι υπάρχει μικρότερη εξάρτηση από ομάδες κεντρικής πλατφόρμας για περιβάλλοντα παροχής. Αυτό έχει μειώσει σημαντικά τον χρόνο που χρειάζονται οι χρήστες για να αποκτήσουν πρόσβαση σε νέα περιβάλλοντα cloud, από πολλές ημέρες σε λίγες μόνο ώρες, κάτι που τελικά οδήγησε σε σημαντική βελτίωση του χρόνου προς την αξία. Η χρήση ενός κοινού συνόλου προϊόντων καταλόγου υπηρεσιών AWS υποστηρίζει τη συνέπεια στα έργα σε όλη την επιχείρηση και μειώνει το εμπόδιο για συνεργασία και επαναχρησιμοποίηση.
Επειδή όλη η υποδομή της επιστήμης δεδομένων αναπτύσσεται πλέον μέσω ενός κεντρικά αναπτυγμένου καταλόγου προϊόντων υποδομής, έχει ληφθεί μέριμνα για την κατασκευή καθενός από αυτά τα προϊόντα με γνώμονα την ασφάλεια. Οι υπηρεσίες έχουν διαμορφωθεί για επικοινωνία εντός Εικονικό ιδιωτικό σύννεφο Amazon (Amazon VPC), ώστε η κυκλοφορία να μην διασχίζει το δημόσιο διαδίκτυο. Τα δεδομένα κρυπτογραφούνται κατά τη μεταφορά και την ηρεμία χρησιμοποιώντας Υπηρεσία διαχείρισης κλειδιών AWS πλήκτρα (AWS KMS). Οι ρόλοι του IAM έχουν επίσης δημιουργηθεί για να ακολουθούν την αρχή του ελάχιστου προνομίου.
Τέλος, με τον Κατάλογο Υπηρεσιών AWS, είναι εύκολο για την ομάδα της πλατφόρμας να κυκλοφορεί συνεχώς νέα προϊόντα και υπηρεσίες καθώς γίνονται διαθέσιμα ή απαιτούνται από τις ομάδες επιχειρηματικών εφαρμογών. Αυτά μπορούν να λάβουν τη μορφή νέων προϊόντων υποδομής, παρέχοντας για παράδειγμα τη δυνατότητα στους τελικούς χρήστες να αναπτύξουν τα δικά τους EMR Αμαζονίου συμπλέγματα ή ενημερώσεις σε υπάρχοντα προϊόντα υποδομής. Επειδή ο Κατάλογος Υπηρεσιών AWS υποστηρίζει την έκδοση προϊόντων και χρησιμοποιεί AWS CloudFormation στα παρασκήνια, μπορούν να χρησιμοποιηθούν επιτόπιες αναβαθμίσεις όταν κυκλοφορούν νέες εκδόσεις υπαρχόντων προϊόντων. Αυτό επιτρέπει στις ομάδες της πλατφόρμας να επικεντρωθούν στη δημιουργία και τη βελτίωση προϊόντων, αντί να αναπτύσσουν περίπλοκες διαδικασίες αναβάθμισης.
Ενοποίηση με το υπάρχον λογισμικό IaC της NatWest
Ο Κατάλογος Υπηρεσιών AWS χρησιμοποιείται για την ανάπτυξη υποδομών επιστήμης δεδομένων αυτοεξυπηρέτησης. Επιπλέον, το εργαλείο τυπικής υποδομής ως κώδικα (IaC) του NatWest, Terraform, χρησιμοποιείται για τη δημιουργία υποδομής στους λογαριασμούς AWS. Το Terraform χρησιμοποιείται από ομάδες πλατφόρμας κατά την αρχική διαδικασία ρύθμισης λογαριασμού για την ανάπτυξη προαπαιτούμενων πόρων υποδομής, όπως VPC, ομάδες ασφαλείας, Διευθυντής συστημάτων AWS παραμέτρους, κλειδιά KMS και τυπικά στοιχεία ελέγχου ασφαλείας. Η υποδομή στο λογαριασμό hub, όπως τα χαρτοφυλάκια του καταλόγου υπηρεσιών AWS και οι πόροι που χρησιμοποιούνται για τη δημιουργία εικόνων Docker, ορίζονται επίσης χρησιμοποιώντας το Terraform. Ωστόσο, τα ίδια τα προϊόντα καταλόγου υπηρεσιών AWS κατασκευάζονται χρησιμοποιώντας τυπικά πρότυπα CloudFormation.
Βελτίωση της παραγωγικότητας των προγραμματιστών και της ποιότητας του κώδικα με τα έργα SageMaker
Έργα SageMaker παρέχετε στους προγραμματιστές και στους επιστήμονες δεδομένων πρόσβαση σε έργα γρήγορης εκκίνησης χωρίς να εγκαταλείψουν το SageMaker Studio. Αυτά τα έργα γρήγορης εκκίνησης σάς επιτρέπουν να αναπτύξετε πολλούς πόρους υποδομής ταυτόχρονα με λίγα μόνο κλικ. Αυτά περιλαμβάνουν ένα αποθετήριο Git που περιέχει ένα τυποποιημένο πρότυπο έργου για τον επιλεγμένο τύπο μοντέλου, Απλή υπηρεσία αποθήκευσης Amazon Κάδοι (Amazon S3) για αποθήκευση δεδομένων, σειριακά μοντέλα και τεχνουργήματα και εκπαίδευση μοντέλων και εξαγωγή συμπερασμάτων CodePipeline αγωγών.
Η εισαγωγή τυποποιημένων αρχιτεκτονικών βάσης κώδικα και εργαλείων διευκολύνει πλέον τους επιστήμονες δεδομένων και τους μηχανικούς να μετακινούνται μεταξύ έργων και διασφαλίζουν ότι η ποιότητα του κώδικα παραμένει υψηλή. Για παράδειγμα, οι βέλτιστες πρακτικές της μηχανικής λογισμικού, όπως οι έλεγχοι πλαισίωσης και μορφοποίησης (που εκτελούνται τόσο ως αυτοματοποιημένοι έλεγχοι όσο και ως αγκίστρια πριν από τη δέσμευση), οι δοκιμές μονάδων και οι αναφορές κάλυψης αυτοματοποιούνται πλέον ως μέρος των αγωγών εκπαίδευσης, παρέχοντας τυποποίηση σε όλα τα έργα. Αυτό έχει βελτιώσει τη δυνατότητα συντήρησης των έργων ML και θα διευκολύνει τη μεταφορά αυτών των έργων στην παραγωγή.
Αυτοματοποίηση ανάπτυξης μοντέλων
Η διαδικασία εκπαίδευσης του μοντέλου ενορχηστρώνεται χρησιμοποιώντας το SageMaker Pipelines. Αφού εκπαιδευτούν τα μοντέλα, αποθηκεύονται στο μητρώο μοντέλων του SageMaker. Οι χρήστες στους οποίους έχει εκχωρηθεί ο ρόλος του υπεύθυνου έγκρισης μοντέλου μπορούν να ανοίξουν το μητρώο μοντέλων και να βρουν πληροφορίες σχετικά με τη διαδικασία εκπαίδευσης, όπως όταν εκπαιδεύτηκε το μοντέλο, τιμές υπερπαραμέτρων και μετρήσεις αξιολόγησης. Αυτές οι πληροφορίες βοηθούν τον χρήστη να αποφασίσει εάν θα εγκρίνει ή θα απορρίψει ένα μοντέλο. Η απόρριψη ενός μοντέλου αποτρέπει την ανάπτυξη του μοντέλου σε ένα κλιμακωτό περιβάλλον, ενώ η έγκριση ενός μοντέλου ενεργοποιεί μια διοχέτευση προώθησης μοντέλου μέσω του CodePipeline που αντιγράφει αυτόματα το μοντέλο στον λογαριασμό AWS πριν από την παραγωγή, έτοιμο για δοκιμή φόρτου εργασίας συμπερασμάτων. Αφού η ομάδα επιβεβαιώσει ότι το μοντέλο λειτουργεί σωστά στην προπαραγωγή, εγκρίνεται ένα χειροκίνητο βήμα στον ίδιο αγωγό και το μοντέλο αντιγράφεται αυτόματα στον λογαριασμό παραγωγής, έτοιμο για φόρτους εργασίας εξαγωγής συμπερασμάτων παραγωγής.
Αποτελέσματα
Ένας από τους κύριους στόχους αυτού του συλλογικού έργου μεταξύ NatWest και AWS ήταν να μειωθεί ο χρόνος που απαιτείται για την παροχή και την ανάπτυξη περιβαλλόντων cloud επιστήμης δεδομένων και μοντέλων ML στην παραγωγή. Αυτό έχει επιτευχθεί—το NatWest μπορεί πλέον να παρέχει νέα, επεκτάσιμα και ασφαλή περιβάλλοντα AWS μέσα σε λίγες ώρες, σε σύγκριση με ημέρες ή και εβδομάδες. Οι επιστήμονες και οι μηχανικοί δεδομένων έχουν πλέον την εξουσία να αναπτύσσουν και να διαχειρίζονται μόνοι τους την υποδομή της επιστήμης δεδομένων χρησιμοποιώντας τον Κατάλογο υπηρεσιών AWS, μειώνοντας την εξάρτηση από ομάδες κεντρικών πλατφορμών. Επιπλέον, η χρήση των έργων SageMaker επιτρέπει στους χρήστες να ξεκινούν την κωδικοποίηση και την εκπαίδευση μοντέλων μέσα σε λίγα λεπτά, ενώ παρέχει επίσης τυποποιημένες δομές και εργαλεία έργου.
Επειδή ο Κατάλογος Υπηρεσιών AWS χρησιμεύει ως η κεντρική μέθοδος για την ανάπτυξη υποδομής επιστήμης δεδομένων, η πλατφόρμα μπορεί εύκολα να επεκταθεί και να αναβαθμιστεί στο μέλλον. Οι νέες υπηρεσίες AWS μπορούν να προσφερθούν στους τελικούς χρήστες γρήγορα όταν παραστεί ανάγκη, και τα υπάρχοντα προϊόντα του καταλόγου υπηρεσιών AWS μπορούν να αναβαθμιστούν επί τόπου για να επωφεληθούν από νέες δυνατότητες.
Τέλος, η μετάβαση προς τις διαχειριζόμενες υπηρεσίες στο AWS σημαίνει ότι παρέχονται υπολογιστικοί πόροι και τερματίζονται κατόπιν ζήτησης. Αυτό έχει προσφέρει εξοικονόμηση κόστους και ευελιξία, ενώ παράλληλα ευθυγραμμίζεται με Η φιλοδοξία του NatWest να είναι μηδενική έως το 2050 λόγω της εκτιμώμενης μείωσης κατά 75% του CO2 εκπομπές.
Συμπέρασμα
Η υιοθέτηση μιας στρατηγικής στο cloud-first στον Όμιλο NatWest οδήγησε στη δημιουργία μιας ισχυρής λύσης AWS που μπορεί να υποστηρίξει μεγάλο αριθμό ομάδων επιχειρηματικών εφαρμογών σε ολόκληρο τον οργανισμό. Η διαχείριση της υποδομής με τον Κατάλογο υπηρεσιών AWS έχει βελτιώσει σημαντικά τη διαδικασία ενσωμάτωσης στο cloud χρησιμοποιώντας ασφαλή, συμβατά και προεγκεκριμένα δομικά στοιχεία υποδομής που μπορούν εύκολα να επεκταθούν. Τα διαχειριζόμενα στοιχεία υποδομής SageMaker έχουν βελτιώσει τη διαδικασία ανάπτυξης μοντέλων και έχουν επιταχύνει την παράδοση έργων ML.
Για να μάθετε περισσότερα σχετικά με τη διαδικασία κατασκευής μοντέλων ML έτοιμα για παραγωγή στον Όμιλο NatWest, ρίξτε μια ματιά στην υπόλοιπη σειρά τεσσάρων μερών σχετικά με τη στρατηγική συνεργασία μεταξύ του NatWest Group και της AWS Professional Services:
- Μέρος 1 εξηγεί πώς η NatWest Group συνεργάστηκε με την AWS Professional Services για να δημιουργήσει μια επεκτάσιμη, ασφαλή και βιώσιμη πλατφόρμα MLOps
- Μέρος 3 παρέχει μια επισκόπηση του τρόπου με τον οποίο το NatWest Group χρησιμοποιεί τις υπηρεσίες SageMaker για τη δημιουργία ελεγχόμενων, αναπαραγώγιμων και εξηγήσιμων μοντέλων ML
- Μέρος 4 λεπτομερώς πώς οι ομάδες επιστήμης δεδομένων NatWest μεταφέρουν τα υπάρχοντα μοντέλα τους στις αρχιτεκτονικές του SageMaker
Σχετικά με τους Συγγραφείς
Junaid Baba είναι Σύμβουλος DevOps στο Επαγγελματικές υπηρεσίες AWS Αξιοποιεί την εμπειρία του στο Kubernetes, στους κατανεμημένους υπολογιστές, στο AI/MLOps για την ταχεία υιοθέτηση του cloud από πελάτες του κλάδου των χρηματοοικονομικών υπηρεσιών του Ηνωμένου Βασιλείου. Η Junaid συνεργάζεται με την AWS από τον Ιούνιο του 2018. Πριν από αυτό, η Junaid συνεργάστηκε με έναν αριθμό οικονομικών start-ups που οδηγούσαν σε πρακτικές DevOps. Εκτός δουλειάς έχει ενδιαφέροντα για την πεζοπορία, τη μοντέρνα τέχνη και τη φωτογραφία.
Γιορντάνκα Ιβάνοβα είναι Μηχανικός Δεδομένων στον Όμιλο NatWest. Έχει εμπειρία στην κατασκευή και παροχή λύσεων δεδομένων για εταιρείες στον κλάδο των χρηματοοικονομικών υπηρεσιών. Πριν από την ένταξή της στο NatWest, η Yordanka εργάστηκε ως τεχνική σύμβουλος όπου απέκτησε εμπειρία στην αξιοποίηση μιας μεγάλης ποικιλίας υπηρεσιών cloud και τεχνολογιών ανοιχτού κώδικα για την παροχή επιχειρηματικών αποτελεσμάτων σε πολλές πλατφόρμες cloud. Στον ελεύθερο χρόνο της, η Γιορντάνκα απολαμβάνει να γυμνάζεται, να ταξιδεύει και να παίζει κιθάρα.
Michael England είναι μηχανικός λογισμικού στην ομάδα Data Science and Innovation του NatWest Group. Είναι παθιασμένος με την ανάπτυξη λύσεων για τη λειτουργία μεγάλης κλίμακας φόρτου εργασίας Machine Learning στο cloud. Πριν από την ένταξή του στον Όμιλο NatWest, ο Michael εργάστηκε και ηγήθηκε ομάδων μηχανικών λογισμικού που ανέπτυξαν κρίσιμες εφαρμογές στις χρηματοοικονομικές υπηρεσίες και τους ταξιδιωτικούς κλάδους. Στον ελεύθερο χρόνο του, του αρέσει να παίζει κιθάρα, να ταξιδεύει και να εξερευνά την ύπαιθρο με το ποδήλατό του.
- Coinsmart. Το καλύτερο ανταλλακτήριο Bitcoin και Crypto στην Ευρώπη.
- Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. ΕΛΕΥΘΕΡΗ ΠΡΟΣΒΑΣΗ.
- CryptoHawk. Ραντάρ Altcoin. Δωρεάν δοκιμή.
- Πηγή: https://aws.amazon.com/blogs/machine-learning/part-2-how-natwest-group-built-a-secure-compliant-self-service-mlops-platform-using-aws-service- catalog-and-amazon-sagemaker/
- "
- 100
- Σχετικά
- επιτάχυνση
- επιταχύνοντας
- πρόσβαση
- Λογαριασμός
- απέναντι
- Επιπλέον
- Πρόσθετος
- Υιοθεσία
- Πλεονέκτημα
- Όλα
- Amazon
- μεταξύ των
- ποσό
- Ποσά
- ανάλυση
- analytics
- Εφαρμογή
- εφαρμογές
- πλησιάζω
- εγκρίνω
- αρχιτεκτονική
- Τέχνη
- ανατεθεί
- έλεγχος
- Πιστοποίηση
- Αυτοματοποιημένη
- Αυτοματοποίηση
- Αυτοματισμός και τυποποίηση
- διαθέσιμος
- AWS
- Τράπεζα
- γίνονται
- στα παρασκήνια
- είναι
- όφελος
- οφέλη
- ΚΑΛΎΤΕΡΟΣ
- βέλτιστες πρακτικές
- χτίζω
- Κτίριο
- επιχείρηση
- άνθρακας
- ο οποίος
- κεντρική
- πρόκληση
- προκλήσεις
- έλεγχοι
- Backup
- Cloud Platform
- υπηρεσίες cloud
- κωδικός
- Κωδικοποίηση
- συνεργασία
- συνδυασμός
- Κοινός
- Εταιρείες
- εταίρα
- σύγκριση
- συγκρότημα
- Συμμόρφωση
- υποχωρητικός
- συστατικό
- Υπολογίστε
- χρήση υπολογιστή
- διαμόρφωση
- Διασυνδέσεις
- σύμβουλος
- Δοχείο
- Εμπορευματοκιβώτια
- Περιέχει
- περιεχόμενο
- συνεχώς
- έλεγχος
- δημιουργήθηκε
- δημιουργία
- δημιουργία
- κρίσιμης
- έθιμο
- Πελάτες
- ημερομηνία
- ανάλυση δεδομένων
- επιστημονικά δεδομένα
- επιστήμονας δεδομένων
- παραδίδεται
- παράδοση
- διανομή
- Ζήτηση
- απαιτήσεις
- παρατάσσω
- αναπτυχθεί
- ανάπτυξη
- ανάπτυξη
- αναπτύξεις
- περιγράφεται
- σχέδια
- λεπτομέρεια
- καθέκαστα
- αναπτύχθηκε
- Εργολάβος
- προγραμματιστές
- ανάπτυξη
- Ανάπτυξη
- διαφορετικές
- δύσκολος
- ψηφιακό
- κατευθείαν
- διανέμονται
- κατανεμημένων υπολογιστών
- Λιμενεργάτης
- Όχι
- κάτω
- οδήγηση
- εύκολα
- αποτελεσματικός
- προσπάθειες
- Λεπτομερής
- ενεργοποιήσετε
- Τελικό σημείο
- μηχανικός
- Μηχανική
- Μηχανικοί
- Εταιρεία
- Περιβάλλον
- αναμενόμενη
- εκτίμηση
- εξελίσσονται
- παράδειγμα
- εκτέλεση
- υφιστάμενα
- εμπειρία
- Χαρακτηριστικό
- Χαρακτηριστικά
- ανατροφοδότηση
- οικονομικός
- των χρηματοπιστωτικών υπηρεσιών
- Όνομα
- σταθερός
- Ευελιξία
- Συγκέντρωση
- ακολουθήστε
- Εξής
- Ίχνος
- μορφή
- Πλαίσιο
- λειτουργικότητα
- μελλοντικός
- Git
- διακυβέρνησης
- Group
- Ομάδα
- Οδηγοί
- ευτυχισμένος
- βοήθεια
- βοηθά
- Ψηλά
- Πως
- HTTPS
- Ταυτότητα
- εκτέλεση
- βελτιωθεί
- περιλαμβάνουν
- περιλαμβάνονται
- περιλαμβάνει
- αυξημένη
- βιομηχανίες
- βιομηχανία
- πληροφορίες
- Υποδομή
- Καινοτομία
- καινοτόμες
- Ίδρυμα
- ενσωματώσει
- ενσωματωθεί
- συμφέροντα
- περιβάλλον λειτουργίας
- Internet
- συμμετέχουν
- θέματα
- IT
- Θέσεις εργασίας
- Κλειδί
- πλήκτρα
- γνώση
- large
- αργότερο
- οδηγήσει
- ΜΑΘΑΊΝΩ
- μάθηση
- Led
- μόχλευσης
- μόχλευσης
- Βιβλιοθήκη
- Περιωρισμένος
- γραμμή
- σύνδεση
- τοπικός
- μηχανή
- μάθηση μηχανής
- που
- μεγάλες
- ΚΑΝΕΙ
- διαχείριση
- διαχειρίζεται
- διαχείριση
- διαχείριση
- τρόπος
- Ταχύτητες
- ύλη
- ωριμότητα
- νόημα
- Μέλη
- Metrics
- εκατομμύριο
- νου
- ML
- μοντέλο
- μοντέλα
- παρακολούθηση
- μήνες
- περισσότερο
- μετακινήσετε
- κίνηση
- πολλαπλούς
- ονόματα
- δικτύωσης
- Νέες δυνατότητες
- Νέα πλατφόρμα
- καινούργιο προϊόν
- νέα προϊόντα
- αριθμός
- προσφέρονται
- offline
- Επί του σκάφους
- διαδικτυακά (online)
- ανοίξτε
- λειτουργίες
- Βελτιστοποίηση
- επιχειρήσεις
- ΑΛΛΑ
- φόρμες
- δική
- Ειδικότερα
- συνεργάστηκε
- παθιασμένος
- πρότυπο
- επίδοση
- φωτογραφία
- πιλότος
- πλατφόρμες
- Πλατφόρμες
- παιχνίδι
- Πολιτικές
- πολιτική
- χαρτοφυλάκιο
- χαρτοφυλάκια
- αρχή
- ιδιωτικός
- Ιδιωτικά κλειδιά
- διαδικασια μας
- Διεργασίες
- Προϊόν
- παραγωγή
- παραγωγικότητα
- Προϊόντα
- επαγγελματίας
- Προφίλ ⬇️
- προφίλ
- σχέδιο
- έργα
- προαγωγή
- παρέχουν
- παρέχει
- χορήγηση
- δημόσιο
- ποιότητα
- Γρήγορα
- γρήγορα
- Ανάγνωση
- μείωση
- μείωση
- ρυθμιστές
- σχέση
- απελευθερώνουν
- κυκλοφόρησε
- Δελτία
- εξάρτηση
- Εκθέσεις
- Αποθήκη
- απαιτούν
- απαιτείται
- απαιτήσεις
- πόρος
- Υποστηρικτικό υλικό
- ΠΕΡΙΦΕΡΕΙΑ
- Αποτελέσματα
- ανασκόπηση
- Διαδρομή
- τρέξιμο
- τρέξιμο
- Απεριόριστες δυνατότητες
- επεκτάσιμη
- Κλίμακα
- Σκηνές
- Επιστήμη
- Επιστήμονας
- επιστήμονες
- SDK
- προστατευμένο περιβάλλον
- ασφάλεια
- επιλέγονται
- Σειρές
- υπηρεσία
- Υπηρεσίες
- σειρά
- setup
- Κοινοποίηση
- Shared
- σημαντικός
- Ομοίως
- Απλούς
- So
- λογισμικό
- Μηχανικός Λογισμικού
- τεχνολογία λογισμικού
- λύση
- Λύσεις
- δαπανήσει
- σταθερότητα
- σωρός
- πρότυπο
- νεοϊδρυόμενες επιχειρήσεις
- ξεκίνησε
- Κατάσταση
- δηλώσεις
- Κατάσταση
- χώρος στο δίσκο
- Στρατηγική
- Στρατηγική
- στούντιο
- υποστήριξη
- Υποστηρίζει
- βιώσιμης
- σύστημα
- συστήματα
- εργασίες
- Τεχνικός
- Τεχνολογίες
- Τεχνολογία
- πρότυπα
- δοκιμή
- Δοκιμές
- δοκιμές
- την άρθρωση
- θέμα
- επομένως
- Μέσω
- ώρα
- εργαλείο
- προς
- Παρακολούθηση
- ΚΙΝΗΣΗ στους ΔΡΟΜΟΥΣ
- Εκπαίδευση
- Μεταμορφώστε
- Μεταμόρφωση
- διαμετακόμιση
- ταξίδι
- Ταξίδια
- Εμπιστευθείτε
- ui
- Uk
- ενημερώσεις
- χρήση
- Χρήστες
- χρησιμοποιώ
- αξιοποιώντας
- ποικιλία
- Δες
- Πραγματικός
- ορατότητα
- Web-based
- αν
- ενώ
- Ο ΟΠΟΊΟΣ
- εντός
- χωρίς
- Εργασία
- εργάστηκαν
- εργαζόμενος
- εκτέλεση
- λειτουργεί
- κόσμος