Σε αυτή την ανάρτηση, αποδεικνύουμε Kubeflow στο AWS (μια διανομή του Kubeflow ειδικά για το AWS) και την αξία που προσθέτει σε σχέση με το Kubeflow ανοιχτού κώδικα μέσω της ενσωμάτωσης άκρως βελτιστοποιημένων, εγγενών στο cloud, έτοιμων για επιχειρήσεις υπηρεσιών AWS.
Το Kubeflow είναι η πλατφόρμα μηχανικής εκμάθησης ανοιχτού κώδικα (ML) που είναι αφιερωμένη στο να κάνει τις αναπτύξεις ροών εργασίας ML στο Kubernetes απλές, φορητές και επεκτάσιμες. Το Kubeflow παρέχει πολλά στοιχεία, όπως έναν κεντρικό πίνακα εργαλείων, φορητούς υπολογιστές Jupyter πολλαπλών χρηστών, Kubeflow Pipelines, KFServing και Katib, καθώς και κατανεμημένους εκπαιδευτικούς χειριστές για TensorFlow, PyTorch, MXNet και XGBoost, για τη δημιουργία απλών, επεκτάσιμων και φορητών ροών εργασίας ML .
Η AWS κυκλοφόρησε πρόσφατα την Kubeflow v1.4 ως μέρος της δικής της διανομής Kubeflow (που ονομάζεται Kubeflow στο AWS), η οποία βελτιστοποιεί τις εργασίες επιστήμης δεδομένων και βοηθά στη δημιουργία εξαιρετικά αξιόπιστων, ασφαλών, φορητών και επεκτάσιμων συστημάτων ML με μειωμένα λειτουργικά έξοδα μέσω ενσωματώσεων με υπηρεσίες διαχείρισης AWS . Μπορείτε να χρησιμοποιήσετε αυτήν τη διανομή Kubeflow για να δημιουργήσετε συστήματα ML πάνω από Υπηρεσία Amazon Elastic Kubernetes (Amazon EKS) για την κατασκευή, την εκπαίδευση, τον συντονισμό και την ανάπτυξη μοντέλων ML για μια μεγάλη ποικιλία περιπτώσεων χρήσης, συμπεριλαμβανομένης της όρασης υπολογιστή, της επεξεργασίας φυσικής γλώσσας, της μετάφρασης ομιλίας και της οικονομικής μοντελοποίησης.
Προκλήσεις με το Kubeflow ανοιχτού κώδικα
Όταν χρησιμοποιείτε ένα έργο Kubeflow ανοιχτού κώδικα, αναπτύσσει όλα τα στοιχεία επιπέδου ελέγχου Kubeflow και επιπέδου δεδομένων σε κόμβους εργαζομένων Kubernetes. Οι υπηρεσίες στοιχείων Kubeflow αναπτύσσονται ως μέρος του επιπέδου ελέγχου Kubeflow και όλες οι αναπτύξεις πόρων που σχετίζονται με το Jupyter, την εκπαίδευση μοντέλων, τον συντονισμό και τη φιλοξενία αναπτύσσονται στο επίπεδο δεδομένων Kubeflow. Το επίπεδο ελέγχου Kubeflow και το επίπεδο δεδομένων μπορούν να εκτελεστούν στον ίδιο ή διαφορετικούς κόμβους εργασίας Kubernetes. Αυτή η ανάρτηση εστιάζει στα στοιχεία του επιπέδου ελέγχου Kubeflow, όπως φαίνεται στο παρακάτω διάγραμμα.
Αυτό το μοντέλο ανάπτυξης ενδέχεται να μην παρέχει μια εταιρική εμπειρία για τους ακόλουθους λόγους:
- Όλα τα στοιχεία υποδομής ανύψωσης βαρέων αεροπλάνων ελέγχου Kubeflow, συμπεριλαμβανομένης της βάσης δεδομένων, της αποθήκευσης και του ελέγχου ταυτότητας, αναπτύσσονται στον ίδιο τον κόμβο εργασίας συμπλέγματος Kubernetes. Αυτό καθιστά δύσκολη την εφαρμογή μιας εξαιρετικά διαθέσιμης αρχιτεκτονικής σχεδίασης επιπέδου ελέγχου Kubeflow με μόνιμη κατάσταση σε περίπτωση αστοχίας κόμβου εργασίας.
- Τα τεχνουργήματα που δημιουργούνται από το επίπεδο ελέγχου Kubeflow (όπως τα στιγμιότυπα MySQL, τα αρχεία καταγραφής pod ή ο χώρος αποθήκευσης MinIO) αυξάνονται με την πάροδο του χρόνου και χρειάζονται όγκους αποθήκευσης με δυνατότητα αλλαγής μεγέθους με δυνατότητες συνεχούς παρακολούθησης για την κάλυψη της αυξανόμενης ζήτησης αποθήκευσης. Επειδή το επίπεδο ελέγχου Kubeflow μοιράζεται πόρους με φόρτους εργασίας επιπέδου δεδομένων Kubeflow (για παράδειγμα, για εργασίες εκπαίδευσης, αγωγούς και αναπτύξεις), το σωστό μέγεθος και η κλιμάκωση όγκων συμπλέγματος και αποθήκευσης Kubernetes μπορεί να γίνει προκλητική και να οδηγήσει σε αυξημένο λειτουργικό κόστος.
- Το Kubernetes περιορίζει το μέγεθος του αρχείου καταγραφής, με τις περισσότερες εγκαταστάσεις να διατηρούν το πιο πρόσφατο όριο των 10 MB. Από προεπιλογή, τα αρχεία καταγραφής pod δεν είναι προσβάσιμα αφού φτάσουν σε αυτό το ανώτατο όριο. Τα αρχεία καταγραφής θα μπορούσαν επίσης να γίνουν απρόσιτα εάν οι ομάδες καταγραφής αποβληθούν, διακοπούν, διαγραφούν ή προγραμματιστούν σε διαφορετικό κόμβο, κάτι που θα μπορούσε να επηρεάσει τη διαθεσιμότητα του αρχείου καταγραφής της εφαρμογής σας και τις δυνατότητες παρακολούθησης.
Kubeflow στο AWS
Το Kubeflow στο AWS παρέχει μια σαφή διαδρομή για τη χρήση του Kubeflow, με τις ακόλουθες υπηρεσίες AWS:
- Ισορροπία φόρτωσης εφαρμογής για ασφαλή διαχείριση εξωτερικής κίνησης μέσω HTTPS
- amazoncloudwatch για επίμονη διαχείριση αρχείων καταγραφής
- AWS Cognito για έλεγχο ταυτότητας χρήστη με Transport Layer Security (TLS)
- Εμπορευματοκιβώτια βαθιάς μάθησης AWS για εξαιρετικά βελτιστοποιημένες εικόνες διακομιστή notebook Jupyter
- Σύστημα αρχείων ελαστικού Amazon (Amazon EFS) ή Amazon FSx για λάμψη για μια απλή, επεκτάσιμη και χωρίς διακομιστή λύση αποθήκευσης αρχείων για αυξημένη απόδοση προπόνησης
- Amazon EKS για διαχειριζόμενα συμπλέγματα Kubernetes
- Υπηρεσία σχεσιακής βάσης δεδομένων Amazon (Amazon RDS) για αγωγούς υψηλής κλιμάκωσης και κατάστημα μεταδεδομένων
- Διευθυντής μυστικών AWS για την προστασία των μυστικών που απαιτούνται για την πρόσβαση στις εφαρμογές σας
- Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) για ένα εύχρηστο κατάστημα τεχνουργημάτων αγωγών
Αυτές οι ενσωματώσεις υπηρεσιών AWS με το Kubeflow (όπως φαίνεται στο παρακάτω διάγραμμα) μας επιτρέπουν να αποσυνδέσουμε κρίσιμα μέρη του επιπέδου ελέγχου Kubeflow από την Kubernetes, παρέχοντας έναν ασφαλή, επεκτάσιμο, ανθεκτικό και βελτιστοποιημένο ως προς το κόστος σχεδιασμό.
Ας συζητήσουμε τα οφέλη κάθε ενσωμάτωσης υπηρεσίας και τις λύσεις τους σχετικά με την ασφάλεια, την εκτέλεση αγωγών ML και την αποθήκευση.
Ασφαλής έλεγχος ταυτότητας των χρηστών Kubeflow με το Amazon Cognito
Η ασφάλεια στο cloud στο AWS είναι η υψηλότερη προτεραιότητα και επενδύουμε στην αυστηρή ενσωμάτωση της ασφάλειας Kubeflow απευθείας στις υπηρεσίες ασφαλείας κοινής ευθύνης AWS, όπως οι ακόλουθες:
- Application Load Balancer (ALB) για διαχείριση εξωτερικής κίνησης
- Διαχειριστής πιστοποιητικών AWS (ACM) για υποστήριξη TLS
- Ρόλοι IAM για λογαριασμούς υπηρεσιών (IRSA) για λεπτόκοκκο έλεγχο πρόσβασης σε επίπεδο Kubernetes Pod
- Υπηρεσία διαχείρισης κλειδιών AWS (AWS KMS) για διαχείριση κλειδιού κρυπτογράφησης δεδομένων
- AWS Shield για προστασία DDoS
Σε αυτήν την ενότητα, εστιάζουμε στην ενσωμάτωση του επιπέδου ελέγχου AWS Kubeflow με το Amazon Cognito. Το Amazon Cognito καταργεί την ανάγκη διαχείρισης και διατήρησης μιας εγγενούς λύσης Dex (παροχέα OpenID Connect (OIDC) ανοιχτού κώδικα που υποστηρίζεται από τοπικό LDAP) για έλεγχο ταυτότητας χρήστη και διευκολύνει τη διαχείριση μυστικών.
Μπορείτε επίσης να χρησιμοποιήσετε το Amazon Cognito για να προσθέσετε εγγραφή χρήστη, είσοδο και έλεγχο πρόσβασης στο Kubeflow UI σας γρήγορα και εύκολα. Το Amazon Cognito κλιμακώνεται σε εκατομμύρια χρήστες και υποστηρίζει τη σύνδεση με παρόχους κοινωνικής ταυτότητας (IdP), όπως το Facebook, το Google και το Amazon, και τα εταιρικά IdP μέσω SAML 2.0. Αυτό μειώνει την πολυπλοκότητα στη ρύθμιση του Kubeflow, καθιστώντας το λειτουργικά εύχρηστο και ευκολότερο στη χρήση για την επίτευξη απομόνωσης πολλών χρηστών.
Ας δούμε μια ροή ελέγχου ταυτότητας πολλών χρηστών με ενσωματώσεις Amazon Cognito, ALB και ACM με το Kubeflow στο AWS. Υπάρχουν ορισμένα βασικά στοιχεία ως μέρος αυτής της ενοποίησης. Το Amazon Cognito έχει διαμορφωθεί ως IdP με μια επανάκληση ελέγχου ταυτότητας διαμορφωμένη για να δρομολογεί το αίτημα στο Kubeflow μετά τον έλεγχο ταυτότητας χρήστη. Ως μέρος της ρύθμισης του Kubeflow, δημιουργείται ένας πόρος εισόδου Kubernetes για τη διαχείριση της εξωτερικής κίνησης στην υπηρεσία Istio Gateway. Ο ελεγκτής εισόδου AWS ALB παρέχει έναν εξισορροπητή φορτίου για αυτήν την είσοδο. Χρησιμοποιούμε Η διαδρομή του Αμαζονίου 53 για να διαμορφώσετε ένα δημόσιο DNS για τον καταχωρημένο τομέα και να δημιουργήσετε πιστοποιητικά χρησιμοποιώντας ACM για να ενεργοποιήσετε τον έλεγχο ταυτότητας TLS στο πρόγραμμα εξισορρόπησης φορτίου.
Το παρακάτω διάγραμμα δείχνει την τυπική ροή εργασίας χρήστη κατά τη σύνδεση στο Amazon Cognito και την ανακατεύθυνσή τους στο Kubeflow στον αντίστοιχο χώρο ονομάτων τους.
Η ροή εργασίας περιέχει τα ακόλουθα βήματα:
- Ο χρήστης στέλνει ένα αίτημα HTTPS στον κεντρικό πίνακα εργαλείων Kubeflow που φιλοξενείται πίσω από έναν εξισορροπητή φορτίου. Η διαδρομή 53 επιλύει το FQDN στην εγγραφή ψευδωνύμου ALB.
- Εάν το cookie δεν υπάρχει, το πρόγραμμα εξισορρόπησης φορτίου ανακατευθύνει τον χρήστη στο τελικό σημείο εξουσιοδότησης Amazon Cognito, ώστε το Amazon Cognito να μπορεί να ελέγξει την ταυτότητα του χρήστη.
- Μετά τον έλεγχο ταυτότητας του χρήστη, το Amazon Cognito στέλνει τον χρήστη πίσω στο πρόγραμμα εξισορρόπησης φορτίου με έναν κωδικό χορήγησης εξουσιοδότησης.
- Το πρόγραμμα εξισορρόπησης φορτίου παρουσιάζει τον κωδικό χορήγησης εξουσιοδότησης στο τελικό σημείο διακριτικού Amazon Cognito.
- Μετά τη λήψη ενός έγκυρου κωδικού χορήγησης εξουσιοδότησης, το Amazon Cognito παρέχει το αναγνωριστικό διακριτικό και το διακριτικό πρόσβασης στον εξισορροπητή φόρτωσης.
- Αφού το πρόγραμμα εξισορρόπησης φορτίου ελέγξει με επιτυχία έναν χρήστη, στέλνει το διακριτικό πρόσβασης στο τελικό σημείο πληροφοριών χρήστη Amazon Cognito και λαμβάνει αξιώσεις χρηστών. Το πρόγραμμα εξισορρόπησης φορτίου υπογράφει και προσθέτει αξιώσεις χρήστη στην κεφαλίδα HTTP
x-amzn-oidc-*
σε μορφή αιτήματος JSON web token (JWT). - Το αίτημα από το load balancer αποστέλλεται στο pod του Istio Ingress Gateway.
- Χρησιμοποιώντας ένα φίλτρο απεσταλμένου, το Istio Gateway αποκωδικοποιεί το
x-amzn-oidc-data
τιμή, ανακτά το πεδίο email και προσθέτει την προσαρμοσμένη κεφαλίδα HTTPkubeflow-userid
, το οποίο χρησιμοποιείται από το επίπεδο εξουσιοδότησης Kubeflow. - Οι πολιτικές ελέγχου πρόσβασης που βασίζονται σε πόρους Istio εφαρμόζονται στο εισερχόμενο αίτημα για την επικύρωση της πρόσβασης στον πίνακα ελέγχου Kubeflow. Εάν κάποιο από αυτά δεν είναι προσβάσιμο στον χρήστη, αποστέλλεται μια απάντηση σφάλματος. Εάν το αίτημα επικυρωθεί, προωθείται στην κατάλληλη υπηρεσία Kubeflow και παρέχει πρόσβαση στον πίνακα ελέγχου Kubeflow
Διαρκής αποθήκευση μεταδεδομένων στοιχείων Kubeflow και τεχνουργημάτων με το Amazon RDS και το Amazon S3
Το Kubeflow στο AWS παρέχει ενοποίηση με Υπηρεσία σχεσιακής βάσης δεδομένων Amazon (Amazon RDS) σε Kubeflow Pipelines και AutoML (Κάτιμπ) για μόνιμη αποθήκευση μεταδεδομένων και το Amazon S3 στο Kubeflow Pipelines για μόνιμη αποθήκευση τεχνουργημάτων. Ας συνεχίσουμε να συζητάμε τους αγωγούς Kubeflow με περισσότερες λεπτομέρειες.
Το Kubeflow Pipelines είναι μια πλατφόρμα για τη δημιουργία και την ανάπτυξη φορητών, επεκτάσιμων ροών εργασίας ML. Αυτές οι ροές εργασίας μπορούν να βοηθήσουν στην αυτοματοποίηση πολύπλοκων σωληνώσεων ML χρησιμοποιώντας ενσωματωμένα και προσαρμοσμένα στοιχεία Kubeflow. Το Kubeflow Pipelines περιλαμβάνει το Python SDK, έναν μεταγλωττιστή DSL για τη μετατροπή του κώδικα Python σε στατική διαμόρφωση, μια υπηρεσία Pipelines που εκτελεί αγωγούς από τη στατική διαμόρφωση και ένα σύνολο ελεγκτών για την εκτέλεση των κοντέινερ στα Kubernetes Pods που απαιτούνται για την ολοκλήρωση της διοχέτευσης.
Τα μεταδεδομένα του Kubeflow Pipelines για πειράματα και εκτελέσεις αγωγών αποθηκεύονται στη MySQL και τα τεχνουργήματα, συμπεριλαμβανομένων των πακέτων αγωγών και των μετρήσεων, αποθηκεύονται στο MinIO.
Όπως φαίνεται στο παρακάτω διάγραμμα, το Kubeflow στο AWS σάς επιτρέπει να αποθηκεύετε τα ακόλουθα στοιχεία με διαχειριζόμενες υπηρεσίες AWS:
- Μεταδεδομένα Pipeline στο Amazon RDS – Το Amazon RDS παρέχει μια επεκτάσιμη, εξαιρετικά διαθέσιμη και αξιόπιστη αρχιτεκτονική ανάπτυξης Multi-AZ με ενσωματωμένο αυτοματοποιημένο μηχανισμό ανακατεύθυνσης και δυνατότητα αλλαγής μεγέθους για μια βιομηχανική σχεσιακή βάση δεδομένων όπως η MySQL. Διαχειρίζεται κοινές εργασίες διαχείρισης βάσεων δεδομένων χωρίς να χρειάζεται να παρέχει υποδομή ή να διατηρεί λογισμικό.
- Αντικείμενα αγωγών στο Amazon S3 – Το Amazon S3 προσφέρει κορυφαία επεκτασιμότητα, διαθεσιμότητα δεδομένων, ασφάλεια και απόδοση και θα μπορούσε να χρησιμοποιηθεί για την κάλυψη απαιτήσεις συμμόρφωσης.
Αυτές οι ενσωματώσεις βοηθούν στη μεταφόρτωση της διαχείρισης και της συντήρησης των μεταδεδομένων και της αποθήκευσης τεχνουργημάτων από τις αυτοδιαχειριζόμενες υπηρεσίες Kubeflow σε διαχειριζόμενες υπηρεσίες AWS, οι οποίες είναι πιο εύκολο να ρυθμιστούν, να λειτουργήσουν και να κλιμακωθούν.
Υποστήριξη για κατανεμημένα συστήματα αρχείων με Amazon EFS και Amazon FSx
Το Kubeflow βασίζεται στο Kubernetes, το οποίο παρέχει μια υποδομή για μεγάλης κλίμακας, κατανεμημένη επεξεργασία δεδομένων, συμπεριλαμβανομένης της εκπαίδευσης και του συντονισμού μεγάλων μοντέλων με ένα βαθύ δίκτυο με εκατομμύρια ή και δισεκατομμύρια παραμέτρους. Για την υποστήριξη τέτοιων κατανεμημένων συστημάτων επεξεργασίας δεδομένων ML, το Kubeflow στο AWS παρέχει ενοποίηση με τις ακόλουθες υπηρεσίες αποθήκευσης:
- Amazon EFS – Ένα σύστημα αρχείων υψηλής απόδοσης, εγγενές στο cloud, κατανεμημένο, το οποίο θα μπορούσατε να διαχειριστείτε μέσω ενός Πρόγραμμα οδήγησης Amazon EFS CSI. Το Amazon EFS παρέχει
ReadWriteMany
λειτουργία πρόσβασης και μπορείτε τώρα να το χρησιμοποιήσετε για να προσαρτήσετε σε ομάδες (Jupyter, εκπαίδευση μοντέλων, συντονισμός μοντέλων) που εκτελούνται σε ένα επίπεδο δεδομένων Kubeflow για να παρέχετε έναν μόνιμο, επεκτάσιμο και κοινόχρηστο χώρο εργασίας που μεγαλώνει και συρρικνώνεται αυτόματα καθώς προσθέτετε και αφαιρείτε αρχεία με δεν χρειάζεται διαχείριση. - Amazon FSx για λάμψη – Ένα βελτιστοποιημένο σύστημα αρχείων για υπολογιστικό φόρτο εργασίας, όπως υπολογιστές υψηλής απόδοσης και ML, το οποίο μπορείτε να διαχειριστείτε μέσω του Πρόγραμμα οδήγησης Amazon FSx CSI. Το FSx for Luster παρέχει
ReadWriteMany
λειτουργία πρόσβασης επίσης, και μπορείτε να τη χρησιμοποιήσετε για να αποθηκεύσετε προσωρινά δεδομένα εκπαίδευσης με άμεση συνδεσιμότητα στο Amazon S3 ως backing store, την οποία μπορείτε να χρησιμοποιήσετε για να υποστηρίξετε διακομιστές φορητών υπολογιστών Jupyter ή κατανεμημένη εκπαίδευση που εκτελείται σε ένα επίπεδο δεδομένων Kubeflow. Με αυτήν τη διαμόρφωση, δεν χρειάζεται να μεταφέρετε δεδομένα στο σύστημα αρχείων πριν χρησιμοποιήσετε τον τόμο. Το FSx for Luster παρέχει σταθερές καθυστερήσεις υποχιλιοστά του δευτερολέπτου και υψηλή συγχρονισμό και μπορεί να κλιμακωθεί σε TB/s απόδοσης και εκατομμύρια IOPS.
Επιλογές ανάπτυξης Kubeflow
Το AWS παρέχει διάφορες επιλογές ανάπτυξης Kubeflow:
- Ανάπτυξη με το Amazon Cognito
- Ανάπτυξη με Amazon RDS και Amazon S3
- Ανάπτυξη με Amazon Cognito, Amazon RDS και Amazon S3
- Ανάπτυξη βανίλιας
Για λεπτομέρειες σχετικά με την ενοποίηση υπηρεσιών και τα διαθέσιμα πρόσθετα για καθεμία από αυτές τις επιλογές, ανατρέξτε στο Επιλογές ανάπτυξης. Μπορείτε να προσαρμόσετε την επιλογή που ταιριάζει καλύτερα στην περίπτωση χρήσης σας.
Στην επόμενη ενότητα, θα ακολουθήσουμε τα βήματα για την εγκατάσταση της διανομής AWS Kubeflow v1.4 στο Amazon EKS. Στη συνέχεια, χρησιμοποιούμε το υπάρχον παράδειγμα του αγωγού XGBoost που είναι διαθέσιμο στον κεντρικό πίνακα διεπαφής χρήστη του Kubeflow για να δείξουμε την ενοποίηση και τη χρήση του AWS Kubeflow με το Amazon Cognito, το Amazon RDS και το Amazon S3, με το Secrets Manager ως πρόσθετο.
Προϋποθέσεις
Για αυτήν την καθοδήγηση, θα πρέπει να έχετε τις ακόλουθες προϋποθέσεις:
- An Λογαριασμός AWS.
- Ένα υπάρχον σύμπλεγμα Amazon EKS. Θα πρέπει να είναι Kubernetes έκδοση 1.19 ή νεότερη. Για αυτοματοποιημένη δημιουργία συμπλέγματος χρησιμοποιώντας εκκτλ, Δείτε Δημιουργήστε ένα σύμπλεγμα Amazon EKS και χρησιμοποιήστε την επιλογή eksctl.
Εγκαταστήστε τα ακόλουθα εργαλεία στον υπολογιστή-πελάτη που χρησιμοποιείται για την πρόσβαση στο σύμπλεγμα Kubernetes. Μπορείς να χρησιμοποιήσεις AWS Cloud9, ένα ολοκληρωμένο περιβάλλον ανάπτυξης που βασίζεται σε σύννεφο (IDE) για τη ρύθμιση συμπλέγματος Kubernetes.
- Διεπαφή γραμμής εντολών AWS (AWS CLI) – Ένα εργαλείο γραμμής εντολών για αλληλεπίδραση με υπηρεσίες AWS. Για οδηγίες εγκατάστασης, ανατρέξτε στο Εγκατάσταση, ενημέρωση και απεγκατάσταση του AWS CLI.
- εκκτλ > 0.56 – Ένα εργαλείο γραμμής εντολών για εργασία με συμπλέγματα Amazon EKS που αυτοματοποιεί πολλές μεμονωμένες εργασίες.
- kubectl – Ένα εργαλείο γραμμής εντολών για εργασία με συμπλέγματα Kubernetes.
- πηγαίνω – Ένα κατανεμημένο λογισμικό ελέγχου έκδοσης.
- Python 3.8+ – Το περιβάλλον προγραμματισμού Python.
- κουκούτσι – Ο διαχειριστής πακέτων για Python.
- kustomize έκδοση 3.2.0 – Ένα εργαλείο γραμμής εντολών για την προσαρμογή των αντικειμένων Kubernetes μέσω ενός αρχείου προσαρμογής.
Εγκαταστήστε το Kubeflow στο AWS
Διαμορφώστε το kubectl έτσι ώστε να μπορείτε να συνδεθείτε σε ένα σύμπλεγμα EKS του Amazon:
Διάφοροι ελεγκτές σε χρήση ανάπτυξης Kubeflow Ρόλοι IAM για λογαριασμούς υπηρεσιών (IRSA). Πρέπει να υπάρχει πάροχος OIDC για να μπορεί το σύμπλεγμα σας να χρησιμοποιεί το IRSA. Δημιουργήστε έναν πάροχο OIDC και συσχετίστε τον με το σύμπλεγμα EKS του Amazon εκτελώντας την ακόλουθη εντολή, εάν το σύμπλεγμα σας δεν έχει ήδη:
Κλωνοποιήστε το AWS manifests repo και Kubeflow manifests repo, και ελέγξτε τους αντίστοιχους κλάδους έκδοσης:
Για περισσότερες πληροφορίες σχετικά με αυτές τις εκδόσεις, ανατρέξτε στο Εκδόσεις και έκδοση.
Ρυθμίστε το Amazon RDS, το Amazon S3 και το Secrets Manager
Δημιουργείτε πόρους Amazon RDS και Amazon S3 πριν αναπτύξετε τα μανιφέστα Kubeflow. Χρησιμοποιούμε αυτοματοποιημένα σενάρια Python που φροντίζουν για τη δημιουργία του κάδου S3, της βάσης δεδομένων RDS και των απαιτούμενων μυστικών στο Secrets Manager. Επίσης, επεξεργάζεται τα απαιτούμενα αρχεία διαμόρφωσης για τη διοχέτευση Kubeflow και το AutoML ώστε να διαμορφωθούν σωστά για τη βάση δεδομένων RDS και τον κάδο S3 κατά την εγκατάσταση του Kubeflow.
Δημιουργήστε έναν χρήστη IAM με άδειες για να επιτρέπεται GetBucketLocation
και πρόσβαση ανάγνωσης και εγγραφής σε αντικείμενα σε έναν κάδο S3 όπου θέλετε να αποθηκεύσετε τα τεχνουργήματα Kubeflow. Χρησιμοποιήστε το AWS_ACCESS_KEY_ID
και AWS_SECRET_ACCESS_KEY
του χρήστη IAM στον ακόλουθο κωδικό:
Ρυθμίστε το Amazon Cognito ως πάροχο ελέγχου ταυτότητας
Σε αυτήν την ενότητα, δημιουργούμε έναν προσαρμοσμένο τομέα στη Διαδρομή 53 και στο ALB για τη δρομολόγηση της εξωτερικής κίνησης στο Kubeflow Istio Gateway. Χρησιμοποιούμε το ACM για να δημιουργήσουμε ένα πιστοποιητικό για να ενεργοποιήσουμε τον έλεγχο ταυτότητας TLS στο ALB και το Amazon Cognito για τη διατήρηση της ομάδας χρηστών και τη διαχείριση του ελέγχου ταυτότητας χρήστη.
Αντικαταστήστε τις παρακάτω τιμές σε
- route53.rootDomain.name – Το κατοχυρωμένο domain. Ας υποθέσουμε ότι αυτός ο τομέας είναι
example.com
. - route53.rootDomain.hostedZoneId – Εάν η διαχείριση του τομέα σας γίνεται στο Route53, εισαγάγετε το αναγνωριστικό της φιλοξενούμενης ζώνης που βρίσκεται κάτω από τα στοιχεία της φιλοξενούμενης ζώνης. Παραλείψτε αυτό το βήμα εάν η διαχείριση του τομέα σας γίνεται από άλλο πάροχο τομέα.
- route53.subDomain.name – Το όνομα του υποτομέα στον οποίο θέλετε να φιλοξενήσετε το Kubeflow (για παράδειγμα,
platform.example.com
). Για περισσότερες πληροφορίες σχετικά με τους υποτομείς, ανατρέξτε στο Ανάπτυξη του Kubeflow με το AWS Cognito ως IdP. - σύμπλεγμα.όνομα – Το όνομα του συμπλέγματος και το πού αναπτύσσεται το Kubeflow.
- συστάδα.περιοχή – Η περιοχή συμπλέγματος όπου αναπτύσσεται το Kubeflow (για παράδειγμα,
us-west-2
). - cognitoUserpool.name – Το όνομα της ομάδας χρηστών Amazon Cognito (για παράδειγμα,
kubeflow-users
).
Το αρχείο διαμόρφωσης μοιάζει με τον ακόλουθο κώδικα:
Εκτελέστε το σενάριο για να δημιουργήσετε τους πόρους:
Το σενάριο ενημερώνει το config.yaml
αρχείο με τα ονόματα πόρων, τα αναγνωριστικά και τα ARN που δημιούργησε. Μοιάζει με τον παρακάτω κώδικα:
Δημιουργήστε δηλώσεις και αναπτύξτε το Kubeflow
Αναπτύξτε το Kubeflow χρησιμοποιώντας την ακόλουθη εντολή:
Ενημερώστε τον τομέα με τη διεύθυνση ALB
Η ανάπτυξη δημιουργεί έναν εξισορροπητή φόρτωσης εφαρμογών AWS με διαχείριση εισόδου. Ενημερώνουμε τις εγγραφές DNS για τον υποτομέα στη Διαδρομή 53 με το DNS του εξισορροπητή φορτίου. Εκτελέστε την ακόλουθη εντολή για να ελέγξετε εάν παρέχεται η συσκευή εξισορρόπησης φορτίου (αυτό διαρκεί περίπου 3–5 λεπτά):
Εάν η ADDRESS
Το πεδίο είναι κενό μετά από λίγα λεπτά, ελέγξτε τα αρχεία καταγραφής του alb-ingress-controller
. Για οδηγίες, ανατρέξτε στο Η ALB δεν παρέχει.
Όταν παρέχεται το πρόγραμμα εξισορρόπησης φορτίου, αντιγράψτε το όνομα DNS του εξισορροπητή φορτίου και αντικαταστήστε τη διεύθυνση για kubeflow.alb.dns
in ${kubeflow_manifest_dir}/tests/e2e/utils/cognito_bootstrap/config.yaml
. Η ενότητα Kubeflow του αρχείου διαμόρφωσης μοιάζει με τον ακόλουθο κώδικα:
Εκτελέστε την ακόλουθη δέσμη ενεργειών για να ενημερώσετε τις καταχωρίσεις DNS για τον υποτομέα στη Διαδρομή 53 με το DNS του παρεχόμενου προγράμματος εξισορρόπησης φορτίου:
Αντιμετώπιση προβλημάτων
Εάν αντιμετωπίσετε προβλήματα κατά την εγκατάσταση, ανατρέξτε στο οδηγός επίλυσης προβλημάτων ή ξεκινήστε από την αρχή ακολουθώντας την ενότητα "Εκκαθάριση" σε αυτό το ιστολόγιο.
Χρήση περιήγησης θήκης
Τώρα που ολοκληρώσαμε την εγκατάσταση των απαιτούμενων στοιχείων Kubeflow, ας τα δούμε σε δράση χρησιμοποιώντας ένα από τα υπάρχοντα παραδείγματα που παρέχονται από την Kubeflow Pipelines στον πίνακα εργαλείων.
Αποκτήστε πρόσβαση στον πίνακα ελέγχου Kubeflow χρησιμοποιώντας το Amazon Cognito
Για να ξεκινήσετε, ας αποκτήσουμε πρόσβαση στον Πίνακα ελέγχου Kubeflow. Επειδή χρησιμοποιήσαμε το Amazon Cognito ως IdP, χρησιμοποιήστε τις πληροφορίες που παρέχονται στο επίσημο αρχείο README. Πρώτα δημιουργούμε ορισμένους χρήστες στην κονσόλα Amazon Cognito. Αυτοί είναι οι χρήστες που θα συνδεθούν στο κεντρικό ταμπλό. Επόμενο, δημιουργήστε ένα προφίλ για τον χρήστη που δημιουργήσατε. Στη συνέχεια, θα πρέπει να έχετε πρόσβαση στον πίνακα ελέγχου μέσω της σελίδας σύνδεσης στο https://kubeflow.platform.example.com.
Το παρακάτω στιγμιότυπο οθόνης δείχνει τον Πίνακα ελέγχου Kubeflow.
Εκτελέστε τον αγωγό
Στον πίνακα ελέγχου Kubeflow, επιλέξτε Αγωγοί στο όνομα πλοήγησης. Θα πρέπει να δείτε τέσσερα παραδείγματα που παρέχονται από το Kubeflow Pipelines, τα οποία μπορείτε να εκτελέσετε απευθείας για να εξερευνήσετε διάφορες λειτουργίες του Pipelines.
Για αυτήν την ανάρτηση, χρησιμοποιούμε το δείγμα XGBoost που ονομάζεται [Demo] XGBoost – Εκπαίδευση επαναληπτικού μοντέλου. Μπορείτε να βρείτε τον πηγαίο κώδικα στο GitHub. Πρόκειται για έναν απλό αγωγό που χρησιμοποιεί το υπάρχον XGBoost/Train
και XGBoost/Predict
Στοιχεία του αγωγού Kubeflow για την επαναληπτική εκπαίδευση ενός μοντέλου έως ότου οι μετρήσεις θεωρηθούν καλές με βάση καθορισμένες μετρήσεις.
Για να εκτελέσετε τον αγωγό, ολοκληρώστε τα ακόλουθα βήματα:
- Επιλέξτε τον αγωγό και επιλέξτε Δημιουργία πειράματος.
- Κάτω από Λεπτομέρειες πειράματος, εισαγάγετε ένα όνομα (για αυτήν την ανάρτηση,
demo-blog
) και προαιρετική περιγραφή. - Επιλέξτε Επόμενο.
- Κάτω από Λεπτομέρειες εκτέλεσης¸ επιλέξτε την έκδοση του αγωγού και του αγωγού σας.
- Για Όνομα εκτέλεσης, πληκτρολογήστε ένα όνομα.
- Για Πείραμα, επιλέξτε το πείραμα που δημιουργήσατε.
- Για Τύπος εκτέλεσης, Επιλέξτε Εφάπαξ.
- Επιλέξτε Αρχική.
Αφού ξεκινήσει η λειτουργία του αγωγού, θα δείτε τα στοιχεία να ολοκληρώνονται (μέσα σε λίγα δευτερόλεπτα). Σε αυτό το στάδιο, μπορείτε να επιλέξετε οποιοδήποτε από τα ολοκληρωμένα στοιχεία για να δείτε περισσότερες λεπτομέρειες.
Πρόσβαση στα αντικείμενα στο Amazon S3
Κατά την ανάπτυξη του Kubeflow, καθορίσαμε ότι η Kubeflow Pipelines θα πρέπει να χρησιμοποιεί το Amazon S3 για την αποθήκευση των τεχνουργημάτων της. Αυτό περιλαμβάνει όλα τα τεχνουργήματα εξόδου διοχέτευσης, τις αποθηκευμένες εκτελέσεις και τα γραφήματα αγωγών—όλα αυτά μπορούν στη συνέχεια να χρησιμοποιηθούν για εμπλουτισμένες απεικονίσεις και αξιολόγηση απόδοσης.
Όταν ολοκληρωθεί η εκτέλεση του αγωγού, θα πρέπει να μπορείτε να δείτε τα τεχνουργήματα στον κάδο S3 που δημιουργήσατε κατά την εγκατάσταση. Για να το επιβεβαιώσετε, επιλέξτε οποιοδήποτε ολοκληρωμένο στοιχείο του αγωγού και ελέγξτε το Εισόδου-εξόδου ενότητα για την προεπιλογή Διάγραμμα αυτί. Οι διευθύνσεις URL τεχνουργημάτων θα πρέπει να δείχνουν προς τον κάδο S3 που καθορίσατε κατά την ανάπτυξη.
Για να επιβεβαιώσουμε ότι οι πόροι προστέθηκαν στο Amazon S3, μπορούμε επίσης να ελέγξουμε τον κάδο S3 στον λογαριασμό μας AWS μέσω της κονσόλας Amazon S3.
Το παρακάτω στιγμιότυπο οθόνης δείχνει τα αρχεία μας.
Επαληθεύστε τα μεταδεδομένα ML στο Amazon RDS
Ενσωματώσαμε επίσης το Kubeflow Pipelines με το Amazon RDS κατά την ανάπτυξη, πράγμα που σημαίνει ότι τυχόν μεταδεδομένα αγωγών θα πρέπει να αποθηκεύονται στο Amazon RDS. Αυτό περιλαμβάνει οποιεσδήποτε πληροφορίες χρόνου εκτέλεσης, όπως η κατάσταση μιας εργασίας, η διαθεσιμότητα των τεχνουργημάτων, οι προσαρμοσμένες ιδιότητες που σχετίζονται με την εκτέλεση ή τα τεχνουργήματα και άλλα.
Για να επαληθεύσετε την ενσωμάτωση του Amazon RDS, ακολουθήστε τα βήματα που παρέχονται στο επίσημο αρχείο README. Συγκεκριμένα, ολοκληρώστε τα παρακάτω βήματα:
- Λάβετε το όνομα χρήστη και τον κωδικό πρόσβασης Amazon RDS από το μυστικό που δημιουργήθηκε κατά την εγκατάσταση:
- Χρησιμοποιήστε αυτά τα διαπιστευτήρια για να συνδεθείτε στο Amazon RDS μέσα από το σύμπλεγμα:
- Όταν ανοίξει η προτροπή MySQL, μπορούμε να επαληθεύσουμε το
mlpipelines
βάση δεδομένων ως εξής: - Τώρα μπορούμε να διαβάσουμε το περιεχόμενο συγκεκριμένων πινάκων, για να βεβαιωθούμε ότι μπορούμε να δούμε πληροφορίες μεταδεδομένων σχετικά με τα πειράματα που εκτέλεσαν τους αγωγούς:
εκκαθάριση
Για να απεγκαταστήσετε το Kubeflow και να διαγράψετε τους πόρους AWS που δημιουργήσατε, ολοκληρώστε τα παρακάτω βήματα:
- Διαγράψτε το πρόγραμμα εξισορρόπησης φορτίου που διαχειρίζεται η είσοδος και η είσοδος εκτελώντας την ακόλουθη εντολή:
- Διαγράψτε τα υπόλοιπα στοιχεία του Kubeflow:
- Διαγράψτε τους πόρους AWS που δημιουργήθηκαν από σενάρια:
- Πόροι που δημιουργήθηκαν για την ενσωμάτωση Amazon RDS και Amazon S3. Βεβαιωθείτε ότι έχετε το αρχείο ρυθμίσεων που δημιουργήθηκε από το σενάριο
${kubeflow_manifest_dir}/tests/e2e/utils/rds-s3/metadata.yaml
: - Πόροι που δημιουργήθηκαν για την ενσωμάτωση Amazon Cognito. Βεβαιωθείτε ότι έχετε το αρχείο ρυθμίσεων που δημιουργήθηκε από το σενάριο
${kubeflow_manifest_dir}/tests/e2e/utils/cognito_bootstrap/config.yaml
:
- Πόροι που δημιουργήθηκαν για την ενσωμάτωση Amazon RDS και Amazon S3. Βεβαιωθείτε ότι έχετε το αρχείο ρυθμίσεων που δημιουργήθηκε από το σενάριο
- Εάν δημιουργήσατε ένα αποκλειστικό σύμπλεγμα Amazon EKS για το Kubeflow χρησιμοποιώντας eksctl, μπορείτε να το διαγράψετε με την ακόλουθη εντολή:
Χαρακτηριστικά
Σε αυτήν την ανάρτηση, επισημάναμε την αξία που παρέχει το Kubeflow στο AWS μέσω εγγενών ενσωματώσεων υπηρεσιών που διαχειρίζονται το AWS για ασφαλείς, επεκτάσιμους και έτοιμους για επιχειρήσεις φόρτους εργασίας AI και ML. Μπορείτε να επιλέξετε από πολλές επιλογές ανάπτυξης για να εγκαταστήσετε το Kubeflow στο AWS με διάφορες ενσωματώσεις υπηρεσιών. Η περίπτωση χρήσης σε αυτήν την ανάρτηση έδειξε την ενσωμάτωση του Kubeflow με το Amazon Cognito, το Secrets Manager, το Amazon RDS και το Amazon S3. Για να ξεκινήσετε με το Kubeflow στο AWS, ανατρέξτε στις διαθέσιμες επιλογές ανάπτυξης που είναι ενσωματωμένες στο AWS Kubeflow στο AWS.
Ξεκινώντας με την έκδοση 1.3, μπορείτε να ακολουθήσετε το Αποθετήριο AWS Labs για να παρακολουθείτε όλες τις συνεισφορές AWS στο Kubeflow. Μπορείτε επίσης να μας βρείτε στο Kubeflow #AWS Slack Channel; Τα σχόλιά σας εκεί θα μας βοηθήσουν να δώσουμε προτεραιότητα στις επόμενες δυνατότητες που θα συνεισφέρουμε στο έργο Kubeflow.
Σχετικά με τους Συγγραφείς
Kanwaljit Khurmi είναι Αρχιτέκτονας Ειδικών Λύσεων AI/ML στο Amazon Web Services. Συνεργάζεται με το προϊόν, τη μηχανική και τους πελάτες AWS για να παρέχει καθοδήγηση και τεχνική βοήθεια βοηθώντας τους να βελτιώσουν την αξία των υβριδικών λύσεων ML τους όταν χρησιμοποιούν AWS. Η Kanwaljit ειδικεύεται στο να βοηθά τους πελάτες με εφαρμογές κοντέινερ και μηχανικής εκμάθησης.
Meghna Baijal είναι Μηχανικός Λογισμικού με AWS AI που διευκολύνει τους χρήστες να ενσωματώσουν τους φόρτους εργασίας Machine Learning στο AWS δημιουργώντας προϊόντα και πλατφόρμες ML όπως τα Deep Learning Containers, τα Deep Learning AMIs, τα AWS Controllers for Kubernetes (ACK) και Kubeflow στο AWS . Εκτός δουλειάς της αρέσει να διαβάζει, να ταξιδεύει και να ασχολείται με τη ζωγραφική.
Σουράτζ Κότα είναι Μηχανικός Λογισμικού με εξειδίκευση στην υποδομή Machine Learning. Κατασκευάζει εργαλεία για να ξεκινήσει εύκολα και να κλιμακώσει το φόρτο εργασίας μηχανικής εκμάθησης στο AWS. Εργάστηκε στα AWS Deep Learning Containers, Deep Learning AMI, SageMaker Operators for Kubernetes και άλλες ενσωματώσεις ανοιχτού κώδικα όπως το Kubeflow.
- Coinsmart. Το καλύτερο ανταλλακτήριο Bitcoin και Crypto στην Ευρώπη.
- Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. ΕΛΕΥΘΕΡΗ ΠΡΟΣΒΑΣΗ.
- CryptoHawk. Ραντάρ Altcoin. Δωρεάν δοκιμή.
- Πηγή: https://aws.amazon.com/blogs/machine-learning/build-and-deploy-a-scalable-machine-learning-system-on-kubernetes-with-kubeflow-on-aws/
- "
- 10
- 100
- 420
- 7
- Σχετικά
- πρόσβαση
- Λογαριασμός
- Ενέργειες
- Πρόσθετο
- διεύθυνση
- διαχειριστής
- διαχείριση
- Θυγατρικών
- AI
- Όλα
- ήδη
- Amazon
- Amazon υπηρεσίες Web
- Άλλος
- Εφαρμογή
- εφαρμογές
- κατάλληλος
- αρχιτεκτονική
- γύρω
- Συνεργάτης
- επικυρωμένο
- επικυρώνει
- Πιστοποίηση
- εξουσιοδότηση
- αυτοματοποίηση
- Αυτοματοποιημένη
- αυτοκίνητα
- διαθεσιμότητα
- διαθέσιμος
- AWS
- γίνονται
- οφέλη
- ΚΑΛΎΤΕΡΟΣ
- δισεκατομμύρια
- Blog
- σύνορο
- χτίζω
- Κτίριο
- Χτίζει
- ενσωματωμένο
- δυνατότητες
- Χωρητικότητα
- ο οποίος
- περιπτώσεις
- CD
- πιστοποιητικό
- πιστοποιητικά
- πρόκληση
- Ολοκλήρωση Αγοράς
- Επιλέξτε
- αξιώσεις
- τάξη
- κωδικός
- Κοινός
- ολοκληρώνοντας
- συγκρότημα
- συστατικό
- υπολογιστή
- χρήση υπολογιστή
- διαμόρφωση
- Connect
- Συνδεσιμότητα
- πρόξενος
- Εμπορευματοκιβώτια
- Περιέχει
- περιεχόμενο
- ΣΥΝΕΧΕΙΑ
- συμβάλλει
- έλεγχος
- ελεγκτής
- πνευματική ιδιοκτησία
- θα μπορούσε να
- δημιουργία
- δημιουργήθηκε
- δημιουργεί
- δημιουργία
- δημιουργία
- Διαπιστεύσεις
- κρίσιμης
- έθιμο
- Πελάτες
- ταμπλό
- ημερομηνία
- επεξεργασία δεδομένων
- επιστημονικά δεδομένα
- βάση δεδομένων
- DDoS
- αφιερωμένο
- Ζήτηση
- αποδεικνύουν
- κατέδειξε
- παρατάσσω
- αναπτυχθεί
- ανάπτυξη
- ανάπτυξη
- αναπτύξεις
- αναπτύσσεται
- Υπηρεσίες
- λεπτομέρεια
- καθέκαστα
- Ανάπτυξη
- Dex
- διαφορετικές
- κατευθύνει
- κατευθείαν
- συζητήσουν
- διανέμονται
- διανομή
- dns
- Όχι
- τομέα
- εύκολα
- εύκολο στη χρήση
- ηχώ
- ΗΛΕΚΤΡΟΝΙΚΗ ΔΙΕΥΘΥΝΣΗ
- ενεργοποιήσετε
- κρυπτογράφηση
- Τελικό σημείο
- μηχανικός
- Μηχανική
- εισάγετε
- Εταιρεία
- Περιβάλλον
- εκτίμηση
- Συμβάν
- παράδειγμα
- υφιστάμενα
- εμπειρία
- πείραμα
- διερευνήσει
- Αποτυχία
- Χαρακτηριστικά
- ανατροφοδότηση
- οικονομικός
- Όνομα
- ταιριάζουν
- ροή
- Συγκέντρωση
- εστιάζει
- ακολουθήστε
- Εξής
- μορφή
- Βρέθηκαν
- φρέσκο
- να πάρει
- Git
- GitHub
- καλός
- Grow
- Μεγαλώνοντας
- βοήθεια
- βοήθεια
- βοηθά
- εδώ
- Ψηλά
- υψηλότερο
- Τόνισε
- υψηλά
- φιλοξενία
- HTTPS
- Υβριδικό
- Ταυτότητα
- Επίπτωση
- εφαρμογή
- βελτίωση
- Α.Ε.
- περιλαμβάνει
- Συμπεριλαμβανομένου
- αυξημένη
- ατομικές
- κορυφαία στον κλάδο
- πληροφορίες
- πληροφορίες
- Υποδομή
- εγκαθιστώ
- ενσωματωθεί
- ολοκλήρωση
- ολοκληρώσεις
- επενδύοντας
- απομόνωση
- θέματα
- IT
- εαυτό
- Θέσεις εργασίας
- τήρηση
- Κλειδί
- Labs
- Γλώσσα
- large
- ξεκίνησε
- μάθηση
- ανύψωση
- γραμμή
- φορτίο
- τοπικός
- μηχανή
- μάθηση μηχανής
- διατηρήσουν
- ΚΑΝΕΙ
- Κατασκευή
- διαχείριση
- διαχειρίζεται
- διαχείριση
- διευθυντής
- Metrics
- εκατομμύρια
- ML
- μοντέλο
- μοντέλα
- παρακολούθηση
- περισσότερο
- πλέον
- ονόματα
- Φυσικό
- Πλοήγηση
- καθαρά
- δίκτυο
- κόμβων
- σημειωματάριο
- αριθμός
- προσφορές
- ανοίξτε
- ανοικτού κώδικα
- ανοίγει
- φορείς
- βελτιστοποιημένη
- Επιλογή
- Επιλογές
- ΑΛΛΑ
- δική
- Κωδικός Πρόσβασης
- επίδοση
- πλατφόρμες
- Πλατφόρμες
- Σημείο
- Πολιτικές
- πισίνα
- παρόν
- προτεραιότητα
- μεταποίηση
- Προϊόν
- Προϊόντα
- Προγραμματισμός
- σχέδιο
- προστασία
- παρέχουν
- παρέχει
- χορήγηση
- δημόσιο
- γρήγορα
- φθάσουν
- Ανάγνωση
- λόγους
- ρεκόρ
- καταχωρηθεί
- απελευθερώνουν
- ζητήσει
- απαιτείται
- απαιτήσεις
- πόρος
- Υποστηρικτικό υλικό
- απάντησης
- ΠΕΡΙΦΕΡΕΙΑ
- Διαδρομή
- τρέξιμο
- τρέξιμο
- Απεριόριστες δυνατότητες
- επεκτάσιμη
- Κλίμακα
- απολέπιση
- Επιστήμη
- SDK
- SEC
- δευτερόλεπτα
- προστατευμένο περιβάλλον
- ασφάλεια
- Χωρίς διακομιστή
- υπηρεσία
- Υπηρεσίες
- σειρά
- setup
- Μερίδια
- Σημάδια
- Απλούς
- Μέγεθος
- χαλαρότητα
- ύπνος
- So
- Μ.Κ.Δ
- λογισμικό
- Μηχανικός Λογισμικού
- στέρεο
- λύση
- Λύσεις
- μερικοί
- κάτι
- πρωτογενής κώδικας
- ειδικός
- ειδικευμένος
- ειδικεύεται
- ειδικά
- Στάδιο
- Εκκίνηση
- ξεκίνησε
- ξεκινά
- Κατάσταση
- Κατάσταση
- χώρος στο δίσκο
- κατάστημα
- Επιτυχώς
- υποστήριξη
- Υποστηρίζει
- σύστημα
- συστήματα
- εργασίες
- Τεχνικός
- Η Πηγη
- Μέσω
- ώρα
- ένδειξη
- εργαλείο
- εργαλεία
- κορυφή
- τροχιά
- ΚΙΝΗΣΗ στους ΔΡΟΜΟΥΣ
- Εκπαίδευση
- μεταφορά
- Μετάφραση
- μεταφορά
- Ταξίδια
- ui
- Ενημέρωση
- ενημερώσεις
- us
- χρήση
- Χρήστες
- επικυρωμένο
- αξία
- ποικιλία
- διάφορα
- επαληθεύει
- όραμα
- τόμος
- ιστός
- διαδικτυακές υπηρεσίες
- Ο ΟΠΟΊΟΣ
- εντός
- χωρίς
- Εργασία
- εργάστηκαν
- εργαζόμενος
- λειτουργεί