Αυτή η ανάρτηση συντάσσεται με την Kostia Kofman και την Jenny Tokar από την Booking.com.
Ως παγκόσμιος ηγέτης στη διαδικτυακή ταξιδιωτική βιομηχανία, Booking.com αναζητά πάντα καινοτόμους τρόπους για να βελτιώσει τις υπηρεσίες της και να προσφέρει στους πελάτες εξατομικευμένες και απρόσκοπτες εμπειρίες. Η ομάδα κατάταξης στην Booking.com διαδραματίζει κεντρικό ρόλο στη διασφάλιση ότι οι αλγόριθμοι αναζήτησης και προτάσεων είναι βελτιστοποιημένοι για να παρέχουν τα καλύτερα αποτελέσματα για τους χρήστες τους.
Μοιράζοντας εσωτερικούς πόρους με άλλες εσωτερικές ομάδες, οι επιστήμονες της Ranking team machine learning (ML) αντιμετώπιζαν συχνά μεγάλους χρόνους αναμονής για πρόσβαση σε πόρους για εκπαίδευση και πειραματισμό μοντέλων – αμφισβητώντας την ικανότητά τους να πειραματίζονται και να καινοτομούν γρήγορα. Αναγνωρίζοντας την ανάγκη για μια εκσυγχρονισμένη υποδομή ML, η ομάδα της Ranking ξεκίνησε ένα ταξίδι για να χρησιμοποιήσει τη δύναμη του Amazon Sage Maker για την κατασκευή, την εκπαίδευση και την ανάπτυξη μοντέλων ML σε κλίμακα.
Η Booking.com συνεργάστηκε με Επαγγελματικές υπηρεσίες AWS για τη δημιουργία μιας λύσης για την επιτάχυνση του χρόνου για βελτιωμένα μοντέλα ML μέσω των ακόλουθων βελτιώσεων:
- Μειωμένοι χρόνοι αναμονής για πόρους για εκπαίδευση και πειραματισμό
- Ενσωμάτωση βασικών δυνατοτήτων ML όπως ο συντονισμός υπερπαραμέτρων
- Ένας μειωμένος κύκλος ανάπτυξης για μοντέλα ML
Οι μειωμένοι χρόνοι αναμονής θα σήμαιναν ότι η ομάδα θα μπορούσε γρήγορα να επαναλάβει και να πειραματιστεί με μοντέλα, αποκτώντας πληροφορίες με πολύ πιο γρήγορο ρυθμό. Η χρήση διαθέσιμων παρουσιών κατ' απαίτηση του SageMaker επέτρεψε δεκαπλάσια μείωση του χρόνου αναμονής. Οι βασικές δυνατότητες ML, όπως ο συντονισμός υπερπαραμέτρων και η επεξήγηση του μοντέλου, έλειπαν στις εγκαταστάσεις. Το ταξίδι εκσυγχρονισμού της ομάδας εισήγαγε αυτά τα χαρακτηριστικά Αυτόματος συντονισμός μοντέλων Amazon SageMaker και Amazon SageMaker Clerify. Τέλος, η φιλοδοξία της ομάδας ήταν να λάβει άμεση ανατροφοδότηση για κάθε αλλαγή που γινόταν στον κώδικα, μειώνοντας τον βρόχο ανάδρασης από λεπτά σε μια στιγμή, μειώνοντας έτσι τον κύκλο ανάπτυξης για τα μοντέλα ML.
Σε αυτήν την ανάρτηση, εμβαθύνουμε στο ταξίδι που ανέλαβε η ομάδα κατάταξης στο Booking.com, καθώς αξιοποίησε τις δυνατότητες του SageMaker για τον εκσυγχρονισμό του πλαισίου πειραματισμού ML. Με αυτόν τον τρόπο, όχι μόνο ξεπέρασαν τις υπάρχουσες προκλήσεις τους, αλλά βελτίωσαν επίσης την εμπειρία αναζήτησης, ωφελώντας τελικά εκατομμύρια ταξιδιώτες σε όλο τον κόσμο.
Προσέγγιση εκσυγχρονισμού
Η ομάδα κατάταξης αποτελείται από αρκετούς επιστήμονες ML που ο καθένας πρέπει να αναπτύξει και να δοκιμάσει το δικό του μοντέλο εκτός σύνδεσης. Όταν ένα μοντέλο κριθεί επιτυχημένο σύμφωνα με την αξιολόγηση εκτός σύνδεσης, μπορεί να μεταφερθεί στη δοκιμή A/B παραγωγής. Εάν δείχνει βελτίωση στο διαδίκτυο, μπορεί να αναπτυχθεί σε όλους τους χρήστες.
Ο στόχος αυτού του έργου ήταν να δημιουργήσει ένα φιλικό προς τον χρήστη περιβάλλον για τους επιστήμονες ML ώστε να μπορούν να εκτελούνται εύκολα προσαρμόσιμο Amazon SageMaker Model Building Pipelines να δοκιμάσουν τις υποθέσεις τους χωρίς την ανάγκη κωδικοποίησης μεγάλων και περίπλοκων ενοτήτων.
Μία από τις πολλές προκλήσεις που αντιμετωπίστηκαν ήταν η προσαρμογή της υπάρχουσας λύσης αγωγού εσωτερικής εγκατάστασης για χρήση στο AWS. Η λύση περιλάμβανε δύο βασικά στοιχεία:
- Τροποποίηση και επέκταση υπάρχοντος κώδικα – Το πρώτο μέρος της λύσης μας περιελάμβανε την τροποποίηση και επέκταση του υπάρχοντος κώδικα ώστε να είναι συμβατός με την υποδομή AWS. Αυτό ήταν ζωτικής σημασίας για τη διασφάλιση της ομαλής μετάβασης από την εσωτερική εγκατάσταση στην επεξεργασία που βασίζεται στο cloud.
- Ανάπτυξη πακέτου πελάτη – Αναπτύχθηκε ένα πακέτο πελάτη που λειτουργεί ως περιτύλιγμα γύρω από τα API του SageMaker και τον ήδη υπάρχοντα κώδικα. Αυτό το πακέτο συνδυάζει και τα δύο, επιτρέποντας στους επιστήμονες ML να διαμορφώνουν και να αναπτύσσουν εύκολα αγωγούς ML χωρίς κωδικοποίηση.
Διαμόρφωση αγωγού SageMaker
Η προσαρμοστικότητα είναι το κλειδί για τον αγωγό κατασκευής μοντέλων, και αυτό επιτεύχθηκε μέσω config.ini
, ένα εκτενές αρχείο ρυθμίσεων. Αυτό το αρχείο χρησιμεύει ως το κέντρο ελέγχου για όλες τις εισόδους και τις συμπεριφορές του αγωγού.
Διαθέσιμες διαμορφώσεις στο εσωτερικό config.ini
συμπεριλαμβάνω:
- Λεπτομέρειες αγωγού – Ο επαγγελματίας μπορεί να ορίσει το όνομα του αγωγού, να καθορίσει ποια βήματα θα εκτελεστούν, να καθορίσει πού πρέπει να αποθηκεύονται οι έξοδοι Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) και επιλέξτε ποια σύνολα δεδομένων θα χρησιμοποιήσετε
- Στοιχεία λογαριασμού AWS – Μπορείτε να αποφασίσετε σε ποια περιοχή θα εκτελείται ο αγωγός και ποιος ρόλος θα χρησιμοποιηθεί
- Διαμόρφωση για συγκεκριμένο βήμα – Για κάθε βήμα στη διοχέτευση, μπορείτε να καθορίσετε λεπτομέρειες όπως τον αριθμό και τον τύπο των παρουσιών που θα χρησιμοποιηθούν, μαζί με τις σχετικές παραμέτρους
Ο παρακάτω κώδικας δείχνει ένα παράδειγμα αρχείου διαμόρφωσης:
config.ini
είναι ένα αρχείο που ελέγχεται από την έκδοση το οποίο διαχειρίζεται το Git, αντιπροσωπεύοντας την ελάχιστη διαμόρφωση που απαιτείται για μια επιτυχημένη εκτέλεση αγωγού εκπαίδευσης. Κατά την ανάπτυξη, μπορούν να χρησιμοποιηθούν αρχεία τοπικών ρυθμίσεων που δεν ελέγχονται από την έκδοση. Αυτά τα αρχεία τοπικής διαμόρφωσης χρειάζεται μόνο να περιέχουν ρυθμίσεις σχετικές με μια συγκεκριμένη εκτέλεση, εισάγοντας ευελιξία χωρίς πολυπλοκότητα. Το πρόγραμμα-πελάτης δημιουργίας σωλήνων έχει σχεδιαστεί για να χειρίζεται πολλαπλά αρχεία διαμόρφωσης, με το πιο πρόσφατο να έχει προτεραιότητα έναντι των προηγούμενων ρυθμίσεων.
Βήματα αγωγού SageMaker
Ο αγωγός χωρίζεται στα ακόλουθα βήματα:
- Προετοιμασία δεδομένων εκπαίδευσης και δοκιμών – Τα terabyte ακατέργαστων δεδομένων αντιγράφονται σε έναν κάδο S3, υποβάλλονται σε επεξεργασία χρησιμοποιώντας Κόλλα AWS εργασίες για την επεξεργασία Spark, με αποτέλεσμα τα δεδομένα να δομούνται και να μορφοποιούνται για συμβατότητα.
- Τρένο – Το βήμα εκπαίδευσης χρησιμοποιεί τον εκτιμητή TensorFlow για εργασίες εκπαίδευσης του SageMaker. Η εκπαίδευση πραγματοποιείται με κατανεμημένο τρόπο χρησιμοποιώντας το Horovod και το προκύπτον τεχνούργημα του μοντέλου αποθηκεύεται στο Amazon S3. Για συντονισμό υπερπαραμέτρων, μπορεί να ξεκινήσει μια εργασία βελτιστοποίησης υπερπαραμέτρων (HPO), επιλέγοντας το καλύτερο μοντέλο με βάση την αντικειμενική μέτρηση.
- Προλέγω – Σε αυτό το βήμα, μια εργασία επεξεργασίας SageMaker χρησιμοποιεί το αποθηκευμένο τεχνούργημα του μοντέλου για να κάνει προβλέψεις. Αυτή η διαδικασία εκτελείται παράλληλα σε διαθέσιμα μηχανήματα και τα αποτελέσματα πρόβλεψης αποθηκεύονται στο Amazon S3.
- Αξιολογώ – Μια εργασία επεξεργασίας PySpark αξιολογεί το μοντέλο χρησιμοποιώντας ένα προσαρμοσμένο σενάριο Spark. Στη συνέχεια, η έκθεση αξιολόγησης αποθηκεύεται στο Amazon S3.
- Κατάσταση – Μετά την αξιολόγηση, λαμβάνεται απόφαση για την ποιότητα του μοντέλου. Αυτή η απόφαση βασίζεται σε μια μέτρηση συνθήκης που ορίζεται στο αρχείο διαμόρφωσης. Εάν η αξιολόγηση είναι θετική, το μοντέλο καταχωρείται ως εγκεκριμένο. Διαφορετικά, καταχωρείται ως απορριφθέν. Και στις δύο περιπτώσεις, η αναφορά αξιολόγησης και επεξήγησης, εάν δημιουργηθεί, καταγράφονται στο μητρώο του μοντέλου.
- Μοντέλο πακέτου για συμπέρασμα – Χρησιμοποιώντας μια εργασία επεξεργασίας, εάν τα αποτελέσματα της αξιολόγησης είναι θετικά, το μοντέλο συσκευάζεται, αποθηκεύεται στο Amazon S3 και είναι έτοιμο για μεταφόρτωση στην εσωτερική πύλη ML.
- Εξηγήστε – Το SageMaker Clarify δημιουργεί μια αναφορά επεξήγησης.
Χρησιμοποιούνται δύο ξεχωριστά αποθετήρια. Το πρώτο αποθετήριο περιέχει τον ορισμό και τον κώδικα κατασκευής για τη διοχέτευση ML και το δεύτερο αποθετήριο περιέχει τον κώδικα που εκτελείται σε κάθε βήμα, όπως επεξεργασία, εκπαίδευση, πρόβλεψη και αξιολόγηση. Αυτή η προσέγγιση διπλού αποθετηρίου επιτρέπει μεγαλύτερη σπονδυλωτότητα και επιτρέπει στις ομάδες επιστήμης και μηχανικής να επαναλαμβάνουν ανεξάρτητα τον κώδικα ML και τα στοιχεία του αγωγού ML.
Το παρακάτω διάγραμμα απεικονίζει τη ροή εργασιών επίλυσης.
Αυτόματος συντονισμός μοντέλου
Η εκπαίδευση μοντέλων ML απαιτεί μια επαναληπτική προσέγγιση πολλαπλών εκπαιδευτικών πειραμάτων για τη δημιουργία ενός ισχυρού και αποτελεσματικού τελικού μοντέλου για επαγγελματική χρήση. Οι επιστήμονες της ML πρέπει να επιλέξουν τον κατάλληλο τύπο μοντέλου, να δημιουργήσουν τα σωστά σύνολα δεδομένων εισόδου και να προσαρμόσουν το σύνολο των υπερπαραμέτρων που ελέγχουν τη διαδικασία εκμάθησης του μοντέλου κατά τη διάρκεια της εκπαίδευσης.
Η επιλογή των κατάλληλων τιμών για τις υπερπαραμέτρους για τη διαδικασία εκπαίδευσης του μοντέλου μπορεί να επηρεάσει σημαντικά την τελική απόδοση του μοντέλου. Ωστόσο, δεν υπάρχει μοναδικός ή καθορισμένος τρόπος για να προσδιοριστεί ποιες τιμές είναι κατάλληλες για μια συγκεκριμένη περίπτωση χρήσης. Τις περισσότερες φορές, οι επιστήμονες της ML θα πρέπει να εκτελέσουν πολλαπλές εργασίες εκπαίδευσης με ελαφρώς διαφορετικά σύνολα υπερπαραμέτρων, να παρατηρήσουν τις μετρήσεις εκπαίδευσης του μοντέλου και στη συνέχεια να προσπαθήσουν να επιλέξουν πιο υποσχόμενες τιμές για την επόμενη επανάληψη. Αυτή η διαδικασία συντονισμού της απόδοσης του μοντέλου είναι επίσης γνωστή ως βελτιστοποίηση υπερπαραμέτρων (HPO) και μπορεί μερικές φορές να απαιτεί εκατοντάδες πειράματα.
Η ομάδα Ranking συνήθιζε να εκτελεί HPO με μη αυτόματο τρόπο στο εσωτερικό περιβάλλον της, επειδή μπορούσε να ξεκινήσει μόνο έναν πολύ περιορισμένο αριθμό εργασιών κατάρτισης παράλληλα. Ως εκ τούτου, έπρεπε να εκτελούν το HPO διαδοχικά, να δοκιμάζουν και να επιλέγουν διαφορετικούς συνδυασμούς τιμών υπερπαραμέτρων με μη αυτόματο τρόπο και να παρακολουθούν τακτικά την πρόοδο. Αυτό παρέτεινε τη διαδικασία ανάπτυξης και συντονισμού του μοντέλου και περιόρισε τον συνολικό αριθμό πειραμάτων HPO που θα μπορούσαν να εκτελεστούν σε εφικτό χρονικό διάστημα.
Με τη μετάβαση στο AWS, η ομάδα του Ranking μπόρεσε να χρησιμοποιήσει τη δυνατότητα αυτόματης ρύθμισης μοντέλου (AMT) του SageMaker. Το AMT δίνει τη δυνατότητα στους επιστήμονες του Ranking ML να ξεκινούν αυτόματα εκατοντάδες εργασίες εκπαίδευσης εντός εύρους υπερπαραμέτρων ενδιαφέροντος για να βρουν την έκδοση με την καλύτερη απόδοση του τελικού μοντέλου σύμφωνα με την επιλεγμένη μέτρηση. Η ομάδα κατάταξης έχει πλέον τη δυνατότητα να επιλέξει ανάμεσα σε τέσσερις διαφορετικές στρατηγικές αυτόματου συντονισμού για την επιλογή υπερπαραμέτρων:
- Αναζήτηση πλέγματος – Η AMT θα αναμένει ότι όλες οι υπερπαράμετροι θα είναι κατηγορικές τιμές και θα ξεκινήσει εργασίες εκπαίδευσης για κάθε ξεχωριστό συνδυασμό κατηγοριών, εξερευνώντας ολόκληρο τον χώρο υπερπαραμέτρων.
- Τυχαία αναζήτηση – Το AMT θα επιλέξει τυχαία συνδυασμούς τιμών υπερπαραμέτρων εντός των παρεχόμενων περιοχών. Επειδή δεν υπάρχει εξάρτηση μεταξύ διαφορετικών εργασιών εκπαίδευσης και επιλογής τιμών παραμέτρων, μπορούν να ξεκινήσουν πολλαπλές παράλληλες εργασίες εκπαίδευσης με αυτήν τη μέθοδο, επιταχύνοντας τη διαδικασία επιλογής βέλτιστων παραμέτρων.
- Μπεϋζιανή βελτιστοποίηση – Το AMT χρησιμοποιεί την εφαρμογή βελτιστοποίησης Bayes για να μαντέψει το καλύτερο σύνολο τιμών υπερπαραμέτρων, αντιμετωπίζοντάς το ως πρόβλημα παλινδρόμησης. Θα εξετάσει προηγουμένως δοκιμασμένους συνδυασμούς υπερπαραμέτρων και τον αντίκτυπό τους στις εργασίες εκπαίδευσης του μοντέλου με τη νέα επιλογή παραμέτρων, βελτιστοποιώντας την πιο έξυπνη επιλογή παραμέτρων με λιγότερα πειράματα, αλλά θα ξεκινήσει επίσης εργασίες εκπαίδευσης μόνο διαδοχικά για να μπορεί πάντα να μαθαίνει από προηγούμενες εκπαιδεύσεις.
- Υπερζώνη – Η AMT θα χρησιμοποιήσει τα ενδιάμεσα και τελικά αποτελέσματα των εργασιών εκπαίδευσης που εκτελεί για να ανακατανείμει δυναμικά τους πόρους σε εργασίες εκπαίδευσης με διαμορφώσεις υπερπαραμέτρων που δείχνουν πιο ελπιδοφόρα αποτελέσματα, ενώ θα σταματήσει αυτόματα εκείνες που έχουν χαμηλή απόδοση.
Το AMT στο SageMaker επέτρεψε στην ομάδα κατάταξης να μειώσει το χρόνο που αφιερώνει στη διαδικασία συντονισμού υπερπαραμέτρων για την ανάπτυξη του μοντέλου της, επιτρέποντάς της για πρώτη φορά να εκτελέσει πολλαπλά παράλληλα πειράματα, να χρησιμοποιήσει στρατηγικές αυτόματου συντονισμού και να εκτελέσει διψήφιες εργασίες εκπαίδευσης εντός ημερών. κάτι που δεν ήταν εφικτό στις εγκαταστάσεις.
Επεξηγησιμότητα μοντέλου με το SageMaker Clarify
Η επεξήγηση μοντέλων επιτρέπει στους επαγγελματίες ML να κατανοήσουν τη φύση και τη συμπεριφορά των μοντέλων ML τους παρέχοντας πολύτιμες πληροφορίες για αποφάσεις μηχανικής και επιλογής χαρακτηριστικών, κάτι που με τη σειρά του βελτιώνει την ποιότητα των προβλέψεων μοντέλων. Η ομάδα κατάταξης ήθελε να αξιολογήσει τις γνώσεις επεξήγησης της με δύο τρόπους: να κατανοήσει πώς οι εισροές χαρακτηριστικών επηρεάζουν τις εξόδους του μοντέλου σε ολόκληρο το σύνολο δεδομένων της (σφαιρική ερμηνευσιμότητα) και επίσης να είναι σε θέση να ανακαλύψει την επιρροή των χαρακτηριστικών εισόδου για μια συγκεκριμένη πρόβλεψη μοντέλου σε ένα σημείο δεδομένων ενδιαφέροντος ( τοπική ερμηνευσιμότητα). Με αυτά τα δεδομένα, οι επιστήμονες του Ranking ML μπορούν να λάβουν τεκμηριωμένες αποφάσεις για το πώς να βελτιώσουν περαιτέρω την απόδοση του μοντέλου τους και να λάβουν υπόψη τα δύσκολα αποτελέσματα πρόβλεψης που θα παρείχε περιστασιακά το μοντέλο.
Το SageMaker Clarify σάς δίνει τη δυνατότητα να δημιουργείτε αναφορές επεξήγησης μοντέλων χρησιμοποιώντας Επεξηγήσεις προσθέτων Shapley (SHAP) όταν εκπαιδεύετε τα μοντέλα σας στο SageMaker, υποστηρίζοντας την καθολική και τοπική ερμηνευτικότητα μοντέλων. Εκτός από τις αναφορές επεξήγησης μοντέλων, το SageMaker Clarify υποστηρίζει αναλύσεις εκτέλεσης για μετρήσεις μεροληψίας πριν από την εκπαίδευση, μετρήσεις μεροληψίας μετά την εκπαίδευση και γραφικές γραφικές μερικής εξάρτησης. Η εργασία θα εκτελεστεί ως εργασία επεξεργασίας SageMaker εντός του λογαριασμού AWS και ενσωματώνεται απευθείας με τους αγωγούς SageMaker.
Η συνολική αναφορά ερμηνείας θα δημιουργηθεί αυτόματα στην έξοδο εργασίας και θα εμφανιστεί στο Στούντιο Amazon SageMaker περιβάλλον ως μέρος του πειράματος εκπαίδευσης. Εάν στη συνέχεια αυτό το μοντέλο καταχωρηθεί στο μητρώο μοντέλου SageMaker, η αναφορά θα συνδεθεί επιπλέον με το τεχνούργημα του μοντέλου. Χρησιμοποιώντας και τις δύο αυτές επιλογές, η ομάδα του Ranking μπόρεσε να παρακολουθεί εύκολα διαφορετικές εκδόσεις μοντέλων και τις αλλαγές συμπεριφοράς τους.
Για να διερευνήσει τον αντίκτυπο των χαρακτηριστικών εισόδου σε μία πρόβλεψη (τοπικές τιμές ερμηνευσιμότητας), η ομάδα κατάταξης ενεργοποίησε την παράμετρο save_local_shap_values
στις εργασίες SageMaker Clarify και μπόρεσε να τις φορτώσει από τον κάδο S3 για περαιτέρω αναλύσεις στους φορητούς υπολογιστές Jupyter στο SageMaker Studio.
Οι προηγούμενες εικόνες δείχνουν ένα παράδειγμα του πώς θα έμοιαζε μια επεξήγηση μοντέλου για ένα αυθαίρετο μοντέλο ML.
Βελτιστοποίηση εκπαίδευσης
Η άνοδος της βαθιάς μάθησης (DL) οδήγησε στο ότι η ML εξαρτάται όλο και περισσότερο από την υπολογιστική ισχύ και τις τεράστιες ποσότητες δεδομένων. Οι επαγγελματίες ML αντιμετωπίζουν συνήθως το εμπόδιο της αποτελεσματικής χρήσης πόρων κατά την εκπαίδευση αυτών των πολύπλοκων μοντέλων. Όταν εκτελείτε εκπαίδευση σε μεγάλα συμπλέγματα υπολογιστών, προκύπτουν διάφορες προκλήσεις στη βελτιστοποίηση της χρήσης πόρων, συμπεριλαμβανομένων ζητημάτων όπως τα σημεία συμφόρησης I/O, οι καθυστερήσεις εκκίνησης του πυρήνα, οι περιορισμοί μνήμης και οι υποχρησιμοποιημένοι πόροι. Εάν η διαμόρφωση της εργασίας εκπαίδευσης δεν είναι βελτιστοποιημένη για αποτελεσματικότητα, αυτά τα εμπόδια μπορεί να οδηγήσουν σε μη βέλτιστη χρήση υλικού, παρατεταμένες διάρκειες εκπαίδευσης ή ακόμα και ελλιπείς διαδρομές εκπαίδευσης. Αυτοί οι παράγοντες αυξάνουν το κόστος του έργου και καθυστερούν τα χρονοδιαγράμματα.
Το προφίλ χρήσης της CPU και της GPU βοηθά στην κατανόηση αυτών των αναποτελεσματικών, στον προσδιορισμό της κατανάλωσης πόρων υλικού (χρόνος και μνήμη) των διαφόρων λειτουργιών TensorFlow στο μοντέλο σας, στην επίλυση προβλημάτων απόδοσης και, τελικά, στην ταχύτερη εκτέλεση του μοντέλου.
Η ομάδα κατάταξης χρησιμοποίησε το χαρακτηριστικό προφίλ πλαισίου του Debugger Amazon SageMaker (τώρα καταργήθηκε υπέρ του Προφίλ Amazon SageMaker) για τη βελτιστοποίηση αυτών των εργασιών κατάρτισης. Αυτό σας επιτρέπει να παρακολουθείτε όλες τις δραστηριότητες σε CPU και GPU, όπως χρήσεις CPU και GPU, εκτελέσεις πυρήνα σε GPU, εκκινήσεις πυρήνα σε CPU, λειτουργίες συγχρονισμού, λειτουργίες μνήμης σε GPU, καθυστερήσεις μεταξύ εκκινήσεων πυρήνα και αντίστοιχες εκτελέσεις και μεταφορά δεδομένων μεταξύ CPU και GPU.
Η ομάδα κατάταξης χρησιμοποίησε επίσης το Προφίλ TensorFlow χαρακτηριστικό του TensorBoard, το οποίο βοήθησε περαιτέρω στο προφίλ της εκπαίδευσης του μοντέλου TensorFlow. Το SageMaker είναι τώρα περαιτέρω ενσωματωμένο με το TensorBoard και φέρνει τα εργαλεία οπτικοποίησης του TensorBoard στο SageMaker, ενσωματωμένα με την εκπαίδευση και τους τομείς του SageMaker. Το TensorBoard σάς επιτρέπει να εκτελείτε εργασίες εντοπισμού σφαλμάτων μοντέλων χρησιμοποιώντας τις προσθήκες οπτικοποίησης TensorBoard.
Με τη βοήθεια αυτών των δύο εργαλείων, η ομάδα Ranking βελτιστοποίησε το μοντέλο TensorFlow και κατάφερε να εντοπίσει τα σημεία συμφόρησης και να μειώσει τον μέσο χρόνο βημάτων εκπαίδευσης από 350 χιλιοστά του δευτερολέπτου σε 140 χιλιοστά του δευτερολέπτου στη CPU και από 170 χιλιοστά του δευτερολέπτου σε 70 χιλιοστά του δευτερολέπτου στη GPU, επιταχύνσεις 60%. και 59%, αντίστοιχα.
Επιχειρηματικά αποτελέσματα
Οι προσπάθειες μετεγκατάστασης επικεντρώθηκαν στη βελτίωση της διαθεσιμότητας, της επεκτασιμότητας και της ελαστικότητας, τα οποία οδήγησαν συλλογικά το περιβάλλον ML σε ένα νέο επίπεδο λειτουργικής αριστείας, που χαρακτηρίζεται από την αυξημένη συχνότητα εκπαίδευσης του μοντέλου και τις μειωμένες αποτυχίες, τους βελτιστοποιημένους χρόνους εκπαίδευσης και τις προηγμένες δυνατότητες ML.
Μοντέλο συχνότητα εκπαίδευσης και αποτυχίες
Ο αριθμός των μηνιαίων εργασιών εκπαίδευσης μοντέλων πενταπλασιάστηκε, οδηγώντας σε σημαντικά πιο συχνές βελτιστοποιήσεις μοντέλων. Επιπλέον, το νέο περιβάλλον ML οδήγησε σε μείωση του ποσοστού αστοχίας των διαδρομών αγωγών, μειώνοντας από περίπου 50% σε 20%. Ο χρόνος επεξεργασίας της αποτυχημένης εργασίας μειώθηκε δραστικά, από πάνω από μία ώρα κατά μέσο όρο σε αμελητέα 5 δευτερόλεπτα. Αυτό έχει αυξήσει σημαντικά τη λειτουργική αποτελεσματικότητα και μείωσε τη σπατάλη πόρων.
Βελτιστοποιημένος χρόνος προπόνησης
Η μετεγκατάσταση που συνοδεύει την απόδοση αυξάνεται μέσω της εκπαίδευσης GPU που βασίζεται στο SageMaker. Αυτή η μετατόπιση μείωσε τον χρόνο εκπαίδευσης του μοντέλου στο ένα πέμπτο της προηγούμενης διάρκειάς του. Προηγουμένως, οι διαδικασίες εκπαίδευσης για μοντέλα βαθιάς μάθησης κατανάλωναν περίπου 60 ώρες στη CPU. Αυτό απλοποιήθηκε σε περίπου 12 ώρες σε GPU. Αυτή η βελτίωση όχι μόνο εξοικονομεί χρόνο, αλλά και επιταχύνει τον κύκλο ανάπτυξης, επιτρέποντας ταχύτερες επαναλήψεις και βελτιώσεις μοντέλων.
Προηγμένες δυνατότητες ML
Κεντρικό στοιχείο για την επιτυχία της μετεγκατάστασης είναι η χρήση του συνόλου δυνατοτήτων SageMaker, το οποίο περιλαμβάνει συντονισμό υπερπαραμέτρων και επεξήγηση μοντέλου. Επιπλέον, η μετεγκατάσταση επέτρεψε την απρόσκοπτη παρακολούθηση πειράματος χρησιμοποιώντας Πειράματα Amazon SageMaker, επιτρέποντας πιο διορατικό και παραγωγικό πειραματισμό.
Το πιο σημαντικό, το νέο περιβάλλον πειραματισμού ML υποστήριξε την επιτυχημένη ανάπτυξη ενός νέου μοντέλου που βρίσκεται τώρα σε παραγωγή. Αυτό το μοντέλο είναι σε βάθος εκμάθησης παρά δεν βασίζεται σε δέντρα και έχει εισαγάγει αξιοσημείωτες βελτιώσεις στην απόδοση του διαδικτυακού μοντέλου.
Συμπέρασμα
Αυτή η ανάρτηση παρείχε μια επισκόπηση της συνεργασίας των AWS Professional Services και της Booking.com που οδήγησε στην εφαρμογή ενός κλιμακούμενου πλαισίου ML και μείωσε με επιτυχία τον χρόνο διάθεσης των μοντέλων ML της ομάδας κατάταξης τους.
Η ομάδα Ranking στο Booking.com έμαθε ότι η μετάβαση στο cloud και το SageMaker έχει αποδειχθεί ευεργετική και ότι η προσαρμογή των πρακτικών μηχανικής εκμάθησης (MLOps) επιτρέπει στους μηχανικούς και τους επιστήμονες ML τους να επικεντρωθούν στο σκάφος τους και να αυξήσουν την ταχύτητα ανάπτυξης. Η ομάδα μοιράζεται τις γνώσεις και τη δουλειά που έχει γίνει με ολόκληρη την κοινότητα ML στην Booking.com, μέσω ομιλιών και ειδικών συνεδριών με επαγγελματίες ML όπου μοιράζονται τον κώδικα και τις δυνατότητες. Ελπίζουμε ότι αυτή η ανάρτηση μπορεί να χρησιμεύσει ως ένας άλλος τρόπος για να μοιραστείτε τη γνώση.
Η AWS Professional Services είναι έτοιμη να βοηθήσει την ομάδα σας να αναπτύξει επεκτάσιμη και έτοιμη για παραγωγή ML στο AWS. Για περισσότερες πληροφορίες, βλ Επαγγελματικές υπηρεσίες AWS ή επικοινωνήστε μέσω του διαχειριστή του λογαριασμού σας για να έρθετε σε επαφή.
Σχετικά με τους Συγγραφείς
Λόρενς βαν ντερ Μάας είναι Μηχανικός Μηχανικής Μάθησης στην AWS Professional Services. Συνεργάζεται στενά με πελάτες που κατασκευάζουν τις λύσεις μηχανικής εκμάθησης στο AWS, ειδικεύεται στην κατανεμημένη εκπαίδευση, τον πειραματισμό και την υπεύθυνη τεχνητή νοημοσύνη και είναι παθιασμένος με το πώς η μηχανική μάθηση αλλάζει τον κόσμο όπως τον ξέρουμε.
Ντανιέλ Ζάγκυβα είναι Επιστήμονας Δεδομένων στην AWS Professional Services. Ειδικεύεται στην ανάπτυξη κλιμακούμενων λύσεων μηχανικής εκμάθησης ποιότητας παραγωγής για πελάτες AWS. Η εμπειρία του εκτείνεται σε διάφορους τομείς, συμπεριλαμβανομένης της επεξεργασίας φυσικής γλώσσας, της γενετικής τεχνητής νοημοσύνης και των λειτουργιών μηχανικής μάθησης.
Κωστια Κόφμαν είναι Ανώτερος Διευθυντής Machine Learning στην Booking.com, επικεφαλής της ομάδας Search Ranking ML, επιβλέποντας το πιο εκτεταμένο σύστημα ML της Booking.com. Με εξειδίκευση στην Εξατομίκευση και την Κατάταξη, ευδοκιμεί στην αξιοποίηση τεχνολογίας αιχμής για τη βελτίωση των εμπειριών των πελατών.
Τζένη Τοκάρ είναι Ανώτερος Μηχανικός Μηχανικής Εκμάθησης στην ομάδα κατάταξης αναζήτησης της Booking.com. Ειδικεύεται στην ανάπτυξη αγωγών ML από άκρο σε άκρο που χαρακτηρίζονται από αποτελεσματικότητα, αξιοπιστία, επεκτασιμότητα και καινοτομία. Η τεχνογνωσία της Jenny δίνει τη δυνατότητα στην ομάδα της να δημιουργεί μοντέλα κατάταξης αιχμής που εξυπηρετούν εκατομμύρια χρήστες καθημερινά.
Αλεξάντρα Ντόκιτς είναι Senior Data Scientist στην AWS Professional Services. Της αρέσει να υποστηρίζει πελάτες για τη δημιουργία καινοτόμων λύσεων AI/ML στο AWS και είναι ενθουσιασμένη με τους επιχειρηματικούς μετασχηματισμούς μέσω της δύναμης των δεδομένων.
Λούμπα Πρότσιβα είναι Engagement Manager στην AWS Professional Services. Ειδικεύεται στην παροχή λύσεων δεδομένων και GenAI/ML που επιτρέπουν στους πελάτες AWS να μεγιστοποιήσουν την επιχειρηματική τους αξία και να επιταχύνουν την ταχύτητα της καινοτομίας.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/how-booking-com-modernized-its-ml-experimentation-framework-with-amazon-sagemaker/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 1
- 100
- 12
- 130
- 140
- 16
- 350
- 60
- 7
- 70
- a
- ικανότητα
- Ικανός
- Σχετικα
- επιταχύνουν
- πρόσβαση
- Σύμφωνα με
- Λογαριασμός
- επιτευχθεί
- απέναντι
- δραστηριοτήτων
- πράξεις
- προσαρμογή
- Επιπλέον
- Επιπλέον
- προηγμένες
- επηρεάζουν
- Μετά το
- AI
- AI / ML
- αλγόριθμοι
- Όλα
- επιτρέπεται
- επιτρέπει
- κατά μήκος
- Επίσης
- πάντοτε
- Amazon
- Amazon Sage Maker
- Amazon υπηρεσίες Web
- ποσό
- Ποσά
- an
- αναλύσεις
- και
- Άλλος
- APIs
- πλησιάζω
- κατάλληλος
- εγκεκριμένη
- περίπου
- αυθαίρετος
- ΕΙΝΑΙ
- περιοχές
- σηκώνομαι
- γύρω
- AS
- φιλοδοξία
- At
- Αυτόματο
- αυτομάτως
- διαθεσιμότητα
- διαθέσιμος
- μέσος
- AWS
- Επαγγελματικές υπηρεσίες AWS
- πίσω
- βασίζονται
- Bayesian
- BE
- επειδή
- να γίνει
- συμπεριφορά
- συμπεριφοράς
- συμπεριφορές
- ευεργετική
- ωφελώντας
- ΚΑΛΎΤΕΡΟΣ
- μεταξύ
- προκατάληψη
- κράτηση
- Booking.com
- και οι δύο
- σημεία συμφόρησης
- Φέρνει
- Έφερε
- χτίζω
- Κτίριο
- επιχείρηση
- αλλά
- by
- CAN
- δυνατότητες
- περίπτωση
- περιπτώσεις
- Κέντρο
- στο κέντρο
- προκλήσεις
- πρόκληση
- αλλαγή
- Αλλαγές
- αλλαγή
- χαρακτηρίζεται
- Επιλέξτε
- επιλέγονται
- πελάτης
- στενά
- Backup
- κωδικός
- Κωδικοποίηση
- συνεργάστηκαν
- συνεργασία
- συλλογικά
- COM
- συνδυασμός
- συνδυασμοί
- συνδυάζει
- συνήθως
- κοινότητα
- συμβατότητα
- σύμφωνος
- συγκρότημα
- περίπλοκο
- περίπλοκος
- εξαρτήματα
- υπολογιστική
- υπολογιστική δύναμη
- Υπολογίστε
- κατάσταση
- διαμόρφωση
- Εξετάστε
- αποτελείται
- περιορισμούς
- καταναλώνεται
- κατανάλωση
- περιέχουν
- Περιέχει
- έλεγχος
- διορθώσει
- Αντίστοιχος
- Δικαστικά έξοδα
- θα μπορούσε να
- σκάφος
- δημιουργία
- δημιουργία
- κρίσιμος
- έθιμο
- πελάτης
- Πελάτες
- προσαρμόσιμη
- αιχμής
- τεχνολογία αιχμής
- κύκλος
- ημερομηνία
- Προετοιμασία δεδομένων
- επιστήμονας δεδομένων
- σύνολα δεδομένων
- ημέρα
- Ημ.
- αποφασίζει
- απόφαση
- αποφάσεις
- μειώθηκε
- αφιερωμένο
- θεωρείται
- βαθύς
- βαθιά μάθηση
- ορίζεται
- ορίζεται
- ορισμός
- delay
- καθυστερήσεις
- παραδώσει
- παράδοση
- σκάβω
- εξάρτηση
- Εξάρτηση
- παρατάσσω
- αναπτυχθεί
- αποδοκιμαστεί
- σχεδιασμένα
- καθέκαστα
- Προσδιορίστε
- ανάπτυξη
- αναπτύχθηκε
- ανάπτυξη
- Ανάπτυξη
- διάγραμμα
- διαφορετικές
- κατευθείαν
- ανακαλύπτουν
- εκτεθειμένος
- διακριτή
- διανέμονται
- κατανεμημένη εκπαίδευση
- διαιρούμενο
- πράξη
- domains
- γίνεται
- δραστικά
- Ρίψη
- διάρκεια
- κατά την διάρκεια
- δυναμικά
- κάθε
- εύκολα
- αποδοτικότητα
- αποτελεσματικά
- προσπάθειες
- ξεκίνησε
- εξουσιοδοτεί
- ενεργοποιήσετε
- ενεργοποιημένη
- δίνει τη δυνατότητα
- ενεργοποίηση
- που περιλαμβάνει
- από άκρη σε άκρη
- δέσμευση
- μηχανικός
- Μηχανική
- Μηχανικοί
- ενίσχυση
- ενίσχυση
- εξασφαλίζοντας
- Ολόκληρος
- Περιβάλλον
- εποχές
- ουσιώδης
- αξιολογήσει
- εκτίμηση
- Even
- Κάθε
- κάθε μέρα
- παράδειγμα
- Υπεροχή
- ενθουσιασμένοι
- παραδειγματικά
- υφιστάμενα
- αναμένω
- επισπεύδει
- εμπειρία
- Δραστηριοτητες
- πείραμα
- πειράματα
- εξειδίκευση
- Εξηγήστε
- διερευνήσει
- Εξερευνώντας
- επέκταση
- Επεκτείνεται
- επέκταση
- εκτενής
- Πρόσωπο
- αντιμετωπίζουν
- παράγοντες
- Απέτυχε
- Αποτυχία
- αποτυχίες
- ψευδής
- γρηγορότερα
- ευνοούν
- εφικτός
- Χαρακτηριστικό
- Χαρακτηριστικά
- ανατροφοδότηση
- λιγότερα
- Αρχεία
- Αρχεία
- τελικός
- Τελικά
- Εύρεση
- Όνομα
- πρώτη φορά
- Ευελιξία
- Συγκέντρωση
- Εξής
- Για
- τέσσερα
- Πλαίσιο
- Συχνότητα
- συχνάζω
- από
- περαιτέρω
- Επί πλέον
- κερδίζει
- παράγουν
- παράγεται
- δημιουργεί
- γενετική
- Παραγωγική τεχνητή νοημοσύνη
- παίρνω
- Git
- Παγκόσμιο
- γκολ
- GPU
- GPU
- μεγαλύτερη
- υποθέτω
- είχε
- λαβή
- υλικού
- αξιοποιηθεί
- Έχω
- he
- βοήθεια
- βοήθησε
- βοηθά
- αυτήν
- του
- ελπίζω
- ώρα
- ΩΡΕΣ
- Πως
- Πώς να
- Ωστόσο
- HTML
- http
- HTTPS
- Εκατοντάδες
- εμπόδιο
- Βελτιστοποίηση υπερπαραμέτρων
- Ρύθμιση υπερπαραμέτρων
- προσδιορίσει
- if
- απεικονίζει
- εικόνες
- άμεσος
- Επίπτωση
- εκτέλεση
- το σημαντικότερο
- βελτίωση
- βελτιωθεί
- βελτίωση
- βελτιώσεις
- βελτιώνει
- in
- περιλαμβάνουν
- Συμπεριλαμβανομένου
- Αυξάνουν
- αυξημένη
- Αυξήσεις
- όλο και περισσότερο
- ανεξάρτητα
- βιομηχανία
- αναποτελεσματικότητα
- επιρροή
- πληροφορίες
- ενημερώνεται
- Υποδομή
- ξεκίνησε
- νεωτερίζω
- Καινοτομία
- καινοτόμες
- εισαγωγή
- είσοδοι
- μέσα
- διορατικός
- ιδέες
- στιγμή
- ενσωματωθεί
- Ενσωματώνει
- τόκος
- εσωτερικός
- σε
- εισήγαγε
- εισάγοντας
- συμμετέχουν
- θέματα
- IT
- επανάληψη
- επαναλήψεις
- ΤΟΥ
- Δουλειά
- Θέσεις εργασίας
- ταξίδι
- jpg
- Κλειδί
- Ξέρω
- γνώση
- γνωστός
- λείπει
- Γλώσσα
- large
- αργότερο
- ξεκινήσει
- ξεκίνησε
- ξεκινάει
- ηγέτης
- που οδηγεί
- ΜΑΘΑΊΝΩ
- μάθει
- μάθηση
- Led
- Επίπεδο
- μόχλευσης
- Μου αρέσει
- Περιωρισμένος
- συνδέονται
- φορτίο
- τοπικός
- Μακριά
- ματιά
- μοιάζει
- μηχανή
- μάθηση μηχανής
- μηχανήματα
- που
- κάνω
- διαχειρίζεται
- διευθυντής
- τρόπος
- χειροκίνητα
- Αυξάνω στον ανώτατο βαθμό
- εννοώ
- Μνήμη
- μέθοδος
- μετρικός
- Metrics
- μεταναστεύουν
- μετανάστευση
- εκατομμύρια
- χιλιοστά του δευτερολέπτου
- ελάχιστος
- Λεπτ.
- ML
- MLOps
- μοντέλο
- μοντέλα
- εκμοντερνίζω
- ενότητες
- Παρακολούθηση
- μηνιαίος
- περισσότερο
- πλέον
- μετακινήσετε
- μετακινηθεί
- πολύ
- πολλαπλούς
- όνομα
- Φυσικό
- Επεξεργασία φυσικής γλώσσας
- Φύση
- Ανάγκη
- Νέα
- επόμενη
- Όχι.
- τώρα
- αριθμός
- σκοπός
- παρατηρούμε
- εμπόδια
- of
- offline
- συχνά
- on
- Κατα παραγγελια
- ONE
- διαδικτυακά (online)
- αποκλειστικά
- επιχειρήσεων
- λειτουργίες
- βέλτιστη
- βελτιστοποίηση
- βελτιστοποιήσεις
- Βελτιστοποίηση
- βελτιστοποιημένη
- βελτιστοποίηση
- Επιλογές
- or
- ΑΛΛΑ
- αλλιώς
- δικός μας
- έξω
- παραγωγή
- εξόδους
- επί
- φόρμες
- εποπτεία
- επισκόπηση
- δική
- Ειρήνη
- πακέτο
- συσκευάζονται
- Παράλληλο
- παράμετρος
- μέρος
- παθιασμένος
- Εκτελέστε
- επίδοση
- εκτέλεση
- εξατομίκευση
- αγωγού
- πιλοτικές
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- παίζει
- Plugins
- Σημείο
- Πύλη
- θετικός
- Θέση
- δύναμη
- πρακτικές
- προηγείται
- προβλέψει
- πρόβλεψη
- Προβλέψεις
- προετοιμασία
- προηγούμενος
- προηγουμένως
- Πρόβλημα
- διαδικασια μας
- Επεξεργασμένο
- Διεργασίες
- μεταποίηση
- παραγωγή
- παραγωγικός
- επαγγελματίας
- Προφίλ ⬇️
- προφίλ
- Πρόοδος
- σχέδιο
- υποσχόμενος
- αποδείχθηκε
- παρέχουν
- παρέχεται
- χορήγηση
- ποιότητα
- γρήγορα
- σειρές
- Κατάταξη
- ταχέως
- Τιμή
- μάλλον
- Ακατέργαστος
- φθάσουν
- έτοιμος
- λαμβάνω
- αναγνωρίζοντας
- Σύσταση
- καταγράφονται
- μείωση
- Μειωμένος
- μείωση
- μείωση
- σχετικά με
- περιοχή
- κάντε ΕΓΓΡΑΦΗ
- καταχωρηθεί
- μητρώου
- τακτικά
- Απορρίφθηκε..
- αξιοπιστία
- αναφέρουν
- Εκθέσεις
- Αποθήκη
- εκπροσωπούν
- απαιτούν
- απαιτείται
- Απαιτεί
- επίλυση
- πόρος
- Υποστηρικτικό υλικό
- αντίστοιχα
- υπεύθυνος
- αποτέλεσμα
- με αποτέλεσμα
- Αποτελέσματα
- Αύξηση
- εύρωστος
- Ρόλος
- τρέξιμο
- τρέξιμο
- τρέχει
- σοφός
- Αγωγοί SageMaker
- Απεριόριστες δυνατότητες
- επεκτάσιμη
- Κλίμακα
- Επιστήμη
- Επιστήμονας
- επιστήμονες
- γραφή
- αδιάλειπτη
- Αναζήτηση
- Δεύτερος
- δευτερόλεπτα
- δείτε
- αναζήτηση
- επιλέξτε
- επιλογή
- επιλογή
- αρχαιότερος
- εξυπηρετούν
- εξυπηρετεί
- Υπηρεσίες
- συνεδρίες
- σειρά
- Σέτς
- ρυθμίσεις
- διάφοροι
- Κοινοποίηση
- μοιράζονται
- αυτή
- αλλαγή
- θα πρέπει να
- δείχνουν
- Δείχνει
- σημαντικά
- Απλούς
- ενιαίας
- ελαφρώς διαφορετική
- εξυπνότερα
- εξομαλύνουν
- So
- λύση
- Λύσεις
- κάτι
- Χώρος
- Σπινθήρας
- ειδικεύεται
- συγκεκριμένες
- ταχύτητα
- πέρασε
- Βήμα
- Βήματα
- στάθμευση
- χώρος στο δίσκο
- αποθηκεύονται
- στρατηγικές
- εξορθολογισμένη
- δυνατά
- δομημένος
- στούντιο
- υποβέλτιστη
- επιτυχία
- επιτυχής
- Επιτυχώς
- τέτοιος
- υποστηριζόνται!
- Στήριξη
- Υποστηρίζει
- συγχρονισμός
- σύστημα
- επειξειργασμένος από ραπτήν
- λήψη
- συνομιλίες
- εργασίες
- ομάδες
- Τεχνολογία
- tensorflow
- δοκιμή
- δοκιμαστεί
- Δοκιμές
- από
- ότι
- Η
- ο κόσμος
- τους
- Τους
- τότε
- Εκεί.
- εκ τούτου
- επομένως
- Αυτοί
- αυτοί
- αυτό
- εκείνοι
- ευδοκιμεί
- Μέσω
- ώρα
- χρονοδιαγράμματα
- φορές
- προς την
- εργαλεία
- αφή
- προς
- τροχιά
- Παρακολούθηση
- Τρένο
- Εκπαίδευση
- προπονήσεις
- μεταφορά
- μετασχηματισμούς
- μετάβαση
- ταξίδι
- τουριστική βιομηχανία
- ταξιδιώτες
- θεραπεία
- αληθής
- προσπαθώ
- βραχυχρόνιων διακυμάνσεων της ρευστότητας
- ΣΤΡΟΦΗ
- δύο
- τύπος
- τελικά
- καταλαβαίνω
- μοναδικός
- Χρήση
- χρήση
- περίπτωση χρήσης
- μεταχειρισμένος
- φιλική προς το χρήστη
- Χρήστες
- χρησιμοποιεί
- χρησιμοποιώντας
- χρησιμοποιούνται
- Πολύτιμος
- αξία
- Αξίες
- διάφορα
- Σταθερή
- Ταχύτητα
- εκδοχή
- εκδόσεις
- πολύ
- οραματισμός
- περιμένετε
- ήθελε
- ήταν
- Τρόπος..
- τρόπους
- we
- ιστός
- διαδικτυακές υπηρεσίες
- ήταν
- πότε
- Ποιό
- ενώ
- Ο ΟΠΟΊΟΣ
- θα
- με
- εντός
- χωρίς
- Εργασία
- ροής εργασίας
- λειτουργεί
- κόσμος
- παγκόσμιος
- θα
- Εσείς
- Σας
- zephyrnet