Amazon SageMaker Ground Truth Plus σας βοηθά να προετοιμάσετε υψηλής ποιότητας σύνολα δεδομένων εκπαίδευσης αφαιρώντας την αδιαφοροποίητη βαριά ανύψωση που σχετίζεται με την κατασκευή εφαρμογών σήμανσης δεδομένων και τη διαχείριση του εργατικού δυναμικού για την επισήμανση. Το μόνο που κάνετε είναι να μοιράζεστε δεδομένα μαζί με τις απαιτήσεις επισήμανσης και το Ground Truth Plus ρυθμίζει και διαχειρίζεται τη ροή εργασιών επισήμανσης δεδομένων με βάση αυτές τις απαιτήσεις. Από εκεί, ένα εξειδικευμένο εργατικό δυναμικό που είναι εκπαιδευμένο σε μια ποικιλία εργασιών μηχανικής εκμάθησης (ML) επισημαίνει τα δεδομένα σας. Δεν χρειάζεστε καν βαθιά τεχνογνωσία ML ή γνώση σχεδιασμού ροής εργασιών και διαχείρισης ποιότητας για να χρησιμοποιήσετε το Ground Truth Plus. Τώρα, το Ground Truth Plus εξυπηρετεί πελάτες που χρειάζονται επισήμανση δεδομένων και ανθρώπινη ανατροφοδότηση για τη βελτιστοποίηση των μοντέλων θεμελίων για παραγωγικές εφαρμογές τεχνητής νοημοσύνης.
Σε αυτήν την ανάρτηση, θα μάθετε για τις πρόσφατες εξελίξεις στην ανθρώπινη ανατροφοδότηση για γενετική τεχνητή νοημοσύνη που διατίθεται μέσω του SageMaker Ground Truth Plus. Αυτό περιλαμβάνει νέες ροές εργασίας και διεπαφές χρήστη (UIs) που διατίθενται για την προετοιμασία συνόλων δεδομένων επίδειξης που χρησιμοποιούνται σε εποπτευόμενη λεπτομέρεια, τη συλλογή υψηλής ποιότητας ανθρώπινης ανατροφοδότησης για τη δημιουργία συνόλων δεδομένων προτιμήσεων για την ευθυγράμμιση των μοντέλων δημιουργίας τεχνητής νοημοσύνης με τις ανθρώπινες προτιμήσεις, καθώς και την προσαρμογή μοντέλων σε κατασκευαστές εφαρμογών Απαιτήσεις για στυλ, ουσία και φωνή.
Προκλήσεις για να ξεκινήσετε με τη γενετική τεχνητή νοημοσύνη
Οι παραγωγικές εφαρμογές τεχνητής νοημοσύνης σε όλο τον κόσμο ενσωματώνουν μοντέλα θεμελίωσης μονής λειτουργίας και πολλαπλών τρόπων για επίλυση για πολλές διαφορετικές περιπτώσεις χρήσης. Κοινά μεταξύ αυτών είναι τα chatbot, οι γεννήτριες εικόνων και οι γεννήτριες βίντεο. Τα μεγάλα γλωσσικά μοντέλα (LLM) χρησιμοποιούνται σε chatbots για δημιουργικές αναζητήσεις, ακαδημαϊκούς και προσωπικούς βοηθούς, εργαλεία επιχειρηματικής ευφυΐας και εργαλεία παραγωγικότητας. Μπορείτε να χρησιμοποιήσετε μοντέλα κειμένου σε εικόνα για να δημιουργήσετε αφηρημένα ή ρεαλιστικά στοιχεία τέχνης τεχνητής νοημοσύνης και μάρκετινγκ. Τα μοντέλα κειμένου σε βίντεο χρησιμοποιούνται για τη δημιουργία βίντεο για έργα τέχνης, άκρως ελκυστικές διαφημίσεις, ανάπτυξη βιντεοπαιχνιδιών, ακόμη και ανάπτυξη ταινιών.
Δύο από τα πιο σημαντικά προβλήματα που πρέπει να λυθούν τόσο για τους παραγωγούς μοντέλων που δημιουργούν μοντέλα θεμελίωσης όσο και για τους κατασκευαστές εφαρμογών που χρησιμοποιούν τα υπάρχοντα μοντέλα δημιουργίας θεμελίων για να δημιουργήσουν τα δικά τους εργαλεία και εφαρμογές είναι:
- Βελτιώστε αυτά τα μοντέλα θεμελίωσης ώστε να είναι σε θέση να εκτελούν συγκεκριμένες εργασίες
- Ευθυγραμμίζοντάς τα με τις ανθρώπινες προτιμήσεις για να διασφαλιστεί ότι παράγουν χρήσιμες, ακριβείς και αβλαβείς πληροφορίες
Τα μοντέλα θεμελίωσης είναι συνήθως προεκπαιδευμένα σε μεγάλα σώματα δεδομένων χωρίς ετικέτα και επομένως δεν έχουν καλή απόδοση ακολουθώντας τις οδηγίες φυσικής γλώσσας. Για ένα LLM, αυτό σημαίνει ότι μπορεί να είναι σε θέση να αναλύσουν και να δημιουργήσουν γλώσσα γενικά, αλλά μπορεί να μην είναι σε θέση να απαντήσουν σε ερωτήσεις με συνοχή ή να συνοψίσουν κείμενο σύμφωνα με την απαιτούμενη ποιότητα ενός χρήστη. Για παράδειγμα, όταν ένας χρήστης ζητά μια σύνοψη ενός κειμένου σε μια προτροπή, ένα μοντέλο που δεν έχει ρυθμιστεί με ακρίβεια πώς να συνοψίζει το κείμενο μπορεί απλώς να απαγγείλει το κείμενο του μηνύματος στον χρήστη ή να απαντήσει με κάτι άσχετο. Εάν ένας χρήστης κάνει μια ερώτηση για ένα θέμα, η απάντηση από ένα μοντέλο θα μπορούσε να είναι απλώς μια απαγγελία της ερώτησης. Για μοντέλα πολλαπλών τρόπων, όπως μοντέλα κειμένου σε εικόνα ή από κείμενο σε βίντεο, τα μοντέλα ενδέχεται να εξάγουν περιεχόμενο που δεν σχετίζεται με την προτροπή. Για παράδειγμα, εάν ένας εταιρικός γραφίστας ζητήσει από ένα μοντέλο κειμένου σε εικόνα να δημιουργήσει ένα νέο λογότυπο ή μια εικόνα για μια διαφήμιση, το μοντέλο ενδέχεται να μην δημιουργήσει ένα σχετικό γραφικό που σχετίζεται με την προτροπή εάν έχει μόνο μια γενική ιδέα μιας εικόνας και στοιχεία μιας εικόνας. Σε ορισμένες περιπτώσεις, ένα μοντέλο μπορεί να παράγει μια επιβλαβή εικόνα ή βίντεο, θέτοντας σε κίνδυνο την εμπιστοσύνη του χρήστη ή τη φήμη της εταιρείας.
Ακόμα κι αν τα μοντέλα έχουν ρυθμιστεί με ακρίβεια για να εκτελούν συγκεκριμένες εργασίες, ενδέχεται να μην ευθυγραμμίζονται με τις ανθρώπινες προτιμήσεις όσον αφορά τη σημασία, το στυλ ή την ουσία του περιεχομένου εξόδου τους. Σε ένα LLM, αυτό θα μπορούσε να εκδηλωθεί ως ανακριβές ή ακόμη και επιβλαβές περιεχόμενο που δημιουργείται από το μοντέλο. Για παράδειγμα, ένα μοντέλο που δεν είναι ευθυγραμμισμένο με τις ανθρώπινες προτιμήσεις μέσω της μικρορύθμισης μπορεί να παράγει επικίνδυνες, ανήθικες ή ακόμα και παράνομες οδηγίες όταν ζητηθεί από έναν χρήστη. Δεν θα έχει ληφθεί μέριμνα για τον περιορισμό του περιεχομένου που δημιουργείται από το μοντέλο για να διασφαλιστεί ότι ευθυγραμμίζεται με τις ανθρώπινες προτιμήσεις ώστε να είναι ακριβές, σχετικό και χρήσιμο. Αυτή η κακή ευθυγράμμιση μπορεί να αποτελέσει πρόβλημα για εταιρείες που βασίζονται σε παραγωγικά μοντέλα τεχνητής νοημοσύνης για τις εφαρμογές τους, όπως chatbot και δημιουργία πολυμέσων. Για πολυτροπικά μοντέλα, αυτό μπορεί να έχει τη μορφή τοξικών, επικίνδυνων ή καταχρηστικών εικόνων ή βίντεο που δημιουργούνται. Αυτός είναι ένας κίνδυνος όταν εισάγονται προτροπές στο μοντέλο χωρίς την πρόθεση δημιουργίας ευαίσθητου περιεχομένου, καθώς και εάν ο παραγωγός του μοντέλου ή ο κατασκευαστής εφαρμογών δεν είχε σκοπό να επιτρέψει στο μοντέλο να δημιουργήσει τέτοιου είδους περιεχόμενο, αλλά δημιουργήθηκε ούτως ή άλλως.
Για να λύσουν τα ζητήματα της ικανότητας συγκεκριμένης εργασίας και την ευθυγράμμιση των μοντέλων δημιουργίας θεμελίων με τις ανθρώπινες προτιμήσεις, οι παραγωγοί μοντέλων και οι κατασκευαστές εφαρμογών πρέπει να συντονίσουν τα μοντέλα με δεδομένα χρησιμοποιώντας επιδείξεις κατευθυνόμενες από τον άνθρωπο και ανθρώπινη ανάδραση των εξόδων μοντέλων.
Τύποι δεδομένων και εκπαίδευσης
Υπάρχουν διάφοροι τύποι μεθόδων μικρορύθμισης με διαφορετικούς τύπους επισημασμένων δεδομένων που κατηγοριοποιούνται ως συντονισμός εντολών - ή διδασκαλία σε ένα μοντέλο πώς να ακολουθεί οδηγίες. Μεταξύ αυτών είναι η εποπτευόμενη λεπτομέρεια (SFT) με χρήση δεδομένων επίδειξης και η ενισχυτική μάθηση από την ανθρώπινη ανάδραση (RLHF) με τη χρήση δεδομένων προτιμήσεων.
Δεδομένα επίδειξης για εποπτευόμενη μικρορύθμιση
Για να τελειοποιήσετε τα μοντέλα θεμελίωσης για την εκτέλεση συγκεκριμένων εργασιών, όπως η απάντηση σε ερωτήσεις ή η σύνοψη κειμένου με υψηλή ποιότητα, τα μοντέλα υποβάλλονται σε SFT με δεδομένα επίδειξης. Ο σκοπός των δεδομένων επίδειξης είναι να καθοδηγήσουν το μοντέλο παρέχοντάς του επισημασμένα παραδείγματα (επιδείξεις) ολοκληρωμένων εργασιών που εκτελούνται από ανθρώπους. Για παράδειγμα, για να διδάξει σε ένα LLM πώς να απαντά σε ερωτήσεις, ένας άνθρωπος σχολιαστής θα δημιουργήσει ένα επισημασμένο σύνολο δεδομένων από ζεύγη ερωτήσεων και απαντήσεων που δημιουργούνται από τον άνθρωπο για να δείξει πώς λειτουργεί γλωσσικά μια αλληλεπίδραση ερώτησης και απάντησης και τι σημαίνει σημασιολογικά το περιεχόμενο. Αυτό το είδος SFT εκπαιδεύει το μοντέλο να αναγνωρίζει πρότυπα συμπεριφοράς που επιδεικνύονται από τους ανθρώπους στα δεδομένα εκπαίδευσης επίδειξης. Οι παραγωγοί μοντέλων πρέπει να κάνουν αυτό το είδος λεπτομέρειας για να δείξουν ότι τα μοντέλα τους είναι ικανά να εκτελέσουν τέτοιες εργασίες για μεταγενέστερους χρήστες. Οι κατασκευαστές εφαρμογών που χρησιμοποιούν υπάρχοντα βασικά μοντέλα για τις παραγωγικές εφαρμογές τεχνητής νοημοσύνης τους μπορεί να χρειαστεί να προσαρμόσουν τα μοντέλα τους με δεδομένα επίδειξης για αυτές τις εργασίες με δεδομένα για τη βιομηχανία ή την εταιρεία για να βελτιώσουν τη συνάφεια και την ακρίβεια των εφαρμογών τους.
Δεδομένα προτίμησης για συντονισμό εντολών όπως το RLHF
Για την περαιτέρω ευθυγράμμιση των μοντέλων θεμελίωσης με τις ανθρώπινες προτιμήσεις, οι παραγωγοί μοντέλων —και ιδιαίτερα οι κατασκευαστές εφαρμογών— πρέπει να δημιουργήσουν σύνολα δεδομένων προτιμήσεων για να εκτελέσουν συντονισμό εντολών. Τα δεδομένα προτίμησης στο πλαίσιο του συντονισμού εντολών ονομάζονται δεδομένα που συλλαμβάνουν την ανθρώπινη ανατροφοδότηση σε σχέση με ένα σύνολο επιλογών που εξάγονται από ένα μοντέλο δημιουργίας θεμελίωσης. Συνήθως περιλαμβάνει αξιολόγηση ή κατάταξη πολλών συμπερασμάτων ή σύγκριση δύο συμπερασμάτων από ένα μοντέλο θεμελίωσης σύμφωνα με κάποιο συγκεκριμένο χαρακτηριστικό. Για τα LLM, αυτά τα χαρακτηριστικά μπορεί να είναι η εξυπηρετικότητα, η ακρίβεια και η αβλαβή. Για μοντέλα κειμένου σε εικόνα, μπορεί να είναι μια αισθητική ποιότητα ή στοίχιση κειμένου-εικόνας. Αυτά τα δεδομένα προτιμήσεων που βασίζονται στην ανθρώπινη ανατροφοδότηση μπορούν στη συνέχεια να χρησιμοποιηθούν σε διάφορες μεθόδους συντονισμού εντολών—συμπεριλαμβανομένου του RLHF— προκειμένου να τελειοποιηθεί περαιτέρω ένα μοντέλο ώστε να ευθυγραμμιστεί με τις ανθρώπινες προτιμήσεις.
Ο συντονισμός εντολών χρησιμοποιώντας δεδομένα προτιμήσεων διαδραματίζει κρίσιμο ρόλο στην ενίσχυση της εξατομίκευσης και της αποτελεσματικότητας των μοντέλων θεμελίωσης. Αυτό είναι ένα βασικό βήμα για τη δημιουργία προσαρμοσμένων εφαρμογών πάνω από προεκπαιδευμένα μοντέλα θεμελίωσης και είναι μια ισχυρή μέθοδος για να διασφαλιστεί ότι τα μοντέλα δημιουργούν χρήσιμο, ακριβές και αβλαβές περιεχόμενο. Ένα συνηθισμένο παράδειγμα συντονισμού εντολών είναι να δίνετε εντολή σε ένα chatbot να δημιουργήσει τρεις απαντήσεις σε ένα ερώτημα και να βάλετε έναν άνθρωπο να διαβάσει και να κατατάξει και τα τρία σύμφωνα με κάποια καθορισμένη διάσταση, όπως η τοξικότητα, η πραγματική ακρίβεια ή η αναγνωσιμότητα. Για παράδειγμα, μια εταιρεία μπορεί να χρησιμοποιήσει ένα chatbot για το τμήμα μάρκετινγκ της και θέλει να βεβαιωθεί ότι το περιεχόμενο είναι ευθυγραμμισμένο με το μήνυμα της επωνυμίας της, δεν παρουσιάζει προκαταλήψεις και είναι ευανάγνωστο. Η εταιρεία θα ζητούσε από το chatbot κατά τη διάρκεια του συντονισμού εντολών να παράγει τρία παραδείγματα και οι εσωτερικοί εμπειρογνώμονές τους θα επιλέξουν αυτά που ευθυγραμμίζονται περισσότερο με τον στόχο τους. Με την πάροδο του χρόνου, δημιουργούν ένα σύνολο δεδομένων που χρησιμοποιείται για να διδάξει στο μοντέλο ποιο στυλ περιεχομένου προτιμούν οι άνθρωποι μέσω της ενισχυτικής μάθησης. Αυτό επιτρέπει στην εφαρμογή chatbot να παράγει πιο σχετικό, ευανάγνωστο και ασφαλές περιεχόμενο.
SageMaker Ground Truth Plus
Το Ground Truth Plus σάς βοηθά να αντιμετωπίσετε και τις δύο προκλήσεις—δημιουργώντας σύνολα δεδομένων επίδειξης με δυνατότητες συγκεκριμένης εργασίας, καθώς και συλλογή συνόλων δεδομένων προτιμήσεων από ανθρώπινη ανατροφοδότηση για την ευθυγράμμιση μοντέλων με τις ανθρώπινες προτιμήσεις. Μπορείτε να ζητήσετε έργα για LLM και πολυτροπικά μοντέλα, όπως κείμενο σε εικόνα και κείμενο σε βίντεο. Για τα LLM, τα βασικά σύνολα δεδομένων επίδειξης περιλαμβάνουν τη δημιουργία ερωτήσεων και απαντήσεων (Q&A), τη σύνοψη κειμένου, τη δημιουργία κειμένου και την επανεπεξεργασία κειμένου για σκοπούς ελέγχου περιεχομένου, αλλαγής στυλ ή αλλαγής μήκους. Τα βασικά σύνολα δεδομένων προτιμήσεων LLM περιλαμβάνουν κατάταξη και ταξινόμηση εξόδων κειμένου. Για πολυτροπικά μοντέλα, οι βασικοί τύποι εργασιών περιλαμβάνουν τη δημιουργία λεζάντας εικόνων ή βίντεο, καθώς και την καταγραφή χρονικών σημάνσεων συμβάντων σε βίντεο. Ως εκ τούτου, το Ground Truth Plus μπορεί να βοηθήσει τόσο τους παραγωγούς μοντέλων όσο και τους κατασκευαστές εφαρμογών στο αναπτυξιακό τους ταξίδι τεχνητής νοημοσύνης.
Σε αυτήν την ανάρτηση, βουτάμε βαθύτερα στον ανθρώπινο σχολιαστή και το ταξίδι ανατροφοδότησης σε τέσσερις περιπτώσεις που καλύπτουν δεδομένα επίδειξης και δεδομένα προτιμήσεων τόσο για LLM όσο και για μοντέλα πολλαπλών τρόπων: δημιουργία ζεύγους ερωτήσεων και απαντήσεων και κατάταξη κειμένου για LLM, καθώς και λεζάντες εικόνων και λεζάντες βίντεο για πολυτροπικά μοντέλα.
Μεγάλα γλωσσικά μοντέλα
Σε αυτήν την ενότητα, συζητάμε τα ζεύγη ερωτήσεων και απαντήσεων και την κατάταξη κειμένου για LLM, μαζί με προσαρμογές που μπορεί να θέλετε για την περίπτωση χρήσης σας.
Ζεύγη ερωτήσεων και απαντήσεων
Το ακόλουθο στιγμιότυπο οθόνης δείχνει μια διεπαφή χρήστη ετικετών στην οποία ένας ανθρώπινος σχολιαστής θα διαβάσει ένα απόσπασμα κειμένου και θα δημιουργήσει ερωτήσεις και απαντήσεις στη διαδικασία δημιουργίας ενός συνόλου επίδειξης Q&A.
Ας κάνουμε μια περιήγηση στη διεπαφή χρήστη στη θέση του σχολιαστή. Στην αριστερή πλευρά της διεπαφής χρήστη, οι συγκεκριμένες οδηγίες του αιτούντος εργασία παρουσιάζονται στον σχολιαστή. Σε αυτήν την περίπτωση, ο σχολιαστής υποτίθεται ότι διαβάζει το απόσπασμα κειμένου που παρουσιάζεται στο κέντρο της διεπαφής χρήστη και δημιουργεί ερωτήσεις και απαντήσεις με βάση το κείμενο. Στη δεξιά πλευρά εμφανίζονται οι ερωτήσεις και οι απαντήσεις που έχει γράψει ο σχολιαστής. Το απόσπασμα κειμένου καθώς και ο τύπος, το μήκος και ο αριθμός των ερωτήσεων και απαντήσεων μπορούν όλα να προσαρμοστούν από τον αιτούντα εργασία κατά τη διάρκεια της ρύθμισης του έργου με την ομάδα Ground Truth Plus. Σε αυτήν την περίπτωση, ο σχολιαστής έχει δημιουργήσει μια ερώτηση που απαιτεί κατανόηση ολόκληρου του κειμένου για να απαντήσει και επισημαίνεται με ένα Παραπομπές σε ολόκληρο το απόσπασμα πλαίσιο ελέγχου. Οι άλλες δύο ερωτήσεις και απαντήσεις βασίζονται σε συγκεκριμένα μέρη του αποσπάσματος κειμένου, όπως φαίνεται από τις επισημάνσεις του σχολιαστή με χρωματική αντιστοίχιση. Προαιρετικά, μπορεί να θέλετε να ζητήσετε να δημιουργούνται ερωτήσεις και απαντήσεις χωρίς παρεχόμενο απόσπασμα κειμένου και να παρέχετε άλλες οδηγίες για ανθρώπινους σχολιαστές—αυτό υποστηρίζεται επίσης από το Ground Truth Plus.
Αφού υποβληθούν οι ερωτήσεις και οι απαντήσεις, μπορούν να εισέλθουν σε μια προαιρετική ροή εργασιών βρόχου ποιοτικού ελέγχου, όπου άλλοι ανθρώπινοι αναθεωρητές θα επιβεβαιώσουν ότι έχουν δημιουργηθεί διανομή που καθορίζεται από τον πελάτη και τύποι ερωτήσεων και απαντήσεων. Εάν υπάρχει αναντιστοιχία μεταξύ των απαιτήσεων του πελάτη και αυτού που έχει δημιουργήσει ο ανθρώπινος σχολιαστής, το έργο θα διοχετευτεί πίσω σε έναν άνθρωπο για εκ νέου επεξεργασία πριν εξαχθεί ως μέρος του συνόλου δεδομένων για παράδοση στον πελάτη. Όταν το σύνολο δεδομένων παραδοθεί πίσω σε εσάς, είναι έτοιμο να ενσωματωθεί στην εποπτευόμενη ροή εργασιών λεπτομέρειας κατά την κρίση σας.
Κατάταξη κειμένου
Το ακόλουθο στιγμιότυπο οθόνης δείχνει μια διεπαφή χρήστη για την κατάταξη των εξόδων από ένα LLM βάσει μιας προτροπής.
Μπορείτε απλώς να γράψετε τις οδηγίες για τον ανθρώπινο αναθεωρητή και να φέρετε προτροπές και προπαρασκευασμένες απαντήσεις στην ομάδα του έργου Ground Truth Plus για να ξεκινήσετε την εργασία. Σε αυτήν την περίπτωση, ζητήσαμε από έναν ανθρώπινο κριτικό να κατατάξει τρεις απαντήσεις ανά ερώτηση από ένα LLM σχετικά με τη διάσταση της σαφήνειας γραφής (αναγνωσιμότητα). Και πάλι, το αριστερό παράθυρο εμφανίζει τις οδηγίες που δίνονται στον αναθεωρητή από τον αιτούντα εργασία. Στο κέντρο, η προτροπή βρίσκεται στο επάνω μέρος της σελίδας και οι τρεις προ-δημιουργημένες απαντήσεις είναι το κύριο σώμα για ευκολία στη χρήση. Στη δεξιά πλευρά της διεπαφής χρήστη, ο ανθρώπινος αναθεωρητής θα τα ταξινομήσει με σειρά από τα περισσότερα έως τα λιγότερο καθαρά.
Οι πελάτες που θέλουν να δημιουργήσουν αυτό το είδος συνόλου δεδομένων προτιμήσεων περιλαμβάνουν κατασκευαστές εφαρμογών που ενδιαφέρονται να δημιουργήσουν chatbot που μοιάζουν με ανθρώπους και επομένως θέλουν να προσαρμόσουν τις οδηγίες για δική τους χρήση. Το μήκος της προτροπής, ο αριθμός των απαντήσεων και η διάσταση κατάταξης μπορούν όλα να προσαρμοστούν. Για παράδειγμα, μπορεί να θέλετε να ταξινομήσετε πέντε απαντήσεις με σειρά από τις περισσότερες έως τις λιγότερο ακριβείς, μεροληπτικές ή τοξικές, ή ακόμα και να ταξινομήσετε και να ταξινομήσετε πολλαπλές διαστάσεις ταυτόχρονα. Αυτές οι προσαρμογές υποστηρίζονται στο Ground Truth Plus.
Πολυτροπικά μοντέλα
Σε αυτήν την ενότητα, συζητάμε τις λεζάντες εικόνων και βίντεο για την εκπαίδευση μοντέλων πολλαπλών τρόπων, όπως μοντέλα κειμένου σε εικόνα και κειμένου σε βίντεο, καθώς και προσαρμογές που μπορεί να θέλετε να κάνετε για τη συγκεκριμένη περίπτωση χρήσης σας.
Λεζάντα εικόνας
Το ακόλουθο στιγμιότυπο οθόνης δείχνει μια διεπαφή ετικετών για τη δημιουργία υπότιτλων εικόνων. Μπορείτε να ζητήσετε ένα έργο με λεζάντες εικόνας για τη συλλογή δεδομένων για την εκπαίδευση ενός μοντέλου κειμένου σε εικόνα ή μοντέλου εικόνας σε κείμενο.
Σε αυτήν την περίπτωση, ζητήσαμε να εκπαιδεύσουμε ένα μοντέλο κειμένου σε εικόνα και έχουμε θέσει συγκεκριμένες απαιτήσεις στη λεζάντα όσον αφορά το μήκος και τη λεπτομέρεια. Η διεπαφή χρήστη έχει σχεδιαστεί για να καθοδηγεί τους ανθρώπινους σχολιαστές στη γνωστική διαδικασία δημιουργίας πλούσιων υπότιτλων παρέχοντας ένα νοητικό πλαίσιο μέσω βοηθητικών και περιγραφικών εργαλείων. Διαπιστώσαμε ότι η παροχή αυτού του νοητικού πλαισίου για τους σχολιαστές έχει ως αποτέλεσμα πιο περιγραφικούς και ακριβείς λεζάντες από την απλή παροχή ενός επεξεργάσιμου πλαισίου κειμένου μόνο.
Το πρώτο βήμα στο πλαίσιο είναι για τον ανθρώπινο σχολιαστή να αναγνωρίσει βασικά αντικείμενα στην εικόνα. Όταν ο σχολιαστής επιλέγει ένα αντικείμενο στην εικόνα, εμφανίζεται μια χρωματικά κωδικοποιημένη κουκκίδα στο αντικείμενο. Σε αυτήν την περίπτωση, ο σχολιαστής έχει επιλέξει και τον σκύλο και τη γάτα, δημιουργώντας δύο επεξεργάσιμα πεδία στη δεξιά πλευρά της διεπαφής χρήστη, όπου ο σχολιαστής θα εισαγάγει τα ονόματα των αντικειμένων—γάτα και σκύλο— μαζί με μια λεπτομερή περιγραφή κάθε αντικειμένου. Στη συνέχεια, ο σχολιαστής καθοδηγείται να αναγνωρίσει όλες τις σχέσεις μεταξύ όλων των αντικειμένων της εικόνας. Σε αυτή την περίπτωση, η γάτα χαλαρώνει δίπλα στο σκύλο. Στη συνέχεια, ζητείται από τον σχολιαστή να προσδιορίσει συγκεκριμένα χαρακτηριστικά σχετικά με την εικόνα, όπως τη ρύθμιση, το φόντο ή το περιβάλλον. Τέλος, στο πλαίσιο κειμένου εισαγωγής λεζάντας, ο σχολιαστής λαμβάνει οδηγίες να συνδυάσει όλα όσα έγραψε στα πεδία αντικειμένων, σχέσεων και ρυθμίσεων εικόνας σε μια πλήρη περιγραφική λεζάντα της εικόνας.
Προαιρετικά, μπορείτε να ρυθμίσετε τις παραμέτρους αυτής της λεζάντας εικόνας ώστε να περνά μέσα από έναν βρόχο ελέγχου ποιότητας που βασίζεται στον άνθρωπο με συγκεκριμένες οδηγίες για να διασφαλίσετε ότι η λεζάντα πληροί τις απαιτήσεις. Εάν εντοπιστεί κάποιο πρόβλημα, όπως ένα αντικείμενο κλειδιού που λείπει, αυτή η λεζάντα μπορεί να σταλεί πίσω για να διορθώσει το πρόβλημα ένας άνθρωπος πριν την εξαγωγή ως μέρος του συνόλου δεδομένων εκπαίδευσης.
Λεζάντα βίντεο
Το ακόλουθο στιγμιότυπο οθόνης δείχνει μια διεπαφή υποτίτλων βίντεο για τη δημιουργία εμπλουτισμένων λεζάντων βίντεο με ετικέτες χρονικής σήμανσης. Μπορείτε να ζητήσετε ένα έργο υπότιτλων βίντεο για τη συλλογή δεδομένων για τη δημιουργία μοντέλων κειμένου σε βίντεο ή βίντεο σε κείμενο.
Σε αυτήν τη διεπαφή χρήστη ετικετών, έχουμε δημιουργήσει ένα παρόμοιο νοητικό πλαίσιο για να διασφαλίσουμε ότι γράφονται υπότιτλοι υψηλής ποιότητας. Ο ανθρώπινος σχολιαστής μπορεί να ελέγξει το βίντεο στην αριστερή πλευρά και να δημιουργήσει περιγραφές και χρονικές σημάνσεις για κάθε δραστηριότητα που εμφανίζεται στο βίντεο στη δεξιά πλευρά με τα στοιχεία διεπαφής χρήστη. Παρόμοια με τη διεπαφή χρήστη υπότιτλων εικόνων, υπάρχει επίσης ένα μέρος όπου ο σχολιαστής μπορεί να γράψει μια λεπτομερή περιγραφή της ρύθμισης βίντεο, του φόντου και του περιβάλλοντος. Τέλος, ο σχολιαστής λαμβάνει οδηγίες να συνδυάσει όλα τα στοιχεία σε μια συνεκτική λεζάντα βίντεο.
Παρόμοια με την περίπτωση υπότιτλων εικόνας, οι υπότιτλοι του βίντεο ενδέχεται προαιρετικά να ρέουν μέσω μιας ροής εργασιών ελέγχου ποιότητας που βασίζεται στον άνθρωπο για να προσδιορίσετε εάν πληρούνται οι απαιτήσεις σας. Εάν υπάρχει πρόβλημα με τους υπότιτλους του βίντεο, θα σταλεί για εκ νέου επεξεργασία από το εργατικό δυναμικό του ανθρώπινου σχολιαστή.
Συμπέρασμα
Το Ground Truth Plus μπορεί να σας βοηθήσει να προετοιμάσετε σύνολα δεδομένων υψηλής ποιότητας για να βελτιώσετε τα βασικά μοντέλα για παραγωγικές εργασίες τεχνητής νοημοσύνης, από την απάντηση σε ερωτήσεις έως τη δημιουργία εικόνων και βίντεο. Επιτρέπει επίσης στο εξειδικευμένο ανθρώπινο δυναμικό να επανεξετάσει τα αποτελέσματα των μοντέλων για να διασφαλίσει ότι ευθυγραμμίζονται με τις ανθρώπινες προτιμήσεις. Επιπλέον, επιτρέπει στους κατασκευαστές εφαρμογών να προσαρμόζουν τα μοντέλα χρησιμοποιώντας τα δεδομένα του κλάδου ή της εταιρείας τους για να διασφαλίσουν ότι η εφαρμογή τους αντιπροσωπεύει τη φωνή και το στυλ που προτιμούν. Αυτές είναι οι πρώτες από τις πολλές καινοτομίες στο Ground Truth Plus, και περισσότερες είναι υπό ανάπτυξη. Μείνετε συντονισμένοι για μελλοντικές αναρτήσεις.
Ενδιαφέρεστε να ξεκινήσετε ένα έργο για τη δημιουργία ή τη βελτίωση των μοντέλων και των εφαρμογών σας με τεχνητή νοημοσύνη; Ξεκινήστε με το Ground Truth Plus από σύνδεση με την ομάδα μας σήμερα.
Σχετικά με τους συγγραφείς
Τζέσι Μάντερς είναι Ανώτερος Διευθυντής Προϊόντων στην ομάδα AWS AI/ML στην ομάδα υπηρεσιών βρόχου. Εργάζεται στη διασταύρωση της τεχνητής νοημοσύνης και της ανθρώπινης αλληλεπίδρασης με στόχο τη δημιουργία και τη βελτίωση προϊόντων και υπηρεσιών AI/ML για την κάλυψη των αναγκών μας. Προηγουμένως, ο Jesse είχε ηγετικούς ρόλους στη μηχανική στην Apple και τη Lumileds και ήταν ανώτερος επιστήμονας σε μια startup της Silicon Valley. Έχει MS και Ph.D. από το Πανεπιστήμιο της Φλόριντα και ένα MBA από το Πανεπιστήμιο της Καλιφόρνια, Μπέρκλεϋ, Haas School of Business.
Ρότι Ντάτα είναι Ανώτερος Διευθυντής Διαχείρισης Προϊόντων στην ομάδα Amazon SageMaker που είναι υπεύθυνος για τις υπηρεσίες Human in the Loop. Βρίσκεται στην AWS για περισσότερα από 4 χρόνια, κατέχοντας αρκετούς ηγετικούς ρόλους διαχείρισης προϊόντων σε SageMaker, S3 και IoT. Πριν από την AWS εργάστηκε σε διάφορους ρόλους διαχείρισης προϊόντων, μηχανικής και επιχειρησιακής ηγεσίας στην IBM, την Texas Instruments και τη Nvidia. Έχει MS και Ph.D. στην Ηλεκτρολογία και Μηχανική Υπολογιστών από το Πανεπιστήμιο του Τέξας στο Ώστιν, και MBA από το Πανεπιστήμιο του Σικάγο Booth School of Business.
Τζόναθαν Μπακ είναι Μηχανικός Λογισμικού στο Amazon Web Services που εργάζεται στη διασταύρωση της μηχανικής μάθησης και των κατανεμημένων συστημάτων. Το έργο του περιλαμβάνει την παραγωγή μοντέλων μηχανικής μάθησης και την ανάπτυξη νέων εφαρμογών λογισμικού που υποστηρίζονται από μηχανική μάθηση για να θέσουν τις πιο πρόσφατες δυνατότητες στα χέρια των πελατών.
Άλεξ Γουίλιαμς είναι εφαρμοσμένος επιστήμονας στην επιστημονική ομάδα του ανθρώπου στον βρόχο στο AWS AI, όπου διεξάγει έρευνα διαδραστικών συστημάτων στη διασταύρωση της αλληλεπίδρασης ανθρώπου-υπολογιστή (HCI) και της μηχανικής μάθησης. Πριν ενταχθεί στην Amazon, ήταν καθηγητής στο Τμήμα Ηλεκτρολόγων Μηχανικών και Επιστήμης Υπολογιστών στο Πανεπιστήμιο του Τενεσί, όπου συνδιεύθυνε το ερευνητικό εργαστήριο People, Agents, Interactions, and Systems (PAIRS). Επίσης, κατείχε ερευνητικές θέσεις στη Microsoft Research, στη Mozilla Research και στο Πανεπιστήμιο της Οξφόρδης. Δημοσιεύει τακτικά τη δουλειά του σε κορυφαίους χώρους έκδοσης για το HCI, όπως το CHI, το CSCW και το UIST. Είναι κάτοχος διδακτορικού διπλώματος από το Πανεπιστήμιο του Waterloo.
Σάρα Γκάο είναι Διευθυντής Ανάπτυξης Λογισμικού στο Amazon SageMaker Human In the Loop (HIL) υπεύθυνος για την κατασκευή της πλατφόρμας ετικετών που βασίζεται σε ML. Η Sarah εργάζεται στο AWS για περισσότερα από 4 χρόνια, κατέχοντας αρκετούς ηγετικούς ρόλους διαχείρισης λογισμικού στην ασφάλεια EC2 και στο SageMaker. Πριν από την AWS εργάστηκε σε διάφορους ρόλους διαχείρισης μηχανικών στην Oracle και τη Sun Microsystem.
Έρραν Λι είναι ο διευθυντής εφαρμοσμένης επιστήμης στις υπηρεσίες human-in-the-loop, AWS AI, Amazon. Τα ερευνητικά του ενδιαφέροντα είναι η τρισδιάστατη βαθιά μάθηση και η εκμάθηση όρασης και γλωσσικής αναπαράστασης. Προηγουμένως ήταν ανώτερος επιστήμονας στην Alexa AI, επικεφαλής μηχανικής μάθησης στο Scale AI και επικεφαλής επιστήμονας στο Pony.ai. Πριν από αυτό, ήταν με την ομάδα αντίληψης στο Uber ATG και την ομάδα της πλατφόρμας μηχανικής μάθησης στην Uber που εργαζόταν στη μηχανική μάθηση για αυτόνομη οδήγηση, συστήματα μηχανικής μάθησης και στρατηγικές πρωτοβουλίες AI. Ξεκίνησε την καριέρα του στο Bell Labs και ήταν επίκουρος καθηγητής στο Πανεπιστήμιο Columbia. Δίδαξε μαζί σεμινάρια στα ICML'3 και ICCV'17 και συνδιοργάνωσε πολλά εργαστήρια στα NeurIPS, ICML, CVPR, ICCV σχετικά με τη μηχανική μάθηση για αυτόνομη οδήγηση, την τρισδιάστατη όραση και τη ρομποτική, τα συστήματα μηχανικής μάθησης και την αντίπαλη μηχανική μάθηση. Έχει διδακτορικό στην επιστήμη των υπολογιστών στο Πανεπιστήμιο Cornell. Είναι ACM Fellow και IEEE Fellow.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoAiStream. Web3 Data Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- Minting the Future με την Adryenn Ashley. Πρόσβαση εδώ.
- Αγορά και πώληση μετοχών σε εταιρείες PRE-IPO με το PREIPO®. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/high-quality-human-feedback-for-your-generative-ai-applications-from-amazon-sagemaker-ground-truth-plus/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 100
- 3d
- 7
- a
- Ικανός
- Σχετικα
- ΠΕΡΙΛΗΨΗ
- ακαδημαϊκής
- Σύμφωνα με
- ακρίβεια
- ακριβής
- ACM
- δραστηριότητα
- Επιπλέον
- διεύθυνση
- υιοθετών
- εξελίξεις
- αντιφατική
- Διαφήμιση
- πάλι
- παράγοντες
- AI
- αι τέχνη
- AI / ML
- Alexa
- ευθυγράμμιση
- ευθυγραμμισμένος
- ευθυγραμμία
- Όλα
- επιτρέπουν
- επιτρέπει
- alone
- κατά μήκος
- Επίσης
- Amazon
- Amazon Sage Maker
- Amazon SageMaker Ground Αλήθεια
- Amazon υπηρεσίες Web
- μεταξύ των
- an
- και
- απάντηση
- απαντήσεις
- εμφανίζεται
- Apple
- Εφαρμογή
- εφαρμογές
- εφαρμοσμένος
- ΕΙΝΑΙ
- γύρω
- Τέχνη
- AS
- Ενεργητικό
- βοηθούς
- συσχετισμένη
- At
- γνωρίσματα
- austin
- αυτονόμος
- διαθέσιμος
- AWS
- πίσω
- φόντο
- βασίζονται
- BE
- ήταν
- πριν
- είναι
- Κουδούνι
- Berkeley
- μεταξύ
- μεροληπτική
- μεροληψίες
- σώμα
- και οι δύο
- Κουτί
- μάρκα
- φέρω
- χτίζω
- Builder
- κατασκευαστές
- Κτίριο
- χτισμένο
- επιχείρηση
- επιχειρηματικής ευφυΐας
- αλλά
- by
- Καλιφόρνια
- CAN
- δυνατότητες
- ικανός
- λεζάντες
- συλλαμβάνει
- ο οποίος
- Σταδιοδρομία
- περίπτωση
- περιπτώσεις
- CAT
- Κέντρο
- αλλαγή
- chatbot
- chatbots
- έλεγχος
- Σικάγο
- αρχηγός
- επιλέγονται
- σαφήνεια
- Ταξινόμηση
- καθαρός
- σαφώς
- γνωστική
- ΣΥΝΑΦΗΣ
- COLUMBIA
- συνδυασμός
- Κοινός
- Εταιρείες
- εταίρα
- συγκρίνοντας
- πλήρης
- Ολοκληρώθηκε το
- υπολογιστή
- Μηχανικός ηλεκτρονικών υπολογιστών
- Πληροφορική
- έννοια
- συμπεριφέρεται
- εμπιστοσύνη
- Επιβεβαιώνω
- περιεχόμενο
- συμφραζόμενα
- έλεγχος
- cornell
- Εταιρικές εκδηλώσεις
- διορθώσει
- θα μπορούσε να
- κάλυμμα
- δημιουργία
- δημιουργήθηκε
- δημιουργία
- δημιουργία
- Δημιουργικός
- κρίσιμος
- έθιμο
- πελάτης
- Πελάτες
- προσαρμόσετε
- προσαρμοσμένη
- Επικίνδυνες
- ημερομηνία
- σύνολα δεδομένων
- βαθύς
- βαθιά μάθηση
- βαθύτερη
- παραδώσει
- παραδίδεται
- αποδεικνύουν
- κατέδειξε
- Τμήμα
- περιγραφή
- Υπηρεσίες
- σχεδιασμένα
- σχεδιαστής
- λεπτομέρεια
- λεπτομερής
- Προσδιορίστε
- ανάπτυξη
- Ανάπτυξη
- διαφορετικές
- Διάσταση
- Διαστάσεις
- διακριτικότητα
- συζητήσουν
- διανέμονται
- κατανεμημένα συστήματα
- διανομή
- do
- Όχι
- Σκύλος
- γίνεται
- Μην
- DOT
- οδήγηση
- κατά την διάρκεια
- κάθε
- ευκολία
- ευκολία στη χρήση
- αποτελεσματικότητα
- στοιχεία
- δίνει τη δυνατότητα
- ελκυστικός
- μηχανικός
- Μηχανική
- ενίσχυση
- εξασφαλίζω
- εισάγετε
- Ολόκληρος
- Περιβάλλον
- ειδικά
- Even
- εκδηλώσεις
- παράδειγμα
- παραδείγματα
- έκθεμα
- υφιστάμενα
- εμπειρογνώμονας
- εξειδίκευση
- εμπειρογνώμονες
- ανατροφοδότηση
- σύντροφος
- Πεδία
- Ταινία
- Τελικά
- Όνομα
- Φλόριντα
- ροή
- ακολουθήστε
- Εξής
- Για
- μορφή
- Βρέθηκαν
- Θεμέλιο
- τέσσερα
- Πλαίσιο
- από
- περαιτέρω
- μελλοντικός
- παιχνίδι
- ανάπτυξη παιχνιδιών
- GAO
- συγκεντρώνουν
- συγκέντρωση
- General
- παράγουν
- παράγεται
- παραγωγής
- γενεά
- γενετική
- Παραγωγική τεχνητή νοημοσύνη
- Γεννήτριες
- παίρνω
- να πάρει
- δεδομένου
- γκολ
- Γραφιστικές
- Έδαφος
- καθοδηγήσει
- κατευθυντήριων γραμμών
- είχε
- τα χέρια
- επιβλαβής
- Έχω
- HCl
- he
- κεφάλι
- βαριά
- βαριά ανύψωση
- Ήρωας
- βοήθεια
- χρήσιμο
- βοηθά
- Ψηλά
- υψηλής ποιότητας
- ανταύγειες
- υψηλά
- του
- κράτημα
- κατέχει
- Πως
- Πώς να
- HTML
- HTTPS
- ανθρώπινος
- Οι άνθρωποι
- IBM
- προσδιορίζονται
- προσδιορίσει
- IEEE
- if
- παράνομος
- εικόνα
- εικόνες
- σημαντικό
- βελτίωση
- βελτίωση
- in
- ανακριβής
- περιλαμβάνουν
- περιλαμβάνει
- ενσωματώνω
- βιομηχανία
- ειδικά για τη βιομηχανία
- πρωτοβουλίες
- καινοτομίες
- εισαγωγή
- οδηγίες
- μέσων
- Νοημοσύνη
- προορίζονται
- Πρόθεση
- αλληλεπίδραση
- αλληλεπιδράσεις
- διαδραστικό
- ενδιαφερόμενος
- συμφέροντα
- διεπαφές
- εσωτερικός
- διασταύρωση
- σε
- IoT
- ζήτημα
- θέματα
- IT
- ΤΟΥ
- εαυτό
- Δουλειά
- ενώνει
- ταξίδι
- jpg
- μόλις
- Κλειδί
- Είδος
- γνώση
- τιτλοφόρηση
- Ετικέτες
- εργαστήριο
- Labs
- Γλώσσα
- large
- αργότερο
- Ηγεσία
- ΜΑΘΑΊΝΩ
- μάθηση
- ελάχιστα
- αριστερά
- Μήκος
- ανύψωση
- LIMIT
- LLM
- ξύλευση
- λογότυπο
- μηχανή
- μάθηση μηχανής
- Κυρίως
- κάνω
- διαχείριση
- διευθυντής
- διαχειρίζεται
- διαχείριση
- πολοί
- μαρκαρισμένος
- Μάρκετινγκ
- ταιριάζουν
- Ενδέχεται..
- νόημα
- μέσα
- Γνωρίστε
- πληροί
- ψυχική
- μήνυμα
- μέθοδος
- μέθοδοι
- Microsoft
- Λείπει
- ML
- μοντέλο
- μοντέλα
- μετριοπάθεια
- περισσότερο
- πλέον
- Mozilla
- πολυμέσων
- πολλαπλούς
- πρέπει
- ονόματα
- Φυσικό
- Ανάγκη
- ανάγκες
- Νέα
- επόμενη
- Όχι.
- μυθιστόρημα
- τώρα
- αριθμός
- Nvidia
- αντικείμενο
- αντικειμένων
- of
- on
- αυτά
- αποκλειστικά
- επιχειρήσεων
- Επιλογές
- or
- μαντείο
- τάξη
- ΑΛΛΑ
- δικός μας
- παραγωγή
- επί
- δική
- Οξφόρδη
- σελίδα
- ζεύγος
- ζεύγη
- παράθυρο
- μέρος
- Ειδικότερα
- εξαρτήματα
- πέρασε
- πρότυπα
- People
- αντίληψη
- Εκτελέστε
- εκτέλεση
- προσωπικός
- εξατομίκευση
- Μέρος
- πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- παίζει
- συν
- θέσεις
- Θέση
- Δημοσιεύσεις
- τροφοδοτείται
- ισχυρός
- προτιμώ
- προτιμήσεις
- προτιμάται
- πρωθυπουργός
- Προετοιμάστε
- προετοιμασία
- παρουσιάζονται
- προηγουμένως
- Πριν
- Πρόβλημα
- προβλήματα
- διαδικασια μας
- παράγει
- Παράγεται
- παραγωγός
- Παραγωγούς
- Προϊόν
- διαχείριση προϊόντων
- υπεύθυνος προϊόντων
- παραγωγικότητα
- Προϊόντα
- Δάσκαλος
- σχέδιο
- έργα
- παρέχουν
- παρέχεται
- χορήγηση
- Δημοσίευση
- Δημοσιεύει
- σκοπός
- σκοποί
- βάζω
- Ερωτήσεις και απαντήσεις
- ποιότητα
- ερώτηση
- Ερωτήσεις
- Κατάταξη
- εκτίμηση
- Διάβασε
- έτοιμος
- ρεαλιστικός
- πρόσφατος
- αναγνωρίζω
- τακτικά
- σχετίζεται με
- Σχέσεις
- βασίζονται
- αφαίρεση
- αντιπροσώπευση
- αντιπροσωπεύει
- φήμη
- ζητήσει
- αιτήματα
- απαιτείται
- απαιτήσεις
- Απαιτεί
- έρευνα
- σεβασμός
- Απάντηση
- απάντησης
- απαντήσεις
- υπεύθυνος
- Αποτελέσματα
- ανασκόπηση
- Πλούσιος
- δεξιά
- Κίνδυνος
- διακινδυνεύοντας
- ρομποτική
- Ρόλος
- ρόλους
- s
- ένα ασφαλές
- σοφός
- Κλίμακα
- κλίμακα αι
- Σχολείο
- Επιστήμη
- Επιστήμονας
- Τμήμα
- ασφάλεια
- αρχαιότερος
- ευαίσθητος
- αποστέλλονται
- Υπηρεσίες
- εξυπηρετούν
- σειρά
- Σέτς
- τον καθορισμό
- setup
- διάφοροι
- Κοινοποίηση
- αυτή
- δείχνουν
- παρουσιάζεται
- Δείχνει
- πλευρά
- Πυρίτιο
- Κοιλάδα του πυριτίου
- παρόμοιες
- απλά
- ταυτοχρόνως
- ενιαίας
- έμπειρος
- λογισμικό
- ανάπτυξη λογισμικού
- Μηχανικός Λογισμικού
- SOLVE
- μερικοί
- κάτι
- συγκεκριμένες
- καθορίζεται
- Εκκίνηση
- ξεκίνησε
- Ξεκινήστε
- εκκίνηση
- παραμονή
- Βήμα
- Στρατηγική
- στυλ
- υποβάλλονται
- ουσία
- τέτοιος
- συνοψίζω
- ΠΕΡΙΛΗΨΗ
- Κυρ.
- υποστηριζόνται!
- υποτιθεμένος
- συστήματα
- Πάρτε
- λαμβάνεται
- Έργο
- εργασίες
- Διδασκαλία
- Τενεσί
- όροι
- Τέξας
- από
- ότι
- Η
- ο κόσμος
- τους
- Τους
- τότε
- Εκεί.
- επομένως
- Αυτοί
- αυτοί
- αυτό
- τρία
- Μέσω
- ώρα
- timestamp
- προς την
- σήμερα
- εργαλεία
- κορυφή
- τοπικός
- Περιοδεία
- Τρένο
- εκπαιδευμένο
- Εκπαίδευση
- τρένα
- Αλήθεια
- tutorials
- δύο
- τύπος
- τύποι
- συνήθως
- Uber
- ui
- κατανόηση
- πανεπιστήμιο
- Πανεπιστήμιο της Καλιφόρνια
- Πανεπιστήμιο του Σικάγου
- Πανεπιστήμιο της Οξφόρδης
- χρήση
- περίπτωση χρήσης
- μεταχειρισμένος
- Χρήστες
- χρησιμοποιώντας
- κοιλάδα
- ποικιλία
- διάφορα
- χώρους
- Βίντεο
- βιντεοπαιχνιδιών
- Βίντεο
- όραμα
- Φωνή
- θέλω
- στερούμενος
- θέλει
- ήταν
- we
- ιστός
- διαδικτυακές υπηρεσίες
- ΛΟΙΠΌΝ
- Τι
- πότε
- Ποιό
- Ο ΟΠΟΊΟΣ
- ολόκληρο
- θα
- με
- χωρίς
- Εργασία
- εργάστηκαν
- ροής εργασίας
- ροές εργασίας
- Εργατικό δυναμικό
- εργαζόμενος
- λειτουργεί
- Σεμινάρια
- κόσμος
- θα
- γράφω
- γραφή
- γραπτή
- χρόνια
- Εσείς
- Σας
- zephyrnet