Στο σημερινό ταχέως εξελισσόμενο τοπίο της υγειονομικής περίθαλψης, οι γιατροί έρχονται αντιμέτωποι με τεράστιες ποσότητες κλινικών δεδομένων από διάφορες πηγές, όπως σημειώσεις φροντιστών, ηλεκτρονικά αρχεία υγείας και αναφορές απεικόνισης. Αυτός ο πλούτος πληροφοριών, αν και είναι απαραίτητος για την περίθαλψη των ασθενών, μπορεί επίσης να είναι συντριπτικός και χρονοβόρος για τους επαγγελματίες του ιατρικού τομέα να το ψάξουν και να το αναλύσουν. Η αποτελεσματική σύνοψη και η εξαγωγή γνώσεων από αυτά τα δεδομένα είναι ζωτικής σημασίας για την καλύτερη φροντίδα των ασθενών και τη λήψη αποφάσεων. Οι συνοπτικές πληροφορίες ασθενών μπορεί να είναι χρήσιμες σε μια σειρά από μεταγενέστερες διαδικασίες, όπως η συγκέντρωση δεδομένων, η αποτελεσματική κωδικοποίηση ασθενών ή η ομαδοποίηση ασθενών με παρόμοιες διαγνώσεις για ανασκόπηση.
Τα μοντέλα τεχνητής νοημοσύνης (AI) και μηχανικής μάθησης (ML) έχουν δείξει πολλά υποσχόμενα για την αντιμετώπιση αυτών των προκλήσεων. Τα μοντέλα μπορούν να εκπαιδευτούν ώστε να αναλύουν και να ερμηνεύουν μεγάλους όγκους δεδομένων κειμένου, συμπυκνώνοντας αποτελεσματικά τις πληροφορίες σε συνοπτικές περιλήψεις. Με την αυτοματοποίηση της διαδικασίας σύνοψης, οι γιατροί μπορούν να αποκτήσουν γρήγορα πρόσβαση σε σχετικές πληροφορίες, επιτρέποντάς τους να επικεντρωθούν στη φροντίδα των ασθενών και να λαμβάνουν πιο ενημερωμένες αποφάσεις. Δείτε το παρακάτω μελέτη περίπτωσης για να μάθετε περισσότερα για μια περίπτωση χρήσης σε πραγματικό κόσμο.
Amazon Sage Maker, μια πλήρως διαχειριζόμενη υπηρεσία ML, παρέχει μια ιδανική πλατφόρμα για τη φιλοξενία και την εφαρμογή διαφόρων μοντέλων και προσεγγίσεων περίληψης που βασίζονται σε AI/ML. Σε αυτήν την ανάρτηση, διερευνούμε διαφορετικές επιλογές για την εφαρμογή τεχνικών περίληψης στο SageMaker, συμπεριλαμβανομένης της χρήσης Amazon SageMaker JumpStart μοντέλα θεμελίωσης, βελτιστοποίηση προεκπαιδευμένων μοντέλων από το Hugging Face και δημιουργία προσαρμοσμένων μοντέλων περίληψης. Συζητάμε επίσης τα πλεονεκτήματα και τα μειονεκτήματα κάθε προσέγγισης, δίνοντας τη δυνατότητα στους επαγγελματίες υγείας να επιλέξουν την καταλληλότερη λύση για τη δημιουργία συνοπτικών και ακριβών περιλήψεων πολύπλοκων κλινικών δεδομένων.
Δύο σημαντικοί όροι που πρέπει να γνωρίζουμε πριν ξεκινήσουμε: προ-εκπαιδευμένο και τελειοποίηση. Ένα προεκπαιδευμένο ή θεμελιώδες μοντέλο είναι αυτό που έχει χτιστεί και εκπαιδευτεί σε ένα μεγάλο σύνολο δεδομένων, συνήθως για γενικές γλωσσικές γνώσεις. Η λεπτομέρεια είναι η διαδικασία με την οποία σε ένα προεκπαιδευμένο μοντέλο δίνεται ένα άλλο πιο συγκεκριμένο σύνολο δεδομένων για τον τομέα, προκειμένου να βελτιωθεί η απόδοσή του σε μια συγκεκριμένη εργασία. Σε ένα περιβάλλον υγειονομικής περίθαλψης, αυτό θα σήμαινε ότι παρέχονται στο μοντέλο ορισμένα δεδομένα, συμπεριλαμβανομένων φράσεων και ορολογίας που σχετίζονται ειδικά με τη φροντίδα των ασθενών.
Δημιουργήστε προσαρμοσμένα μοντέλα σύνοψης στο SageMaker
Αν και η προσέγγιση με τη μεγαλύτερη προσπάθεια, ορισμένοι οργανισμοί μπορεί να προτιμούν να δημιουργήσουν προσαρμοσμένα μοντέλα σύνοψης στο SageMaker από την αρχή. Αυτή η προσέγγιση απαιτεί περισσότερη σε βάθος γνώση των μοντέλων AI/ML και μπορεί να περιλαμβάνει τη δημιουργία μιας αρχιτεκτονικής μοντέλων από την αρχή ή την προσαρμογή των υπαρχόντων μοντέλων για να ταιριάζουν σε συγκεκριμένες ανάγκες. Η δημιουργία προσαρμοσμένων μοντέλων μπορεί να προσφέρει μεγαλύτερη ευελιξία και έλεγχο στη διαδικασία σύνοψης, αλλά απαιτεί επίσης περισσότερο χρόνο και πόρους σε σύγκριση με προσεγγίσεις που ξεκινούν από προεκπαιδευμένα μοντέλα. Είναι σημαντικό να σταθμίσετε προσεκτικά τα πλεονεκτήματα και τα μειονεκτήματα αυτής της επιλογής πριν προχωρήσετε, επειδή μπορεί να μην είναι κατάλληλη για όλες τις περιπτώσεις χρήσης.
Μοντέλα βάσης SageMaker JumpStart
Μια εξαιρετική επιλογή για την εφαρμογή της σύνοψης στο SageMaker είναι η χρήση μοντέλων θεμελίωσης JumpStart. Αυτά τα μοντέλα, που αναπτύχθηκαν από κορυφαίους ερευνητικούς οργανισμούς τεχνητής νοημοσύνης, προσφέρουν μια σειρά από προεκπαιδευμένα μοντέλα γλώσσας βελτιστοποιημένα για διάφορες εργασίες, συμπεριλαμβανομένης της σύνοψης κειμένων. Το SageMaker JumpStart παρέχει δύο τύπους μοντέλων θεμελίωσης: ιδιόκτητα μοντέλα και μοντέλα ανοιχτού κώδικα. Το SageMaker JumpStart παρέχει επίσης επιλεξιμότητα HIPAA, καθιστώντας το χρήσιμο για φόρτους εργασίας στον τομέα της υγειονομικής περίθαλψης. Εναπόκειται τελικά στον πελάτη να διασφαλίσει τη συμμόρφωση, επομένως φροντίστε να λάβετε τα κατάλληλα μέτρα. Βλέπω Αρχιτεκτονική για την ασφάλεια και τη συμμόρφωση HIPAA στις Υπηρεσίες Ιστού της Amazon Για περισσότερες πληροφορίες.
Ιδιόκτητα μοντέλα θεμελίωσης
Τα ιδιόκτητα μοντέλα, όπως τα μοντέλα Jurassic από το AI21 και το μοντέλο Cohere Generate από την Cohere, μπορούν να ανακαλυφθούν μέσω του SageMaker JumpStart στο Κονσόλα διαχείρισης AWS και βρίσκονται υπό προεπισκόπηση. Η χρήση ιδιόκτητων μοντέλων για σύνοψη είναι ιδανική όταν δεν χρειάζεται να προσαρμόσετε το μοντέλο σας σε προσαρμοσμένα δεδομένα. Αυτό προσφέρει μια εύχρηστη, εξαρχής λύση που μπορεί να καλύψει τις απαιτήσεις περίληψης με ελάχιστη διαμόρφωση. Χρησιμοποιώντας τις δυνατότητες αυτών των προεκπαιδευμένων μοντέλων, μπορείτε να εξοικονομήσετε χρόνο και πόρους που διαφορετικά θα ξοδεύονταν για εκπαίδευση και τελειοποίηση ενός προσαρμοσμένου μοντέλου. Επιπλέον, τα ιδιόκτητα μοντέλα συνήθως συνοδεύονται από φιλικά προς τον χρήστη API και SDK, βελτιστοποιώντας τη διαδικασία ενοποίησης με τα υπάρχοντα συστήματα και τις εφαρμογές σας. Εάν οι ανάγκες σύνοψής σας μπορούν να καλυφθούν από προεκπαιδευμένα ιδιόκτητα μοντέλα χωρίς να απαιτείται συγκεκριμένη προσαρμογή ή μικρορύθμιση, προσφέρουν μια βολική, οικονομικά αποδοτική και αποδοτική λύση για τις εργασίες σύνοψης κειμένου. Επειδή αυτά τα μοντέλα δεν είναι ειδικά εκπαιδευμένα για περιπτώσεις χρήσης υγειονομικής περίθαλψης, η ποιότητα δεν μπορεί να εγγυηθεί για ιατρική γλώσσα εκτός συσκευασίας χωρίς τελειοποίηση.
Το Jurassic-2 Grande Instruct είναι ένα μεγάλο γλωσσικό μοντέλο (LLM) από την AI21 Labs, βελτιστοποιημένο για οδηγίες φυσικής γλώσσας και εφαρμόζεται σε διάφορες γλωσσικές εργασίες. Προσφέρει ένα εύκολο στη χρήση API και Python SDK, εξισορροπώντας την ποιότητα και την προσιτή τιμή. Οι δημοφιλείς χρήσεις περιλαμβάνουν τη δημιουργία αντιγράφων μάρκετινγκ, την ενεργοποίηση chatbot και τη σύνοψη κειμένου.
Στην κονσόλα SageMaker, μεταβείτε στο SageMaker JumpStart, βρείτε το μοντέλο AI21 Jurassic-2 Grande Instruct και επιλέξτε Δοκιμάστε το μοντέλο.
Εάν θέλετε να αναπτύξετε το μοντέλο σε ένα τελικό σημείο του SageMaker που διαχειρίζεστε, μπορείτε να ακολουθήσετε τα βήματα σε αυτό το δείγμα σημειωματάριο, το οποίο σας δείχνει πώς να αναπτύξετε το Jurassic-2 Large χρησιμοποιώντας το SageMaker.
Μοντέλα θεμελίων ανοιχτού κώδικα
Τα μοντέλα ανοιχτού κώδικα περιλαμβάνουν μοντέλα FLAN T5, Bloom και GPT-2 που μπορούν να ανακαλυφθούν μέσω του SageMaker JumpStart στο Στούντιο Amazon SageMaker UI, SageMaker JumpStart στην κονσόλα SageMaker και SageMaker JumpStart API. Αυτά τα μοντέλα μπορούν να βελτιστοποιηθούν και να αναπτυχθούν σε τελικά σημεία του λογαριασμού σας AWS, δίνοντάς σας πλήρη ιδιοκτησία των βαρών μοντέλων και των κωδικών σεναρίων.
Το Flan-T5 XL είναι ένα ισχυρό και ευέλικτο μοντέλο σχεδιασμένο για ένα ευρύ φάσμα γλωσσικών εργασιών. Προσαρμόζοντας το μοντέλο με τα δεδομένα του συγκεκριμένου τομέα σας, μπορείτε να βελτιστοποιήσετε την απόδοσή του για τη συγκεκριμένη περίπτωση χρήσης σας, όπως η σύνοψη κειμένου ή οποιαδήποτε άλλη εργασία NLP. Για λεπτομέρειες σχετικά με τον τρόπο βελτιστοποίησης του Flan-T5 XL χρησιμοποιώντας τη διεπαφή χρήστη του SageMaker Studio, ανατρέξτε στο Βελτιστοποίηση οδηγιών για το FLAN T5 XL με το Amazon SageMaker Jumpstart.
Βελτιώστε τα προεκπαιδευμένα μοντέλα με Hugging Face στο SageMaker
Μία από τις πιο δημοφιλείς επιλογές για την εφαρμογή της σύνοψης στο SageMaker είναι η τελειοποίηση προεκπαιδευμένων μοντέλων χρησιμοποιώντας το Hugging Face transformers βιβλιοθήκη. Το Hugging Face παρέχει ένα ευρύ φάσμα προεκπαιδευμένων μοντέλων μετασχηματιστών ειδικά σχεδιασμένων για διάφορες εργασίες επεξεργασίας φυσικής γλώσσας (NLP), συμπεριλαμβανομένης της σύνοψης κειμένου. Με τη βιβλιοθήκη Hugging Face Transformers, μπορείτε εύκολα να προσαρμόσετε αυτά τα προεκπαιδευμένα μοντέλα στα δεδομένα του τομέα σας χρησιμοποιώντας το SageMaker. Αυτή η προσέγγιση έχει πολλά πλεονεκτήματα, όπως ταχύτερους χρόνους εκπαίδευσης, καλύτερη απόδοση σε συγκεκριμένους τομείς και ευκολότερη συσκευασία και ανάπτυξη μοντέλων χρησιμοποιώντας ενσωματωμένα εργαλεία και υπηρεσίες SageMaker. Εάν δεν μπορείτε να βρείτε ένα κατάλληλο μοντέλο στο SageMaker JumpStart, μπορείτε να επιλέξετε οποιοδήποτε μοντέλο προσφέρει το Hugging Face και να το ρυθμίσετε με ακρίβεια χρησιμοποιώντας το SageMaker.
Για να ξεκινήσετε να εργάζεστε με ένα μοντέλο για να μάθετε για τις δυνατότητες του ML, το μόνο που χρειάζεται να κάνετε είναι να ανοίξετε το SageMaker Studio, να βρείτε ένα προεκπαιδευμένο μοντέλο που θέλετε να χρησιμοποιήσετε στο Hub Model Hugging Faceκαι επιλέξτε το SageMaker ως μέθοδο ανάπτυξης. Το Hugging Face θα σας δώσει τον κωδικό για αντιγραφή, επικόλληση και εκτέλεση στο σημειωματάριό σας. Είναι τόσο εύκολο! Δεν απαιτείται εμπειρία μηχανικής ML.
Η βιβλιοθήκη Hugging Face Transformers δίνει τη δυνατότητα στους κατασκευαστές να λειτουργούν με τα προεκπαιδευμένα μοντέλα και να κάνουν προηγμένες εργασίες όπως η τελειοποίηση, τις οποίες εξερευνούμε στις ακόλουθες ενότητες.
Παροχή πόρων
Προτού ξεκινήσουμε, πρέπει να παρέχουμε ένα σημειωματάριο. Για οδηγίες, ανατρέξτε στα Βήματα 1 και 2 στο Κατασκευάστε και εκπαιδεύστε ένα μοντέλο μηχανικής εκμάθησης τοπικά. Για αυτό το παράδειγμα, χρησιμοποιήσαμε τις ρυθμίσεις που εμφανίζονται στο παρακάτω στιγμιότυπο οθόνης.
Πρέπει επίσης να δημιουργήσουμε ένα Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) κάδος για την αποθήκευση των δεδομένων εκπαίδευσης και των αντικειμένων εκπαίδευσης. Για οδηγίες, ανατρέξτε στο Δημιουργία κάδου.
Προετοιμάστε το σύνολο δεδομένων
Για να βελτιστοποιήσουμε το μοντέλο μας ώστε να έχουμε καλύτερες γνώσεις τομέα, πρέπει να λάβουμε δεδομένα κατάλληλα για την εργασία. Όταν εκπαιδεύεστε για μια περίπτωση εταιρικής χρήσης, θα πρέπει να περάσετε από μια σειρά εργασιών μηχανικής δεδομένων για να προετοιμάσετε τα δικά σας δεδομένα για να είστε έτοιμα για εκπαίδευση. Αυτές οι εργασίες δεν εμπίπτουν στο πεδίο εφαρμογής αυτής της ανάρτησης. Για αυτό το παράδειγμα, δημιουργήσαμε ορισμένα συνθετικά δεδομένα για να μιμηθούν νοσηλευτικές σημειώσεις και τα αποθηκεύσαμε στο Amazon S3. Η αποθήκευση των δεδομένων μας στο Amazon S3 μας δίνει τη δυνατότητα αρχιτέκτονα τους φόρτους εργασίας μας για τη συμμόρφωση με το HIPAA. Ξεκινάμε παίρνοντας αυτές τις σημειώσεις και τις φορτώνουμε στην περίπτωση όπου εκτελείται το σημειωματάριό μας:
Οι σημειώσεις αποτελούνται από μια στήλη που περιέχει την πλήρη καταχώρηση, τη σημείωση και μια στήλη που περιέχει μια συντομευμένη έκδοση που εξηγεί ποια θα πρέπει να είναι η επιθυμητή μας έξοδος, περίληψη. Ο σκοπός της χρήσης αυτού του συνόλου δεδομένων είναι να βελτιώσει το βιολογικό και ιατρικό λεξιλόγιο του μοντέλου μας, έτσι ώστε να είναι πιο προσαρμοσμένο στη σύνοψη σε ένα πλαίσιο υγειονομικής περίθαλψης, που ονομάζεται μικρορύθμιση τομέα, και δείξτε στο μοντέλο μας πώς να δομεί τη συνοπτική του έξοδο. Σε ορισμένες περιπτώσεις σύνοψης, μπορεί να θέλουμε να δημιουργήσουμε μια περίληψη από ένα άρθρο ή μια σύνοψη μιας γραμμής μιας κριτικής, αλλά σε αυτήν την περίπτωση, προσπαθούμε να κάνουμε το μοντέλο μας να παράγει μια συνοπτική έκδοση των συμπτωμάτων και των ενεργειών που έγιναν για έναν ασθενή μέχρι στιγμής.
Φορτώστε το μοντέλο
Το μοντέλο που χρησιμοποιούμε ως βάση είναι μια έκδοση του Pegasus της Google, που διατίθεται στο Hugging Face Hub, που ονομάζεται pegasus-xsum. Είναι ήδη προεκπαιδευμένο για σύνοψη, επομένως η διαδικασία τελειοποίησης μπορεί να επικεντρωθεί στην επέκταση των γνώσεών του στον τομέα. Η τροποποίηση της εργασίας που εκτελεί το μοντέλο μας είναι ένας διαφορετικός τύπος μικρορύθμισης που δεν καλύπτεται σε αυτήν την ανάρτηση. Η βιβλιοθήκη Transformer μας παρέχει μια κλάση για να φορτώσουμε τον ορισμό του μοντέλου από το δικό μας model_checkpoint: google/pegasus-xsum
. Αυτό θα φορτώσει το μοντέλο από το hub και θα το παρουσιάσει στο σημειωματάριό μας, ώστε να μπορούμε να το χρησιμοποιήσουμε αργότερα. Επειδή pegasus-xsum
είναι ένα μοντέλο ακολουθίας σε ακολουθία, θέλουμε να χρησιμοποιήσουμε τον τύπο Seq2Seq του Αυτόματο μοντέλο τάξη:
Τώρα που έχουμε το μοντέλο μας, ήρθε η ώρα να δώσουμε την προσοχή μας στα άλλα εξαρτήματα που θα μας επιτρέψουν να τρέξουμε τον κύκλο προπόνησής μας.
Δημιουργήστε ένα tokenizer
Το πρώτο από αυτά τα συστατικά είναι το tokenizer. Τεκμηρίωση είναι η διαδικασία με την οποία λέξεις από τα δεδομένα εισόδου μετατρέπονται σε αριθμητικές αναπαραστάσεις που μπορεί να κατανοήσει το μοντέλο μας. Και πάλι, η βιβλιοθήκη Transformer παρέχει μια κλάση για να φορτώσουμε έναν ορισμό του tokenizer από το ίδιο σημείο ελέγχου που χρησιμοποιήσαμε για να δημιουργήσουμε το μοντέλο:
Με αυτό το αντικείμενο tokenizer, μπορούμε να δημιουργήσουμε μια συνάρτηση προεπεξεργασίας και να την αντιστοιχίσουμε στο σύνολο δεδομένων μας για να μας δώσει διακριτικά έτοιμα να τροφοδοτηθούν στο μοντέλο. Τέλος, μορφοποιούμε την έξοδο με διακριτικό και αφαιρούμε τις στήλες που περιέχουν το αρχικό μας κείμενο, επειδή το μοντέλο δεν θα μπορεί να τις ερμηνεύσει. Τώρα έχουμε μείνει με μια συμβολική είσοδο έτοιμη να τροφοδοτηθεί στο μοντέλο. Δείτε τον παρακάτω κώδικα:
Με τα δεδομένα μας να έχουν γίνει διακριτικά και το μοντέλο μας να έχει δημιουργηθεί, είμαστε σχεδόν έτοιμοι να εκτελέσουμε έναν κύκλο εκπαίδευσης. Τα επόμενα στοιχεία που θέλουμε να δημιουργήσουμε είναι ο συλλέκτης δεδομένων και ο βελτιστοποιητής. Ο συλλέκτης δεδομένων είναι μια άλλη κατηγορία που παρέχεται από το Hugging Face μέσω της βιβλιοθήκης Transformers, την οποία χρησιμοποιούμε για να δημιουργήσουμε παρτίδες των δεδομένων μας με διακριτικά για εκπαίδευση. Μπορούμε να το δημιουργήσουμε εύκολα χρησιμοποιώντας το tokenizer και τα αντικείμενα μοντέλων που έχουμε ήδη βρίσκοντας τον αντίστοιχο τύπο κλάσης που χρησιμοποιούσαμε προηγουμένως για το μοντέλο μας (Seq2Seq) για την κλάση κολλητή. Η λειτουργία του βελτιστοποιητή είναι να διατηρεί την κατάσταση προπόνησης και να ενημερώνει τις παραμέτρους με βάση την απώλεια προπόνησής μας καθώς εργαζόμαστε μέσω του βρόχου. Για να δημιουργήσουμε ένα βελτιστοποιητή, μπορούμε να εισαγάγουμε το βέλτιστη πακέτο από τη μονάδα φακού, όπου είναι διαθέσιμοι ένας αριθμός αλγορίθμων βελτιστοποίησης. Μερικά κοινά που μπορεί να έχετε συναντήσει στο παρελθόν είναι το Stochastic Gradient Descent και Αδάμ, το τελευταίο από τα οποία εφαρμόζεται στο παράδειγμά μας. Ο κατασκευαστής του Adam λαμβάνει τις παραμέτρους του μοντέλου και τον παραμετροποιημένο ρυθμό εκμάθησης για τη δεδομένη εκτέλεση εκπαίδευσης. Δείτε τον παρακάτω κώδικα:
Τα τελευταία βήματα για να μπορέσουμε να ξεκινήσουμε την εκπαίδευση είναι να δημιουργήσουμε τον επιταχυντή και τον προγραμματιστή ρυθμού εκμάθησης. Ο επιταχυντής προέρχεται από μια διαφορετική βιβλιοθήκη (χρησιμοποιούμε κυρίως Transformers) που παράγεται από την Hugging Face, με εύστοχη ονομασία Accelerate, και θα αφαιρέσει τη λογική που απαιτείται για τη διαχείριση συσκευών κατά τη διάρκεια της εκπαίδευσης (για παράδειγμα, χρησιμοποιώντας πολλές GPU). Για το τελευταίο στοιχείο, επισκεπτόμαστε ξανά την πάντα χρήσιμη βιβλιοθήκη Transformers για να εφαρμόσουμε τον προγραμματιστή ρυθμού εκμάθησης. Καθορίζοντας τον τύπο χρονοπρογραμματιστή, τον συνολικό αριθμό των βημάτων εκπαίδευσης στον βρόχο μας και τον βελτιστοποιητή που δημιουργήθηκε προηγουμένως, get_scheduler
Η συνάρτηση επιστρέφει ένα αντικείμενο που μας δίνει τη δυνατότητα να προσαρμόσουμε τον αρχικό μας ρυθμό εκμάθησης καθ' όλη τη διάρκεια της εκπαιδευτικής διαδικασίας:
Τώρα είμαστε πλήρως προετοιμασμένοι για προπόνηση! Ας δημιουργήσουμε μια εργασία εκπαίδευσης, ξεκινώντας από την αρχική εκπαίδευση_args χρησιμοποιώντας τη βιβλιοθήκη Transformers και επιλέγοντας τιμές παραμέτρων. Μπορούμε να τα μεταβιβάσουμε, μαζί με τα άλλα προετοιμασμένα στοιχεία και το σύνολο δεδομένων μας, απευθείας στο προπονητής και ξεκινήστε την προπόνηση, όπως φαίνεται στον παρακάτω κώδικα. Ανάλογα με το μέγεθος του συνόλου δεδομένων σας και τις επιλεγμένες παραμέτρους, αυτό μπορεί να διαρκέσει σημαντικό χρονικό διάστημα.
Συσκευάστε το μοντέλο για συμπέρασμα
Μετά την εκτέλεση της εκπαίδευσης, το αντικείμενο μοντέλου είναι έτοιμο να χρησιμοποιηθεί για συμπέρασμα. Ως βέλτιστη πρακτική, ας αποθηκεύσουμε την εργασία μας για μελλοντική χρήση. Πρέπει να δημιουργήσουμε τα τεχνουργήματα των μοντέλων μας, να τα κουμπώσουμε μαζί και να ανεβάσουμε το tarball μας στο Amazon S3 για αποθήκευση. Για να προετοιμάσουμε το μοντέλο μας για συμπίεση, πρέπει να ξετυλίξουμε το τώρα τελειοποιημένο μοντέλο και, στη συνέχεια, να αποθηκεύσουμε το δυαδικό μοντέλο και τα σχετικά αρχεία διαμόρφωσης. Πρέπει επίσης να αποθηκεύσουμε το tokenizer μας στον ίδιο κατάλογο στον οποίο αποθηκεύσαμε τα τεχνουργήματα του μοντέλου μας, ώστε να είναι διαθέσιμο όταν χρησιμοποιούμε το μοντέλο για συμπέρασμα. Μας model_dir
Ο φάκελος θα πρέπει τώρα να μοιάζει με τον ακόλουθο κώδικα:
Το μόνο που απομένει είναι να εκτελέσετε μια εντολή tar για να συμπιεστείτε τον κατάλογό μας και να ανεβάσετε το αρχείο tar.gz στο Amazon S3:
Το πρόσφατα τελειοποιημένο μοντέλο μας είναι τώρα έτοιμο και διαθέσιμο για χρήση για συμπεράσματα.
Εκτελέστε συμπέρασμα
Για να χρησιμοποιήσετε αυτό το τεχνούργημα μοντέλου για συμπέρασμα, ανοίξτε ένα νέο αρχείο και χρησιμοποιήστε τον ακόλουθο κώδικα, τροποποιώντας το model_data
παράμετρος που ταιριάζει στην τοποθεσία αποθήκευσης τεχνουργήματος στο Amazon S3. ο HuggingFaceModel
ο κατασκευαστής θα ξαναφτιάξει το μοντέλο μας από το σημείο ελέγχου στο οποίο αποθηκεύσαμε model.tar.gz
, το οποίο μπορούμε στη συνέχεια να αναπτύξουμε για συμπέρασμα χρησιμοποιώντας τη μέθοδο ανάπτυξης. Η ανάπτυξη του τελικού σημείου θα διαρκέσει μερικά λεπτά.
Αφού αναπτυχθεί το τελικό σημείο, μπορούμε να χρησιμοποιήσουμε τον προγνωστικό παράγοντα που έχουμε δημιουργήσει για να το δοκιμάσουμε. Πέρνα το predict
μεθοδέψτε ένα ωφέλιμο φορτίο δεδομένων και εκτελέστε το κελί και θα λάβετε την απάντηση από το τελειοποιημένο μοντέλο σας:
Για να δείτε το όφελος από τη λεπτομερή ρύθμιση ενός μοντέλου, ας κάνουμε μια γρήγορη δοκιμή. Ο παρακάτω πίνακας περιλαμβάνει μια προτροπή και τα αποτελέσματα της μετάδοσης αυτής της προτροπής στο μοντέλο πριν και μετά τη λεπτομέρεια.
Προτροπή | Απόκριση χωρίς λεπτομέρεια | Απόκριση με Fine-Tuning |
Συνοψίστε τα συμπτώματα που βιώνει ο ασθενής. Ο ασθενής είναι άνδρας 45 ετών με παράπονα υποστερνικού πόνου στο στήθος που ακτινοβολεί στο αριστερό χέρι. Ο πόνος εμφανίζεται ξαφνικά ενώ εκτελούσε εργασίες στην αυλή, που σχετίζεται με ήπια δύσπνοια και εφίδρωση. Κατά την άφιξη ο καρδιακός ρυθμός του ασθενούς ήταν 120, ο αναπνευστικός ρυθμός 24, η αρτηριακή πίεση 170/95. Έγινε 12 ηλεκτροκαρδιογράφημα μολύβδου κατά την άφιξη στο τμήμα επειγόντων περιστατικών και τρεις υπογλώσσιες νιτρογλυκερίνες που χορηγήθηκαν χωρίς ανακούφιση από τον πόνο στο στήθος. Το ηλεκτροκαρδιογράφημα δείχνει ανύψωση ST στα πρόσθια απαγωγά που καταδεικνύει οξύ πρόσθιο έμφραγμα του μυοκαρδίου. Έχουμε επικοινωνήσει με το εργαστήριο καρδιακού καθετηριασμού και την προετοιμασία για καρδιακό καθετηριασμό από καρδιολόγο. | Παρουσιάζουμε περίπτωση οξέος εμφράγματος του μυοκαρδίου. | Πόνος στο στήθος, πρόσθιος MI, PCI. |
Όπως μπορείτε να δείτε, το προσαρμοσμένο μοντέλο μας χρησιμοποιεί διαφορετικά την ορολογία υγείας και μπορέσαμε να αλλάξουμε τη δομή της απόκρισης ώστε να ταιριάζει στους σκοπούς μας. Σημειώστε ότι τα αποτελέσματα εξαρτώνται από το σύνολο δεδομένων σας και τις σχεδιαστικές επιλογές που έγιναν κατά τη διάρκεια της εκπαίδευσης. Η έκδοση του μοντέλου που διαθέτετε θα μπορούσε να προσφέρει πολύ διαφορετικά αποτελέσματα.
εκκαθάριση
Όταν τελειώσετε με το σημειωματάριό σας SageMaker, φροντίστε να το κλείσετε για να αποφύγετε το κόστος από μακροχρόνιους πόρους. Σημειώστε ότι ο τερματισμός της παρουσίας θα έχει ως αποτέλεσμα να χάσετε τυχόν δεδομένα που είναι αποθηκευμένα στην εφήμερη μνήμη της παρουσίας, επομένως θα πρέπει να αποθηκεύσετε όλη την εργασία σας σε μόνιμη αποθήκευση πριν από την εκκαθάριση. Θα χρειαστεί επίσης να πάτε στο Τελικά σημεία σελίδα στην κονσόλα SageMaker και διαγράψτε τυχόν τελικά σημεία που έχουν αναπτυχθεί για συμπεράσματα. Για να αφαιρέσετε όλα τα τεχνουργήματα, πρέπει επίσης να μεταβείτε στην κονσόλα Amazon S3 για να διαγράψετε αρχεία που έχετε ανεβάσει στον κάδο σας.
Συμπέρασμα
Σε αυτήν την ανάρτηση, εξερευνήσαμε διάφορες επιλογές για την εφαρμογή τεχνικών σύνοψης κειμένων στο SageMaker για να βοηθήσουμε τους επαγγελματίες υγείας να επεξεργάζονται αποτελεσματικά και να εξάγουν πληροφορίες από τεράστιο όγκο κλινικών δεδομένων. Συζητήσαμε τη χρήση μοντέλων βάσης SageMaker Jumpstart, τη βελτίωση των προεκπαιδευμένων μοντέλων από το Hugging Face και τη δημιουργία προσαρμοσμένων μοντέλων περίληψης. Κάθε προσέγγιση έχει τα δικά της πλεονεκτήματα και μειονεκτήματα, καλύπτοντας διαφορετικές ανάγκες και απαιτήσεις.
Η δημιουργία προσαρμοσμένων μοντέλων περίληψης στο SageMaker επιτρέπει μεγάλη ευελιξία και έλεγχο, αλλά απαιτεί περισσότερο χρόνο και πόρους από τη χρήση προεκπαιδευμένων μοντέλων. Τα μοντέλα βάσης SageMaker Jumpstart παρέχουν μια εύχρηστη και οικονομικά αποδοτική λύση για οργανισμούς που δεν απαιτούν συγκεκριμένη προσαρμογή ή μικρορύθμιση, καθώς και ορισμένες επιλογές για απλοποιημένη μικρορύθμιση. Η τελειοποίηση των προεκπαιδευμένων μοντέλων από το Hugging Face προσφέρει ταχύτερους χρόνους εκπαίδευσης, καλύτερη απόδοση σε συγκεκριμένο τομέα και απρόσκοπτη ενσωμάτωση με τα εργαλεία και τις υπηρεσίες του SageMaker σε έναν ευρύ κατάλογο μοντέλων, αλλά απαιτεί κάποια προσπάθεια υλοποίησης. Τη στιγμή της συγγραφής αυτής της ανάρτησης, η Amazon ανακοίνωσε μια άλλη επιλογή, Θεμέλιο του Αμαζονίου, το οποίο θα προσφέρει δυνατότητες σύνοψης σε ένα ακόμη πιο διαχειριζόμενο περιβάλλον.
Κατανοώντας τα πλεονεκτήματα και τα μειονεκτήματα κάθε προσέγγισης, οι επαγγελματίες υγείας και οι οργανισμοί μπορούν να λάβουν τεκμηριωμένες αποφάσεις σχετικά με την καταλληλότερη λύση για τη δημιουργία συνοπτικών και ακριβών περιλήψεων πολύπλοκων κλινικών δεδομένων. Τελικά, η χρήση μοντέλων σύνοψης που βασίζονται σε AI/ML στο SageMaker μπορεί να βελτιώσει σημαντικά τη φροντίδα των ασθενών και τη λήψη αποφάσεων, επιτρέποντας στους επαγγελματίες του ιατρικού τομέα να έχουν γρήγορη πρόσβαση σε σχετικές πληροφορίες και να επικεντρωθούν στην παροχή ποιοτικής φροντίδας.
Υποστηρικτικό υλικό
Για το πλήρες σενάριο που συζητείται σε αυτήν την ανάρτηση και ορισμένα δείγματα δεδομένων, ανατρέξτε στο GitHub repo. Για περισσότερες πληροφορίες σχετικά με τον τρόπο εκτέλεσης φόρτου εργασίας ML στο AWS, ανατρέξτε στους ακόλουθους πόρους:
Σχετικά με τους συγγραφείς
Κόντι Κόλινς είναι αρχιτέκτονας Solutions με έδρα τη Νέα Υόρκη στην Amazon Web Services. Συνεργάζεται με πελάτες ISV για τη δημιουργία κορυφαίων λύσεων στον κλάδο στο cloud. Έχει παραδώσει με επιτυχία πολύπλοκα έργα για διάφορους κλάδους, βελτιστοποιώντας την αποδοτικότητα και την επεκτασιμότητα. Στον ελεύθερο χρόνο του, του αρέσει να διαβάζει, να ταξιδεύει και να εκπαιδεύει τζίου ζίτσου.
Αμέερ Χακμέ είναι αρχιτέκτονας λύσεων της AWS που κατοικεί στην Πενσυλβάνια. Η επαγγελματική του εστίαση περιλαμβάνει τη συνεργασία με ανεξάρτητους προμηθευτές λογισμικού σε όλο το βορειοανατολικό τμήμα, καθοδηγώντας τους στο σχεδιασμό και την κατασκευή επεκτάσιμων, υπερσύγχρονων πλατφορμών στο AWS Cloud.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Αυτοκίνητο / EVs, Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- BlockOffsets. Εκσυγχρονισμός της περιβαλλοντικής αντιστάθμισης ιδιοκτησίας. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/exploring-summarization-options-for-healthcare-with-amazon-sagemaker/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 1
- 10
- 100
- 12
- 14
- 15%
- 24
- 33
- 7
- 8
- 9
- a
- Ικανός
- ΠΛΗΡΟΦΟΡΙΕΣ
- ΠΕΡΙΛΗΨΗ
- επιταχύνουν
- επιταχυντής
- πρόσβαση
- Λογαριασμός
- ακριβής
- απέναντι
- ενεργειών
- Αδάμ
- διευθυνσιοδότηση
- χορηγείται
- προηγμένες
- πλεονεκτήματα
- Μετά το
- πάλι
- συσσωμάτωση
- AI
- ai έρευνα
- AI / ML
- αλγόριθμοι
- Όλα
- Επιτρέποντας
- επιτρέπει
- κατά μήκος
- ήδη
- Επίσης
- Amazon
- Amazon Sage Maker
- Amazon υπηρεσίες Web
- ποσό
- Ποσά
- an
- αναλύσει
- και
- ανακοίνωσε
- Άλλος
- κάθε
- api
- APIs
- εφαρμόσιμος
- εφαρμογές
- εφαρμοσμένος
- πλησιάζω
- προσεγγίσεις
- κατάλληλος
- αρχιτεκτονική
- ΕΙΝΑΙ
- ARM
- άφιξη
- άρθρο
- AS
- συσχετισμένη
- At
- προσοχή
- αυτοματοποίηση
- διαθέσιμος
- αποφύγετε
- μακριά
- AWS
- εξισορρόπησης
- βασίζονται
- BE
- επειδή
- ήταν
- πριν
- αρχίζουν
- όφελος
- οφέλη
- ΚΑΛΎΤΕΡΟΣ
- Καλύτερα
- BIN
- αίμα
- Αρτηριακή πίεση
- άνθηση
- Κουτί
- Αναπνοή
- ευρύς
- χτίζω
- κατασκευαστές
- Κτίριο
- χτισμένο
- ενσωματωμένο
- αλλά
- by
- κλήση
- που ονομάζεται
- CAN
- δυνατότητες
- ο οποίος
- προσεκτικά
- περίπτωση
- περιπτώσεις
- κατάλογος
- Αιτία
- προκλήσεις
- αλλαγή
- chatbots
- επιλογές
- Επιλέξτε
- επιλέγοντας
- επιλέγονται
- τάξη
- Κλινικός
- Backup
- κωδικός
- κώδικες
- Κωδικοποίηση
- συνεργάζεται
- Στήλη
- Στήλες
- Ελάτε
- έρχεται
- Κοινός
- σύγκριση
- παραπόνων
- συγκρότημα
- Συμμόρφωση
- συστατικό
- εξαρτήματα
- συγκείμενο
- συνοπτικός
- διαμόρφωση
- ΚΑΤΑ
- πρόξενος
- κατασκευή
- συμφραζόμενα
- έλεγχος
- Βολικός
- Αντίστοιχος
- αποδοτική
- Δικαστικά έξοδα
- θα μπορούσε να
- καλύπτονται
- δημιουργία
- δημιουργήθηκε
- δημιουργία
- κρίσιμος
- Τη στιγμή
- έθιμο
- πελάτης
- Πελάτες
- παραμετροποίηση
- ημερομηνία
- σύνολα δεδομένων
- Λήψη Αποφάσεων
- αποφάσεις
- ορισμός
- παραδίδεται
- αποδεικνύοντας
- Τμήμα
- εξαρτώμενος
- Σε συνάρτηση
- παρατάσσω
- αναπτυχθεί
- ανάπτυξη
- ανάπτυξη
- Υπηρεσίες
- σχεδιασμένα
- σχέδιο
- επιθυμητή
- καθέκαστα
- αναπτύχθηκε
- Συσκευές
- διαφορετικές
- κατευθείαν
- ανακάλυψαν
- συζητήσουν
- συζήτηση
- διάφορα
- do
- Γιατροί
- πράξη
- τομέα
- domains
- γίνεται
- Μην
- κάτω
- μειονεκτήματα
- κατά την διάρκεια
- κάθε
- ευκολότερη
- εύκολα
- εύκολος
- εύκολο στη χρήση
- αποτελεσματικά
- αποδοτικότητα
- αποτελεσματικός
- αποτελεσματικά
- προσπάθεια
- Ηλεκτρονικός
- Ηλεκτρονικά αρχεία υγείας
- Αιρετότητα
- επείγον
- ενεργοποιήσετε
- δίνει τη δυνατότητα
- ενεργοποίηση
- Τελικό σημείο
- Μηχανική
- ενίσχυση
- εξασφαλίζω
- Εταιρεία
- καταχώριση
- Περιβάλλον
- εποχή
- ουσιώδης
- Even
- εξελίσσεται
- παράδειγμα
- υφιστάμενα
- εμπειρία
- βιώνουν
- διερευνήσει
- Εξερευνήθηκε
- Εξερευνώντας
- επέκταση
- εκχύλισμα
- Πρόσωπο
- αντιμετωπίζουν
- μακριά
- γρηγορότερα
- Fed
- λίγοι
- Αρχεία
- Αρχεία
- τελικός
- Τελικά
- Εύρεση
- εύρεση
- Όνομα
- ταιριάζουν
- Ευελιξία
- Συγκέντρωση
- ακολουθήστε
- Εξής
- Για
- μορφή
- Θεμέλιο
- από
- πλήρη
- πλήρως
- λειτουργία
- Επί πλέον
- μελλοντικός
- Κέρδος
- General
- παράγουν
- παράγεται
- παραγωγής
- παίρνω
- να πάρει
- Δώστε
- δεδομένου
- Δίνοντας
- Go
- Της Google
- GPU
- εξαιρετική
- μεγαλύτερη
- εγγυημένη
- Έχω
- he
- Υγεία
- υγειονομική περίθαλψη
- Καρδιά
- βοήθεια
- του
- φιλοξενία
- Πως
- Πώς να
- HTML
- http
- HTTPS
- Hub
- Πρόσωπο αγκαλιάς
- ιδανικό
- if
- Απεικόνιση
- εφαρμογή
- εκτέλεση
- εκτελεστικών
- εισαγωγή
- σημαντικό
- βελτίωση
- in
- σε βάθος
- περιλαμβάνουν
- περιλαμβάνει
- Συμπεριλαμβανομένου
- ανεξάρτητος
- βιομηχανίες
- βιομηχανία
- πληροφορίες
- ενημερώνεται
- αρχικός
- εισαγωγή
- είσοδοι
- ιδέες
- παράδειγμα
- οδηγίες
- ολοκλήρωση
- Νοημοσύνη
- σε
- εμπλέκω
- IT
- ΤΟΥ
- Δουλειά
- json
- μόλις
- Ξέρω
- γνώση
- εργαστήριο
- Labs
- τοπίο
- Γλώσσα
- large
- Επίθετο
- αργότερα
- οδηγήσει
- που οδηγεί
- Οδηγεί
- ΜΑΘΑΊΝΩ
- μάθηση
- αριστερά
- Βιβλιοθήκη
- Μου αρέσει
- LLM
- φορτίο
- φόρτωση
- τοποθεσία
- λογική
- ματιά
- χάνουν
- off
- μηχανή
- μάθηση μηχανής
- που
- διατηρήσουν
- κάνω
- Κατασκευή
- διαχείριση
- διαχειρίζεται
- διαχείριση
- χάρτη
- Μάρκετινγκ
- Ενδέχεται..
- εννοώ
- ιατρικών
- Γνωρίστε
- Μνήμη
- πληρούνται
- μέθοδος
- ενδέχεται να
- ελάχιστος
- Λεπτ.
- ML
- μοντέλο
- μοντέλα
- Μονάδα μέτρησης
- περισσότερο
- πλέον
- Δημοφιλέστερα
- πολλαπλούς
- Ονομάστηκε
- Φυσικό
- Επεξεργασία φυσικής γλώσσας
- Πλοηγηθείτε
- Ανάγκη
- ανάγκες
- Νέα
- Νέα Υόρκη
- πρόσφατα
- επόμενη
- nlp
- Όχι.
- σημειωματάριο
- Notes
- τώρα
- αριθμός
- αντικείμενο
- αντικειμένων
- of
- προσφορά
- προσφέρονται
- προσφορές
- Παλιά
- on
- ONE
- αυτά
- επίθεση
- επάνω σε
- ανοίξτε
- ανοικτού κώδικα
- λειτουργούν
- βελτιστοποίηση
- Βελτιστοποίηση
- βελτιστοποιημένη
- βελτιστοποίηση
- Επιλογή
- Επιλογές
- or
- τάξη
- οργανώσεις
- πρωτότυπο
- ΑΛΛΑ
- αλλιώς
- δικός μας
- έξω
- παραγωγή
- εκτός
- επί
- δική
- ιδιοκτησία
- πακέτο
- συσκευασία
- σελίδα
- Πόνος
- παράμετρος
- παράμετροι
- Ειδικότερα
- passieren
- Πέρασμα
- ασθενής
- pacientes
- Πήγασος
- Πενσυλβάνια
- επίδοση
- που αφορούν
- φράσεις
- πλατφόρμες
- Πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- Σημείο
- Δημοφιλής
- Θέση
- ισχυρός
- Ενεργοποίηση
- πρακτική
- Predictor
- προτιμώ
- Προετοιμάστε
- έτοιμος
- παρόν
- χυτρα
- Προβολή
- προηγουμένως
- πρωτίστως
- διαδικασια μας
- Διεργασίες
- μεταποίηση
- Παράγεται
- επαγγελματίας
- επαγγελματίες
- έργα
- υπόσχεση
- ιδιόκτητο
- PROS
- παρέχουν
- παρέχεται
- παρέχει
- χορήγηση
- πρόβλεψη
- σκοπός
- σκοποί
- βάζω
- Python
- ποιότητα
- Γρήγορα
- γρήγορα
- σειρά
- ταχέως
- Τιμή
- Ανάγνωση
- έτοιμος
- πραγματικό κόσμο
- αρχεία
- ανακούφιση
- αφαιρέστε
- Εκθέσεις
- απαιτούν
- απαιτείται
- απαιτήσεις
- Απαιτεί
- έρευνα
- Υποστηρικτικό υλικό
- απάντησης
- Αποτελέσματα
- Επιστροφές
- ανασκόπηση
- Ρόλος
- τρέξιμο
- τρέξιμο
- τρέχει
- σοφός
- ίδιο
- Αποθήκευση
- Απεριόριστες δυνατότητες
- επεκτάσιμη
- έκταση
- μηδέν
- SDK
- sdks
- αδιάλειπτη
- τμήματα
- ασφάλεια
- δείτε
- ξεχωριστό
- υπηρεσία
- Υπηρεσίες
- σειρά
- τον καθορισμό
- ρυθμίσεις
- διάφοροι
- συντομευθεί
- θα πρέπει να
- δείχνουν
- παρουσιάζεται
- Δείχνει
- κλείσιμο
- Κοσκινίζω
- σημαντικός
- σημαντικά
- παρόμοιες
- Απλούς
- απλοποιημένη
- Μέγεθος
- So
- μέχρι τώρα
- λογισμικό
- λύση
- Λύσεις
- μερικοί
- κάτι
- Πηγές
- συγκεκριμένες
- ειδικά
- πέρασε
- Εκκίνηση
- Ξεκινήστε
- Κατάσταση
- state-of-the-art
- Βήματα
- χώρος στο δίσκο
- κατάστημα
- αποθηκεύονται
- εναποθήκευση
- εξορθολογισμός
- δομή
- στούντιο
- υπογλώσσια
- Επιτυχώς
- τέτοιος
- αιφνίδιος
- κοστούμι
- κατάλληλος
- ΠΕΡΙΛΗΨΗ
- βέβαιος
- Συμπτώματα
- σύνοψη
- συνθετικός
- συνθετικά δεδομένα
- συστήματα
- τραπέζι
- Πάρτε
- λαμβάνεται
- παίρνει
- Έργο
- εργασίες
- τεχνικές
- ορολογία
- όροι
- δοκιμή
- από
- ότι
- Η
- το κέντρο
- Τους
- τότε
- Αυτοί
- αυτοί
- αυτό
- εκείνοι
- τρία
- Μέσω
- παντού
- ώρα
- χρονοβόρος
- φορές
- προς την
- σημερινή
- μαζι
- συμβολίζεται
- κουπόνια
- εργαλεία
- δάδα
- Σύνολο
- Τρένο
- εκπαιδευμένο
- Εκπαίδευση
- μετασχηματίζεται
- μετασχηματιστής
- μετασχηματιστές
- Ταξίδια
- δύο
- τύπος
- τύποι
- συνήθως
- ui
- τελικά
- ανίκανος
- υπό
- καταλαβαίνω
- κατανόηση
- Ενημέρωση
- Φορτώθηκε
- us
- χρήση
- περίπτωση χρήσης
- μεταχειρισμένος
- φιλική προς το χρήστη
- χρησιμοποιεί
- χρησιμοποιώντας
- αξιοποιώντας
- επικύρωση
- Αξίες
- διάφορα
- Σταθερή
- πωλητές
- πολύπλευρος
- εκδοχή
- πολύ
- όγκους
- θέλω
- ήταν
- we
- Πλούτος
- ιστός
- διαδικτυακές υπηρεσίες
- ζυγίζω
- ΛΟΙΠΌΝ
- Τι
- πότε
- Ποιό
- ενώ
- ευρύς
- Ευρύ φάσμα
- θα
- με
- χωρίς
- λόγια
- Εργασία
- εργαζόμενος
- λειτουργεί
- θα
- γραφή
- έτος
- Υόρκη
- Εσείς
- Σας
- zephyrnet
- Zip