Ένα από τα πιο χρήσιμα μοτίβα εφαρμογών για παραγωγικούς φόρτους εργασίας AI είναι το Retrieval Augmented Generation (RAG). Στο μοτίβο RAG, βρίσκουμε κομμάτια περιεχομένου αναφοράς που σχετίζονται με μια προτροπή εισόδου εκτελώντας αναζητήσεις ομοιότητας σε ενσωματώσεις. Οι ενσωματώσεις καταγράφουν το περιεχόμενο πληροφοριών στα σώματα του κειμένου, επιτρέποντας στα μοντέλα επεξεργασίας φυσικής γλώσσας (NLP) να λειτουργούν με τη γλώσσα σε αριθμητική μορφή. Οι ενσωματώσεις είναι απλώς διανύσματα αριθμών κινητής υποδιαστολής, επομένως μπορούμε να τους αναλύσουμε για να απαντήσουμε σε τρεις σημαντικές ερωτήσεις: Αλλάζουν τα δεδομένα αναφοράς μας με την πάροδο του χρόνου; Οι ερωτήσεις που κάνουν οι χρήστες αλλάζουν με την πάροδο του χρόνου; Και τέλος, πόσο καλά καλύπτουν τα δεδομένα αναφοράς μας τις ερωτήσεις που τίθενται;
Σε αυτήν την ανάρτηση, θα μάθετε για μερικά από τα ζητήματα για την ενσωμάτωση διανυσματικής ανάλυσης και την ανίχνευση σημάτων ενσωμάτωσης μετατόπισης. Επειδή οι ενσωματώσεις είναι μια σημαντική πηγή δεδομένων για τα μοντέλα NLP γενικά και για τις παραγωγικές λύσεις τεχνητής νοημοσύνης ειδικότερα, χρειαζόμαστε έναν τρόπο να μετρήσουμε εάν οι ενσωματώσεις μας αλλάζουν με την πάροδο του χρόνου (παρασύρονται). Σε αυτήν την ανάρτηση, θα δείτε ένα παράδειγμα εκτέλεσης ανίχνευσης μετατόπισης στην ενσωμάτωση διανυσμάτων χρησιμοποιώντας μια τεχνική ομαδοποίησης με μεγάλα μοντέλα γλώσσας (LLMS) που αναπτύσσονται από Amazon SageMaker JumpStart. Θα μπορείτε επίσης να εξερευνήσετε αυτές τις έννοιες μέσω δύο παρεχόμενων παραδειγμάτων, συμπεριλαμβανομένου ενός δείγματος εφαρμογής από άκρο σε άκρο ή, προαιρετικά, ενός υποσυνόλου της εφαρμογής.
Επισκόπηση του RAG
Η Μοτίβο RAG σας επιτρέπει να ανακτήσετε γνώσεις από εξωτερικές πηγές, όπως έγγραφα PDF, άρθρα wiki ή μεταγραφές κλήσεων και, στη συνέχεια, να χρησιμοποιήσετε αυτές τις γνώσεις για να αυξήσετε το μήνυμα εντολών που αποστέλλεται στο LLM. Αυτό επιτρέπει στο LLM να παραπέμπει σε πιο σχετικές πληροφορίες όταν δημιουργεί μια απάντηση. Για παράδειγμα, εάν ρωτήσετε έναν LLM πώς να φτιάξετε μπισκότα με τσιπ σοκολάτας, μπορεί να περιλαμβάνει πληροφορίες από τη δική σας βιβλιοθήκη συνταγών. Σε αυτό το μοτίβο, το κείμενο της συνταγής μετατρέπεται σε διανύσματα ενσωμάτωσης χρησιμοποιώντας ένα μοντέλο ενσωμάτωσης και αποθηκεύεται σε μια διανυσματική βάση δεδομένων. Οι εισερχόμενες ερωτήσεις μετατρέπονται σε ενσωματώσεις και, στη συνέχεια, η διανυσματική βάση δεδομένων εκτελεί μια αναζήτηση ομοιότητας για να βρει σχετικό περιεχόμενο. Στη συνέχεια, η ερώτηση και τα δεδομένα αναφοράς πηγαίνουν στην προτροπή για το LLM.
Ας ρίξουμε μια πιο προσεκτική ματιά στα διανύσματα ενσωμάτωσης που δημιουργούνται και στον τρόπο εκτέλεσης της ανάλυσης μετατόπισης σε αυτά τα διανύσματα.
Ανάλυση ενσωμάτωσης διανυσμάτων
Τα διανύσματα ενσωμάτωσης είναι αριθμητικές αναπαραστάσεις των δεδομένων μας, επομένως η ανάλυση αυτών των διανυσμάτων μπορεί να παρέχει πληροφορίες για τα δεδομένα αναφοράς μας που μπορούν αργότερα να χρησιμοποιηθούν για την ανίχνευση πιθανών σημάτων μετατόπισης. Τα διανύσματα ενσωμάτωσης αντιπροσωπεύουν ένα στοιχείο σε n-διάστατο χώρο, όπου το n είναι συχνά μεγάλο. Για παράδειγμα, το μοντέλο GPT-J 6B, που χρησιμοποιείται σε αυτήν την ανάρτηση, δημιουργεί διανύσματα μεγέθους 4096. Για τη μέτρηση της μετατόπισης, υποθέστε ότι η εφαρμογή μας καταγράφει ενσωματωμένα διανύσματα τόσο για δεδομένα αναφοράς όσο και για εισερχόμενα μηνύματα.
Ξεκινάμε εκτελώντας μείωση διαστάσεων χρησιμοποιώντας την ανάλυση κύριου στοιχείου (PCA). Το PCA προσπαθεί να μειώσει τον αριθμό των διαστάσεων διατηρώντας παράλληλα το μεγαλύτερο μέρος της διακύμανσης στα δεδομένα. Σε αυτήν την περίπτωση, προσπαθούμε να βρούμε τον αριθμό των διαστάσεων που διατηρεί το 95% της διακύμανσης, το οποίο θα πρέπει να καταγράφει οτιδήποτε εντός δύο τυπικών αποκλίσεων.
Στη συνέχεια χρησιμοποιούμε το K-Means για να προσδιορίσουμε ένα σύνολο κέντρων συμπλέγματος. Το K-Means προσπαθεί να ομαδοποιήσει τα σημεία μαζί σε συστάδες έτσι ώστε κάθε σύμπλεγμα να είναι σχετικά συμπαγές και τα συμπλέγματα να είναι όσο το δυνατόν πιο μακριά το ένα από το άλλο.
Υπολογίζουμε τις ακόλουθες πληροφορίες με βάση την έξοδο ομαδοποίησης που φαίνεται στο παρακάτω σχήμα:
- Ο αριθμός των διαστάσεων στο PCA που εξηγούν το 95% της διακύμανσης
- Η τοποθεσία κάθε κέντρου συμπλέγματος ή κέντρου
Επιπλέον, εξετάζουμε την αναλογία (μεγαλύτερη ή χαμηλότερη) των δειγμάτων σε κάθε ομάδα, όπως φαίνεται στο παρακάτω σχήμα.
Τέλος, χρησιμοποιούμε αυτήν την ανάλυση για να υπολογίσουμε τα ακόλουθα:
- Αδράνεια – Η αδράνεια είναι το άθροισμα των τετραγωνικών αποστάσεων από τα κεντροειδή συμπλέγματος, το οποίο μετρά πόσο καλά ομαδοποιήθηκαν τα δεδομένα χρησιμοποιώντας K-Means.
- Παρτιτούρα Silhouette – Η βαθμολογία σιλουέτας είναι ένα μέτρο για την επικύρωση της συνέπειας εντός των συστάδων και κυμαίνεται από -1 έως 1. Μια τιμή κοντά στο 1 σημαίνει ότι τα σημεία σε ένα σύμπλεγμα είναι κοντά στα άλλα σημεία του ίδιου συμπλέγματος και μακριά από το σημεία των άλλων συστάδων. Μια οπτική αναπαράσταση της παρτιτούρας της σιλουέτας φαίνεται στο παρακάτω σχήμα.
Μπορούμε περιοδικά να συλλάβουμε αυτές τις πληροφορίες για στιγμιότυπα των ενσωματώσεων τόσο για τα δεδομένα αναφοράς πηγής όσο και για τις προτροπές. Η σύλληψη αυτών των δεδομένων μας επιτρέπει να αναλύσουμε πιθανά σήματα ενσωμάτωσης μετατόπισης.
Ανίχνευση μετατόπισης ενσωμάτωσης
Περιοδικά, μπορούμε να συγκρίνουμε τις πληροφορίες ομαδοποίησης μέσω στιγμιότυπων δεδομένων, τα οποία περιλαμβάνουν τις ενσωματώσεις δεδομένων αναφοράς και τις ενσωματώσεις προτροπής. Πρώτον, μπορούμε να συγκρίνουμε τον αριθμό των διαστάσεων που απαιτούνται για να εξηγήσουμε το 95% της διακύμανσης στα δεδομένα ενσωμάτωσης, την αδράνεια και τη βαθμολογία σιλουέτας από την εργασία ομαδοποίησης. Όπως μπορείτε να δείτε στον παρακάτω πίνακα, σε σύγκριση με μια γραμμή βάσης, το πιο πρόσφατο στιγμιότυπο των ενσωματώσεων απαιτεί 39 περισσότερες διαστάσεις για να εξηγηθεί η διακύμανση, υποδεικνύοντας ότι τα δεδομένα μας είναι πιο διασκορπισμένα. Η αδράνεια έχει αυξηθεί, υποδεικνύοντας ότι τα δείγματα βρίσκονται συνολικά πιο μακριά από τα κέντρα συστάδων τους. Επιπλέον, η βαθμολογία της σιλουέτας έχει μειωθεί, υποδεικνύοντας ότι τα συμπλέγματα δεν είναι τόσο καλά καθορισμένα. Για άμεσα δεδομένα, αυτό μπορεί να υποδεικνύει ότι οι τύποι ερωτήσεων που έρχονται στο σύστημα καλύπτουν περισσότερα θέματα.
Στη συνέχεια, στο παρακάτω σχήμα, μπορούμε να δούμε πώς η αναλογία των δειγμάτων σε κάθε σύμπλεγμα έχει αλλάξει με την πάροδο του χρόνου. Αυτό μπορεί να μας δείξει εάν τα νεότερα δεδομένα αναφοράς μας είναι γενικά παρόμοια με το προηγούμενο σύνολο ή καλύπτουν νέες περιοχές.
Τέλος, μπορούμε να δούμε αν τα κέντρα των συστάδων κινούνται, κάτι που θα δείχνει μετατόπιση στις πληροφορίες στα συμπλέγματα, όπως φαίνεται στον παρακάτω πίνακα.
Κάλυψη δεδομένων αναφοράς για εισερχόμενες ερωτήσεις
Μπορούμε επίσης να αξιολογήσουμε πόσο καλά τα δεδομένα αναφοράς μας ευθυγραμμίζονται με τις εισερχόμενες ερωτήσεις. Για να γίνει αυτό, εκχωρούμε κάθε ενσωμάτωση προτροπής σε ένα σύμπλεγμα δεδομένων αναφοράς. Υπολογίζουμε την απόσταση από κάθε προτροπή στο αντίστοιχο κέντρο της και εξετάζουμε τη μέση, τη διάμεσο και την τυπική απόκλιση αυτών των αποστάσεων. Μπορούμε να αποθηκεύσουμε αυτές τις πληροφορίες και να δούμε πώς αλλάζουν με την πάροδο του χρόνου.
Το παρακάτω σχήμα δείχνει ένα παράδειγμα ανάλυσης της απόστασης μεταξύ των κέντρων δεδομένων ενσωμάτωσης και αναφοράς με την πάροδο του χρόνου.
Όπως μπορείτε να δείτε, τα στατιστικά στοιχεία της μέσης, διάμεσης και τυπικής απόστασης απόκλισης μεταξύ των ενσωματώσεων και των κέντρων δεδομένων αναφοράς μειώνονται μεταξύ της αρχικής γραμμής βάσης και του πιο πρόσφατου στιγμιότυπου. Αν και η απόλυτη τιμή της απόστασης είναι δύσκολο να ερμηνευτεί, μπορούμε να χρησιμοποιήσουμε τις τάσεις για να προσδιορίσουμε εάν η σημασιολογική επικάλυψη μεταξύ των δεδομένων αναφοράς και των εισερχόμενων ερωτήσεων βελτιώνεται ή χειροτερεύει με την πάροδο του χρόνου.
Δείγμα εφαρμογής
Προκειμένου να συγκεντρώσουμε τα πειραματικά αποτελέσματα που συζητήθηκαν στην προηγούμενη ενότητα, δημιουργήσαμε ένα δείγμα εφαρμογής που υλοποιεί το μοτίβο RAG χρησιμοποιώντας μοντέλα ενσωμάτωσης και παραγωγής που αναπτύσσονται μέσω του SageMaker JumpStart και φιλοξενούνται σε Amazon Sage Maker καταληκτικά σημεία σε πραγματικό χρόνο.
Η εφαρμογή έχει τρία βασικά στοιχεία:
- Χρησιμοποιούμε μια διαδραστική ροή, η οποία περιλαμβάνει μια διεπαφή χρήστη για τη λήψη προτροπών, σε συνδυασμό με ένα επίπεδο ενορχήστρωσης RAG, χρησιμοποιώντας το LangChain.
- Η ροή επεξεργασίας δεδομένων εξάγει δεδομένα από έγγραφα PDF και δημιουργεί ενσωματώσεις που αποθηκεύονται Amazon OpenSearch Service. Τα χρησιμοποιούμε επίσης στο τελικό στοιχείο ανάλυσης ολίσθησης ενσωμάτωσης της εφαρμογής.
- Οι ενσωματώσεις αποτυπώνονται σε Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) μέσω Firehose δεδομένων Amazon Kinesis, και τρέχουμε έναν συνδυασμό από Κόλλα AWS εξαγωγή, μετατροπή και φόρτωση εργασιών (ETL) και φορητών υπολογιστών Jupyter για την εκτέλεση της ανάλυσης ενσωμάτωσης.
Το παρακάτω διάγραμμα απεικονίζει την αρχιτεκτονική από άκρο σε άκρο.
Το πλήρες δείγμα κώδικα είναι διαθέσιμο στο GitHub. Ο παρεχόμενος κώδικας διατίθεται σε δύο διαφορετικά μοτίβα:
- Δείγμα εφαρμογής full-stack με διεπαφή Streamlit – Αυτό παρέχει μια εφαρμογή από άκρο σε άκρο, συμπεριλαμβανομένης μιας διεπαφής χρήστη που χρησιμοποιεί το Streamlit για τη λήψη προτροπών, σε συνδυασμό με το επίπεδο ενορχήστρωσης RAG, χρησιμοποιώντας το LangChain που εκτελείται σε Υπηρεσία ελαστικών εμπορευματοκιβωτίων Amazon (Amazon ECS) με AWS Fargate
- Εφαρμογή Backend – Για όσους δεν θέλουν να αναπτύξουν την πλήρη στοίβα εφαρμογών, μπορείτε προαιρετικά να επιλέξετε να αναπτύξετε μόνο το backend Κιτ ανάπτυξης AWS Cloud στοίβα (AWS CDK) και, στη συνέχεια, χρησιμοποιήστε το σημειωματάριο Jupyter που παρέχεται για να εκτελέσετε ενορχήστρωση RAG χρησιμοποιώντας το LangChain
Για να δημιουργήσετε τα παρεχόμενα μοτίβα, υπάρχουν αρκετές προϋποθέσεις που περιγράφονται λεπτομερώς στις επόμενες ενότητες, ξεκινώντας με την ανάπτυξη των μοντέλων δημιουργίας και ενσωμάτωσης κειμένου και στη συνέχεια στις πρόσθετες προϋποθέσεις.
Αναπτύξτε μοντέλα μέσω του SageMaker JumpStart
Και τα δύο μοτίβα προϋποθέτουν την ανάπτυξη ενός μοντέλου ενσωμάτωσης και ενός μοντέλου παραγωγής. Για αυτό, θα αναπτύξετε δύο μοντέλα από το SageMaker JumpStart. Το πρώτο μοντέλο, το GPT-J 6B, χρησιμοποιείται ως μοντέλο ενσωμάτωσης και το δεύτερο μοντέλο, το Falcon-40b, χρησιμοποιείται για τη δημιουργία κειμένου.
Μπορείτε να αναπτύξετε καθένα από αυτά τα μοντέλα μέσω του SageMaker JumpStart από το Κονσόλα διαχείρισης AWS, Στούντιο Amazon SageMaker, ή μέσω προγραμματισμού. Για περισσότερες πληροφορίες, ανατρέξτε στο Πώς να χρησιμοποιήσετε τα μοντέλα θεμελίωσης JumpStart. Για να απλοποιήσετε την ανάπτυξη, μπορείτε να χρησιμοποιήσετε το παρεχόμενο σημειωματάριο προέρχεται από σημειωματάρια που δημιουργούνται αυτόματα από το SageMaker JumpStart. Αυτό το σημειωματάριο αντλεί τα μοντέλα από τον διανομέα SageMaker JumpStart ML και τα αναπτύσσει σε δύο ξεχωριστά τελικά σημεία του SageMaker σε πραγματικό χρόνο.
Το δείγμα σημειωματάριου έχει επίσης μια ενότητα καθαρισμού. Μην εκτελέσετε αυτήν την ενότητα ακόμα, γιατί θα διαγράψει τα τελικά σημεία που μόλις αναπτύχθηκαν. Θα ολοκληρώσετε την εκκαθάριση στο τέλος της πορείας.
Αφού επιβεβαιώσετε την επιτυχή ανάπτυξη των τελικών σημείων, είστε έτοιμοι να αναπτύξετε το πλήρες δείγμα εφαρμογής. Ωστόσο, εάν σας ενδιαφέρει περισσότερο να εξερευνήσετε μόνο τα σημειωματάρια υποστήριξης και ανάλυσης, μπορείτε προαιρετικά να αναπτύξετε μόνο αυτό, το οποίο καλύπτεται στην επόμενη ενότητα.
Επιλογή 1: Ανάπτυξη μόνο της εφαρμογής υποστήριξης
Αυτό το μοτίβο σάς επιτρέπει να αναπτύξετε μόνο τη λύση υποστήριξης και να αλληλεπιδράσετε με τη λύση χρησιμοποιώντας ένα σημειωματάριο Jupyter. Χρησιμοποιήστε αυτό το μοτίβο εάν δεν θέλετε να δημιουργήσετε την πλήρη διεπαφή διεπαφής.
Προϋποθέσεις
Θα πρέπει να έχετε τις ακόλουθες προϋποθέσεις:
- Αναπτύχθηκε ένα τελικό σημείο μοντέλου SageMaker JumpStart – Αναπτύξτε τα μοντέλα σε τελικά σημεία του SageMaker σε πραγματικό χρόνο χρησιμοποιώντας το SageMaker JumpStart, όπως περιγράφηκε προηγουμένως
- Παράμετροι ανάπτυξης – Καταγράψτε τα ακόλουθα:
- Όνομα τελικού σημείου μοντέλου κειμένου – Το όνομα τελικού σημείου του μοντέλου δημιουργίας κειμένου που αναπτύχθηκε με το SageMaker JumpStart
- Όνομα τελικού σημείου μοντέλου ενσωματώσεων – Το όνομα τελικού σημείου του μοντέλου ενσωμάτωσης που αναπτύχθηκε με το SageMaker JumpStart
Αναπτύξτε τους πόρους χρησιμοποιώντας το AWS CDK
Χρησιμοποιήστε τις παραμέτρους ανάπτυξης που σημειώθηκαν στην προηγούμενη ενότητα για να αναπτύξετε τη στοίβα AWS CDK. Για περισσότερες πληροφορίες σχετικά με την εγκατάσταση του AWS CDK, ανατρέξτε στο Ξεκινώντας με το AWS CDK.
Βεβαιωθείτε ότι το Docker είναι εγκατεστημένο και εκτελείται στο σταθμό εργασίας που θα χρησιμοποιηθεί για την ανάπτυξη του AWS CDK. Αναφέρομαι σε Αποκτήστε το Docker για πρόσθετη καθοδήγηση.
Εναλλακτικά, μπορείτε να εισαγάγετε τις τιμές περιβάλλοντος σε ένα αρχείο που ονομάζεται cdk.context.json
στο pattern1-rag/cdk
κατάλογο και εκτελέστε cdk deploy BackendStack --exclusively
.
Η ανάπτυξη θα εκτυπώσει τα αποτελέσματα, μερικά από τα οποία θα χρειαστούν για την εκτέλεση του φορητού υπολογιστή. Προτού ξεκινήσετε την ερώτηση και την απάντηση, ενσωματώστε τα έγγραφα αναφοράς, όπως φαίνεται στην επόμενη ενότητα.
Ενσωμάτωση εγγράφων αναφοράς
Για αυτήν την προσέγγιση RAG, τα έγγραφα αναφοράς ενσωματώνονται πρώτα με ένα μοντέλο ενσωμάτωσης κειμένου και αποθηκεύονται σε μια διανυσματική βάση δεδομένων. Σε αυτή τη λύση, έχει δημιουργηθεί ένας σωλήνας απορρόφησης που δέχεται έγγραφα PDF.
An Amazon Elastic Compute Cloud Το παράδειγμα (Amazon EC2) έχει δημιουργηθεί για την απορρόφηση του εγγράφου PDF και ένα Σύστημα αρχείων ελαστικού Amazon Το σύστημα αρχείων (Amazon EFS) είναι τοποθετημένο στην παρουσία EC2 για την αποθήκευση των εγγράφων PDF. Ενα AWS DataSync Η εργασία εκτελείται κάθε ώρα για λήψη εγγράφων PDF που βρίσκονται στη διαδρομή του συστήματος αρχείων EFS και αποστολή τους σε έναν κάδο S3 για να ξεκινήσει η διαδικασία ενσωμάτωσης κειμένου. Αυτή η διαδικασία ενσωματώνει τα έγγραφα αναφοράς και αποθηκεύει τις ενσωματώσεις στην υπηρεσία OpenSearch. Επίσης, αποθηκεύει ένα αρχείο ενσωμάτωσης σε έναν κάδο S3 μέσω του Kinesis Data Firehose για μεταγενέστερη ανάλυση.
Για να απορροφήσετε τα έγγραφα αναφοράς, ολοκληρώστε τα ακόλουθα βήματα:
- Ανακτήστε το δείγμα ταυτότητας EC2 που δημιουργήθηκε (δείτε την έξοδο AWS CDK
JumpHostId
) και συνδεθείτε χρησιμοποιώντας Session Manager, μια ικανότητα του Διευθυντής συστημάτων AWS. Για οδηγίες, ανατρέξτε στο Συνδεθείτε στην παρουσία σας Linux με το AWS Systems Manager Session Manager. - Μεταβείτε στον κατάλογο
/mnt/efs/fs1
, όπου είναι προσαρτημένο το σύστημα αρχείων EFS και δημιουργήστε έναν φάκελο που ονομάζεταιingest
: - Προσθέστε τα έγγραφα PDF αναφοράς σας στο
ingest
Κατάλογο.
Η εργασία DataSync έχει ρυθμιστεί ώστε να μεταφορτώνει όλα τα αρχεία που βρίσκονται σε αυτόν τον κατάλογο στο Amazon S3 για να ξεκινήσει η διαδικασία ενσωμάτωσης.
Η εργασία DataSync εκτελείται σε ωριαίο πρόγραμμα. μπορείτε προαιρετικά να ξεκινήσετε την εργασία με μη αυτόματο τρόπο για να ξεκινήσετε αμέσως τη διαδικασία ενσωμάτωσης για τα έγγραφα PDF που προσθέσατε.
- Για να ξεκινήσετε την εργασία, εντοπίστε το αναγνωριστικό εργασίας από την έξοδο AWS CDK
DataSyncTaskID
και ξεκινήστε την εργασία με προεπιλογές.
Αφού δημιουργηθούν οι ενσωματώσεις, μπορείτε να ξεκινήσετε την ερώτηση και την απάντηση RAG μέσω ενός σημειωματάριου Jupyter, όπως φαίνεται στην επόμενη ενότητα.
Ερωτήσεις και απαντήσεις χρησιμοποιώντας ένα σημειωματάριο Jupyter
Ολοκληρώστε τα παρακάτω βήματα:
- Ανακτήστε το όνομα παρουσίας του σημειωματάριου SageMaker από την έξοδο AWS CDK
NotebookInstanceName
και συνδεθείτε στο JupyterLab από την κονσόλα SageMaker. - Μεταβείτε στον κατάλογο
fmops/full-stack/pattern1-rag/notebooks/
. - Ανοίξτε και εκτελέστε το σημειωματάριο
query-llm.ipynb
στην περίπτωση του σημειωματάριου για να εκτελέσετε ερωτήσεις και απαντήσεις χρησιμοποιώντας RAG.
Φροντίστε να χρησιμοποιήσετε το conda_python3
πυρήνα για το σημειωματάριο.
Αυτό το μοτίβο είναι χρήσιμο για την εξερεύνηση της λύσης backend χωρίς να χρειάζεται να παρέχονται πρόσθετες προϋποθέσεις που απαιτούνται για την εφαρμογή full-stack. Η επόμενη ενότητα καλύπτει την υλοποίηση μιας εφαρμογής πλήρους στοίβας, συμπεριλαμβανομένων των στοιχείων διεπαφής και υποστήριξης, για να παρέχει μια διεπαφή χρήστη για την αλληλεπίδραση με την εφαρμογή δημιουργίας τεχνητής νοημοσύνης.
Επιλογή 2: Αναπτύξτε το δείγμα εφαρμογής πλήρους στοίβας με μια διεπαφή Streamlit
Αυτό το μοτίβο σάς επιτρέπει να αναπτύξετε τη λύση με μια διεπαφή χρήστη για ερωτήσεις και απαντήσεις.
Προϋποθέσεις
Για να αναπτύξετε το δείγμα εφαρμογής, πρέπει να έχετε τις ακόλουθες προϋποθέσεις:
- Αναπτύχθηκε τελικό σημείο του μοντέλου SageMaker JumpStart – Αναπτύξτε τα μοντέλα στα τελικά σημεία του SageMaker σε πραγματικό χρόνο χρησιμοποιώντας το SageMaker JumpStart, όπως περιγράφεται στην προηγούμενη ενότητα, χρησιμοποιώντας τα παρεχόμενα σημειωματάρια.
- Ζώνη φιλοξενίας Amazon Route 53 - Δημιουργήστε ένα Η διαδρομή του Αμαζονίου 53 δημόσια φιλοξενούμενη ζώνη να χρησιμοποιηθεί για αυτή τη λύση. Μπορείτε επίσης να χρησιμοποιήσετε μια υπάρχουσα δημόσια φιλοξενούμενη ζώνη Route 53, όπως π.χ
example.com
. - Πιστοποιητικό AWS Certificate Manager – Διάταξη α Διαχειριστής πιστοποιητικών AWS (ACM) Πιστοποιητικό TLS για το όνομα τομέα της ζώνης φιλοξενίας Route 53 και τους ισχύοντες υποτομείς του, όπως
example.com
και*.example.com
για όλους τους υποτομείς. Για οδηγίες, ανατρέξτε στο Ζητώντας δημόσιο πιστοποιητικό. Αυτό το πιστοποιητικό χρησιμοποιείται για τη διαμόρφωση του HTTPS Amazon CloudFront και τον εξισορροπητή φορτίου αρχής. - Παράμετροι ανάπτυξης – Καταγράψτε τα ακόλουθα:
- Προσαρμοσμένο όνομα τομέα εφαρμογής διεπαφής – Ένα προσαρμοσμένο όνομα τομέα που χρησιμοποιείται για πρόσβαση στο δείγμα εφαρμογής διεπαφής. Το παρεχόμενο όνομα τομέα χρησιμοποιείται για τη δημιουργία μιας εγγραφής DNS Route 53 που οδηγεί στη διανομή CloudFront διεπαφής. για παράδειγμα,
app.example.com
. - Προσαρμοσμένο όνομα τομέα προέλευσης εξισορρόπησης φορτίου – Ένα προσαρμοσμένο όνομα τομέα που χρησιμοποιείται για την αρχή εξισορρόπησης φόρτου διανομής CloudFront. Το όνομα τομέα που παρέχεται χρησιμοποιείται για τη δημιουργία μιας εγγραφής DNS Route 53 που δείχνει τον εξισορροπητή φορτίου προέλευσης. για παράδειγμα,
app-lb.example.com
. - Αναγνωριστικό ζώνης φιλοξενούμενης διαδρομής 53 – Το αναγνωριστικό ζώνης που φιλοξενείται στη διαδρομή 53 για να φιλοξενεί τα παρεχόμενα προσαρμοσμένα ονόματα τομέα. για παράδειγμα,
ZXXXXXXXXYYYYYYYYY
. - Όνομα φιλοξενούμενης ζώνης διαδρομής 53 – Το όνομα της φιλοξενούμενης ζώνης Route 53 για τη φιλοξενία των προσαρμοσμένων ονομάτων τομέα που παρέχονται. για παράδειγμα,
example.com
. - Πιστοποιητικό ACM ARN – Το ARN του πιστοποιητικού ACM που θα χρησιμοποιηθεί με τον παρεχόμενο προσαρμοσμένο τομέα.
- Όνομα τελικού σημείου μοντέλου κειμένου – Το όνομα τελικού σημείου του μοντέλου δημιουργίας κειμένου που αναπτύχθηκε με το SageMaker JumpStart.
- Όνομα τελικού σημείου μοντέλου ενσωματώσεων – Το όνομα τελικού σημείου του μοντέλου ενσωμάτωσης που αναπτύχθηκε με το SageMaker JumpStart.
- Προσαρμοσμένο όνομα τομέα εφαρμογής διεπαφής – Ένα προσαρμοσμένο όνομα τομέα που χρησιμοποιείται για πρόσβαση στο δείγμα εφαρμογής διεπαφής. Το παρεχόμενο όνομα τομέα χρησιμοποιείται για τη δημιουργία μιας εγγραφής DNS Route 53 που οδηγεί στη διανομή CloudFront διεπαφής. για παράδειγμα,
Αναπτύξτε τους πόρους χρησιμοποιώντας το AWS CDK
Χρησιμοποιήστε τις παραμέτρους ανάπτυξης που σημειώσατε στις προϋποθέσεις για να αναπτύξετε τη στοίβα AWS CDK. Για περισσότερες πληροφορίες, ανατρέξτε στο Ξεκινώντας με το AWS CDK.
Βεβαιωθείτε ότι το Docker είναι εγκατεστημένο και εκτελείται στο σταθμό εργασίας που θα χρησιμοποιηθεί για την ανάπτυξη του AWS CDK.
Στον προηγούμενο κώδικα, το -c αντιπροσωπεύει μια τιμή περιβάλλοντος, με τη μορφή των απαιτούμενων προαπαιτούμενων, που παρέχονται στην είσοδο. Εναλλακτικά, μπορείτε να εισαγάγετε τις τιμές περιβάλλοντος σε ένα αρχείο που ονομάζεται cdk.context.json
στο pattern1-rag/cdk
κατάλογο και εκτελέστε cdk deploy --all
.
Σημειώστε ότι προσδιορίζουμε την Περιοχή στο αρχείο bin/cdk.ts
. Η διαμόρφωση των αρχείων καταγραφής πρόσβασης ALB απαιτεί μια καθορισμένη περιοχή. Μπορείτε να αλλάξετε αυτήν την περιοχή πριν από την ανάπτυξη.
Η ανάπτυξη θα εκτυπώσει τη διεύθυνση URL για πρόσβαση στην εφαρμογή Streamlit. Για να ξεκινήσετε την ερώτηση και την απάντηση, πρέπει να ενσωματώσετε τα έγγραφα αναφοράς, όπως φαίνεται στην επόμενη ενότητα.
Ενσωματώστε τα έγγραφα αναφοράς
Για μια προσέγγιση RAG, τα έγγραφα αναφοράς ενσωματώνονται πρώτα με ένα μοντέλο ενσωμάτωσης κειμένου και αποθηκεύονται σε μια διανυσματική βάση δεδομένων. Σε αυτή τη λύση, έχει δημιουργηθεί ένας σωλήνας απορρόφησης που δέχεται έγγραφα PDF.
Όπως συζητήσαμε στην πρώτη επιλογή ανάπτυξης, έχει δημιουργηθεί ένα παράδειγμα EC2 για την απορρόφηση εγγράφου PDF και ένα σύστημα αρχείων EFS έχει προσαρτηθεί στην παρουσία EC2 για την αποθήκευση των εγγράφων PDF. Μια εργασία DataSync εκτελείται κάθε ώρα για την ανάκτηση εγγράφων PDF που βρίσκονται στη διαδρομή του συστήματος αρχείων EFS και τη μεταφόρτωσή τους σε έναν κάδο S3 για να ξεκινήσει η διαδικασία ενσωμάτωσης κειμένου. Αυτή η διαδικασία ενσωματώνει τα έγγραφα αναφοράς και αποθηκεύει τις ενσωματώσεις στην υπηρεσία OpenSearch. Επίσης, αποθηκεύει ένα αρχείο ενσωμάτωσης σε έναν κάδο S3 μέσω του Kinesis Data Firehose για μεταγενέστερη ανάλυση.
Για να απορροφήσετε τα έγγραφα αναφοράς, ολοκληρώστε τα ακόλουθα βήματα:
- Ανακτήστε το δείγμα ταυτότητας EC2 που δημιουργήθηκε (δείτε την έξοδο AWS CDK
JumpHostId
) και συνδεθείτε χρησιμοποιώντας το Session Manager. - Μεταβείτε στον κατάλογο
/mnt/efs/fs1
, όπου είναι προσαρτημένο το σύστημα αρχείων EFS και δημιουργήστε έναν φάκελο που ονομάζεταιingest
: - Προσθέστε τα έγγραφα PDF αναφοράς σας στο
ingest
Κατάλογο.
Η εργασία DataSync έχει ρυθμιστεί ώστε να μεταφορτώνει όλα τα αρχεία που βρίσκονται σε αυτόν τον κατάλογο στο Amazon S3 για να ξεκινήσει η διαδικασία ενσωμάτωσης.
Η εργασία DataSync εκτελείται σε ωριαίο πρόγραμμα. Μπορείτε προαιρετικά να ξεκινήσετε την εργασία με μη αυτόματο τρόπο για να ξεκινήσετε αμέσως τη διαδικασία ενσωμάτωσης για τα έγγραφα PDF που προσθέσατε.
- Για να ξεκινήσετε την εργασία, εντοπίστε το αναγνωριστικό εργασίας από την έξοδο AWS CDK
DataSyncTaskID
και ξεκινήστε την εργασία με προεπιλογές.
Ερώτηση και απάντηση
Μετά την ενσωμάτωση των εγγράφων αναφοράς, μπορείτε να ξεκινήσετε την ερώτηση και την απάντηση RAG επισκεπτόμενοι τη διεύθυνση URL για πρόσβαση στην εφαρμογή Streamlit. Ενα Amazon Cognito Χρησιμοποιείται επίπεδο ελέγχου ταυτότητας, επομένως απαιτεί τη δημιουργία ενός λογαριασμού χρήστη στη συγκέντρωση χρηστών του Amazon Cognito που αναπτύσσεται μέσω του AWS CDK (δείτε την έξοδο AWS CDK για το όνομα της ομάδας χρήστη) για πρώτη πρόσβαση στην εφαρμογή. Για οδηγίες σχετικά με τη δημιουργία ενός χρήστη Amazon Cognito, ανατρέξτε στο Δημιουργία νέου χρήστη στην Κονσόλα διαχείρισης AWS.
Ενσωματώστε την ανάλυση μετατόπισης
Σε αυτήν την ενότητα, σας δείχνουμε πώς να εκτελείτε ανάλυση μετατόπισης δημιουργώντας πρώτα μια γραμμή βάσης των ενσωματώσεων δεδομένων αναφοράς και των ενσωματώσεων προτροπής και, στη συνέχεια, δημιουργώντας ένα στιγμιότυπο των ενσωματώσεων με την πάροδο του χρόνου. Αυτό σας επιτρέπει να συγκρίνετε τις ενσωματώσεις γραμμής βάσης με τις ενσωματώσεις στιγμιότυπου.
Δημιουργήστε μια γραμμή βάσης ενσωμάτωσης για τα δεδομένα αναφοράς και την προτροπή
Για να δημιουργήσετε μια γραμμή βάσης ενσωμάτωσης των δεδομένων αναφοράς, ανοίξτε την κονσόλα AWS Glue και επιλέξτε την εργασία ETL embedding-drift-analysis
. Ορίστε τις παραμέτρους για την εργασία ETL ως εξής και εκτελέστε την εργασία:
- σετ
--job_type
προς τηνBASELINE
. - σετ
--out_table
στο Amazon DynamoDB πίνακα για δεδομένα ενσωμάτωσης αναφοράς. (Δείτε την έξοδο AWS CDKDriftTableReference
για το όνομα του πίνακα.) - σετ
--centroid_table
στον πίνακα DynamoDB για δεδομένα centroid αναφοράς. (Δείτε την έξοδο AWS CDKCentroidTableReference
για το όνομα του πίνακα.) - σετ
--data_path
στον κάδο S3 με το πρόθεμα. για παράδειγμα,s3://
/embeddingarchive/
. (Δείτε την έξοδο AWS CDKBucketName
για το όνομα του κάδου.)
Ομοίως, χρησιμοποιώντας την εργασία ETL embedding-drift-analysis
, δημιουργήστε μια γραμμή βάσης ενσωμάτωσης των μηνυμάτων. Ορίστε τις παραμέτρους για την εργασία ETL ως εξής και εκτελέστε την εργασία:
- σετ
--job_type
προς τηνBASELINE
- σετ
--out_table
στον πίνακα DynamoDB για άμεση ενσωμάτωση δεδομένων. (Δείτε την έξοδο AWS CDKDriftTablePromptsName
για το όνομα του πίνακα.) - σετ
--centroid_table
στον πίνακα DynamoDB για άμεσες πληροφορίες centroid. (Δείτε την έξοδο AWS CDKCentroidTablePrompts
για το όνομα του πίνακα.) - σετ
--data_path
στον κάδο S3 με το πρόθεμα. για παράδειγμα,s3://
/promptarchive/
. (Δείτε την έξοδο AWS CDKBucketName
για το όνομα του κάδου.)
Δημιουργήστε ένα στιγμιότυπο ενσωμάτωσης για τα δεδομένα αναφοράς και την προτροπή
Αφού εισαγάγετε πρόσθετες πληροφορίες στην Υπηρεσία OpenSearch, εκτελέστε την εργασία ETL embedding-drift-analysis
και πάλι για να τραβήξετε στιγμιότυπο από τις ενσωματώσεις δεδομένων αναφοράς. Οι παράμετροι θα είναι ίδιες με την εργασία ETL που εκτελέσατε για να δημιουργήσετε τη γραμμή βάσης ενσωμάτωσης των δεδομένων αναφοράς, όπως φαίνεται στην προηγούμενη ενότητα, με εξαίρεση τη ρύθμιση του --job_type
παράμετρος για την SNAPSHOT
.
Παρομοίως, για να τραβήξετε στιγμιότυπο τις ενσωματώσεις προτροπής, εκτελέστε την εργασία ETL embedding-drift-analysis
πάλι. Οι παράμετροι θα είναι οι ίδιες με την εργασία ETL που εκτελέσατε για να δημιουργήσετε τη γραμμή βάσης ενσωμάτωσης για τα μηνύματα προτροπής, όπως φαίνεται στην προηγούμενη ενότητα, με εξαίρεση τη ρύθμιση του --job_type
παράμετρος για την SNAPSHOT
.
Συγκρίνετε τη γραμμή βάσης με το στιγμιότυπο
Για να συγκρίνετε τη γραμμή βάσης και το στιγμιότυπο ενσωμάτωσης για δεδομένα αναφοράς και προτροπές, χρησιμοποιήστε το παρεχόμενο σημειωματάριο pattern1-rag/notebooks/drift-analysis.ipynb
.
Για να εξετάσετε τη σύγκριση ενσωμάτωσης για δεδομένα αναφοράς ή προτροπές, αλλάξτε τις μεταβλητές ονόματος πίνακα DynamoDB (tbl
και c_tbl
) στο σημειωματάριο στον κατάλληλο πίνακα DynamoDB για κάθε εκτέλεση του notebook.
Η μεταβλητή του σημειωματάριου tbl
θα πρέπει να αλλάξει στο κατάλληλο όνομα πίνακα drift. Το παρακάτω είναι ένα παράδειγμα για το πού μπορείτε να ρυθμίσετε τις παραμέτρους της μεταβλητής στο σημειωματάριο.
Τα ονόματα των πινάκων μπορούν να ανακτηθούν ως εξής:
- Για τα δεδομένα ενσωμάτωσης αναφοράς, ανακτήστε το όνομα του πίνακα drift από την έξοδο AWS CDK
DriftTableReference
- Για τα δεδομένα άμεσης ενσωμάτωσης, ανακτήστε το όνομα του πίνακα drift από την έξοδο AWS CDK
DriftTablePromptsName
Επιπλέον, η μεταβλητή του notebook c_tbl
θα πρέπει να αλλάξει στο κατάλληλο όνομα πίνακα κέντρου. Το παρακάτω είναι ένα παράδειγμα για το πού μπορείτε να ρυθμίσετε τις παραμέτρους της μεταβλητής στο σημειωματάριο.
Τα ονόματα των πινάκων μπορούν να ανακτηθούν ως εξής:
- Για τα δεδομένα ενσωμάτωσης αναφοράς, ανακτήστε το όνομα του πίνακα κέντρου από την έξοδο AWS CDK
CentroidTableReference
- Για τα δεδομένα άμεσης ενσωμάτωσης, ανακτήστε το όνομα του πίνακα κέντρου από την έξοδο AWS CDK
CentroidTablePrompts
Αναλύστε την άμεση απόσταση από τα δεδομένα αναφοράς
Πρώτα, εκτελέστε την εργασία κόλλας AWS embedding-distance-analysis
. Αυτή η εργασία θα ανακαλύψει σε ποιο σύμπλεγμα, από την αξιολόγηση K-Means των ενσωματώσεων δεδομένων αναφοράς, ανήκει κάθε προτροπή. Στη συνέχεια υπολογίζει τη μέση, τη διάμεσο και την τυπική απόκλιση της απόστασης από κάθε προτροπή έως το κέντρο του αντίστοιχου συμπλέγματος.
Μπορείτε να εκτελέσετε το σημειωματάριο pattern1-rag/notebooks/distance-analysis.ipynb
για να δείτε τις τάσεις στις μετρήσεις απόστασης με την πάροδο του χρόνου. Αυτό θα σας δώσει μια αίσθηση της συνολικής τάσης στην κατανομή των αποστάσεων άμεσης ενσωμάτωσης.
Το σημειωματάριο pattern1-rag/notebooks/prompt-distance-outliers.ipynb
είναι ένα σημειωματάριο AWS Glue που αναζητά ακραίες τιμές, οι οποίες μπορούν να σας βοηθήσουν να προσδιορίσετε εάν λαμβάνετε περισσότερα μηνύματα που δεν σχετίζονται με τα δεδομένα αναφοράς.
Παρακολούθηση βαθμολογιών ομοιότητας
Όλες οι βαθμολογίες ομοιότητας από την Υπηρεσία OpenSearch είναι συνδεδεμένες amazoncloudwatch σύμφωνα με το rag
χώρο ονομάτων. Το ταμπλό RAG_Scores
δείχνει τη μέση βαθμολογία και τον συνολικό αριθμό των βαθμολογιών που λαμβάνονται.
εκκαθάριση
Για να αποφύγετε μελλοντικές χρεώσεις, διαγράψτε όλους τους πόρους που δημιουργήσατε.
Διαγράψτε τα αναπτυγμένα μοντέλα SageMaker
Ανατρέξτε στην ενότητα καθαρισμού του παρείχε παράδειγμα σημειωματάριο για να διαγράψετε τα αναπτυγμένα μοντέλα SageMaker JumpStart, ή μπορείτε διαγράψτε τα μοντέλα στην κονσόλα SageMaker.
Διαγράψτε τους πόρους AWS CDK
Εάν εισαγάγατε τις παραμέτρους σας στο α cdk.context.json
αρχείο, καθαρίστε ως εξής:
Εάν εισαγάγατε τις παραμέτρους σας στη γραμμή εντολών και αναπτύξατε μόνο την εφαρμογή backend (τη στοίβα AWS CDK backend), κάντε εκκαθάριση ως εξής:
Εάν εισαγάγατε τις παραμέτρους σας στη γραμμή εντολών και αναπτύξατε την πλήρη λύση (τις στοίβες AWS CDK frontend και backend), κάντε εκκαθάριση ως εξής:
Συμπέρασμα
Σε αυτήν την ανάρτηση, παρέχουμε ένα παράδειγμα εργασίας μιας εφαρμογής που καταγράφει ενσωματωμένα διανύσματα τόσο για δεδομένα αναφοράς όσο και για προτροπές στο μοτίβο RAG για το γενετικό AI. Δείξαμε πώς να εκτελούμε ανάλυση ομαδοποίησης για να προσδιορίσουμε εάν τα δεδομένα αναφοράς ή τα δεδομένα προτροπής μετακινούνται με την πάροδο του χρόνου και πόσο καλά τα δεδομένα αναφοράς καλύπτουν τους τύπους ερωτήσεων που κάνουν οι χρήστες. Εάν εντοπίσετε μετατόπιση, μπορεί να παρέχει ένα σήμα ότι το περιβάλλον έχει αλλάξει και το μοντέλο σας λαμβάνει νέες εισόδους που ενδέχεται να μην είναι βελτιστοποιημένο να χειρίζεται. Αυτό επιτρέπει την προληπτική αξιολόγηση του τρέχοντος μοντέλου έναντι των μεταβαλλόμενων εισροών.
Σχετικά με τους Συγγραφείς
Abdullahi Olaoye είναι Senior Solutions Architect στο Amazon Web Services (AWS). Ο Abdullahi είναι κάτοχος MSC στη Δικτύωση Υπολογιστών από το Wichita State University και είναι δημοσιευμένος συγγραφέας που έχει διαδραματίσει ρόλους σε διάφορους τομείς τεχνολογίας όπως DevOps, εκσυγχρονισμός υποδομών και AI. Επί του παρόντος επικεντρώνεται στο Generative AI και διαδραματίζει βασικό ρόλο βοηθώντας τις επιχειρήσεις να αρχιτεκτονήσουν και να δημιουργήσουν λύσεις αιχμής που υποστηρίζονται από την Generative AI. Πέρα από τη σφαίρα της τεχνολογίας, βρίσκει χαρά στην τέχνη της εξερεύνησης. Όταν δεν δημιουργεί λύσεις τεχνητής νοημοσύνης, του αρέσει να ταξιδεύει με την οικογένειά του για να εξερευνήσει νέα μέρη.
Randy DeFauw είναι Senior Principal Solutions Architect στην AWS. Είναι κάτοχος MSEE από το Πανεπιστήμιο του Μίσιγκαν, όπου εργάστηκε στην όραση υπολογιστών για αυτόνομα οχήματα. Είναι επίσης κάτοχος MBA από το Κρατικό Πανεπιστήμιο του Κολοράντο. Ο Randy κατείχε διάφορες θέσεις στον τεχνολογικό χώρο, που κυμαίνονται από τη μηχανική λογισμικού έως τη διαχείριση προϊόντων. Το In εισήλθε στον χώρο των Big Data το 2013 και συνεχίζει να εξερευνά αυτήν την περιοχή. Εργάζεται ενεργά σε έργα στον χώρο της ML και έχει παρουσιάσει σε πολυάριθμα συνέδρια, συμπεριλαμβανομένων των Strata και GlueCon.
Shelbee Eigenbrode είναι κύριος αρχιτέκτονας λύσεων τεχνητής νοημοσύνης και μηχανικής μάθησης στο Amazon Web Services (AWS). Ασχολείται με την τεχνολογία για 24 χρόνια, εκτείνοντας πολλούς κλάδους, τεχνολογίες και ρόλους. Αυτήν τη στιγμή εστιάζει στο να συνδυάσει το ιστορικό DevOps και ML στον τομέα των MLOps για να βοηθήσει τους πελάτες να προσφέρουν και να διαχειρίζονται φόρτους εργασίας ML σε κλίμακα. Με πάνω από 35 διπλώματα ευρεσιτεχνίας που έχουν χορηγηθεί σε διάφορους τομείς τεχνολογίας, έχει πάθος για συνεχή καινοτομία και χρήση δεδομένων για την επίτευξη επιχειρηματικών αποτελεσμάτων. Η Shelbee είναι συνδημιουργός και εκπαιδευτής της εξειδίκευσης της Practical Data Science στο Coursera. Είναι επίσης η συν-διευθύντρια του Women In Big Data (WiBD), κεφάλαιο Ντένβερ. Στον ελεύθερο χρόνο της, της αρέσει να περνά χρόνο με την οικογένειά της, τους φίλους και τα υπερδραστήρια σκυλιά.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/monitor-embedding-drift-for-llms-deployed-from-amazon-sagemaker-jumpstart/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 1
- 10
- 100
- 2013
- 24
- 35%
- 39
- 7
- 9
- 95%
- a
- Ικανός
- Σχετικα
- Απόλυτος
- πρόσβαση
- Λογαριασμός
- ACM
- απέναντι
- δραστήρια
- προστιθέμενη
- Επιπλέον
- Πρόσθετος
- Επιπλέον πληροφορίες
- Επιπλέον
- πάλι
- κατά
- σύνολο
- AI
- Ευθυγραμμίζει
- Όλα
- Επιτρέποντας
- επιτρέπει
- Επίσης
- Αν και
- Amazon
- Amazon Cognito
- Amazon EC2
- Amazon Sage Maker
- Amazon SageMaker JumpStart
- Amazon υπηρεσίες Web
- Amazon Web Services (AWS)
- an
- ανάλυση
- αναλύσει
- αναλύοντας
- και
- απάντηση
- απάντηση
- οτιδήποτε
- εφαρμόσιμος
- Εφαρμογή
- πλησιάζω
- κατάλληλος
- αρχιτεκτονική
- Αρχείο
- ΕΙΝΑΙ
- ΠΕΡΙΟΧΗ
- περιοχές
- Τέχνη
- εμπορεύματα
- AS
- ζητώ
- ζητώντας
- βοηθώντας
- υποθέτω
- At
- αυξάνω
- επαυξημένης
- Πιστοποίηση
- συγγραφέας
- αυτομάτως
- αυτονόμος
- αυτόνομα οχήματα
- διαθέσιμος
- μέσος
- αποφύγετε
- μακριά
- AWS
- Κόλλα AWS
- Backend
- φόντο
- Balancer
- βασίζονται
- Baseline
- BE
- επειδή
- ήταν
- πριν
- είναι
- ανήκει
- Καλύτερα
- μεταξύ
- Πέρα
- Μεγάλος
- Big Data
- φορείς
- και οι δύο
- γενικά
- χτίζω
- χτισμένο
- επιχείρηση
- by
- υπολογίσει
- υπολογίζει
- κλήση
- που ονομάζεται
- CAN
- ικανότητα
- πιάνω
- συλλαμβάνονται
- συλλαμβάνει
- Καταγραφή
- περίπτωση
- CD
- Κέντρο
- Κέντρα
- πιστοποιητικό
- αλλαγή
- άλλαξε
- Αλλαγές
- αλλαγή
- Κεφάλαιο
- φορτία
- τσιπ
- Σοκολάτα
- Επιλέξτε
- καθαρός
- Κλεισιμο
- πιο κοντά
- Backup
- συστάδα
- ομαδοποίηση
- κωδικός
- Κολοράντο
- συνδυασμός
- σε συνδυασμό
- συνδυάζοντας
- ερχομός
- συμπαγής
- συγκρίνουν
- σύγκριση
- σύγκριση
- πλήρης
- συστατικό
- εξαρτήματα
- Υπολογίστε
- υπολογιστή
- Computer Vision
- έννοιες
- συνέδρια
- έχει ρυθμιστεί
- Διαμόρφωση
- Connect
- θεωρήσεις
- πρόξενος
- Δοχείο
- περιεχόμενο
- συμφραζόμενα
- συνεχίζεται
- συνεχής
- μετατρέπονται
- μπισκότα
- πυρήνας
- Αντίστοιχος
- κάλυψη
- καλύπτονται
- κάλυμμα
- Καλύμματα
- δημιουργία
- δημιουργήθηκε
- δημιουργεί
- δημιουργία
- Ρεύμα
- Τη στιγμή
- έθιμο
- Πελάτες
- αιχμής
- ταμπλό
- ημερομηνία
- κέντρα δεδομένων
- επεξεργασία δεδομένων
- επιστημονικά δεδομένα
- βάση δεδομένων
- προεπιλογές
- ορίζεται
- παραδώσει
- Ντένβερ
- παρατάσσω
- αναπτυχθεί
- ανάπτυξη
- ανάπτυξη
- αναπτύσσεται
- Συμπληρωματικός
- καταστρέψει
- λεπτομερής
- ανίχνευση
- Ανίχνευση
- Προσδιορίστε
- Ανάπτυξη
- απόκλιση
- διάγραμμα
- διαφορετικές
- δύσκολος
- Διάσταση
- Διαστάσεις
- συζήτηση
- διασκορπισμένη
- απόσταση
- μακρινός
- διανομή
- dns
- do
- Λιμενεργάτης
- έγγραφο
- έγγραφα
- τομέα
- Όνομα Χώρου
- ΟΝΟΜΑΤΑ ΤΟΜΕΩΝ
- domains
- Μην
- κάτω
- αυτοκίνητο
- κάθε
- embed
- ενσωματωμένο
- ενσωμάτωση
- τέλος
- από άκρη σε άκρη
- Τελικό σημείο
- Μηχανική
- εισάγετε
- εισήχθη
- επιχειρήσεις
- Περιβάλλον
- αξιολογήσει
- εκτίμηση
- Κάθε
- παράδειγμα
- παραδείγματα
- εξαίρεση
- υφιστάμενα
- πειραματικός
- Εξηγήστε
- εξερεύνηση
- διερευνήσει
- Εξερευνώντας
- εξωτερικός
- εκχύλισμα
- Εκχυλίσματα
- οικογένεια
- μακριά
- Εικόνα
- Αρχεία
- Αρχεία
- τελικός
- Τελικά
- Εύρεση
- ευρήματα
- Όνομα
- επιπλέων
- ροή
- επικεντρώθηκε
- εστιάζοντας
- Εξής
- εξής
- Για
- μορφή
- Βρέθηκαν
- Θεμέλιο
- φίλους
- από
- frontend
- πλήρη
- μελλοντικός
- συγκεντρώνουν
- General
- παραγωγής
- γενεά
- γενετική
- Παραγωγική τεχνητή νοημοσύνη
- παίρνω
- να πάρει
- Δώστε
- Go
- φύγει
- χορηγείται
- Group
- καθοδήγηση
- λαβή
- Έχω
- he
- Ήρωας
- βοήθεια
- αυτήν
- υψηλότερο
- του
- κατέχει
- οικοδεσπότης
- φιλοξενείται
- ώρα
- Πως
- Πώς να
- Ωστόσο
- HTML
- http
- HTTPS
- Hub
- ID
- προσδιορίσει
- if
- απεικονίζει
- αμέσως
- εκτέλεση
- υλοποιεί
- σημαντικό
- in
- περιλαμβάνουν
- περιλαμβάνει
- Συμπεριλαμβανομένου
- Εισερχόμενος
- υποδεικνύω
- βιομηχανίες
- αδράνεια
- πληροφορίες
- Υποδομή
- αρχικός
- Καινοτομία
- εισαγωγή
- είσοδοι
- διορατικότητα
- εγκατάσταση
- εγκατασταθεί
- παράδειγμα
- οδηγίες
- αλληλεπιδρούν
- αλληλεπιδρώντας
- διαδραστικό
- ενδιαφερόμενος
- περιβάλλον λειτουργίας
- σε
- IT
- ΤΟΥ
- Δουλειά
- Θέσεις εργασίας
- χαρά
- jpg
- μόλις
- Κλειδί
- Kinesis Data Firehose
- γνώση
- Γλώσσα
- large
- αργότερα
- αργότερο
- στρώμα
- ΜΑΘΑΊΝΩ
- μάθηση
- Αφήνει
- Βιβλιοθήκη
- συμπαθεί
- γραμμή
- linux
- LLM
- φορτίο
- τοποθεσία
- καταγραφεί
- ματιά
- ΦΑΊΝΕΤΑΙ
- χαμηλότερα
- μηχανή
- μάθηση μηχανής
- κάνω
- διαχείριση
- διαχείριση
- διευθυντής
- χειροκίνητα
- Ενδέχεται..
- εννοώ
- μέσα
- μέτρο
- μέτρα
- Metrics
- Μίσιγκαν
- ενδέχεται να
- ML
- MLOps
- μοντέλο
- μοντέλα
- Παρακολούθηση
- περισσότερο
- πλέον
- κίνηση
- πολλαπλούς
- πρέπει
- όνομα
- ονόματα
- Φυσικό
- Επεξεργασία φυσικής γλώσσας
- Ανάγκη
- που απαιτούνται
- χρειάζονται
- δικτύωσης
- Νέα
- νεότερα
- επόμενη
- nlp
- σημειωματάριο
- Σημειώνεται
- αριθμός
- αριθμοί
- πολυάριθμες
- of
- συχνά
- on
- αποκλειστικά
- ανοίξτε
- βελτιστοποιημένη
- Επιλογή
- or
- ενορχήστρωση
- τάξη
- καταγωγή
- ΑΛΛΑ
- δικός μας
- έξω
- αποτελέσματα
- σκιαγραφείται
- παραγωγή
- εξόδους
- επί
- φόρμες
- επικάλυψη
- δική
- παράμετρος
- παράμετροι
- Ειδικότερα
- πάθος
- Διπλώματα ευρεσιτεχνίας
- μονοπάτι
- πρότυπο
- πρότυπα
- Εκτελέστε
- εκτέλεση
- κομμάτια
- αγωγού
- Μέρη
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- παίζει
- Σημείο
- σημεία
- πισίνα
- θέσεις
- δυνατός
- Θέση
- δυναμικού
- τροφοδοτείται
- Πρακτικός
- προηγείται
- προαπαιτούμενα
- παρουσιάζονται
- διατηρώντας
- προηγούμενος
- προηγουμένως
- Κύριος
- Προληπτική
- διαδικασια μας
- μεταποίηση
- Προϊόν
- διαχείριση προϊόντων
- έργα
- προτρέπει
- ποσοστό
- παρέχουν
- παρέχεται
- παρέχει
- πρόβλεψη
- δημόσιο
- δημοσιεύθηκε
- Τραβά
- ερώτηση
- Ερωτήσεις
- κουρέλι
- σειρές
- κυμαίνεται
- έτοιμος
- σε πραγματικό χρόνο
- βασίλειο
- συνταγή
- ρεκόρ
- μείωση
- μείωση
- παραπέμπω
- αναφορά
- περιοχή
- σχετίζεται με
- σχετικά
- εκπροσωπώ
- αντιπροσώπευση
- αντιπροσωπεύει
- απαιτείται
- Απαιτεί
- Υποστηρικτικό υλικό
- απάντησης
- Αποτελέσματα
- ανάκτηση
- Ρόλος
- ρόλους
- Διαδρομή
- τρέξιμο
- τρέξιμο
- τρέχει
- σοφός
- ίδιο
- Αποθήκευση
- Κλίμακα
- πρόγραμμα
- Επιστήμη
- σκορ
- Αναζήτηση
- αναζητήσεις
- Δεύτερος
- Τμήμα
- τμήματα
- δείτε
- δει
- επιλέξτε
- σημασιολογικός
- αρχαιότερος
- αίσθηση
- αποστέλλονται
- ξεχωριστό
- υπηρεσία
- Υπηρεσίες
- Συνεδρίαση
- σειρά
- τον καθορισμό
- διάφοροι
- αυτή
- θα πρέπει να
- δείχνουν
- έδειξε
- παρουσιάζεται
- Δείχνει
- Σήμα
- σήματα
- παρόμοιες
- Απλούς
- απλοποίηση
- Μέγεθος
- Στιγμιότυπο
- So
- λογισμικό
- τεχνολογία λογισμικού
- λύση
- Λύσεις
- μερικοί
- Πηγή
- Πηγές
- Χώρος
- ένταση
- ειδικός
- καθορίζεται
- δαπανήσει
- Εις το τετραγωνο
- σωρός
- Στοίβες
- πρότυπο
- Εκκίνηση
- ξεκίνησε
- Ξεκινήστε
- Κατάσταση
- στατιστική
- Βήματα
- χώρος στο δίσκο
- κατάστημα
- αποθηκεύονται
- επιτυχής
- τέτοιος
- βέβαιος
- σύστημα
- συστήματα
- τραπέζι
- Πάρτε
- Έργο
- τεχνική
- Τεχνολογίες
- Τεχνολογία
- κείμενο
- ότι
- Η
- οι πληροφορίες
- Η Πηγη
- τους
- Τους
- τότε
- Εκεί.
- Αυτοί
- αυτό
- εκείνοι
- τρία
- Μέσω
- ώρα
- προς την
- μαζι
- Θέματα
- Σύνολο
- Μεταμορφώστε
- Ταξίδια
- τάση
- Τάσεις
- προσπαθώ
- δύο
- τύποι
- υπό
- πανεπιστήμιο
- URL
- us
- χρήση
- μεταχειρισμένος
- χρήσιμος
- Χρήστες
- Διεπαφής χρήστη
- Χρήστες
- χρησιμοποιώντας
- επικύρωση
- αξία
- Αξίες
- μεταβλητή
- ποικιλία
- διάφορα
- Οχήματα
- μέσω
- όραμα
- οπτικές
- περιδιάβαση
- θέλω
- ήταν
- Τρόπος..
- we
- ιστός
- διαδικτυακές υπηρεσίες
- ΛΟΙΠΌΝ
- πότε
- αν
- Ποιό
- ενώ
- θα
- με
- εντός
- χωρίς
- Γυναίκες
- Εργασία
- εργάστηκαν
- εργαζόμενος
- εργασίας
- χειρότερος
- θα
- χρόνια
- ακόμη
- Εσείς
- Σας
- zephyrnet
- ζώνη