Αυτή η ανάρτηση συντάχθηκε με τον Stanislav Yeshchenko από την Q4 Inc.
Οι επιχειρήσεις στρέφονται στο Retrieval Augmented Generation (RAG) ως μια κύρια προσέγγιση για τη δημιουργία chatbot Q&A. Συνεχίζουμε να βλέπουμε αναδυόμενες προκλήσεις που απορρέουν από τη φύση της ποικιλίας των διαθέσιμων συνόλων δεδομένων. Αυτά τα σύνολα δεδομένων είναι συχνά ένας συνδυασμός αριθμητικών δεδομένων και δεδομένων κειμένου, μερικές φορές δομημένα, μη δομημένα ή ημιδομημένα.
Q4 Inc. χρειαζόταν να αντιμετωπίσει ορισμένες από αυτές τις προκλήσεις σε μία από τις πολλές περιπτώσεις χρήσης τεχνητής νοημοσύνης που βασίζονται στο AWS. Σε αυτήν την ανάρτηση, συζητάμε μια περίπτωση χρήσης bot Q&A που έχει εφαρμόσει το Q4, τις προκλήσεις που παρουσίασαν τα αριθμητικά και δομημένα σύνολα δεδομένων και πώς το Q4 κατέληξε στο συμπέρασμα ότι η χρήση SQL μπορεί να είναι μια βιώσιμη λύση. Τέλος, ρίχνουμε μια πιο προσεκτική ματιά στον τρόπο χρήσης της ομάδας Q4 Θεμέλιο του Αμαζονίου και SQLDatabaseChain για την υλοποίηση μιας λύσης βασισμένης σε RAG με παραγωγή SQL.
Χρησιμοποιήστε επισκόπηση περίπτωσης
Η Q4 Inc., με έδρα το Τορόντο, με γραφεία στη Νέα Υόρκη και το Λονδίνο, είναι μια κορυφαία πλατφόρμα πρόσβασης στις κεφαλαιαγορές που μεταμορφώνει τον τρόπο με τον οποίο οι εκδότες, οι επενδυτές και οι πωλητές συνδέονται αποτελεσματικά, επικοινωνούν και αλληλεπιδρούν μεταξύ τους. Η πλατφόρμα Q4 διευκολύνει τις αλληλεπιδράσεις σε όλες τις κεφαλαιαγορές μέσω προϊόντων ιστοτόπων IR, λύσεων εικονικών συμβάντων, αναλύσεων αφοσίωσης, διαχείρισης σχέσεων με τους επενδυτές (CRM), ανάλυσης μετόχων και αγοράς, παρακολούθησης και εργαλείων ESG.
Στο σημερινό οικονομικό τοπίο με γρήγορους ρυθμούς και δεδομένα, οι Υπεύθυνοι Επενδυτικών Σχέσεων (IRO) διαδραματίζουν κρίσιμο ρόλο στην προώθηση της επικοινωνίας μεταξύ μιας εταιρείας και των μετόχων, των αναλυτών και των επενδυτών της. Ως μέρος των καθημερινών τους καθηκόντων, οι IRO αναλύουν διάφορα σύνολα δεδομένων, όπως CRM, αρχεία ιδιοκτησίας και δεδομένα χρηματιστηρίου. Το άθροισμα αυτών των δεδομένων χρησιμοποιείται για τη δημιουργία οικονομικών αναφορών, τον καθορισμό στόχων επενδυτικών σχέσεων και τη διαχείριση της επικοινωνίας με υπάρχοντες και δυνητικούς επενδυτές.
Για να ανταποκριθεί στην αυξανόμενη ζήτηση για αποτελεσματική και δυναμική ανάκτηση δεδομένων, το Q4 είχε ως στόχο να δημιουργήσει ένα εργαλείο chatbot Q&A που θα παρείχε μια διαισθητική και απλή μέθοδο στους IRO για πρόσβαση στις απαραίτητες πληροφορίες που χρειάζονται σε μια φιλική προς το χρήστη μορφή.
Ο τελικός στόχος ήταν να δημιουργηθεί ένα chatbot που θα ενσωματώνει απρόσκοπτα δημόσια διαθέσιμα δεδομένα, μαζί με ιδιόκτητα δεδομένα Q4 για συγκεκριμένους πελάτες, διατηρώντας παράλληλα το υψηλότερο επίπεδο ασφάλειας και απορρήτου δεδομένων. Όσον αφορά την απόδοση, ο στόχος ήταν να διατηρηθεί ένας χρόνος απόκρισης ερωτήματος δευτερολέπτων για να διασφαλιστεί μια θετική εμπειρία για τους τελικούς χρήστες.
Οι χρηματοπιστωτικές αγορές είναι ένας ρυθμιζόμενος κλάδος με υψηλά μερίδια. Η παροχή εσφαλμένων ή απαρχαιωμένων πληροφοριών μπορεί να επηρεάσει την εμπιστοσύνη των επενδυτών και των μετόχων, πέραν άλλων πιθανών κινδύνων για το απόρρητο των δεδομένων. Κατανοώντας τον κλάδο και τις απαιτήσεις, το Q4 θέτει το απόρρητο δεδομένων και την ακρίβεια απόκρισης ως κατευθυντήριες αρχές για την αξιολόγηση οποιασδήποτε λύσης προτού διατεθεί στην αγορά.
Για την απόδειξη της ιδέας, το Q4 αποφάσισε να χρησιμοποιήσει ένα σύνολο δεδομένων οικονομικής ιδιοκτησίας. Το σύνολο δεδομένων αποτελείται από σημεία δεδομένων χρονοσειρών που αντιπροσωπεύουν τον αριθμό των περιουσιακών στοιχείων που ανήκουν. το ιστορικό συναλλαγών μεταξύ επενδυτικών ιδρυμάτων, ιδιωτών και δημοσίων εταιρειών· και πολλά άλλα στοιχεία.
Επειδή το Q4 ήθελε να διασφαλίσει ότι θα μπορούσε να ικανοποιήσει όλες τις λειτουργικές και μη λειτουργικές απαιτήσεις που συζητήσαμε, το έργο έπρεπε επίσης να παραμείνει εμπορικά εφικτό. Αυτό έγινε σεβαστό σε όλη τη διαδικασία λήψης αποφάσεων σχετικά με την προσέγγιση, την αρχιτεκτονική, την επιλογή τεχνολογίας και τα συγκεκριμένα στοιχεία για τη λύση.
Πειραματισμός και προκλήσεις
Ήταν ξεκάθαρο από την αρχή ότι για να κατανοήσει μια ερώτηση ανθρώπινης γλώσσας και να δώσει ακριβείς απαντήσεις, το Q4 θα χρειαζόταν να χρησιμοποιήσει μεγάλα γλωσσικά μοντέλα (LLM).
Ακολουθούν μερικά από τα πειράματα που διεξήχθησαν από την ομάδα, μαζί με τις προκλήσεις που εντοπίστηκαν και τα διδάγματα που αντλήθηκαν:
- Προεκπαίδευση – Το τέταρτο τρίμηνο κατανόησε την πολυπλοκότητα και τις προκλήσεις που συνεπάγεται η προεκπαίδευση ενός LLM χρησιμοποιώντας το δικό του σύνολο δεδομένων. Γρήγορα έγινε προφανές ότι αυτή η προσέγγιση είναι έντασης πόρων με πολλά μη ασήμαντα βήματα, όπως η προεπεξεργασία δεδομένων, η εκπαίδευση και η αξιολόγηση. Εκτός από την προσπάθεια που απαιτείται, θα ήταν απαγορευτικό κόστος. Λαμβάνοντας υπόψη τη φύση του συνόλου δεδομένων χρονοσειρών, το Q4 συνειδητοποίησε επίσης ότι θα έπρεπε να εκτελεί συνεχώς σταδιακή προεκπαίδευση καθώς εισήχθησαν νέα δεδομένα. Αυτό θα απαιτούσε μια αφοσιωμένη διεπιστημονική ομάδα με εξειδίκευση στην επιστήμη δεδομένων, τη μηχανική μάθηση και τον τομέα η γνώση.
- Βελτιστοποίηση – Βελτιστοποίηση ενός προεκπαιδευμένου μοντέλου θεμελίωσης (FM) που περιλαμβάνει πολλά παραδείγματα με ετικέτα. Αυτή η προσέγγιση έδειξε κάποια αρχική επιτυχία, αλλά σε πολλές περιπτώσεις, η ψευδαίσθηση του μοντέλου ήταν μια πρόκληση. Το μοντέλο δυσκολεύτηκε να κατανοήσει τις αποχρώσεις των συμφραζομένων και επέστρεψε λανθασμένα αποτελέσματα.
- RAG με σημασιολογική αναζήτηση – Το συμβατικό RAG με σημασιολογική αναζήτηση ήταν το τελευταίο βήμα πριν προχωρήσουμε στη δημιουργία SQL. Η ομάδα πειραματίστηκε με τη χρήση αναζήτησης, σημασιολογικής αναζήτησης και ενσωματώσεων για την εξαγωγή του περιβάλλοντος. Κατά τη διάρκεια του πειράματος ενσωματώσεων, το σύνολο δεδομένων μετατράπηκε σε ενσωματώσεις, αποθηκεύτηκε σε μια διανυσματική βάση δεδομένων και στη συνέχεια αντιστοιχίστηκε με τις ενσωματώσεις της ερώτησης για την εξαγωγή του περιβάλλοντος. Το ανακτηθέν πλαίσιο σε οποιοδήποτε από τα τρία πειράματα χρησιμοποιήθηκε στη συνέχεια για να αυξηθεί η αρχική προτροπή ως είσοδος στο LLM. Αυτή η προσέγγιση λειτούργησε καλά για περιεχόμενο που βασίζεται σε κείμενο, όπου τα δεδομένα αποτελούνται από φυσική γλώσσα με λέξεις, προτάσεις και παραγράφους. Λαμβάνοντας υπόψη τη φύση του συνόλου δεδομένων του τέταρτου τριμήνου, το οποίο είναι ως επί το πλείστον οικονομικά δεδομένα που αποτελούνται από αριθμούς, οικονομικές συναλλαγές, τιμές μετοχών και ημερομηνίες, τα αποτελέσματα και στις τρεις περιπτώσεις δεν ήταν τα βέλτιστα. Ακόμη και όταν χρησιμοποιούνται ενσωματώσεις, οι ενσωματώσεις που δημιουργούνται από αριθμούς δυσκολεύονταν να κατατάξουν ομοιότητες και σε πολλές περιπτώσεις οδήγησαν στην ανάκτηση εσφαλμένων πληροφοριών.
Συμπέρασμα του Q4: Η δημιουργία SQL είναι η πορεία προς τα εμπρός
Λαμβάνοντας υπόψη τις προκλήσεις που αντιμετωπίζει η χρήση της συμβατικής μεθοδολογίας RAG, η ομάδα άρχισε να εξετάζει τη δημιουργία SQL. Η ιδέα ήταν να χρησιμοποιήσουμε το LLM για να δημιουργήσουμε πρώτα μια δήλωση SQL από την ερώτηση χρήστη, που παρουσιάζεται στο LLM σε φυσική γλώσσα. Το ερώτημα που δημιουργείται εκτελείται στη συνέχεια στη βάση δεδομένων για την ανάκτηση του σχετικού περιβάλλοντος. Το περιβάλλον χρησιμοποιείται τελικά για να αυξήσει την προτροπή εισόδου για ένα βήμα σύνοψης.
Η υπόθεση του Q4 ήταν ότι για να λάβουν υψηλότερη ανάκληση για το βήμα ανάκτησης, ειδικά για το αριθμητικό σύνολο δεδομένων, έπρεπε πρώτα να δημιουργήσουν SQL από την ερώτηση χρήστη. Αυτό πιστεύεται ότι όχι μόνο αυξάνει την ακρίβεια, αλλά διατηρεί και το πλαίσιο εντός του επιχειρηματικού τομέα για μια δεδομένη ερώτηση. Για τη δημιουργία ερωτημάτων και για τη δημιουργία ακριβούς SQL, το Q4 χρειαζόταν να καταστήσει το LLM πλήρως ενήμερο για τη δομή δεδομένων του. Αυτό σήμαινε ότι απαιτείται η προτροπή για να συμπεριληφθεί το σχήμα της βάσης δεδομένων, μερικές σειρές δειγμάτων δεδομένων και επεξηγήσεις πεδίων αναγνώσιμων από τον άνθρωπο για τα πεδία που δεν είναι εύκολο να κατανοηθούν.
Με βάση τις αρχικές δοκιμές, αυτή η μέθοδος έδειξε εξαιρετικά αποτελέσματα. Το LLM εξοπλισμένο με όλες τις απαραίτητες πληροφορίες μπόρεσε να δημιουργήσει τη σωστή SQL, η οποία στη συνέχεια εκτελέστηκε στη βάση δεδομένων για να ανακτήσει το σωστό περιβάλλον. Αφού πειραματίστηκε με την ιδέα, το Q4 αποφάσισε ότι η δημιουργία SQL ήταν ο τρόπος για να αντιμετωπίσει τις προκλήσεις εξαγωγής περιβάλλοντος για το δικό του συγκεκριμένο σύνολο δεδομένων.
Ας ξεκινήσουμε με την περιγραφή της συνολικής προσέγγισης λύσης, την αναλύουμε στα εξαρτήματά της και, στη συνέχεια, ενώνουμε τα κομμάτια.
Επισκόπηση λύσεων
Τα LLM είναι μεγάλα μοντέλα με δισεκατομμύρια παραμέτρους που είναι προεκπαιδευμένα χρησιμοποιώντας πολύ μεγάλες ποσότητες δεδομένων από διάφορες πηγές. Λόγω του εύρους των συνόλων δεδομένων εκπαίδευσης, οι LLM αναμένεται να έχουν γενικές γνώσεις σε διάφορους τομείς. Τα LLM είναι επίσης γνωστά για τις συλλογιστικές τους ικανότητες, οι οποίες διαφέρουν από το ένα μοντέλο στο άλλο. Αυτή η γενική συμπεριφορά μπορεί να βελτιστοποιηθεί σε έναν συγκεκριμένο τομέα ή κλάδο βελτιστοποιώντας περαιτέρω ένα μοντέλο θεμελίωσης χρησιμοποιώντας πρόσθετα δεδομένα προεκπαίδευσης για συγκεκριμένο τομέα ή με λεπτομέρεια χρησιμοποιώντας δεδομένα με ετικέτα. Δεδομένου του σωστού περιβάλλοντος, μεταδεδομένων και οδηγιών, ένα καλά επιλεγμένο LLM γενικού σκοπού μπορεί να παράγει SQL καλής ποιότητας, εφόσον έχει πρόσβαση στο σωστό πλαίσιο για συγκεκριμένο τομέα.
Στην περίπτωση χρήσης του Q4, ξεκινάμε με τη μετάφραση της ερώτησης πελάτη σε SQL. Αυτό το κάνουμε συνδυάζοντας την ερώτηση χρήστη, το σχήμα της βάσης δεδομένων, ορισμένες σειρές δειγμάτων βάσης δεδομένων και λεπτομερείς οδηγίες ως προτροπή στο LLM για τη δημιουργία SQL. Αφού έχουμε την SQL, μπορούμε να εκτελέσουμε ένα βήμα επικύρωσης εάν κριθεί απαραίτητο. Όταν είμαστε ευχαριστημένοι με την ποιότητα της SQL, εκτελούμε το ερώτημα στη βάση δεδομένων για να ανακτήσουμε το σχετικό περιβάλλον που χρειαζόμαστε για το επόμενο βήμα. Τώρα που έχουμε το σχετικό πλαίσιο, μπορούμε να στείλουμε την αρχική ερώτηση του χρήστη, το περιεχόμενο που ανακτήθηκε και ένα σύνολο οδηγιών πίσω στο LLM για να δημιουργήσουμε μια τελική συνοπτική απάντηση. Ο στόχος του τελευταίου βήματος είναι να συνοψίσει το LLM τα αποτελέσματα και να παράσχει μια συμφραζόμενη και ακριβή απάντηση που μπορεί στη συνέχεια να περάσει στον χρήστη.
Η επιλογή του LLM που χρησιμοποιείται σε κάθε στάδιο της διαδικασίας επηρεάζει σε μεγάλο βαθμό την ακρίβεια, το κόστος και την απόδοση. Η επιλογή μιας πλατφόρμας ή τεχνολογίας που μπορεί να σας επιτρέψει την ευελιξία να κάνετε εναλλαγή μεταξύ LLM εντός της ίδιας περίπτωσης χρήσης (πολλαπλές διαδρομές LLM για διαφορετικές εργασίες) ή σε διαφορετικές περιπτώσεις χρήσης, μπορεί να είναι επωφελής για τη βελτιστοποίηση της ποιότητας της παραγωγής, του λανθάνοντος χρόνου και του κόστους . Θα αναφερθούμε στην επιλογή του LLM αργότερα σε αυτήν την ανάρτηση.
Δομικά στοιχεία λύσης
Τώρα που έχουμε επισημάνει την προσέγγιση σε υψηλό επίπεδο, ας βουτήξουμε στις λεπτομέρειες, ξεκινώντας από τα δομικά στοιχεία της λύσης.
Θεμέλιο του Αμαζονίου
Το Amazon Bedrock είναι μια πλήρως διαχειριζόμενη υπηρεσία που προσφέρει μια επιλογή από FM υψηλής απόδοσης από κορυφαίες εταιρείες, συμπεριλαμβανομένων των AI21 Labs, Anthropic, Cohere, Meta, Stability AI και Amazon. Το Amazon Bedrock προσφέρει επίσης ένα ευρύ σύνολο εργαλείων που απαιτούνται για τη δημιουργία παραγωγικών εφαρμογών AI, την απλοποίηση της διαδικασίας ανάπτυξης και τη διατήρηση της ιδιωτικής ζωής και της ασφάλειας. Επιπλέον, με το Amazon Bedrock μπορείτε να επιλέξετε από διάφορες επιλογές FM και μπορείτε να ρυθμίσετε περαιτέρω τα μοντέλα ιδιωτικά χρησιμοποιώντας τα δικά σας δεδομένα για να ευθυγραμμίσετε τις απαντήσεις των μοντέλων με τις απαιτήσεις σας για περίπτωση χρήσης. Το Amazon Bedrock είναι πλήρως χωρίς διακομιστή χωρίς υποκείμενη υποδομή για τη διαχείριση της επέκτασης της πρόσβασης σε διαθέσιμα μοντέλα μέσω ενός μόνο API. Τέλος, το Amazon Bedrock υποστηρίζει πολλές απαιτήσεις ασφάλειας και απορρήτου, συμπεριλαμβανομένης της καταλληλότητας HIPAA και της συμμόρφωσης με τον GDPR.
Στη λύση του Q4, χρησιμοποιούμε το Amazon Bedrock ως δομικό στοιχείο μοντέλων χωρίς διακομιστή, βασισμένο σε API, πολλαπλών θεμελίων. Επειδή σκοπεύουμε να πραγματοποιήσουμε πολλαπλές διαδρομές στο LLM εντός της ίδιας περίπτωσης χρήσης, με βάση τον τύπο εργασίας, μπορούμε να επιλέξουμε το μοντέλο που είναι πιο βέλτιστο για μια συγκεκριμένη εργασία, είτε πρόκειται για δημιουργία SQL, επικύρωση ή περίληψη.
LangChain
LangChain είναι ένα πλαίσιο ενοποίησης και ενορχήστρωσης ανοιχτού κώδικα με ένα σύνολο προκατασκευασμένων λειτουργικών μονάδων (I/O, ανάκτηση, αλυσίδες και πράκτορες) που μπορείτε να χρησιμοποιήσετε για να ενσωματώσετε και να ενορχηστρώσετε εργασίες μεταξύ FM, πηγών δεδομένων και εργαλείων. Το πλαίσιο διευκολύνει τη δημιουργία παραγωγικών εφαρμογών τεχνητής νοημοσύνης που απαιτούν ενορχήστρωση πολλαπλών βημάτων για την παραγωγή του επιθυμητού αποτελέσματος, χωρίς να χρειάζεται να γράψετε κώδικα από την αρχή. Το LangChain υποστηρίζει το Amazon Bedrock ως API μοντέλου πολλαπλών θεμελίων.
Ειδικά για την περίπτωση χρήσης του Q4, χρησιμοποιούμε το LangChain για τον συντονισμό και την ενορχήστρωση εργασιών στη ροή εργασίας μας, συμπεριλαμβανομένης της σύνδεσης με πηγές δεδομένων και LLM. Αυτή η προσέγγιση έχει απλοποιήσει τον κώδικά μας επειδή μπορούμε να χρησιμοποιήσουμε τις υπάρχουσες μονάδες LangChain.
SQLDatabaseChain
SQLDatabaseChain είναι μια αλυσίδα LangChain που μπορεί να εισαχθεί από το langchain_experimental. Το SLDatabaseChain καθιστά εύκολη τη δημιουργία, την υλοποίηση και την εκτέλεση ερωτημάτων SQL, χρησιμοποιώντας τις αποτελεσματικές μετατροπές και υλοποιήσεις κειμένου σε SQL.
Στην περίπτωση χρήσης μας, χρησιμοποιούμε το SQLDatabaseChain στη γενιά SQL, απλοποιώντας και ενορχηστρώνοντας τις αλληλεπιδράσεις μεταξύ της βάσης δεδομένων και του LLM.
Το σύνολο δεδομένων
Το δομημένο σύνολο δεδομένων μας μπορεί να βρίσκεται σε βάση δεδομένων SQL, λίμνη δεδομένων ή αποθήκη δεδομένων, εφόσον έχουμε υποστήριξη για SQL. Στη λύση μας, μπορούμε να χρησιμοποιήσουμε οποιονδήποτε τύπο δεδομένων με υποστήριξη SQL. αυτό θα πρέπει να αφαιρείται από τη λύση και δεν πρέπει να αλλάξει τη λύση με κανέναν τρόπο.
Λεπτομέρειες υλοποίησης
Τώρα που έχουμε εξερευνήσει την προσέγγιση λύσης, τα στοιχεία της λύσης, την επιλογή της τεχνολογίας και τα εργαλεία, μπορούμε να ενώσουμε τα κομμάτια. Το παρακάτω διάγραμμα επισημαίνει τη λύση από άκρο σε άκρο.
Ας δούμε τις λεπτομέρειες υλοποίησης και τη ροή της διαδικασίας.
Δημιουργήστε το ερώτημα SQL
Για να απλοποιήσουμε την κωδικοποίηση, χρησιμοποιούμε υπάρχοντα πλαίσια. Χρησιμοποιούμε το LangChain ως πλαίσιο ενορχήστρωσης. Ξεκινάμε με το στάδιο εισαγωγής, όπου λαμβάνουμε την ερώτηση χρήστη σε φυσική γλώσσα.
Σε αυτό το πρώτο στάδιο, λαμβάνουμε αυτήν την είσοδο και δημιουργούμε μια ισοδύναμη SQL που μπορούμε να εκτελέσουμε στη βάση δεδομένων για εξαγωγή περιβάλλοντος. Για να δημιουργήσουμε SQL, χρησιμοποιούμε το SQLDatabaseChain, το οποίο βασίζεται στο Amazon Bedrock για πρόσβαση στο επιθυμητό LLM. Με το Amazon Bedrock, χρησιμοποιώντας ένα μόνο API, έχουμε πρόσβαση σε έναν αριθμό υποκείμενων LLM και μπορούμε να επιλέξουμε το σωστό για κάθε ταξίδι LLM που κάνουμε. Αρχικά καθιερώνουμε μια σύνδεση με τη βάση δεδομένων και ανακτούμε το απαιτούμενο σχήμα πίνακα μαζί με μερικές σειρές δειγμάτων από τους πίνακες που σκοπεύουμε να χρησιμοποιήσουμε.
Στη δοκιμή μας, βρήκαμε ότι 2-5 σειρές δεδομένων πίνακα επαρκούν για να δώσουν αρκετές πληροφορίες στο μοντέλο χωρίς να προσθέσουμε υπερβολικά περιττά έξοδα. Τρεις σειρές ήταν απλώς αρκετές για να παρέχουν το πλαίσιο, χωρίς να κατακλύζουν το μοντέλο με πάρα πολλά στοιχεία. Στην περίπτωση χρήσης μας, ξεκινήσαμε με το Anthropic Claude V2. Το μοντέλο είναι γνωστό για την προηγμένη συλλογιστική του και τις αρθρωτικές απαντήσεις του στα συμφραζόμενα όταν παρέχεται με το σωστό πλαίσιο και οδηγίες. Ως μέρος των οδηγιών, μπορούμε να συμπεριλάβουμε περισσότερες διευκρινιστικές λεπτομέρειες στο LLM. Για παράδειγμα, μπορούμε να περιγράψουμε αυτή τη στήλη Comp_NAME
σημαίνει το όνομα της εταιρείας. Μπορούμε τώρα να δημιουργήσουμε την προτροπή συνδυάζοντας την ερώτηση χρήστη ως έχει, το σχήμα της βάσης δεδομένων, τρεις σειρές δειγμάτων από τον πίνακα που σκοπεύουμε να χρησιμοποιήσουμε και ένα σύνολο οδηγιών για τη δημιουργία της απαιτούμενης SQL σε καθαρή μορφή SQL χωρίς σχόλια ή προσθήκες.
Όλα τα στοιχεία εισόδου σε συνδυασμό θεωρούνται ως η προτροπή εισόδου του μοντέλου. Μια καλά σχεδιασμένη προτροπή εισόδου που είναι προσαρμοσμένη στην προτιμώμενη σύνταξη του μοντέλου επηρεάζει σε μεγάλο βαθμό τόσο την ποιότητα όσο και την απόδοση της εξόδου. Η επιλογή του μοντέλου που θα χρησιμοποιηθεί για μια συγκεκριμένη εργασία είναι επίσης σημαντική, όχι μόνο επειδή επηρεάζει την ποιότητα της παραγωγής, αλλά και επειδή έχει επιπτώσεις στο κόστος και την απόδοση.
Συζητάμε την επιλογή μοντέλου και την άμεση μηχανική και βελτιστοποίηση αργότερα σε αυτήν την ανάρτηση, αλλά αξίζει να σημειωθεί ότι για το στάδιο δημιουργίας ερωτημάτων, παρατηρήσαμε ότι το Claude Instant ήταν σε θέση να παράγει συγκρίσιμα αποτελέσματα, ειδικά όταν η ερώτηση του χρήστη είναι καλά διατυπωμένη και όχι τόσο περίπλοκη. Ωστόσο, ο Claude V2 παρήγαγε καλύτερα αποτελέσματα ακόμη και με πιο περίπλοκες και έμμεσες πληροφορίες από τον χρήστη. Μάθαμε ότι αν και σε ορισμένες περιπτώσεις Claude Instant μπορεί να παρέχει επαρκή ακρίβεια σε καλύτερο λανθάνοντα χρόνο και σημείο τιμής, η περίπτωσή μας για τη δημιουργία ερωτημάτων ήταν πιο κατάλληλη για τον Claude V2.
Επαληθεύστε το ερώτημα SQL
Το επόμενο βήμα μας είναι να επαληθεύσουμε ότι το LLM έχει δημιουργήσει με επιτυχία τη σωστή σύνταξη ερωτήματος και ότι το ερώτημα έχει νόημα με βάση τα συμφραζόμενα λαμβάνοντας υπόψη τα σχήματα της βάσης δεδομένων και τις παραδειγματικές σειρές που παρέχονται. Για αυτό το βήμα επαλήθευσης, μπορούμε να επιστρέψουμε στην εγγενή επικύρωση ερωτήματος εντός του SQLDatabaseChain ή μπορούμε να εκτελέσουμε ένα δεύτερο ταξίδι στο LLM, συμπεριλαμβανομένου του ερωτήματος που δημιουργήθηκε μαζί με την οδηγία επικύρωσης.
Εάν χρησιμοποιήσουμε ένα LLM για το βήμα επικύρωσης, μπορούμε να χρησιμοποιήσουμε το ίδιο LLM όπως πριν (Claude V2) ή ένα μικρότερο, πιο αποδοτικό LLM για μια απλούστερη εργασία, όπως το Claude Instant. Επειδή χρησιμοποιούμε το Amazon Bedrock, αυτή θα πρέπει να είναι μια πολύ απλή προσαρμογή. Χρησιμοποιώντας το ίδιο API, μπορούμε να αλλάξουμε το όνομα του μοντέλου στην κλήση API, το οποίο φροντίζει για την αλλαγή. Είναι σημαντικό να σημειωθεί ότι στις περισσότερες περιπτώσεις, ένα μικρότερο LLM μπορεί να προσφέρει καλύτερη απόδοση τόσο σε κόστος όσο και σε καθυστέρηση και θα πρέπει να ληφθεί υπόψη — εφόσον έχετε την επιθυμητή ακρίβεια. Στην περίπτωσή μας, η δοκιμή απέδειξε ότι το ερώτημα που δημιουργήθηκε ήταν σταθερά ακριβές και με τη σωστή σύνταξη. Γνωρίζοντας αυτό, καταφέραμε να παραλείψουμε αυτό το βήμα επικύρωσης και να εξοικονομήσουμε λανθάνοντα χρόνο και κόστος.
Εκτελέστε το ερώτημα SQL
Τώρα που έχουμε το επαληθευμένο ερώτημα SQL, μπορούμε να εκτελέσουμε το ερώτημα SQL στη βάση δεδομένων και να ανακτήσουμε το σχετικό πλαίσιο. Αυτό πρέπει να είναι ένα άμεσο βήμα.
Λαμβάνουμε το παραγόμενο πλαίσιο, το παρέχουμε στο LLM της επιλογής μας με την αρχική ερώτηση χρήστη και κάποιες οδηγίες και ζητάμε από το μοντέλο να δημιουργήσει μια συνοπτική και αρθρωτή περίληψη. Στη συνέχεια παρουσιάζουμε τη σύνοψη που δημιουργήθηκε στον χρήστη ως απάντηση στην αρχική ερώτηση, όλα ευθυγραμμισμένα με το πλαίσιο που εξάγεται από το σύνολο δεδομένων μας.
Για το LLM που εμπλέκεται στο βήμα της σύνοψης, μπορούμε να χρησιμοποιήσουμε είτε το Titan Text Express είτε το Claude Instant. Και οι δύο θα παρουσίαζαν καλές επιλογές για την εργασία σύνοψης.
Ενσωμάτωση εφαρμογών
Η δυνατότητα Q&A chatbot είναι μία από τις υπηρεσίες AI του Q4. Για να διασφαλίσει την αρθρωτή και επεκτασιμότητα, το Q4 δημιουργεί υπηρεσίες τεχνητής νοημοσύνης ως μικροϋπηρεσίες που είναι προσβάσιμες σε εφαρμογές Q4 μέσω API. Αυτή η προσέγγιση που βασίζεται σε API επιτρέπει την απρόσκοπτη ενσωμάτωση με το οικοσύστημα της πλατφόρμας Q4 και διευκολύνει την έκθεση των δυνατοτήτων των υπηρεσιών AI στην πλήρη σειρά εφαρμογών πλατφόρμας.
Ο κύριος στόχος των υπηρεσιών AI είναι να παρέχουν απλές δυνατότητες για την ανάκτηση δεδομένων από οποιαδήποτε δημόσια ή ιδιόκτητη πηγή δεδομένων χρησιμοποιώντας φυσική γλώσσα ως είσοδο. Επιπλέον, οι υπηρεσίες AI παρέχουν πρόσθετα επίπεδα αφαίρεσης για να διασφαλίσουν ότι πληρούνται λειτουργικές και μη λειτουργικές απαιτήσεις, όπως το απόρρητο και η ασφάλεια των δεδομένων. Το παρακάτω διάγραμμα δείχνει την έννοια της ολοκλήρωσης.
Προκλήσεις εφαρμογής
Εκτός από τις προκλήσεις που παρουσιάζονται από τη φύση του δομημένου, αριθμητικού συνόλου δεδομένων που συζητήσαμε νωρίτερα, το Q4 αντιμετώπισε μια σειρά από άλλες προκλήσεις υλοποίησης που έπρεπε να αντιμετωπιστούν.
Επιλογή και απόδοση LLM
Η επιλογή του σωστού LLM για την εργασία είναι ζωτικής σημασίας, επειδή επηρεάζει άμεσα την ποιότητα της παραγωγής καθώς και την απόδοση (καθυστέρηση μετ' επιστροφής). Ακολουθούν ορισμένοι παράγοντες που παίζουν ρόλο στη διαδικασία επιλογής LLM:
- Τύπος LLM – Ο τρόπος αρχιτεκτονικής των FM και τα αρχικά δεδομένα στα οποία έχει εκπαιδευτεί το μοντέλο καθορίζουν τους τύπους εργασιών στις οποίες θα ήταν καλός ο LLM και πόσο καλός θα είναι. Για παράδειγμα, ένα LLM κειμένου θα ήταν καλό στη δημιουργία και τη σύνοψη κειμένου, ενώ ένα μοντέλο κειμένου σε εικόνα ή εικόνα σε κείμενο θα ήταν περισσότερο προσανατολισμένο στην ανάλυση εικόνας και τις εργασίες δημιουργίας.
- Μέγεθος LLM – Τα μεγέθη FM μετρώνται από τον αριθμό των παραμέτρων μοντέλου που έχει ένα συγκεκριμένο μοντέλο, συνήθως σε δισεκατομμύρια για τα σύγχρονα LLM. Τυπικά, όσο μεγαλύτερο είναι το μοντέλο, τόσο πιο ακριβό είναι η αρχική εκπαίδευση ή στη συνέχεια η τελειοποίηση. Από την άλλη πλευρά, σε γενικές γραμμές, για την ίδια αρχιτεκτονική μοντέλου, όσο μεγαλύτερο είναι το μοντέλο, τόσο πιο έξυπνο περιμένουμε να είναι στην εκτέλεση του είδους της εργασίας στην οποία είναι προσανατολισμένη.
- Απόδοση LLM – Συνήθως, όσο μεγαλύτερο είναι το μοντέλο, τόσο περισσότερος χρόνος χρειάζεται για τη δημιουργία εξόδου, με την προϋπόθεση ότι χρησιμοποιείτε τις ίδιες παραμέτρους υπολογισμού και εισόδου/εξόδου (προτροπή και μέγεθος εξόδου). Επιπλέον, για το ίδιο μέγεθος μοντέλου, η απόδοση επηρεάζεται σε μεγάλο βαθμό από το πόσο βελτιστοποιημένη είναι η προτροπή σας, το μέγεθος των διακριτικών εισόδου/εξόδου και τη σαφήνεια και τη σύνταξη του μηνύματος. Μια καλά σχεδιασμένη προτροπή, μαζί με ένα βελτιστοποιημένο μέγεθος διακριτικού εισόδου/εξόδου, μπορεί να βελτιώσει τον χρόνο απόκρισης του μοντέλου.
Επομένως, κατά τη βελτιστοποίηση της εργασίας σας, λάβετε υπόψη τις ακόλουθες βέλτιστες πρακτικές:
- Επιλέξτε ένα μοντέλο που είναι κατάλληλο για τη συγκεκριμένη εργασία
- Επιλέξτε το μικρότερο μέγεθος μοντέλου που μπορεί να παράγει την ακρίβεια που αναζητάτε
- Βελτιστοποιήστε τη δομή της εντολής σας και γίνετε όσο το δυνατόν πιο συγκεκριμένοι με τις οδηγίες με τρόπο που είναι εύκολο να κατανοήσει το μοντέλο
- Χρησιμοποιήστε τη μικρότερη προτροπή εισαγωγής που μπορεί να παρέχει αρκετές οδηγίες και περιβάλλον για να δημιουργήσετε το επίπεδο ακρίβειας που αναζητάτε
- Περιορίστε το μέγεθος εξόδου στο μικρότερο μέγεθος που μπορεί να έχει νόημα για εσάς και να ικανοποιήσει τις απαιτήσεις εξόδου σας
Λαμβάνοντας υπόψη τους παράγοντες επιλογής μοντέλου και βελτιστοποίησης απόδοσης, προσπαθήσαμε να βελτιστοποιήσουμε την περίπτωση χρήσης παραγωγής SQL. Μετά από κάποιες δοκιμές, παρατηρήσαμε ότι, υπό την προϋπόθεση ότι έχουμε το σωστό πλαίσιο και οδηγίες, το Claude Instant, με τα ίδια άμεσα δεδομένα, θα παρήγαγε συγκρίσιμη ποιότητα SQL με το Claude V2 σε πολύ καλύτερη απόδοση και τιμή. Αυτό ισχύει όταν η εισαγωγή του χρήστη είναι πιο άμεση και πιο απλή. Για πιο εξελιγμένη είσοδο, ο Claude V2 ήταν απαραίτητος για την επίτευξη της επιθυμητής ακρίβειας.
Η εφαρμογή της ίδιας λογικής στην εργασία σύνοψης μάς οδήγησε στο συμπέρασμα ότι η χρήση του Claude Instant ή του Titan Text Express θα παρήγαγε την απαιτούμενη ακρίβεια σε πολύ καλύτερο σημείο απόδοσης από ότι αν χρησιμοποιούσαμε ένα μεγαλύτερο μοντέλο όπως το Claude V2. Το Titan Text Expressed προσέφερε επίσης καλύτερη απόδοση τιμής, όπως συζητήσαμε νωρίτερα.
Η πρόκληση της ενορχήστρωσης
Συνειδητοποιήσαμε ότι υπάρχουν πολλά να ενορχηστρώσουμε πριν μπορέσουμε να λάβουμε μια ουσιαστική απάντηση εξόδου για την ερώτηση του χρήστη. Όπως φαίνεται στην επισκόπηση της λύσης, η διαδικασία περιλάμβανε πολλαπλές διαδρομές βάσης δεδομένων και πολλαπλές διαδρομές LLM που είναι αλληλένδετες. Αν φτιάχναμε από την αρχή, θα έπρεπε να κάνουμε μια σημαντική επένδυση στην αδιαφοροποίητη ανύψωση βαρέων βαρών μόνο και μόνο για να ετοιμάσουμε τον βασικό κωδικό. Γρήγορα στραφήκαμε στη χρήση του LangChain ως πλαίσιο ενορχήστρωσης, εκμεταλλευόμενοι τη δύναμη της κοινότητας ανοιχτού κώδικα και επαναχρησιμοποιώντας υπάρχουσες μονάδες χωρίς να εφευρίσκουμε εκ νέου τον τροχό.
Η πρόκληση SQL
Συνειδητοποιήσαμε επίσης ότι η δημιουργία SQL δεν είναι τόσο απλή όσο οι μηχανισμοί εξαγωγής περιβάλλοντος, όπως η σημασιολογική αναζήτηση ή η χρήση ενσωματώσεων. Πρέπει πρώτα να λάβουμε το σχήμα της βάσης δεδομένων και μερικές σειρές δείγματος για να συμπεριλάβουμε στην προτροπή μας για το LLM. Υπάρχει επίσης το στάδιο επικύρωσης SQL, όπου έπρεπε να αλληλεπιδράσουμε τόσο με τη βάση δεδομένων όσο και με το LLM. Το SQLDatabaseChain ήταν η προφανής επιλογή εργαλείου. Επειδή είναι μέρος του LangChain, ήταν εύκολο να προσαρμοστούμε και τώρα μπορούμε να διαχειριστούμε τη δημιουργία και την επαλήθευση SQL με τη βοήθεια της αλυσίδας, ελαχιστοποιώντας την ποσότητα εργασίας που χρειαζόμασταν να κάνουμε.
Προκλήσεις απόδοσης
Με τη χρήση του Claude V2, και μετά από κατάλληλη άμεση μηχανική (την οποία θα συζητήσουμε στην επόμενη ενότητα), μπορέσαμε να παράγουμε SQL υψηλής ποιότητας. Λαμβάνοντας υπόψη την ποιότητα της SQL που δημιουργήθηκε, αρχίσαμε να εξετάζουμε πόση αξία προσθέτει πραγματικά το στάδιο επικύρωσης. Μετά από περαιτέρω ανάλυση των αποτελεσμάτων, κατέστη σαφές ότι η ποιότητα της SQL που δημιουργήθηκε ήταν σταθερά ακριβής με τρόπο που καθιστούσε δυσμενές το κόστος/όφελος από την προσθήκη ενός σταδίου επικύρωσης SQL. Καταλήξαμε να καταργήσουμε το στάδιο επικύρωσης SQL χωρίς να επηρεάσουμε αρνητικά την ποιότητα της παραγωγής μας και μειώσαμε τον χρόνο επικύρωσης SQL μετ' επιστροφής.
Εκτός από τη βελτιστοποίηση για ένα πιο οικονομικό και αποδοτικό LLM για το βήμα της σύνοψης, μπορέσαμε να χρησιμοποιήσουμε το Titan Text Express για καλύτερη απόδοση και οικονομική απόδοση.
Περαιτέρω βελτιστοποίηση της απόδοσης περιελάμβανε τη λεπτομερή ρύθμιση της διαδικασίας δημιουργίας ερωτημάτων χρησιμοποιώντας αποτελεσματικές τεχνικές άμεσης μηχανικής. Αντί να παρέχει μια αφθονία διακριτικών, η εστίαση ήταν στην παροχή της μικρότερης ποσότητας διακριτικών εισόδου, στη σωστή σύνταξη που το μοντέλο είναι εκπαιδευμένο να κατανοεί και με το ελάχιστο αλλά βέλτιστο σύνολο οδηγιών. Το συζητάμε περισσότερο στην επόμενη ενότητα—είναι ένα σημαντικό θέμα που ισχύει όχι μόνο εδώ αλλά και σε άλλες περιπτώσεις χρήσης.
Άμεση μηχανική και βελτιστοποίηση
Μπορείτε να προσαρμόσετε τον Claude στο Amazon Bedrock για διάφορες περιπτώσεις επαγγελματικής χρήσης, εάν χρησιμοποιούνται οι σωστές τεχνικές άμεσης μηχανικής. Ο Claude λειτουργεί κυρίως ως βοηθός συνομιλίας που χρησιμοποιεί μορφή ανθρώπου/βοηθού. Ο Claude εκπαιδεύεται να συμπληρώνει κείμενο για τον ρόλο του βοηθού. Λαμβάνοντας υπόψη τις επιθυμητές οδηγίες και τις άμεσες συμπληρώσεις, μπορούμε να βελτιστοποιήσουμε τις προτροπές μας για τον Claude χρησιμοποιώντας διάφορες τεχνικές.
Ξεκινάμε με ένα σωστά μορφοποιημένο πρότυπο προτροπής που δίνει μια έγκυρη συμπλήρωση και, στη συνέχεια, μπορούμε να βελτιστοποιήσουμε περαιτέρω τις απαντήσεις πειραματιζόμενοι με προτροπές με διάφορα σύνολα εισόδων που είναι αντιπροσωπευτικά των δεδομένων του πραγματικού κόσμου. Συνιστάται να λαμβάνετε πολλές εισόδους κατά την ανάπτυξη ενός προτύπου προτροπής. Μπορείτε επίσης να χρησιμοποιήσετε ξεχωριστά σύνολα δεδομένων άμεσης ανάπτυξης και δεδομένων δοκιμής.
Ένας άλλος τρόπος για να βελτιστοποιήσετε την απόκριση Claude είναι να πειραματιστείτε και να επαναλάβετε προσθέτοντας κανόνες, οδηγίες και χρήσιμες βελτιστοποιήσεις. Από αυτές τις βελτιστοποιήσεις, μπορείτε να προβάλετε διαφορετικούς τύπους ολοκλήρωσης, για παράδειγμα, λέγοντας στον Claude να αναφέρει το "Δεν ξέρω" για να αποτρέψει τις ψευδαισθήσεις, να σκεφτεί βήμα προς βήμα, να χρησιμοποιήσει άμεση αλυσίδα, να δώσει χώρο για "σκέψη" καθώς δημιουργεί απαντήσεις , και διπλός έλεγχος για κατανόηση και ακρίβεια.
Ας χρησιμοποιήσουμε την εργασία δημιουργίας ερωτημάτων και ας συζητήσουμε μερικές από τις τεχνικές που χρησιμοποιήσαμε για τη βελτιστοποίηση της προτροπής μας. Υπήρχαν μερικά βασικά στοιχεία που ωφέλησαν τις προσπάθειες δημιουργίας ερωτημάτων μας:
- Χρήση της κατάλληλης σύνταξης ανθρώπου/βοηθού
- Χρήση ετικετών XML (Ο Claude σέβεται και κατανοεί τις ετικέτες XML)
- Προσθήκη σαφών οδηγιών για το μοντέλο για την πρόληψη παραισθήσεων
Το ακόλουθο γενικό παράδειγμα δείχνει πώς χρησιμοποιήσαμε τη σύνταξη ανθρώπου/βοηθού, εφαρμόσαμε ετικέτες XML και προσθέσαμε οδηγίες για να περιορίσουμε την έξοδο σε SQL και να δώσουμε εντολή στο μοντέλο να πει "συγγνώμη, δεν μπορώ να βοηθήσω" εάν δεν μπορεί να παράγει σχετική SQL . Οι ετικέτες XML χρησιμοποιήθηκαν για το πλαίσιο των οδηγιών, πρόσθετων υποδείξεων, σχήματος βάσης δεδομένων, πρόσθετων επεξηγήσεων πινάκων και παραδειγμάτων σειρών.
Η τελική λύση εργασίας
Αφού αντιμετωπίσαμε όλες τις προκλήσεις που εντοπίστηκαν κατά την απόδειξη της ιδέας, είχαμε εκπληρώσει όλες τις απαιτήσεις λύσης. Το Q4 ήταν ικανοποιημένο με την ποιότητα της SQL που δημιουργήθηκε από το LLM. Αυτό ισχύει για απλές εργασίες που απαιτούσαν μόνο μια ρήτρα WHERE για το φιλτράρισμα των δεδομένων, καθώς και για πιο σύνθετες εργασίες που απαιτούσαν συναθροίσεις βάσει περιβάλλοντος με GROUP BY και μαθηματικές συναρτήσεις. Η λανθάνουσα κατάσταση από άκρο σε άκρο της συνολικής λύσης ήταν μέσα σε αυτό που ορίστηκε ως αποδεκτό για την περίπτωση χρήσης — μονοψήφια δευτερόλεπτα. Όλα αυτά οφείλονται στην επιλογή ενός βέλτιστου LLM σε κάθε στάδιο, στη σωστή άμεση μηχανική, στην εξάλειψη του βήματος επαλήθευσης SQL και στη χρήση ενός αποτελεσματικού LLM για το βήμα της σύνοψης (Titan Text Express ή Claude Instant).
Αξίζει να σημειωθεί ότι η χρήση του Amazon Bedrock ως πλήρως διαχειριζόμενης υπηρεσίας και η δυνατότητα πρόσβασης σε μια σουίτα LLM μέσω του ίδιου API επέτρεψαν τον πειραματισμό και την απρόσκοπτη εναλλαγή μεταξύ LLM αλλάζοντας το όνομα μοντέλου στην κλήση API. Με αυτό το επίπεδο ευελιξίας, το Q4 ήταν σε θέση να επιλέξει το πιο αποδοτικό LLM για κάθε κλήση LLM με βάση τη φύση της εργασίας, είτε πρόκειται για δημιουργία ερωτήματος, επαλήθευση ή περίληψη.
Συμπέρασμα
Δεν υπάρχει μία λύση που να ταιριάζει σε όλες τις περιπτώσεις χρήσης. Σε μια προσέγγιση RAG, η ποιότητα της παραγωγής εξαρτάται σε μεγάλο βαθμό από την παροχή του σωστού πλαισίου. Η εξαγωγή του σωστού περιβάλλοντος είναι το κλειδί και κάθε σύνολο δεδομένων είναι διαφορετικό με τα μοναδικά χαρακτηριστικά του.
Σε αυτήν την ανάρτηση, δείξαμε ότι για αριθμητικά και δομημένα σύνολα δεδομένων, η χρήση SQL για την εξαγωγή του περιβάλλοντος που χρησιμοποιείται για την αύξηση μπορεί να οδηγήσει σε πιο ευνοϊκά αποτελέσματα. Επίσης, αποδείξαμε ότι πλαίσια όπως το LangChain μπορούν να ελαχιστοποιήσουν την προσπάθεια κωδικοποίησης. Επιπρόσθετα, συζητήσαμε την ανάγκη να υπάρχει δυνατότητα εναλλαγής μεταξύ LLM εντός της ίδιας περίπτωσης χρήσης, προκειμένου να επιτευχθεί η βέλτιστη ακρίβεια, απόδοση και κόστος. Τέλος, επισημάναμε τον τρόπο με τον οποίο το Amazon Bedrock, χωρίς διακομιστή και με μια ποικιλία LLM κάτω από την κουκούλα, παρέχει την ευελιξία που απαιτείται για τη δημιουργία ασφαλών, αποδοτικών και βελτιστοποιημένων από πλευράς κόστους εφαρμογών με τη μικρότερη δυνατή ανύψωση.
Ξεκινήστε το ταξίδι σας προς τη δημιουργία παραγωγικών εφαρμογών με δυνατότητα AI, εντοπίζοντας μια περίπτωση χρήσης που έχει αξία για την επιχείρησή σας. Η δημιουργία SQL, όπως έμαθε η ομάδα του τέταρτου τριμήνου, μπορεί να αλλάξει τα παιχνίδια στη δημιουργία έξυπνων εφαρμογών που ενσωματώνονται με τις αποθήκες δεδομένων σας, ξεκλειδώνοντας τις δυνατότητες εσόδων.
Σχετικά με τους συγγραφείς
Tamer Soliman είναι Senior Solutions Architect στην AWS. Βοηθά τους πελάτες του Independent Software Vendor (ISV) να καινοτομήσουν, να δημιουργήσουν και να κλιμακώσουν στο AWS. Έχει πάνω από δύο δεκαετίες εμπειρίας στον κλάδο στη συμβουλευτική, την εκπαίδευση και τις επαγγελματικές υπηρεσίες. Είναι ένας εφευρέτης πολλαπλών διπλωμάτων ευρεσιτεχνίας με τρία διπλώματα ευρεσιτεχνίας και η εμπειρία του εκτείνεται σε πολλούς τομείς τεχνολογίας, όπως τηλεπικοινωνίες, δικτύωση, ενοποίηση εφαρμογών, AI/ML και αναπτύξεις cloud. Ειδικεύεται στη Δικτύωση AWS και έχει ένα βαθύ πάθος για τη μηχανική κλίση, την τεχνητή νοημοσύνη και το Generative AI.
Μάνι Χανιούγια είναι επικεφαλής της τεχνολογίας – Generative AI Specialists, συγγραφέας του βιβλίου – Applied Machine Learning and High Performance Computing στο AWS και μέλος του Διοικητικού Συμβουλίου του Ιδρύματος για τις Γυναίκες στο Manufacturing Education. Διευθύνει έργα μηχανικής μάθησης (ML) σε διάφορους τομείς όπως η όραση υπολογιστών, η επεξεργασία φυσικής γλώσσας και η γενετική τεχνητή νοημοσύνη. Βοηθά τους πελάτες να κατασκευάσουν, να εκπαιδεύσουν και να αναπτύξουν μεγάλα μοντέλα μηχανικής εκμάθησης σε κλίμακα. Μιλάει σε εσωτερικά και εξωτερικά συνέδρια όπως το re:Invent, το Women in Manufacturing West, τα διαδικτυακά σεμινάρια στο YouTube και το GHC 23. Στον ελεύθερο χρόνο της, της αρέσει να κάνει μεγάλες διαδρομές στην παραλία.
Stanislav Yeshchenko είναι Αρχιτέκτονας Λογισμικού στο Q4 Inc.. Έχει εμπειρία πάνω από μια δεκαετία στον κλάδο της ανάπτυξης λογισμικού και της αρχιτεκτονικής συστημάτων. Οι ποικίλοι ρόλοι του στο ιστορικό, όπως ο Τεχνικός Επικεφαλής και ο Ανώτερος Προγραμματιστής Full Stack, ενισχύουν τη συμβολή του στην προώθηση της καινοτομίας της πλατφόρμας Q4. Ο Stanislav είναι αφοσιωμένος στην προώθηση της τεχνικής καινοτομίας και στη διαμόρφωση στρατηγικών λύσεων στον τομέα.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/how-q4-inc-used-amazon-bedrock-rag-and-sqldatabasechain-to-address-numerical-and-structured-dataset-challenges-building-their-qa-chatbot/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 100
- 118
- 125
- 15%
- 23
- 7
- a
- ικανότητες
- ικανότητα
- Ικανός
- αφαίρεση
- αφθονία
- αποδεκτό
- πρόσβαση
- προσιτός
- Λογαριασμός
- ακρίβεια
- ακριβής
- Κατορθώνω
- απέναντι
- πράξεις
- πραγματικά
- προσαρμόσει
- προστιθέμενη
- προσθήκη
- Επιπλέον
- Πρόσθετος
- Επιπλέον
- προσθήκες
- διεύθυνση
- απευθύνεται
- Προσαρμογή
- προηγμένες
- προχωρώντας
- Πλεονέκτημα
- Μετά το
- κατά
- παράγοντες
- σύνολο
- AI
- Υπηρεσίες AI
- αι περιπτώσεις χρήσης
- AI / ML
- Απευθύνεται
- ευθυγράμμιση
- ευθυγραμμισμένος
- Όλα
- επιτρέπουν
- επιτρέπεται
- κατά μήκος
- Επίσης
- Αν και
- am
- Amazon
- Amazon υπηρεσίες Web
- ποσό
- Ποσά
- an
- ανάλυση
- Αναλυτές
- analytics
- αναλύσει
- αναλύοντας
- και
- Άλλος
- απάντηση
- απαντήσεις
- Ανθρωπικός
- κάθε
- οτιδήποτε
- api
- APIs
- εφαρμόσιμος
- Εφαρμογή
- εφαρμογές
- εφαρμοσμένος
- πλησιάζω
- αρχιτεκτονική
- ΕΙΝΑΙ
- AS
- ζητώ
- Ενεργητικό
- Βοηθός
- επικουρούμενη
- συλλογή
- At
- αυξάνω
- επαυξημένης
- συγγραφέας
- διαθέσιμος
- επίγνωση
- AWS
- πίσω
- φόντο
- βασίζονται
- βασικός
- BE
- παραλία
- έγινε
- επειδή
- ήταν
- πριν
- Αρχή
- συμπεριφορά
- είναι
- Πιστεύεται
- ευεργετική
- ΚΑΛΎΤΕΡΟΣ
- βέλτιστες πρακτικές
- Καλύτερα
- μεταξύ
- δισεκατομμύρια
- Αποκλεισμός
- Μπλοκ
- επιτροπή
- διοικητικό συμβούλιο
- βιβλίο
- Bot
- και οι δύο
- πλάτος
- Διακοπή
- ευρύς
- χτίζω
- Κτίριο
- Χτίζει
- χτισμένο
- επιχείρηση
- αλλά
- by
- κλήση
- ήρθε
- CAN
- Μπορεί να πάρει
- δυνατότητες
- ικανότητα
- κεφάλαιο
- Κεφαλαιαγορές
- ο οποίος
- περίπτωση
- περιπτώσεις
- αλυσίδα
- αλυσίδες
- πρόκληση
- προκλήσεις
- οικοδόμηση προκλήσεων
- αλλαγή
- Changer
- αλλαγή
- χαρακτηριστικά
- chatbot
- chatbots
- επιλογή
- Επιλέξτε
- επιλέγοντας
- σαφήνεια
- καθαρός
- καθαρός
- πιο κοντά
- Backup
- κωδικός
- Κωδικοποίηση
- Στήλη
- σε συνδυασμό
- συνδυάζοντας
- Ελάτε
- σχόλια
- εμπορικώς
- επικοινωνούν
- Επικοινωνία
- κοινότητα
- Εταιρείες
- εταίρα
- συγκρίσιμος
- ολοκλήρωση
- συγκρότημα
- περίπλοκο
- Συμμόρφωση
- εξαρτήματα
- κατανοώ
- Υπολογίστε
- υπολογιστή
- Computer Vision
- χρήση υπολογιστή
- έννοια
- καταλήγω
- Κατέληξε στο συμπέρασμα
- συμπέρασμα
- διενεργούνται
- συνέδρια
- Connect
- Συνδετικός
- σύνδεση
- Εξετάστε
- θεωρούνται
- θεωρώντας
- με συνέπεια
- Αποτελείται από
- αποτελείται
- κατασκευάσει
- συμβουλευτικές
- περιεχόμενο
- συμφραζόμενα
- συμφραζόμενα
- ΣΥΝΕΧΕΙΑ
- συνεχώς
- συνεισφορές
- συμβατικός
- ομιλητικός
- μετατροπές
- μετατρέπονται
- συντονισμός
- πυρήνας
- διορθώσει
- Κόστος
- θα μπορούσε να
- δημιουργία
- κρίσιμης
- CRM
- κρίσιμος
- πελάτης
- Πελάτες
- καθημερινά
- ημερομηνία
- Λίμνη δεδομένων
- σημεία δεδομένων
- Προστασία προσωπικών δεδομένων
- Προστασία προσωπικών δεδομένων και ασφάλεια
- επιστημονικά δεδομένα
- βασίζονται σε δεδομένα
- βάση δεδομένων
- σύνολα δεδομένων
- Ημερομηνίες
- δεκαετία
- δεκαετίες
- αποφάσισε
- Αποφασίζοντας
- αφιερωμένο
- θεωρείται
- ορίζεται
- Ζήτηση
- κατέδειξε
- καταδεικνύει
- εξαρτάται
- παρατάσσω
- αναπτύξεις
- περιγράφουν
- Περιγράφοντας
- επιθυμητή
- λεπτομερής
- καθέκαστα
- καθορίζει
- Εργολάβος
- ανάπτυξη
- Ανάπτυξη
- διαφορετικές
- κατευθύνει
- κατευθείαν
- Διευθυντές
- συζητήσουν
- συζήτηση
- κατάδυση
- διάφορα
- do
- τομέα
- domains
- Μην
- διπλός έλεγχος
- κάτω
- οδήγηση
- δυο
- κατά την διάρκεια
- δυναμικός
- κάθε
- Νωρίτερα
- εύκολος
- οικοσύστημα
- Εκπαίδευση
- Αποτελεσματικός
- αποδοτικότητα
- αποτελεσματικός
- αποτελεσματικά
- προσπάθεια
- προσπάθειες
- είτε
- στοιχεία
- Αιρετότητα
- εξάλειψη
- σμυριδόπετρα
- μισθωτών
- δίνει τη δυνατότητα
- τέλος
- από άκρη σε άκρη
- έληξε
- ασκούν
- δέσμευση
- Μηχανική
- αρκετά
- εξασφαλίζω
- εξοπλισμένο
- Ισοδύναμος
- ΕΙΝΑΙ Γ
- ειδικά
- εγκαθιδρύω
- αξιολογώντας
- εκτίμηση
- Even
- εκδηλώσεις
- Κάθε
- παράδειγμα
- παραδείγματα
- υφιστάμενα
- αναμένω
- αναμένεται
- ακριβά
- εμπειρία
- πείραμα
- πειράματα
- εμπειρογνώμονας
- εξειδίκευση
- Εξερευνήθηκε
- ρητή
- εξέφρασε την
- επέκταση
- εξωτερικός
- εκχύλισμα
- εξαγωγή
- αντιμετωπίζουν
- διευκολύνει
- παράγοντες
- γρήγορος ρυθμός
- ευνοϊκός
- εφικτός
- λίγοι
- πεδίο
- Πεδία
- συμπληρώστε
- φιλτράρισμα
- τελικός
- Τελικά
- οικονομικός
- ΟΙΚΟΝΟΜΙΚΑ ΣΤΟΙΧΕΙΑ
- Όνομα
- Ευελιξία
- ροή
- Συγκέντρωση
- ακολουθήστε
- Εξής
- Για
- μορφή
- Προς τα εμπρός
- προώθηση
- Βρέθηκαν
- Θεμέλιο
- ΠΛΑΙΣΙΟ
- Πλαίσιο
- πλαισίων
- Δωρεάν
- από
- πλήρη
- Πλήρης στοίβα
- πλήρως
- λειτουργικός
- λειτουργίες
- περαιτέρω
- παιχνίδι
- παιχνίδι changer
- GDPR
- Συμφωνία GDPR
- προσανατολισμένος
- General
- παράγουν
- παράγεται
- δημιουργεί
- παραγωγής
- γενεά
- γενετική
- Παραγωγική τεχνητή νοημοσύνη
- παίρνω
- να πάρει
- Δώστε
- δεδομένου
- δίνει
- Δίνοντας
- Go
- γκολ
- Στόχοι
- καλός
- χορηγείται
- εξαιρετική
- Group
- Μεγαλώνοντας
- είχε
- χέρι
- ευτυχισμένος
- Έχω
- που έχει
- he
- με έδρα
- βαριά
- βαριά ανύψωση
- βοήθεια
- βοηθά
- αυτήν
- εδώ
- Ψηλά
- υψηλή απόδοση
- υψηλής ποιότητας
- υψηλότερο
- υψηλότερο
- Τόνισε
- ανταύγειες
- υψηλά
- υποδείξεις
- του
- ιστορία
- κουκούλα
- Πως
- Ωστόσο
- HTTPS
- ανθρώπινος
- αναγνώσιμη από άνθρωπο
- i
- ιδέα
- προσδιορίζονται
- προσδιορισμό
- if
- εικόνα
- Επίπτωση
- επηρεάζονται
- επιπτώσεις
- Επιπτώσεις
- εφαρμογή
- εκτέλεση
- υλοποιήσεις
- εφαρμοστεί
- επιπτώσεις
- σημαντικό
- βελτίωση
- in
- Σε άλλες
- Α.Ε.
- περιλαμβάνουν
- Συμπεριλαμβανομένου
- Αυξάνουν
- οριακό
- ανεξάρτητος
- άτομα
- βιομηχανία
- πληροφορίες
- Υποδομή
- αρχικός
- αρχικά
- νεωτερίζω
- Καινοτομία
- εισαγωγή
- είσοδοι
- στιγμή
- ιδρυμάτων
- οδηγίες
- ενσωματώσει
- ολοκλήρωση
- σκοπεύω
- αλληλεπιδρούν
- αλληλεπιδράσεις
- εσωτερικός
- συνυφασμένη
- σε
- διαισθητική
- επένδυση
- επενδυτής
- Επενδυτές
- συμμετέχουν
- εκδότες
- isv
- IT
- ΤΟΥ
- ταξίδι
- jpg
- μόλις
- Διατήρηση
- Κλειδί
- Γνωρίζοντας
- γνώση
- γνωστός
- Labs
- λίμνη
- τοπίο
- Γλώσσα
- large
- μεγαλύτερος
- Επίθετο
- εν τέλει
- Αφάνεια
- αργότερα
- στρώματα
- οδηγήσει
- που οδηγεί
- Οδηγεί
- μάθει
- μάθηση
- ελάχιστα
- Led
- Μαθήματα
- Διδάγματα
- Επίπεδο
- ανύψωση
- Μου αρέσει
- συμπαθεί
- LLM
- λογική
- Λονδίνο
- Μακριά
- ματιά
- κοιτάζοντας
- Παρτίδα
- μηχανή
- μάθηση μηχανής
- που
- Κυρίως
- κυρίως
- Mainstream
- διατηρήσουν
- Η διατήρηση
- κάνω
- ΚΑΝΕΙ
- διαχείριση
- διαχειρίζεται
- διαχείριση
- κατασκευής
- πολοί
- αγορά
- Ανάλυση Αγοράς
- Τα δεδομένα της αγοράς
- αγορές
- συμφωνημένα
- μαθηματικός
- Ενδέχεται..
- νόημα
- σήμαινε
- μηχανισμούς
- Γνωρίστε
- μέλος
- πληρούνται
- Meta
- Μεταδεδομένα
- μέθοδος
- Μεθοδολογία
- μικροεπιχειρήσεις
- ελάχιστος
- ελαχιστοποιώντας
- μείγμα
- ML
- μοντέλο
- μοντέλα
- ΜΟΝΤΕΡΝΑ
- ενότητες
- περισσότερο
- πλέον
- ως επί το πλείστον
- κίνηση
- πολύ
- πολλαπλών
- πολλαπλούς
- όνομα
- ντόπιος
- Φυσικό
- Επεξεργασία φυσικής γλώσσας
- Φύση
- απαραίτητος
- Ανάγκη
- που απαιτούνται
- αρνητικά
- δικτύωσης
- Νέα
- Νέα Υόρκη
- επόμενη
- Όχι.
- σημείωση
- σημειώνοντας
- τώρα
- αριθμός
- αριθμοί
- σκοπός
- Εμφανή
- of
- off
- προσφέρονται
- προσφορές
- αξιωματικών
- γραφεία
- συχνά
- on
- ONE
- αποκλειστικά
- ανοίξτε
- ανοικτού κώδικα
- βέλτιστη
- βελτιστοποίηση
- Βελτιστοποίηση
- βελτιστοποιημένη
- βελτιστοποίηση
- Επιλογές
- or
- ενορχήστρωση
- ενορχήστρωση
- τάξη
- πρωτότυπο
- ΑΛΛΑ
- δικός μας
- παραγωγή
- επί
- φόρμες
- επισκόπηση
- συντριπτική
- δική
- ανήκει
- ιδιοκτησία
- παράμετροι
- μέρος
- Ειδικότερα
- πέρασε
- πάθος
- ευρεσιτεχνία
- Διπλώματα ευρεσιτεχνίας
- μονοπάτι
- Εκτελέστε
- επίδοση
- εκτέλεση
- επιλέξτε
- κομμάτια
- πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- Δοκιμάστε να παίξετε
- Σημείο
- σημεία
- θετικός
- δυνατός
- Θέση
- δυναμικού
- δύναμη
- αρμοδιότητες
- πρακτικές
- προτιμάται
- παρόν
- παρουσιάζονται
- πρόληψη
- τιμή
- αρχές
- μυστικότητα
- Απορρήτου και Ασφάλεια
- διαδικασια μας
- μεταποίηση
- παράγει
- Παράγεται
- Προϊόντα
- επαγγελματίας
- βαθύς
- σχέδιο
- έργα
- προτρέπει
- απόδειξη
- απόδειξη της έννοιας
- κατάλληλος
- ιδιόκτητο
- αποδείχθηκε
- παρέχουν
- παρέχεται
- παρέχει
- χορήγηση
- δημόσιο
- δημόσιες εταιρείες
- δημοσίως
- σκοπός
- βάζω
- Ερωτήσεις και απαντήσεις
- ποιότητα
- ερωτήματα
- ερώτηση
- γρήγορα
- εισαγωγικά
- Κατάταξη
- μάλλον
- RE
- έτοιμος
- πραγματικό κόσμο
- συνειδητοποίησα
- λαμβάνω
- συνιστάται
- αρχεία
- αναφοράς
- ρυθμίζονται
- συγγένειες
- σχέση
- Εκθέσεις
- εκπρόσωπος
- εκπροσωπούν
- αντιπροσωπεύει
- απαιτούν
- απαιτείται
- απαιτήσεις
- πόρος
- σεβαστή
- σέβη
- απάντησης
- απαντήσεις
- περιορίζω
- Αποτελέσματα
- έσοδα
- Επαναφορά
- επανεξέταση
- δεξιά
- κινδύνους
- Ρόλος
- ρόλους
- Δωμάτιο
- γύρος
- κανόνες
- τρέξιμο
- τρέχει
- ίδιο
- ικανοποιημένοι
- ικανοποιημένος με
- Αποθήκευση
- λένε
- Απεριόριστες δυνατότητες
- Κλίμακα
- Επιστήμη
- μηδέν
- αδιάλειπτη
- άψογα
- Αναζήτηση
- Δεύτερος
- δευτερόλεπτα
- Τμήμα
- προστατευμένο περιβάλλον
- ασφάλεια
- δείτε
- επιλογή
- πωλητές
- στείλετε
- αρχαιότερος
- αίσθηση
- ξεχωριστό
- Σειρές
- Χωρίς διακομιστή
- υπηρεσία
- Υπηρεσίες
- σειρά
- Σέτς
- διάφοροι
- διάπλαση
- μέτοχος
- Μέτοχοι
- αυτή
- θα πρέπει να
- έδειξε
- παρουσιάζεται
- Δείχνει
- σημαντικός
- Απλούς
- απλούστερη
- απλοποιημένη
- απλοποίηση
- απλουστεύοντας
- ενιαίας
- Μέγεθος
- μεγέθη
- μικρότερος
- έξυπνος
- εξυπνότερα
- λογισμικό
- ανάπτυξη λογισμικού
- λύση
- Λύσεις
- μερικοί
- εξελιγμένα
- Πηγή
- Πηγές
- ένταση
- εκτείνεται
- Μιλάει
- ειδικούς
- ειδικεύεται
- συγκεκριμένες
- ειδικά
- σταθερότητα
- σωρός
- Στάδιο
- πονταρίσματα
- σταθεί
- στέκεται
- Εκκίνηση
- ξεκίνησε
- Ξεκινήστε
- Δήλωση
- παραμονή
- Βήμα
- Βήματα
- στοκ
- χρηματιστηριακή αγορά
- αποθηκεύονται
- καταστήματα
- ειλικρινής
- Στρατηγική
- δομή
- δομημένος
- Ακολούθως
- επιτυχία
- Επιτυχώς
- τέτοιος
- επαρκής
- κατάλληλος
- σουίτα
- συνοψίζω
- ΠΕΡΙΛΗΨΗ
- υποστήριξη
- Υποστηρίζει
- επιτήρηση
- διακόπτης
- σύνταξη
- σύστημα
- τραπέζι
- επειξειργασμένος από ραπτήν
- Πάρτε
- λαμβάνεται
- παίρνει
- λήψη
- Έργο
- εργασίες
- tech
- Τεχνικός
- τεχνικές
- Τεχνολογία
- τηλεπικοινωνιών
- λέει
- πρότυπο
- δοκιμή
- Δοκιμές
- δοκιμές
- κείμενο
- από
- Ευχαριστώ
- ότι
- Η
- Η πρωτεύουσα
- τους
- τότε
- Εκεί.
- Αυτοί
- αυτοί
- Σκέψη
- αυτό
- τρία
- Μέσω
- παντού
- ώρα
- Χρονική σειρά
- φορές
- Τιτάν
- προς την
- σημερινή
- μαζι
- ένδειξη
- κουπόνια
- πολύ
- εργαλείο
- εργαλεία
- τοπικός
- Τορόντο
- προς
- Τρένο
- εκπαιδευμένο
- Εκπαίδευση
- συναλλαγή
- Συναλλαγές
- μετασχηματίζοντας
- ταξίδι
- αληθής
- Εμπιστευθείτε
- ΣΤΡΟΦΗ
- δύο
- τύπος
- τύποι
- συνήθως
- ανίκανος
- υπό
- υποκείμενες
- καταλαβαίνω
- κατανόηση
- καταλαβαίνει
- κατανοητή
- μοναδικός
- ξεκλειδώματος
- περιττός
- us
- χρήση
- περίπτωση χρήσης
- μεταχειρισμένος
- Χρήστες
- φιλική προς το χρήστη
- χρησιμοποιώντας
- χρησιμοποιεί
- έγκυρος
- επικύρωση
- αξία
- ποικιλία
- διάφορα
- πάροχος υπηρεσιών
- Επαλήθευση
- επαληθεύεται
- επαληθεύει
- πολύ
- βιώσιμος
- Δες
- Πραγματικός
- όραμα
- walk
- ήθελε
- ήταν
- Τρόπος..
- we
- ιστός
- διαδικτυακές υπηρεσίες
- Webinars
- Ιστοσελίδα : www.example.gr
- ΛΟΙΠΌΝ
- πήγε
- ήταν
- δυτικά
- Τι
- Τροχός
- πότε
- ενώ
- Ποιό
- ενώ
- θα
- με
- εντός
- χωρίς
- Γυναίκες
- λόγια
- Εργασία
- εργάστηκαν
- ροής εργασίας
- εργαζόμενος
- αξία
- θα
- γράφω
- γράψτε κώδικα
- XML
- ακόμη
- Υόρκη
- Εσείς
- Σας
- YouTube
- zephyrnet