Το Knowledge Bases for Amazon Bedrock υποστηρίζει πλέον προσαρμοσμένες προτροπές για το RetrieveAndGenerate API και τη διαμόρφωση του μέγιστου αριθμού ανακτημένων αποτελεσμάτων | Υπηρεσίες Ιστού της Amazon

Με Βάσεις γνώσεων για το Amazon Bedrock, μπορείτε να συνδέσετε με ασφάλεια μοντέλα θεμελίωσης (FM). Θεμέλιο του Αμαζονίου στα δεδομένα της εταιρείας σας για το Retrieval Augmented Generation (RAG). Η πρόσβαση σε πρόσθετα δεδομένα βοηθά το μοντέλο να δημιουργήσει πιο συναφείς, συγκεκριμένες για το περιβάλλον και ακριβείς απαντήσεις χωρίς να επανεκπαιδεύσει τα FM.

Σε αυτήν την ανάρτηση, συζητάμε δύο νέα χαρακτηριστικά των Βάσεων Γνώσης για το Amazon Bedrock ειδικά για το RetrieveAndGenerate API: ρύθμιση παραμέτρων του μέγιστου αριθμού αποτελεσμάτων και δημιουργία προσαρμοσμένων προτροπών με ένα πρότυπο προτροπής βάσης γνώσεων. Τώρα μπορείτε να τις επιλέξετε ως επιλογές ερωτήματος παράλληλα με τον τύπο αναζήτησης.

Επισκόπηση και πλεονεκτήματα νέων λειτουργιών

Η επιλογή μέγιστου αριθμού αποτελεσμάτων σάς δίνει τον έλεγχο του αριθμού των αποτελεσμάτων αναζήτησης που θα ανακτηθούν από το vector store και θα διαβιβαστούν στο FM για τη δημιουργία της απάντησης. Αυτό σας επιτρέπει να προσαρμόσετε τον όγκο των πληροφοριών παρασκηνίου που παρέχονται για τη δημιουργία, δίνοντας έτσι περισσότερο πλαίσιο για σύνθετες ερωτήσεις ή λιγότερο για απλούστερες ερωτήσεις. Σας επιτρέπει να φέρετε έως και 100 αποτελέσματα. Αυτή η επιλογή βοηθά στη βελτίωση της πιθανότητας του σχετικού πλαισίου, βελτιώνοντας έτσι την ακρίβεια και μειώνοντας την ψευδαίσθηση της παραγόμενης απόκρισης.

Το πρότυπο προτροπής προσαρμοσμένης βάσης γνώσεων σάς επιτρέπει να αντικαταστήσετε το προεπιλεγμένο πρότυπο προτροπής με το δικό σας για να προσαρμόσετε το μήνυμα προτροπής που αποστέλλεται στο μοντέλο για τη δημιουργία απόκρισης. Αυτό σας επιτρέπει να προσαρμόσετε τον τόνο, τη μορφή εξόδου και τη συμπεριφορά του FM όταν απαντά στην ερώτηση ενός χρήστη. Με αυτήν την επιλογή, μπορείτε να ρυθμίσετε την ορολογία για να ταιριάζει καλύτερα με τον κλάδο ή τον τομέα σας (όπως υγειονομική περίθαλψη ή νομικός τομέας). Επιπλέον, μπορείτε να προσθέσετε προσαρμοσμένες οδηγίες και παραδείγματα προσαρμοσμένα στις συγκεκριμένες ροές εργασίας σας.

Στις επόμενες ενότητες, εξηγούμε πώς μπορείτε να χρησιμοποιήσετε αυτές τις δυνατότητες είτε με το Κονσόλα διαχείρισης AWS ή SDK.

Προϋποθέσεις

Για να ακολουθήσετε αυτά τα παραδείγματα, πρέπει να έχετε μια υπάρχουσα βάση γνώσεων. Για οδηγίες για τη δημιουργία ενός, βλ Δημιουργήστε μια βάση γνώσεων.

Διαμορφώστε τον μέγιστο αριθμό αποτελεσμάτων χρησιμοποιώντας την κονσόλα

Για να χρησιμοποιήσετε την επιλογή μέγιστου αριθμού αποτελεσμάτων χρησιμοποιώντας την κονσόλα, ολοκληρώστε τα παρακάτω βήματα:

1. Στην κονσόλα Amazon Bedrock, επιλέξτε Βάσεις γνώσεων στο αριστερό παράθυρο πλοήγησης.
2. Επιλέξτε τη βάση γνώσεων που δημιουργήσατε.
3. Επιλέξτε Δοκιμαστική βάση γνώσεων.
4. Επιλέξτε το εικονίδιο διαμόρφωσης.
5. Επιλέξτε Συγχρονισμός πηγής δεδομένων προτού αρχίσετε να δοκιμάζετε τη βάση γνώσεών σας.
   
6. Κάτω από διαμορφώσεις, Για Τύπος αναζήτησης, επιλέξτε έναν τύπο αναζήτησης με βάση την περίπτωση χρήσης σας.

Για αυτήν την ανάρτηση, χρησιμοποιούμε υβριδική αναζήτηση επειδή συνδυάζει σημασιολογική και αναζήτηση κειμένου για μεγαλύτερη ακρίβεια του παρόχου. Για να μάθετε περισσότερα σχετικά με την υβριδική αναζήτηση, βλ Το Knowledge Bases for Amazon Bedrock υποστηρίζει πλέον την υβριδική αναζήτηση.

7. Ανάπτυξη Μέγιστος αριθμός κομματιών πηγής και ορίστε τον μέγιστο αριθμό αποτελεσμάτων σας.
   

Για να δείξουμε την αξία της νέας δυνατότητας, δείχνουμε παραδείγματα για το πώς μπορείτε να αυξήσετε την ακρίβεια της δημιουργούμενης απόκρισης. Συνηθίζαμε Έγγραφο Amazon 10K για το 2023 ως πηγή δεδομένων για τη δημιουργία της βάσης γνώσεων. Χρησιμοποιούμε το ακόλουθο ερώτημα για πειραματισμούς: «Ποιο έτος αυξήθηκαν τα ετήσια έσοδα της Amazon από 245 δισεκατομμύρια δολάρια σε 434 δισεκατομμύρια δολάρια;»

Η σωστή απάντηση σε αυτό το ερώτημα είναι «Τα ετήσια έσοδα της Amazon αυξήθηκαν από 245 δισεκατομμύρια δολάρια το 2019 σε 434 δισεκατομμύρια δολάρια το 2022», με βάση τα έγγραφα στη γνωσιακή βάση. Χρησιμοποιήσαμε το Claude v2 ως FM για να δημιουργήσουμε την τελική απόκριση με βάση τις συμφραζόμενες πληροφορίες που ανακτήθηκαν από τη βάση γνώσεων. Τα Claude 3 Sonnet και Claude 3 Haiku υποστηρίζονται επίσης ως FM της γενιάς.

Πραγματοποιήσαμε ένα άλλο ερώτημα για να δείξουμε τη σύγκριση της ανάκτησης με διαφορετικές διαμορφώσεις. Χρησιμοποιήσαμε το ίδιο ερώτημα εισαγωγής ("Ποιο έτος αυξήθηκαν τα ετήσια έσοδα της Amazon από 245 δισ. $ σε 434 δισ. $;") και ορίσαμε τον μέγιστο αριθμό αποτελεσμάτων σε 5.

Όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης, η απάντηση που δημιουργήθηκε ήταν "Συγγνώμη, δεν μπορώ να σας βοηθήσω με αυτό το αίτημα".

Στη συνέχεια, ορίζουμε τα μέγιστα αποτελέσματα σε 12 και κάνουμε την ίδια ερώτηση. Η απάντηση που δημιουργήθηκε είναι «η ετήσια αύξηση εσόδων της Amazon από 245 δισεκατομμύρια δολάρια το 2019 σε 434 δισεκατομμύρια δολάρια το 2022».

Όπως φαίνεται σε αυτό το παράδειγμα, είμαστε σε θέση να ανακτήσουμε τη σωστή απάντηση με βάση τον αριθμό των ανακτημένων αποτελεσμάτων. Εάν θέλετε να μάθετε περισσότερα σχετικά με την απόδοση πηγής που αποτελεί το τελικό αποτέλεσμα, επιλέξτε Εμφάνιση στοιχείων πηγής για να επικυρώσετε την απάντηση που δημιουργήθηκε με βάση τη βάση γνώσεων.

Προσαρμόστε ένα πρότυπο προτροπής βάσης γνώσεων χρησιμοποιώντας την κονσόλα

Μπορείτε επίσης να προσαρμόσετε την προεπιλεγμένη προτροπή με τη δική σας προτροπή με βάση την περίπτωση χρήσης. Για να το κάνετε αυτό στην κονσόλα, ολοκληρώστε τα παρακάτω βήματα:

1. Επαναλάβετε τα βήματα στην προηγούμενη ενότητα για να ξεκινήσετε να δοκιμάζετε τη βάση γνώσεών σας.
2. Ενεργοποίηση Δημιουργήστε απαντήσεις.
   
3. Επιλέξτε το μοντέλο της επιλογής σας για τη δημιουργία απόκρισης.

Χρησιμοποιούμε το μοντέλο Claude v2 ως παράδειγμα σε αυτήν την ανάρτηση. Το μοντέλο Claude 3 Sonnet and Haiku είναι επίσης διαθέσιμο για γενιά.

4. Επιλέξτε Εφαρμογή να προχωρήσει.
   

Αφού επιλέξετε το μοντέλο, καλείται μια νέα ενότητα Πρότυπο προτροπής γνωσιακής βάσης εμφανίζεται κάτω από διαμορφώσεις.

5. Επιλέξτε Αλλαγή για να ξεκινήσετε την προσαρμογή της προτροπής.
   
6. Προσαρμόστε το πρότυπο προτροπής για να προσαρμόσετε τον τρόπο με τον οποίο θέλετε να χρησιμοποιείτε τα ανακτημένα αποτελέσματα και να δημιουργείτε περιεχόμενο.

Για αυτήν την ανάρτηση, δώσαμε μερικά παραδείγματα για τη δημιουργία ενός «Σύστημα AI Financial Advisor» χρησιμοποιώντας οικονομικές αναφορές της Amazon με προσαρμοσμένες προτροπές. Για βέλτιστες πρακτικές σχετικά με την άμεση μηχανική, ανατρέξτε στο Άμεσες οδηγίες μηχανικής.

Τώρα προσαρμόζουμε το προεπιλεγμένο πρότυπο προτροπής με πολλούς διαφορετικούς τρόπους και παρατηρούμε τις απαντήσεις.

Ας δοκιμάσουμε πρώτα ένα ερώτημα με την προεπιλεγμένη προτροπή. Ρωτάμε «Ποια ήταν τα έσοδα του Amazon το 2019 και το 2021;» Το παρακάτω δείχνει τα αποτελέσματά μας.

Από την έξοδο, διαπιστώνουμε ότι δημιουργεί την απόκριση ελεύθερης μορφής με βάση τη γνώση που έχει ανακτηθεί. Οι παραπομπές παρατίθενται επίσης για αναφορά.

Ας υποθέσουμε ότι θέλουμε να δώσουμε επιπλέον οδηγίες για το πώς να μορφοποιήσετε την απόκριση που δημιουργείται, όπως να την τυποποιήσουμε ως JSON. Μπορούμε να προσθέσουμε αυτές τις οδηγίες ως ξεχωριστό βήμα μετά την ανάκτηση των πληροφοριών, ως μέρος του προτύπου προτροπής:

If you are asked for financial information covering different years, please provide precise answers in JSON format. Use the year as the key and the concise answer as the value. For example: {year:answer}

Η τελική απάντηση έχει την απαιτούμενη δομή.

Προσαρμόζοντας το μήνυμα προτροπής, μπορείτε επίσης να αλλάξετε τη γλώσσα της απόκρισης που δημιουργείται. Στο παρακάτω παράδειγμα, δίνουμε εντολή στο μοντέλο να δώσει μια απάντηση στα ισπανικά.

Μετά την αφαίρεση $output_format_instructions$ από την προεπιλεγμένη ερώτηση, η παραπομπή από την απάντηση που δημιουργήθηκε αφαιρείται.

Στις επόμενες ενότητες, εξηγούμε πώς μπορείτε να χρησιμοποιήσετε αυτές τις δυνατότητες με το SDK.

Διαμορφώστε τον μέγιστο αριθμό αποτελεσμάτων χρησιμοποιώντας το SDK

Για να αλλάξετε τον μέγιστο αριθμό αποτελεσμάτων με το SDK, χρησιμοποιήστε την ακόλουθη σύνταξη. Για αυτό το παράδειγμα, το ερώτημα είναι "Ποιο έτος αυξήθηκαν τα ετήσια έσοδα της Amazon από $245B σε $434B;" Η σωστή απάντηση είναι «η ετήσια αύξηση εσόδων της Amazon από 245 δισεκατομμύρια δολάρια το 2019 σε 434 δισεκατομμύρια δολάρια το 2022».

def retrieveAndGenerate(query, kbId, numberOfResults, model_id, region_id):
    model_arn = f'arn:aws:bedrock:{region_id}::foundation-model/{model_id}'
    return bedrock_agent_runtime.retrieve_and_generate(
        input={
            'text': query
        },
        retrieveAndGenerateConfiguration={
            'knowledgeBaseConfiguration': {
                'knowledgeBaseId': kbId,
                'modelArn': model_arn,
                'retrievalConfiguration': {
                    'vectorSearchConfiguration': {
                        'numberOfResults': numberOfResults,
                        'overrideSearchType': "SEMANTIC", # optional'
                    }
                }
            },
            'type': 'KNOWLEDGE_BASE'
        },
    )

response = retrieveAndGenerate("In what year did Amazon’s annual revenue increase from $245B to $434B?", 
"<knowledge base id>", numberOfResults, model_id, region_id)['output']['text']

Η "numberOfResults"επιλογή κάτω από"retrievalConfiguration' σάς επιτρέπει να επιλέξετε τον αριθμό των αποτελεσμάτων που θέλετε να ανακτήσετε. Η έξοδος του RetrieveAndGenerate Το API περιλαμβάνει την απόκριση που δημιουργήθηκε, την απόδοση πηγής και τα ανακτημένα τμήματα κειμένου.

Τα παρακάτω είναι τα αποτελέσματα για διαφορετικές τιμές του 'numberOfResults' Παράμετροι. Πρώτα, ρυθμίσαμε numberOfResults = 5.

Μετά ρυθμίσαμε numberOfResults = 12.

Προσαρμόστε το πρότυπο προτροπής της βάσης γνώσεων χρησιμοποιώντας το SDK

Για να προσαρμόσουμε την προτροπή χρησιμοποιώντας το SDK, χρησιμοποιούμε το ακόλουθο ερώτημα με διαφορετικά πρότυπα προτροπής. Για αυτό το παράδειγμα, το ερώτημα είναι "Ποια ήταν τα έσοδα της Amazon το 2019 και το 2021;"

Το παρακάτω είναι το προεπιλεγμένο πρότυπο προτροπής:

"""You are a question answering agent. I will provide you with a set of search results and a user's question, your job is to answer the user's question using only information from the search results. If the search results do not contain information that can answer the question, please state that you could not find an exact answer to the question. Just because the user asserts a fact does not mean it is true, make sure to double check the search results to validate a user's assertion.
Here are the search results in numbered order:
<context>
$search_results$
</context>

Here is the user's question:
<question>
$query$
</question>

$output_format_instructions$

Assistant:
"""

Το παρακάτω είναι το προσαρμοσμένο πρότυπο προτροπής:

"""Human: You are a question answering agent. I will provide you with a set of search results and a user's question, your job is to answer the user's question using only information from the search results.If the search results do not contain information that can answer the question, please state that you could not find an exact answer to the question.Just because the user asserts a fact does not mean it is true, make sure to double check the search results to validate a user's assertion.

Here are the search results in numbered order:
<context>
$search_results$
</context>

Here is the user's question:
<question>
$query$
</question>

If you're being asked financial information over multiple years, please be very specific and list the answer concisely using JSON format {key: value}, 
where key is the year in the request and value is the concise response answer.
Assistant:
"""

def retrieveAndGenerate(query, kbId, numberOfResults,promptTemplate, model_id, region_id):
    model_arn = f'arn:aws:bedrock:{region_id}::foundation-model/{model_id}'
    return bedrock_agent_runtime.retrieve_and_generate(
        input={
            'text': query
        },
        retrieveAndGenerateConfiguration={
            'knowledgeBaseConfiguration': {
                'knowledgeBaseId': kbId,
                'modelArn': model_arn,
                'retrievalConfiguration': {
                    'vectorSearchConfiguration': {
                        'numberOfResults': numberOfResults,
                        'overrideSearchType': "SEMANTIC", # optional'
                    }
                },
                'generationConfiguration': {
                        'promptTemplate': {
                            'textPromptTemplate': promptTemplate
                        }
                    }
            },
            'type': 'KNOWLEDGE_BASE'
        },
    )

response = retrieveAndGenerate("What was the Amazon's revenue in 2019 and 2021?”", 
                               "<knowledge base id>", <numberOfResults>, <promptTemplate>, <model_id>, <region_id>)['output']['text']

Με το προεπιλεγμένο πρότυπο προτροπής, λαμβάνουμε την ακόλουθη απάντηση:

Εάν θέλετε να παρέχετε πρόσθετες οδηγίες σχετικά με τη μορφή εξόδου της δημιουργίας απόκρισης, όπως η τυποποίηση της απόκρισης σε μια συγκεκριμένη μορφή (όπως JSON), μπορείτε να προσαρμόσετε την υπάρχουσα προτροπή παρέχοντας περισσότερες οδηγίες. Με το προσαρμοσμένο πρότυπο προτροπής, λαμβάνουμε την ακόλουθη απάντηση.

Η "promptTemplate'επιλογή σε'generationConfiguration' σάς επιτρέπει να προσαρμόσετε την προτροπή για καλύτερο έλεγχο στη δημιουργία απαντήσεων.

Συμπέρασμα

Σε αυτήν την ανάρτηση, παρουσιάσαμε δύο νέες δυνατότητες στις Γνωσιακές Βάσεις για το Amazon Bedrock: προσαρμογή του μέγιστου αριθμού αποτελεσμάτων αναζήτησης και προσαρμογή του προεπιλεγμένου προτύπου προτροπής για το RetrieveAndGenerate API. Δείξαμε πώς να ρυθμίσετε αυτές τις δυνατότητες στην κονσόλα και μέσω του SDK για να βελτιώσετε την απόδοση και την ακρίβεια της απόκρισης που δημιουργείται. Η αύξηση των μέγιστων αποτελεσμάτων παρέχει πιο ολοκληρωμένες πληροφορίες, ενώ η προσαρμογή του προτύπου προτροπής σάς επιτρέπει να προσαρμόζετε τις οδηγίες για το μοντέλο θεμελίωσης ώστε να ευθυγραμμίζονται καλύτερα με συγκεκριμένες περιπτώσεις χρήσης. Αυτές οι βελτιώσεις προσφέρουν μεγαλύτερη ευελιξία και έλεγχο, επιτρέποντάς σας να προσφέρετε προσαρμοσμένες εμπειρίες για εφαρμογές που βασίζονται σε RAG.

Για πρόσθετους πόρους για την έναρξη εφαρμογής στο περιβάλλον AWS σας, ανατρέξτε στα ακόλουθα:

Σχετικά με τους συγγραφείς

Sandeep Singh είναι Ανώτερος Επιστήμονας Δεδομένων Τεχνητής Νοημοσύνης στο Amazon Web Services, βοηθώντας τις επιχειρήσεις να καινοτομήσουν με τη γενετική τεχνητή νοημοσύνη. Ειδικεύεται στο Generative AI, Τεχνητή Νοημοσύνη, Machine Learning και System Design. Είναι παθιασμένος με την ανάπτυξη λύσεων αιχμής που υποστηρίζονται από AI/ML για την επίλυση σύνθετων επιχειρηματικών προβλημάτων για διαφορετικούς κλάδους, βελτιστοποιώντας την αποτελεσματικότητα και την επεκτασιμότητα.

Σουγίν Γουάνγκ είναι AI/ML Specialist Solutions Architect στο AWS. Έχει διεπιστημονικό εκπαιδευτικό υπόβαθρο στη Μηχανική Μάθηση, την Υπηρεσία Χρηματοοικονομικών Πληροφοριών και τα Οικονομικά, μαζί με πολυετή εμπειρία στη δημιουργία εφαρμογών Επιστήμης Δεδομένων και Μηχανικής Μάθησης που έλυσαν επιχειρηματικά προβλήματα του πραγματικού κόσμου. Της αρέσει να βοηθά τους πελάτες να εντοπίζουν τις σωστές επιχειρηματικές ερωτήσεις και να δημιουργεί τις σωστές λύσεις AI/ML. Στον ελεύθερο χρόνο της λατρεύει το τραγούδι και τη μαγειρική.

Σέρι Ντινγκ είναι ανώτερος αρχιτέκτονας λύσεων τεχνητής νοημοσύνης (AI) και μηχανικής μάθησης (ML) στην Amazon Web Services (AWS). Έχει μεγάλη εμπειρία στη μηχανική μάθηση με διδακτορικό στην επιστήμη των υπολογιστών. Συνεργάζεται κυρίως με πελάτες του δημόσιου τομέα σε διάφορες επιχειρηματικές προκλήσεις που σχετίζονται με AI/ML, βοηθώντας τους να επιταχύνουν το ταξίδι μηχανικής εκμάθησης στο AWS Cloud. Όταν δεν βοηθά τους πελάτες, απολαμβάνει τις υπαίθριες δραστηριότητες.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-for-amazon-bedrock-now-supports-custom-prompts-for-the-retrieveandgenerate-api-and-configuration-of-the-maximum-number-of-retrieved-results/