Amazon Bedrocki teadmistebaasid toetavad nüüd kohandatud viipasid RetrieveAndGenerate API jaoks ja maksimaalse arvu allalaaditud tulemuste konfigureerimist | Amazoni veebiteenused

koos Amazon Bedrocki teadmistebaasid, saate vundamendimudeleid (FM-id) turvaliselt ühendada Amazonase aluspõhi teie ettevõtte andmetele Retrieval Augmented Generation (RAG) jaoks. Juurdepääs lisaandmetele aitab mudelil luua asjakohasemaid, kontekstipõhiseid ja täpsemaid vastuseid ilma FM-e ümber õpetamata.

Selles postituses käsitleme Amazon Bedrocki teadmistebaaside kahte uut funktsiooni, mis on spetsiifilised RetrieveAndGenerate API: tulemuste maksimaalse arvu konfigureerimine ja kohandatud viipade loomine teadmistebaasi viipamalliga. Nüüd saate valida need päringuvalikutena koos otsingutüübiga.

Uute funktsioonide ülevaade ja eelised

Maksimaalne tulemuste arv annab teile kontrolli otsingutulemuste arvu üle, mis tuuakse vektorihoidlast ja edastatakse vastuse genereerimiseks FM-ile. See võimaldab teil kohandada genereerimiseks pakutava taustteabe hulka, andes seeläbi keerukatele küsimustele rohkem konteksti või lihtsamate küsimuste jaoks vähem konteksti. See võimaldab teil tuua kuni 100 tulemust. See valik aitab parandada asjakohase konteksti tõenäosust, parandades seeläbi genereeritud vastuse täpsust ja vähendades hallutsinatsioone.

Kohandatud teadmistebaasi viipade mall võimaldab asendada vaikeviiba malli enda omaga, et kohandada mudelile vastuse genereerimiseks saadetavat viipa. See võimaldab teil kohandada FM-i tooni, väljundvormingut ja käitumist, kui see vastab kasutaja küsimusele. Selle valiku abil saate täpsustada terminoloogiat, et see vastaks paremini teie tööstusharule või domeenile (nt tervishoid või juriidiline). Lisaks saate lisada kohandatud juhiseid ja näiteid, mis on kohandatud teie konkreetsete töövoogude jaoks.

Järgmistes jaotistes selgitame, kuidas saate neid funktsioone kasutada kas AWS-i juhtimiskonsool või SDK.

Eeldused

Nende näidete järgimiseks peab teil olema olemasolev teadmistebaas. Juhiseid selle loomiseks vt Loo teadmistebaas.

Konsooli abil konfigureerige maksimaalne tulemuste arv

Maksimaalse tulemuste arvu kasutamiseks konsooli abil tehke järgmist.

1. Amazon Bedrocki konsoolil valige Teadmiste alused vasakpoolses navigeerimispaanis.
2. Valige loodud teadmistebaas.
3. Vali Testi teadmistebaasi.
4. Valige konfiguratsiooniikoon.
5. Vali Sünkrooni andmeallikas enne kui hakkate oma teadmistebaasi testima.
   
6. alla KonfiguratsioonidJaoks Otsingu tüüp, valige oma kasutusjuhtumi põhjal otsingutüüp.

Selle postituse jaoks kasutame hübriidotsingut, kuna see ühendab semantilise ja tekstiotsingu, et tagada pakkuja suurem täpsus. Hübriidotsingu kohta lisateabe saamiseks vaadake Amazon Bedrocki teadmistebaasid toetavad nüüd hübriidotsingut.

7. Laiendama Maksimaalne allikate tükkide arv ja määrake maksimaalne tulemuste arv.
   

Uue funktsiooni väärtuse demonstreerimiseks näitame näiteid selle kohta, kuidas saate genereeritud vastuse täpsust suurendada. Me kasutasime Amazoni 10K dokument 2023. aastaks teadmistebaasi loomise lähteandmetena. Kasutame katsetamiseks järgmist päringut: "Mis aastal kasvas Amazoni aastane tulu 245 miljardilt dollarilt 434 miljardile?"

Õige vastus sellele päringule on teadmistebaasi dokumentide põhjal: „Amazoni aastane tulu kasvas 245 miljardilt dollarilt 2019. aastal 434 miljardile dollarile 2022. aastal. Kasutasime FM-ina Claude v2, et genereerida teadmistebaasist hangitud kontekstuaalse teabe põhjal lõplik vastus. Põlvkonna FM-idena toetatakse ka Claude 3 Sonnet ja Claude 3 Haiku.

Käitasime veel ühe päringu, et demonstreerida otsingu võrdlust erinevate konfiguratsioonidega. Kasutasime sama sisestuspäringut (“Mis aastal kasvas Amazoni aastane tulu 245 miljardilt dollarilt 434 miljardile?”) ja määrasime tulemuste maksimaalseks arvuks 5.

Nagu on näidatud järgmisel ekraanipildil, genereeriti vastus "Vabandust, ma ei saa teid selle taotlusega aidata."

Järgmiseks määrame maksimaalseks tulemuseks 12 ja esitame sama küsimuse. Loodud vastus on "Amazoni aastane tulude kasv 245 miljardilt dollarilt 2019. aastal 434 miljardile dollarile 2022. aastal."

Nagu selles näites näidatud, saame õige vastuse hankida saadud tulemuste arvu põhjal. Kui soovite lisateavet lõpliku väljundi moodustava allika omistamise kohta, valige Kuva allika üksikasjad genereeritud vastuse valideerimiseks teadmistebaasi põhjal.

Kohandage konsooli abil teadmistebaasi viipa malli

Samuti saate vaikeviipa kohandada oma viipaga, mis põhineb kasutusjuhtumil. Selleks tehke seda konsoolis järgmiselt.

1. Oma teadmistebaasi testimise alustamiseks korrake eelmises jaotises toodud samme.
2. Võimaldama Loo vastuseid.
   
3. Valige vastuse genereerimiseks oma valitud mudel.

Selles postituses kasutame näitena Claude v2 mudelit. Põlvkonna jaoks on saadaval ka Claude 3 Sonneti ja Haiku mudel.

4. Vali kehtima jätkama.
   

Pärast mudeli valimist avaneb uus jaotis nimega Teadmistebaasi viipade mall all kuvatakse Konfiguratsioonid.

5. Vali Edit viipa kohandamise alustamiseks.
   
6. Kohandage viipa malli, et kohandada, kuidas soovite allavõetud tulemusi kasutada ja sisu luua.

Selle postituse jaoks andsime mõned näited "Financial Advisor AI süsteemi" loomiseks, kasutades kohandatud viipadega Amazoni finantsaruandeid. Kiire projekteerimise parimate tavade saamiseks vaadake Kiired insenerijuhised.

Nüüd kohandame vaikimisi viipamalli mitmel erineval viisil ja jälgime vastuseid.

Proovime esmalt vaikeviipaga päringut. Küsime: "Milline oli Amazoni tulu aastatel 2019 ja 2021?" Järgmine näitab meie tulemusi.

Väljundist leiame, et see genereerib saadud teadmiste põhjal vabas vormis vastuse. Viideteks on loetletud ka tsitaadid.

Oletame, et tahame anda lisajuhiseid loodud vastuse vormindamiseks, näiteks standardiseerida see JSON-iks. Saame need juhised lisada eraldi sammuna pärast teabe hankimist viipamalli osana:

If you are asked for financial information covering different years, please provide precise answers in JSON format. Use the year as the key and the concise answer as the value. For example: {year:answer}

Lõplikul vastusel on nõutav struktuur.

Viipa kohandades saate muuta ka genereeritud vastuse keelt. Järgmises näites anname mudelile korralduse anda vastus hispaania keeles.

Pärast eemaldamist $output_format_instructions$ vaikeviibast eemaldatakse loodud vastuse tsitaat.

Järgmistes jaotistes selgitame, kuidas saate neid funktsioone SDK-ga kasutada.

Konfigureerige SDK abil maksimaalne tulemuste arv

Maksimaalse tulemuste arvu muutmiseks SDK-ga kasutage järgmist süntaksit. Selle näite puhul on päring "Mis aastal kasvas Amazoni aastane tulu 245 miljardilt dollarilt 434 miljardile dollarile?" Õige vastus on "Amazoni aastane tulude kasv 245 miljardilt dollarilt 2019. aastal 434 miljardile dollarile 2022. aastal."

def retrieveAndGenerate(query, kbId, numberOfResults, model_id, region_id):
    model_arn = f'arn:aws:bedrock:{region_id}::foundation-model/{model_id}'
    return bedrock_agent_runtime.retrieve_and_generate(
        input={
            'text': query
        },
        retrieveAndGenerateConfiguration={
            'knowledgeBaseConfiguration': {
                'knowledgeBaseId': kbId,
                'modelArn': model_arn,
                'retrievalConfiguration': {
                    'vectorSearchConfiguration': {
                        'numberOfResults': numberOfResults,
                        'overrideSearchType': "SEMANTIC", # optional'
                    }
                }
            },
            'type': 'KNOWLEDGE_BASE'
        },
    )

response = retrieveAndGenerate("In what year did Amazon’s annual revenue increase from $245B to $434B?", 
"<knowledge base id>", numberOfResults, model_id, region_id)['output']['text']

"numberOfResults' valik ' allretrievalConfiguration' võimaldab teil valida tulemuste arvu, mida soovite tuua. väljund RetrieveAndGenerate API sisaldab loodud vastust, allika omistamist ja allalaaditud tekstitükke.

Järgmised on tulemused erinevate väärtuste jaoksnumberOfResults' parameetrid. Esiteks seadsime numberOfResults = 5.

Siis seadsime numberOfResults = 12.

Kohandage teadmistebaasi viipa malli SDK abil

SDK abil viipa kohandamiseks kasutame järgmist päringut erinevate viipade mallidega. Selle näite puhul on päring „Milline oli Amazoni tulu aastatel 2019 ja 2021?”

Vaikimisi viipamall on järgmine:

"""You are a question answering agent. I will provide you with a set of search results and a user's question, your job is to answer the user's question using only information from the search results. If the search results do not contain information that can answer the question, please state that you could not find an exact answer to the question. Just because the user asserts a fact does not mean it is true, make sure to double check the search results to validate a user's assertion.
Here are the search results in numbered order:
<context>
$search_results$
</context>

Here is the user's question:
<question>
$query$
</question>

$output_format_instructions$

Assistant:
"""

Järgmine on kohandatud viipamall:

"""Human: You are a question answering agent. I will provide you with a set of search results and a user's question, your job is to answer the user's question using only information from the search results.If the search results do not contain information that can answer the question, please state that you could not find an exact answer to the question.Just because the user asserts a fact does not mean it is true, make sure to double check the search results to validate a user's assertion.

Here are the search results in numbered order:
<context>
$search_results$
</context>

Here is the user's question:
<question>
$query$
</question>

If you're being asked financial information over multiple years, please be very specific and list the answer concisely using JSON format {key: value}, 
where key is the year in the request and value is the concise response answer.
Assistant:
"""

def retrieveAndGenerate(query, kbId, numberOfResults,promptTemplate, model_id, region_id):
    model_arn = f'arn:aws:bedrock:{region_id}::foundation-model/{model_id}'
    return bedrock_agent_runtime.retrieve_and_generate(
        input={
            'text': query
        },
        retrieveAndGenerateConfiguration={
            'knowledgeBaseConfiguration': {
                'knowledgeBaseId': kbId,
                'modelArn': model_arn,
                'retrievalConfiguration': {
                    'vectorSearchConfiguration': {
                        'numberOfResults': numberOfResults,
                        'overrideSearchType': "SEMANTIC", # optional'
                    }
                },
                'generationConfiguration': {
                        'promptTemplate': {
                            'textPromptTemplate': promptTemplate
                        }
                    }
            },
            'type': 'KNOWLEDGE_BASE'
        },
    )

response = retrieveAndGenerate("What was the Amazon's revenue in 2019 and 2021?”", 
                               "<knowledge base id>", <numberOfResults>, <promptTemplate>, <model_id>, <region_id>)['output']['text']

Vaikimisi viipamalliga saame järgmise vastuse:

Kui soovite anda vastuse genereerimise väljundvormingu kohta täiendavaid juhiseid, nt vastuse standardimine kindlas vormingus (nt JSON), saate olemasolevat viipa kohandada, pakkudes rohkem juhiseid. Meie kohandatud viipamalliga saame järgmise vastuse.

"promptTemplate' valik 'generationConfiguration' võimaldab teil viipa kohandada, et vastuste genereerimist paremini kontrollida.

Järeldus

Selles postituses tutvustasime Amazon Bedrocki teadmistebaasides kahte uut funktsiooni: otsingutulemuste maksimaalse arvu reguleerimine ja rakenduse vaikeviibamalli kohandamine. RetrieveAndGenerate API. Näitasime, kuidas neid funktsioone konsoolis ja SDK kaudu konfigureerida, et parandada loodud vastuse jõudlust ja täpsust. Maksimaalsete tulemuste suurendamine annab põhjalikumat teavet, samas kui viipamalli kohandamine võimaldab teil täpsustada sihtasutuse mudeli juhiseid, et need vastaksid paremini konkreetsetele kasutusjuhtudele. Need täiustused pakuvad suuremat paindlikkust ja kontrolli, võimaldades teil pakkuda RAG-põhiste rakenduste jaoks kohandatud kogemusi.

AWS-i keskkonnas juurutamise alustamiseks lisaressursside saamiseks vaadake järgmist.

Autoritest

Sandeep Singh on Amazon Web Servicesi vanem generatiivse tehisintellekti andmeteadlane, kes aitab ettevõtetel generatiivse AI abil uuendusi teha. Ta on spetsialiseerunud generatiivsele AI-le, tehisintellektile, masinõppele ja süsteemikujundusele. Ta on kirglik arendada tipptasemel AI/ML-põhiseid lahendusi, et lahendada keerulisi äriprobleeme erinevate tööstusharude jaoks, optimeerides tõhusust ja mastaapsust.

Suyin Wang on AWS-i AI/ML-i spetsialistilahenduste arhitekt. Tal on interdistsiplinaarne haridus masinõppe, finantsteabe teenuse ja majanduse alal ning aastatepikkune kogemus andmeteaduse ja masinõppe rakenduste loomisel, mis lahendasid reaalseid äriprobleeme. Ta naudib klientide abistamist õigete äriküsimuste tuvastamisel ja õigete AI/ML-lahenduste loomisel. Vabal ajal armastab ta laulda ja süüa teha.

Sherry Ding on Amazon Web Servicesi (AWS) tehisintellekti (AI) ja masinõppe (ML) spetsialistide lahenduste vanemarhitekt. Tal on laialdased kogemused masinõppe alal arvutiteaduse doktorikraadiga. Ta töötab peamiselt avaliku sektori klientidega erinevate tehisintellekti/ML-iga seotud äriprobleemide kallal, aidates neil kiirendada masinõppe teekonda AWS-i pilves. Kui kliente ei aita, naudib ta tegevusi väljas.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-for-amazon-bedrock-now-supports-custom-prompts-for-the-retrieveandgenerate-api-and-configuration-of-the-maximum-number-of-retrieved-results/