Kasutage RAG-i ravimite avastamiseks koos Amazon Bedrocki teadmistebaasidega | Amazoni veebiteenused

Amazonase aluspõhi pakub laia valikut Amazoni ja kolmandate osapoolte pakkujate mudeleid, sealhulgas Anthropic, AI21, Meta, Cohere ja Stability AI, ning hõlmab laia valikut kasutusjuhtumeid, sealhulgas teksti ja piltide genereerimine, manustamine, vestlus, kõrgetasemelised agendid arutluskäigu ja orkestratsiooniga ja muuga. Amazon Bedrocki teadmistebaasid võimaldab teil luua tõhusaid ja kohandatud Retrieval Augmented Generation (RAG) rakendusi AWS-i ja kolmandate osapoolte vektorpoodide peale, kasutades nii AWS-i kui ka kolmanda osapoole mudeleid. Amazon Bedrocki teadmistebaasid automatiseerivad teie andmete sünkroonimise vektorite salvestamisega, sealhulgas andmete eristamist nende värskendamisel, dokumentide laadimist ja tükeldamist, samuti semantilist manustamist. See võimaldab teil oma RAG-viipasid ja otsingustrateegiaid sujuvalt kohandada – pakume allika omistamist ja haldame mäluhaldust automaatselt. Teabebaasid on täiesti serverivabad, nii et te ei pea haldama ühtegi infrastruktuuri ning teabebaaside kasutamisel tuleb tasuda ainult kasutatavate mudelite, vektorandmebaaside ja salvestusruumi eest.

RAG on populaarne tehnika, mis ühendab privaatsete andmete kasutamise suurte keelemudelitega (LLM). RAG alustab esimesest sammust asjakohaste dokumentide hankimiseks andmesalvest (enamasti vektorindeks), mis põhineb kasutaja päringul. Seejärel kasutab see vastuse genereerimiseks keelemudelit, võttes arvesse nii allalaaditud dokumente kui ka algset päringut.

Selles postituses näitame, kuidas luua RAG-i töövoogu, kasutades Amazon Bedrocki teadmistebaase uimastite avastamise juhtumi jaoks.

Ülevaade Amazoni aluspõhja teadmistebaasidest

Amazon Bedrocki teadmistebaasid toetavad laia valikut levinud failitüüpe, sealhulgas .txt, .docx, .pdf, .csv ja palju muud. Privaatsete andmete tõhusa väljatoomise võimaldamiseks on levinud tava jaotada need dokumendid kõigepealt hallatavateks tükkideks. Teabebaasid on juurutanud vaiketükeldamise strateegia, mis toimib enamikul juhtudel hästi, et võimaldada teil kiiremini alustada. Kui soovite suuremat kontrolli, võimaldavad teabebaasid juhtida tükeldamise strateegiat eelkonfigureeritud valikute komplekti kaudu. Manustamisele sidusa konteksti pakkumiseks saate juhtida tükkide vahel loodava märgi maksimaalset suurust ja kattumise suurust. Amazon Bedrocki teadmistebaasid haldab teie andmete sünkroonimise protsessi Amazoni lihtne salvestusteenus (Amazon S3) ämber, jagab selle väiksemateks tükkideks, genereerib vektormanused ja salvestab manused vektorindeksisse. Selle protsessiga kaasneb intelligentne diferentseerimine, läbilaskevõime ja tõrkehaldus.

Käitusajal kasutatakse kasutaja päringu teisendamiseks vektoriks manustamismudelit. Seejärel esitatakse vektoriindeksi päring, et leida kasutaja päringuga sarnaseid dokumente, võrreldes dokumendi vektoreid kasutaja päringuvektoriga. Viimases etapis lisatakse algse kasutajapäringu kontekstiks vektorindeksist välja otsitud semantiliselt sarnased dokumendid. Kasutajale vastuse genereerimisel küsitakse semantiliselt sarnaseid dokumente tekstimudelis koos jälgitavuse tagamiseks allika omistamisega.

Amazon Bedrocki teadmistebaasid toetavad mitut vektorandmebaasi, sealhulgas Amazon OpenSearch Serverita, Amazonase Aurora, Pinecone ja Redis Enterprise Cloud. API-liidesed Retrieve ja RetrieveAndGenerate võimaldavad teie rakendustel teha otsepäringuid indeksi järgi, kasutades ühtset ja standardset süntaksit, ilma et peaksite õppima iga erineva vektorandmebaasi jaoks eraldi API-sid, vähendades vajadust kirjutada kohandatud indeksipäringuid teie vektorisalve alusel. Retrieve API võtab vastu sissetuleva päringu, teisendab selle manustamisvektoriks ja esitab päringu taustamällu, kasutades vektorandmebaasi tasemel konfigureeritud algoritme; RetrieveAndGenerate API kasutab Amazon Bedrocki pakutavat kasutaja konfigureeritud LLM-i ja genereerib lõpliku vastuse loomulikus keeles. Oma jälgitavuse tugi teavitab taotlevat rakendust allikatest, mida küsimusele vastamiseks on kasutatud. Ettevõtete juurutuste puhul toetab teadmusbaase AWS-i võtmehaldusteenus (AWS KMS) krüptimine, AWS CloudTrail integratsioon ja palju muud.

Järgmistes jaotistes demonstreerime, kuidas luua RAG-i töövoog, kasutades selleks Amazon Bedrocki teadmusbaase, mida toetab OpenSearch Serverless vektormootor, et analüüsida struktureerimata kliiniliste uuringute andmestikku ravimite avastamise kasutusjuhtumi jaoks. Need andmed on teaberikkad, kuid võivad olla väga heterogeensed. Eriterminite ja eri vormingutes mõistete nõuetekohane käsitlemine on arusaamade tuvastamiseks ja analüütilise terviklikkuse tagamiseks hädavajalik. Amazon Bedrocki teadmistebaasidega pääsete lihtsate ja loomulike päringute kaudu juurde üksikasjalikule teabele.

Looge Amazon Bedrocki jaoks teadmistebaas

Selles jaotises tutvustame konsooli kaudu Amazon Bedrocki teadmistebaasi loomise protsessi. Tehke järgmised sammud.

1. Amazon Bedrocki konsoolil, all Orkestreerimine valige navigeerimispaanil Teadmistepagas.
2. Vali Loo teadmistebaas.

3. aasta Teadmistebaasi üksikasjad sisestage nimi ja valikuline kirjeldus.
4. aasta IAM-i load jaotises valige Looge ja kasutage uut teenindusrolli.
5. eest Teenuse nime roll, sisestage oma rolli nimi, mis peab algama tähega AmazonBedrockExecutionRoleForKnowledgeBase_.
6. Vali järgmine.

7. aasta Andmeallikas Sisestage oma andmeallika nimi ja S3 URI, kus andmestik asub. Knowledge Bases toetab järgmisi failivorminguid:
   • Lihttekst (.txt)
   • Allahindlus (.md)
   • Hüperteksti märgistuskeel (.html)
   • Microsoft Wordi dokument (.doc/.docx)
   • Komaga eraldatud väärtused (.csv)
   • Microsoft Exceli arvutustabel (.xls/.xlsx)
   • Kaasaskantava dokumendi vorming (.pdf)

8. alla Lisasätted¸ valige oma eelistatud tükeldamise strateegia (selle postituse jaoks valime Fikseeritud suurusega tükkideks) ning määrake tüki suurus ja ülekate protsentides. Teise võimalusena võite kasutada vaikesätteid.
9. Vali järgmine.

10. aasta Manustatud mudel jaotises valige Amazon Bedrockist Titan Embeddingsi mudel.
11. aasta Vektori andmebaas jaotises valige Looge kiiresti uus vektorpood, mis haldab vektorpoe seadistamise protsessi.
12. Vali järgmine.

13. Vaadake seaded üle ja valige Loo teadmistebaas.

14. Oodake, kuni teadmistebaasi loomine on lõpule viidud, ja kinnitage, et selle olek on Valmis.
15. aasta Andmeallikas jaotises või lehe ülaosas asuval bänneril või testakna hüpikaknas valige Sync käivitada andmete laadimine S3 ämbrist, jagada need teie määratud suurusega tükkideks, genereerida valitud teksti manustamismudeli abil vektormanused ja salvestada need vektorihoidlasse, mida haldab Knowledge Bases for Amazon Bedrock.

Sünkroonimisfunktsioon toetab dokumentide allaneelamist, värskendamist ja vektorindeksist kustutamist Amazon S3 dokumentide muudatuste põhjal. Võite kasutada ka StartIngestionJob API, mis käivitab sünkroonimise AWS SDK kaudu.

Kui sünkroonimine on lõppenud, kuvatakse sünkroonimisajalugu olekut Valmis.

Küsige teadmistebaasi

Selles jaotises näitame, kuidas lihtsate ja loomulike päringute abil pääseda juurde teadmistebaasi üksikasjalikule teabele. Kasutame PDF-failidest koosnevat struktureerimata sünteetilist andmekogumit, mille iga lehekülje number on vahemikus 10–100 lehekülge, simuleerides kavandatava uue ravimi kliinilise uuringu plaani, sealhulgas statistilise analüüsi meetodid ja osalejate nõusolekuvormid. Kasutame Amazon Bedrocki teadmistebaase retrieve_and_generate ja retrieve API-d koos Amazon Bedrocki LangChaini integratsioon.

Enne Amazon Bedrock API-d kasutavate skriptide kirjutamist peate installima oma keskkonda AWS SDK sobiva versiooni. Pythoni skriptide puhul on see AWS SDK Pythoni jaoks (Boto3):

pip install langchain
pip install boto3

Lisaks lubage juurdepääs mudelile Amazon Titan Embeddings ja Anthropic Claude v2 või v1. Lisateabe saamiseks vaadake Juurdepääs mudelile.

Genereerige küsimusi Amazon Bedrocki abil

Saame kasutada Anthropic Claude 2.1 for Amazon Bedrock, et pakkuda välja küsimuste loend, mida kliinilise uuringu andmestiku kohta esitada:

import boto3
from langchain.llms.bedrock import Bedrock

bedrock_client = boto3.client("bedrock-runtime")

# Start with the query
prompt = "For medical research trial consent forms to sign, what are the top 5 questions can be asked?"

claude_llm = Bedrock(
    model_id="anthropic.claude-v2:1",
    model_kwargs={"temperature": 0, "top_k": 10, "max_tokens_to_sample": 3000},
    client=bedrock_client,
)

# Provide the prompt to the LLM to generate an answer to the query without any additional context provided
response = claude_llm(prompt)
questions = [
    item.split(".")[1].strip() for item in response.strip().split("nn")[1:-1]
]
questions
>>> answer:
'What is the purpose of the study? Make sure you understand the goals of the research and what the study procedures will entail',
'What are the risks and potential benefits? The form should explain all foreseeable risks, side effects, or discomforts you might experience from participating',
'What will participation involve? Get details on what tests, medications, lifestyle changes, or procedures you will go through, how much time it will take, and how long the study will last',
'Are there any costs or payments? Ask if you will be responsible for any costs related to the study or get paid for participating',
'How will my privacy be protected? The form should explain how your personal health information will be kept confidential before, during, and after the trial'

Kasutage Amazon Bedrock RetrieveAndGenerate API-t

Täielikult hallatud RAG-kogemuse saamiseks võite kasutada Amazon Bedrocki teadmusbaase RetrieveAndGenerate API otse vastuste saamiseks:

bedrock_agent_client = boto3.client("bedrock-agent-runtime")

kb_id = "<YOUR_KNOWLEDGE_BASE_ID>"

def retrieveAndGenerate(
    input: str,
    kbId: str,
    region: str = "us-east-1",
    sessionId: str = None,
    model_id: str = "anthropic.claude-v2:1",
):
    model_arn = f"arn:aws:bedrock:{region}::foundation-model/{model_id}"

    if sessionId:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
            sessionId=sessionId,
        )

    else:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
        )

response = retrieveAndGenerate(
    "What are the potential risks and benefits of participating?", kb_id
)

generated_text = response["output"]["text"]
>>> "The potential risks include side effects from the study medication lithium such as nausea, loose stools, thirst, urination changes, shakiness, headaches, sweating, fatigue, decreased concentration, and skin rash. There is also a risk of lithium interaction with other medications. For women, there is a risk of birth defects if lithium is taken during pregnancy. There are no guaranteed benefits, but possible benefits include new information that could help the participant from the interviews and tests conducted during the study."

Viidatud teabeallika saab hankida järgmise koodi kaudu (osa väljundist on lühiduse huvides redigeeritud):

response["citations"]

>>> [
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " The potential risks include side effects from the study...",
                "span": {"start": 0, "end": 361},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "590 ICF#2 Page 7 of 19 The primary risks and discomforts of participation…"
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
            {
                "content": {
                    "text": "N/A CSP 590 ICF#2 Page 10 of 19 Risks associated with suddenly stopping study medications..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
        ],
    },
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " There are no guaranteed benefits, but possible benefits include...",
                "span": {"start": 363, "end": 531},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "research, not usual clinical care. After these are done we ask..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            }
        ],
    },
]

Edastades seansi ID RetrieveAndGenerate API, saate säilitada vestluse konteksti ja esitada järelküsimusi. Näiteks kui küsite eelmisest vastusest rohkem üksikasju ilma kontekstita, ei pruugi see õigesti vastata:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=None)["output"]["text"]
>>> "The search results do not provide additional details about the mild nausea side effect that would allow me to elaborate further on it."

Kuid seansi ID edastamisega suudab RAG-konveier tuvastada vastava konteksti ja tagastada asjakohased vastused:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=response["sessionId"])["output"]["text"]
>>> "The search results provide details that nausea from taking lithium is usually mild and goes away after days or weeks for most people. Specifically, up to 75% of people may experience mild nausea when first starting lithium, but this goes away in 90-99% of people who continue taking it."

Järgmises tabelis on toodud kõigi vastavate küsimuste otsitud vastused.

Päring Amazon Bedrock Retrieve API abil

RAG-i töövoo kohandamiseks saate kasutada rakendust Retrieve API, et tuua oma päringu põhjal asjakohased osad ja edastada see mis tahes Amazon Bedrocki pakutavale LLM-ile. Retrieve API kasutamiseks määrake see järgmiselt.

def retrieve(query: str, kbId: str, numberOfResults: int = 5):
    return bedrock_agent_client.retrieve(
        retrievalQuery={"text": query},
        knowledgeBaseId=kbId,
        retrievalConfiguration={
            "vectorSearchConfiguration": {"numberOfResults": numberOfResults}
        },
    )

Hankige vastav kontekst (osa väljundist on lühiduse huvides redigeeritud):

query = "What is the purpose of the medical research study?"
response = retrieve(query, kb_id, 3)
retrievalResults = response["retrievalResults"]
>>> [
    {
        "content": {"text": "You will not be charged for any procedures that..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXXX/XXXX.pdf"}},
        "score": 0.6552521,
    },
    {
        "content": {"text": "and possible benefits of the study. You have been..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
        "score": 0.6581577,
    },
    ...,
]

Ekstraktige viipamalli kontekst:

def get_contexts(retrievalResults):
    contexts = []
    for retrievedResult in retrievalResults:
        contexts.append(retrievedResult["content"]["text"])
    return " ".join(contexts)

contexts = get_contexts(retrievalResults)

Importige Pythoni moodulid ja seadistage kontekstisisene küsimusele vastamise viipamall, seejärel genereerige lõplik vastus:

from langchain.prompts import PromptTemplate

PROMPT_TEMPLATE = """
Human: You are an AI system working on medical trial research, and provides answers to questions 
by using fact based and statistical information when possible.
Use the following pieces of information to provide a concise answer to the question enclosed in <question> tags.
If you don't know the answer, just say that you don't know, don't try to make up an answer.

<context>
{context_str}
</context>

<question>
{query_str}
</question>

The response should be specific and use statistics or numbers when possible.

Assistant:"""

claude_prompt = PromptTemplate(
    template=PROMPT_TEMPLATE, input_variables=["context_str", "query_str"]
)

prompt = claude_prompt.format(context_str=contexts, query_str=query)
response = claude_llm(prompt)
>>> "Based on the context provided, the purpose of this medical research study is to evaluate the efficacy of lithium compared to a placebo in preventing suicide over a 1 year period. Specifically, participants will be randomly assigned to receive either lithium or a placebo pill for 1 year, with their doctors and the participants themselves not knowing which treatment they receive (double-blind). Blood lithium levels will be monitored and doses adjusted over the first 6-8 visits, then participants will be followed monthly for 1 year to assess outcomes."

Päring Amazon Bedrock LangChaini integratsiooni abil

Täieliku kohandatud küsimuste ja vastuste rakenduse loomiseks pakub Amazon Bedrocki teadmistebaasid integreerimist LangChainiga. LangChaini retriiveri seadistamiseks sisestage teadmistebaasi ID ja määrake päringust tagastatavate tulemuste arv:

from langchain.retrievers.bedrock import AmazonKnowledgeBasesRetriever

retriever = AmazonKnowledgeBasesRetriever(
    knowledge_base_id=kb_id,
    retrieval_config={"vectorSearchConfiguration": {"numberOfResults": 4}},
)

Nüüd seadistage LangChain RetrievalQA ja genereerige vastused teadmistebaasist:

from langchain.chains import RetrievalQA

qa = RetrievalQA.from_chain_type(
    llm=claude_llm,
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": claude_prompt},
)

[qa(q)["result"] for q in questions]

See genereerib vastavad vastused, mis on sarnased eelmises tabelis loetletud vastustega.

Koristage

Lisatasude vältimiseks kustutage kindlasti järgmised ressursid.

Järeldus

Amazon Bedrock pakub laia valikut sügavalt integreeritud teenuseid, et toita igas mastaabis RAG-i rakendusi, mis muudab ettevõtte andmete analüüsimise alustamise lihtsaks. Amazon Bedrocki teadmistebaasid integreeritakse Amazon Bedrocki vundamendimudelitega, et luua skaleeritavaid dokumentide manustamise torujuhtmeid ja dokumendiotsinguteenuseid, et toita laia valikut sisemisi ja klientidele suunatud rakendusi. Oleme põnevil eesseisva tuleviku pärast ja teie tagasiside mängib selle toote edenemise suunamisel üliolulist rolli. Lisateavet Amazon Bedrocki võimaluste ja teadmistebaaside kohta leiate aadressilt Amazon Bedrocki teadmistebaas.

Autoritest

Mark Roy on AWS-i peamine masinõppearhitekt, kes aitab klientidel AI/ML-lahendusi kavandada ja luua. Marki töö hõlmab laia valikut ML kasutusjuhtumeid, mille peamine huvi on arvutinägemine, sügav õppimine ja ML-i skaleerimine kogu ettevõttes. Ta on aidanud ettevõtteid paljudes tööstusharudes, sealhulgas kindlustus, finantsteenused, meedia ja meelelahutus, tervishoid, kommunaalteenused ja tootmine. Markil on kuus AWS-i sertifikaati, sealhulgas ML-i erisertifikaat. Enne AWS-iga liitumist oli Mark arhitekt, arendaja ja tehnoloogiajuht üle 25 aasta, sealhulgas 19 aastat finantsteenuste valdkonnas.

Mani Khanuja on tehniline juht – generatiivsed tehisintellekti spetsialistid, raamatu – Applied Machine Learning and High Performance Computing on AWS autor ning naiste tootmishariduse sihtasutuse juhatuse liige. Ta juhib masinõppe (ML) projekte erinevates valdkondades, nagu arvutinägemine, loomuliku keele töötlemine ja generatiivne AI. Ta aitab klientidel suuri masinõppemudeleid mastaapselt luua, koolitada ja juurutada. Ta esineb sise- ja väliskonverentsidel, nagu näiteks re:Invent, Women in Manufacturing West, YouTube'i veebiseminarid ja GHC 23. Vabal ajal meeldib talle rannas pikki jookse teha.

Dr Baichuan Sun, kes töötab praegu AWSis AI/ML lahenduste arhitektina, keskendub generatiivsele AI-le ning rakendab oma teadmisi andmeteaduse ja masinõppe vallas, et pakkuda praktilisi pilvepõhiseid ärilahendusi. Omades kogemusi juhtimisnõustamise ja tehisintellekti lahenduste arhitektuuri alal, tegeleb ta paljude keerukate väljakutsetega, sealhulgas robootika arvutinägemise, aegridade prognoosimise ja ennustava hooldusega. Tema töö põhineb projektijuhtimise, tarkvara uurimis- ja arendustegevuse ning akadeemiliste tegevuste tugeval taustal. Väljaspool tööd naudib dr Sun reisimise ning pere ja sõpradega aja veetmise tasakaalu.

Derrick Choo on AWS-i vanemlahenduste arhitekt, kes keskendub kliendi pilveteekonna kiirendamisele ja nende äri muutmisele pilvepõhiste lahenduste kasutuselevõtu kaudu. Tema teadmised on täieliku virna rakenduste ja masinõppe arendamise alal. Ta aitab klientidel kavandada ja ehitada täislahendusi, mis hõlmavad kasutajaliideseid, IoT rakendusi, API ja andmete integreerimist ning masinõppemudeleid. Vabal ajal veedab ta meelsasti perega aega ning katsetab fotograafia ja videograafiaga.

Frank Winkler on Singapuris asuva AWS-i vanemlahenduste arhitekt ja generatiivse AI spetsialist, keskendudes masinõppele ja generatiivsele AI-le. Ta teeb koostööd ülemaailmsete digitaalsete ettevõtetega, et luua AWS-is skaleeritavaid, turvalisi ja kulutõhusaid tooteid ja teenuseid. Vabal ajal veedab ta aega poja ja tütrega ning reisib laineid nautima üle ASEANi.

Nihir Chadderwala on vanem AI/ML lahenduste arhitekt ülemaailmses tervishoiu- ja bioteaduste meeskonnas. Tema teadmised on suurandmete ja AI-põhiste lahenduste loomine klientide probleemidele, eriti biomeditsiini, bioteaduste ja tervishoiu valdkonnas. Ta on põnevil ka kvantinfoteaduse ja tehisintellekti ristumispunktist ning naudib sellesse ruumi õppimist ja sellesse panustamist. Vabal ajal meeldib talle tennist mängida, reisida ja kosmoloogiat õppida.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/use-rag-for-drug-discovery-with-knowledge-bases-for-amazon-bedrock/