Brug RAG til lægemiddelopdagelse med vidensbaser til Amazons grundgrund | Amazon Web Services

Amazonas grundfjeld leverer en bred vifte af modeller fra Amazon og tredjepartsudbydere, herunder Anthropic, AI21, Meta, Cohere og Stability AI, og dækker en bred vifte af use cases, herunder tekst- og billedgenerering, indlejring, chat, agenter på højt niveau med ræsonnement og orkestrering med mere. Vidensbaser for Amazon Bedrock giver dig mulighed for at bygge effektive og tilpassede Retrieval Augmented Generation (RAG) applikationer oven på AWS og tredjeparts vektorbutikker ved hjælp af både AWS og tredjeparts modeller. Knowledge Bases for Amazon Bedrock automatiserer synkronisering af dine data med dit vektorlager, herunder differentiering af dataene, når de opdateres, dokumentindlæsning og chunking, samt semantisk indlejring. Det giver dig mulighed for problemfrit at tilpasse dine RAG-prompter og genfindingsstrategier – vi leverer kildetilskrivningen, og vi håndterer hukommelseshåndtering automatisk. Knowledge Bases er fuldstændig serverløs, så du behøver ikke at administrere nogen infrastruktur, og når du bruger Knowledge Bases, bliver du kun opkrævet for de modeller, vektordatabaser og lagerplads, du bruger.

RAG er en populær teknik, der kombinerer brugen af ​​private data med store sprogmodeller (LLM'er). RAG starter med et indledende trin til at hente relevante dokumenter fra et datalager (oftest et vektorindeks) baseret på brugerens forespørgsel. Den anvender derefter en sprogmodel til at generere et svar ved at overveje både de hentede dokumenter og den oprindelige forespørgsel.

I dette indlæg demonstrerer vi, hvordan man opbygger en RAG-arbejdsgang ved hjælp af vidensbaser til Amazon Bedrock til en brugssag til lægemiddelopdagelse.

Oversigt over vidensbaser for Amazon Bedrock

Vidensbaser til Amazon Bedrock understøtter en bred vifte af almindelige filtyper, herunder .txt, .docx, .pdf, .csv og mere. For at muliggøre effektiv hentning fra private data er en almindelig praksis først at opdele disse dokumenter i håndterbare bidder. Knowledge Bases har implementeret en standard chunking-strategi, der fungerer godt i de fleste tilfælde, så du kan komme hurtigere i gang. Hvis du ønsker mere kontrol, giver Knowledge Bases dig mulighed for at styre chunking-strategien gennem et sæt forudkonfigurerede muligheder. Du kan kontrollere den maksimale tokenstørrelse og mængden af ​​overlap, der skal oprettes på tværs af bidder for at give sammenhængende kontekst til indlejringen. Knowledge Bases for Amazon Bedrock styrer processen med at synkronisere data fra din Amazon Simple Storage Service (Amazon S3) bucket, opdeler det i mindre bidder, genererer vektorindlejringer og gemmer indlejringerne i et vektorindeks. Denne proces kommer med intelligent diffing, gennemløb og fejlstyring.

Ved kørsel bruges en indlejringsmodel til at konvertere brugerens forespørgsel til en vektor. Vektorindekset forespørges derefter for at finde dokumenter, der ligner brugerens forespørgsel, ved at sammenligne dokumentvektorer med brugerforespørgselsvektoren. I det sidste trin tilføjes semantisk lignende dokumenter hentet fra vektorindekset som kontekst for den oprindelige brugerforespørgsel. Når der genereres et svar til brugeren, bliver de semantisk lignende dokumenter bedt om i tekstmodellen sammen med kildetilskrivning for sporbarhed.

Vidensbaser for Amazon Bedrock understøtter flere vektordatabaser, herunder Amazon OpenSearch Serverløs, Amazon Aurora, Pinecone og Redis Enterprise Cloud. Retrieve og RetrieveAndGenerate API'erne giver dine applikationer mulighed for direkte at forespørge indekset ved hjælp af en samlet og standardsyntaks uden at skulle lære separate API'er for hver anden vektordatabase, hvilket reducerer behovet for at skrive tilpassede indeksforespørgsler mod dit vektorlager. Retrieve API'et tager den indkommende forespørgsel, konverterer den til en indlejringsvektor og forespørger backend-lageret ved hjælp af de algoritmer, der er konfigureret på vektordatabaseniveauet; RetrieveAndGenerate API bruger en brugerkonfigureret LLM leveret af Amazon Bedrock og genererer det endelige svar i naturligt sprog. Den oprindelige sporbarhedssupport informerer den anmodende applikation om de kilder, der bruges til at besvare et spørgsmål. Til virksomhedsimplementeringer understøtter Knowledge Bases AWS Key Management Service (AWS KMS) kryptering, AWS CloudTrail integration og meget mere.

I de følgende afsnit demonstrerer vi, hvordan man opbygger en RAG-arbejdsgang ved hjælp af Knowledge Bases for Amazon Bedrock, understøttet af OpenSearch Serverless vektormotoren, for at analysere et ustruktureret klinisk forsøgsdatasæt til brug for lægemiddelopdagelse. Disse data er informationsrige, men kan være meget heterogene. Korrekt håndtering af specialiseret terminologi og begreber i forskellige formater er afgørende for at opdage indsigt og sikre analytisk integritet. Med Knowledge Bases for Amazon Bedrock kan du få adgang til detaljerede oplysninger gennem enkle, naturlige forespørgsler.

Byg en vidensbase for Amazon Bedrock

I dette afsnit demonstrerer vi processen med at skabe en videnbase for Amazon Bedrock via konsollen. Udfør følgende trin:

1. På Amazon Bedrock-konsollen, under Orchestration i navigationsruden skal du vælge Vidensdatabase.
2. Vælg Skab vidensbase.

3. I Vidensbase detaljer skal du indtaste et navn og en valgfri beskrivelse.
4. I IAM-tilladelser sektion, vælg Opret og brug en ny servicerolle.
5. Til Tjenestenavn rolle, indtast et navn til din rolle, som skal starte med AmazonBedrockExecutionRoleForKnowledgeBase_.
6. Vælg Næste.

7. I Datakilde skal du indtaste et navn til din datakilde og den S3 URI, hvor datasættet sidder. Knowledge Bases understøtter følgende filformater:
   • Almindelig tekst (.txt)
   • Markdown (.md)
   • HyperText Markup Language (.html)
   • Microsoft Word-dokument (.doc/.docx)
   • Kommaseparerede værdier (.csv)
   • Microsoft Excel-regneark (.xls/.xlsx)
   • Portable Document Format (.pdf)

8. Under Yderligere indstillinger¸ vælg din foretrukne chunking-strategi (til dette indlæg vælger vi Fast størrelse chunking) og angiv klumpstørrelsen og overlejringen i procent. Alternativt kan du bruge standardindstillingerne.
9. Vælg Næste.

10. I Indstøbningsmodel sektion, skal du vælge Titan Embeddings-modellen fra Amazon Bedrock.
11. I Vektor database sektion, vælg Opret hurtigt en ny vektorbutik, som styrer processen med at oprette en vektorbutik.
12. Vælg Næste.

13. Gennemgå indstillingerne og vælg Skab vidensbase.

14. Vent på, at oprettelsen af ​​videnbasen er fuldført, og bekræft, at dens status er Ready.
15. I Datakilde sektion, eller på banneret øverst på siden eller pop op-vinduet i testvinduet, skal du vælge Synkroniser at udløse processen med at indlæse data fra S3-bøtten, opdele dem i bidder af den størrelse, du har angivet, generere vektorindlejringer ved hjælp af den valgte tekstindlejringsmodel og gemme dem i vektorlageret, der administreres af Knowledge Bases for Amazon Bedrock.

Synkroniseringsfunktionen understøtter indlæsning, opdatering og sletning af dokumenter fra vektorindekset baseret på ændringer i dokumenter i Amazon S3. Du kan også bruge StartIngestionJob API til at udløse synkroniseringen via AWS SDK.

Når synkroniseringen er fuldført, viser synkroniseringshistorikken status Afsluttet.

Spørg vidensbasen

I dette afsnit demonstrerer vi, hvordan du får adgang til detaljerede oplysninger i videnbasen gennem ligetil og naturlige forespørgsler. Vi bruger et ustruktureret syntetisk datasæt bestående af PDF-filer, sidetallet på hver spænder fra 10-100 sider, som simulerer en klinisk forsøgsplan for en foreslået ny medicin, herunder statistiske analysemetoder og deltagersamtykkeformularer. Vi bruger vidensbaserne til Amazon Bedrock retrieve_and_generate , retrieve API'er med Amazon Bedrock LangChain integration.

Før du kan skrive scripts, der bruger Amazon Bedrock API, skal du installere den relevante version af AWS SDK i dit miljø. For Python-scripts vil dette være AWS SDK til Python (Boto3):

pip install langchain
pip install boto3

Aktiver desuden adgang til Amazon Titan Embeddings-modellen og Anthropic Claude v2 eller v1. For mere information, se Modeladgang.

Generer spørgsmål ved hjælp af Amazon Bedrock

Vi kan bruge Anthropic Claude 2.1 til Amazon Bedrock til at foreslå en liste over spørgsmål, der skal stilles til det kliniske forsøgsdatasæt:

import boto3
from langchain.llms.bedrock import Bedrock

bedrock_client = boto3.client("bedrock-runtime")

# Start with the query
prompt = "For medical research trial consent forms to sign, what are the top 5 questions can be asked?"

claude_llm = Bedrock(
    model_id="anthropic.claude-v2:1",
    model_kwargs={"temperature": 0, "top_k": 10, "max_tokens_to_sample": 3000},
    client=bedrock_client,
)

# Provide the prompt to the LLM to generate an answer to the query without any additional context provided
response = claude_llm(prompt)
questions = [
    item.split(".")[1].strip() for item in response.strip().split("nn")[1:-1]
]
questions
>>> answer:
'What is the purpose of the study? Make sure you understand the goals of the research and what the study procedures will entail',
'What are the risks and potential benefits? The form should explain all foreseeable risks, side effects, or discomforts you might experience from participating',
'What will participation involve? Get details on what tests, medications, lifestyle changes, or procedures you will go through, how much time it will take, and how long the study will last',
'Are there any costs or payments? Ask if you will be responsible for any costs related to the study or get paid for participating',
'How will my privacy be protected? The form should explain how your personal health information will be kept confidential before, during, and after the trial'

Brug Amazon Bedrock RetrieveAndGenerate API

For en fuldt administreret RAG-oplevelse kan du bruge de native Knowledge Bases for Amazon Bedrock RetrieveAndGenerate API for at få svarene direkte:

bedrock_agent_client = boto3.client("bedrock-agent-runtime")

kb_id = "<YOUR_KNOWLEDGE_BASE_ID>"

def retrieveAndGenerate(
    input: str,
    kbId: str,
    region: str = "us-east-1",
    sessionId: str = None,
    model_id: str = "anthropic.claude-v2:1",
):
    model_arn = f"arn:aws:bedrock:{region}::foundation-model/{model_id}"

    if sessionId:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
            sessionId=sessionId,
        )

    else:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
        )

response = retrieveAndGenerate(
    "What are the potential risks and benefits of participating?", kb_id
)

generated_text = response["output"]["text"]
>>> "The potential risks include side effects from the study medication lithium such as nausea, loose stools, thirst, urination changes, shakiness, headaches, sweating, fatigue, decreased concentration, and skin rash. There is also a risk of lithium interaction with other medications. For women, there is a risk of birth defects if lithium is taken during pregnancy. There are no guaranteed benefits, but possible benefits include new information that could help the participant from the interviews and tests conducted during the study."

Den citerede informationskilde kan fås via følgende kode (med noget af outputtet redigeret for kortheds skyld):

response["citations"]

>>> [
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " The potential risks include side effects from the study...",
                "span": {"start": 0, "end": 361},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "590 ICF#2 Page 7 of 19 The primary risks and discomforts of participation…"
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
            {
                "content": {
                    "text": "N/A CSP 590 ICF#2 Page 10 of 19 Risks associated with suddenly stopping study medications..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
        ],
    },
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " There are no guaranteed benefits, but possible benefits include...",
                "span": {"start": 363, "end": 531},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "research, not usual clinical care. After these are done we ask..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            }
        ],
    },
]

Ved at videregive sessions-id'et for RetrieveAndGenerate API, kan du bevare samtalekonteksten og stille opfølgende spørgsmål. For eksempel, uden konteksten, hvis du beder om flere detaljer fra det forrige svar, vil det muligvis ikke være i stand til at svare korrekt:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=None)["output"]["text"]
>>> "The search results do not provide additional details about the mild nausea side effect that would allow me to elaborate further on it."

Men ved at videregive sessions-id'et er RAG-pipelinen i stand til at identificere den tilsvarende kontekst og returnere relevante svar:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=response["sessionId"])["output"]["text"]
>>> "The search results provide details that nausea from taking lithium is usually mild and goes away after days or weeks for most people. Specifically, up to 75% of people may experience mild nausea when first starting lithium, but this goes away in 90-99% of people who continue taking it."

Følgende tabel viser de hentede svar på alle de tilsvarende spørgsmål.

Forespørg ved hjælp af Amazon Bedrock Retrieve API

For at tilpasse din RAG-arbejdsgang kan du bruge Retrieve API til at hente de relevante bidder baseret på din forespørgsel og videregive den til enhver LLM leveret af Amazon Bedrock. For at bruge Retrieve API skal du definere det som følger:

def retrieve(query: str, kbId: str, numberOfResults: int = 5):
    return bedrock_agent_client.retrieve(
        retrievalQuery={"text": query},
        knowledgeBaseId=kbId,
        retrievalConfiguration={
            "vectorSearchConfiguration": {"numberOfResults": numberOfResults}
        },
    )

Hent den tilsvarende kontekst (med noget af outputtet redigeret for kortheds skyld):

query = "What is the purpose of the medical research study?"
response = retrieve(query, kb_id, 3)
retrievalResults = response["retrievalResults"]
>>> [
    {
        "content": {"text": "You will not be charged for any procedures that..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXXX/XXXX.pdf"}},
        "score": 0.6552521,
    },
    {
        "content": {"text": "and possible benefits of the study. You have been..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
        "score": 0.6581577,
    },
    ...,
]

Udtræk konteksten for promptskabelonen:

def get_contexts(retrievalResults):
    contexts = []
    for retrievedResult in retrievalResults:
        contexts.append(retrievedResult["content"]["text"])
    return " ".join(contexts)

contexts = get_contexts(retrievalResults)

Importer Python-modulerne, og opsæt skabelonen til svarprompt for spørgsmål i konteksten, og generer derefter det endelige svar:

from langchain.prompts import PromptTemplate

PROMPT_TEMPLATE = """
Human: You are an AI system working on medical trial research, and provides answers to questions 
by using fact based and statistical information when possible.
Use the following pieces of information to provide a concise answer to the question enclosed in <question> tags.
If you don't know the answer, just say that you don't know, don't try to make up an answer.

<context>
{context_str}
</context>

<question>
{query_str}
</question>

The response should be specific and use statistics or numbers when possible.

Assistant:"""

claude_prompt = PromptTemplate(
    template=PROMPT_TEMPLATE, input_variables=["context_str", "query_str"]
)

prompt = claude_prompt.format(context_str=contexts, query_str=query)
response = claude_llm(prompt)
>>> "Based on the context provided, the purpose of this medical research study is to evaluate the efficacy of lithium compared to a placebo in preventing suicide over a 1 year period. Specifically, participants will be randomly assigned to receive either lithium or a placebo pill for 1 year, with their doctors and the participants themselves not knowing which treatment they receive (double-blind). Blood lithium levels will be monitored and doses adjusted over the first 6-8 visits, then participants will be followed monthly for 1 year to assess outcomes."

Forespørgsel ved hjælp af Amazon Bedrock LangChain-integration

For at skabe en ende-til-ende tilpasset Q&A-applikation giver Knowledge Bases for Amazon Bedrock integration med LangChain. For at konfigurere LangChain retriever skal du angive videnbase-id'et og angive antallet af resultater, der skal returneres fra forespørgslen:

from langchain.retrievers.bedrock import AmazonKnowledgeBasesRetriever

retriever = AmazonKnowledgeBasesRetriever(
    knowledge_base_id=kb_id,
    retrieval_config={"vectorSearchConfiguration": {"numberOfResults": 4}},
)

Opsæt nu LangChain RetrievalQA og generer svar fra videnbasen:

from langchain.chains import RetrievalQA

qa = RetrievalQA.from_chain_type(
    llm=claude_llm,
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": claude_prompt},
)

[qa(q)["result"] for q in questions]

Dette vil generere tilsvarende svar svarende til dem, der er anført i den tidligere tabel.

Ryd op

Sørg for at slette følgende ressourcer for at undgå at pådrage sig yderligere omkostninger:

Konklusion

Amazon Bedrock leverer et bredt sæt af dybt integrerede tjenester til at drive RAG-applikationer i alle skalaer, hvilket gør det nemt at komme i gang med at analysere dine virksomhedsdata. Vidensbaser for Amazon Bedrock integreres med Amazon Bedrock-fundamentmodeller for at bygge skalerbare dokumentindlejringspipelines og dokumenthentningstjenester til at drive en bred vifte af interne og kundevendte applikationer. Vi er spændte på fremtiden, og din feedback vil spille en afgørende rolle i at vejlede udviklingen af ​​dette produkt. For at lære mere om mulighederne i Amazon Bedrock og vidensbaser, se Vidensbase for Amazon Bedrock.

Om forfatterne

Mark Roy er en Principal Machine Learning Architect for AWS, der hjælper kunder med at designe og bygge AI/ML-løsninger. Marks arbejde dækker en bred vifte af ML use cases med en primær interesse i computervision, deep learning og skalering af ML på tværs af virksomheden. Han har hjulpet virksomheder i mange brancher, herunder forsikring, finansielle tjenesteydelser, medier og underholdning, sundhedspleje, forsyningsselskaber og fremstilling. Mark har seks AWS-certificeringer, inklusive ML Specialty Certification. Før han kom til AWS, var Mark arkitekt, udvikler og teknologileder i over 25 år, heraf 19 år inden for finansielle tjenesteydelser.

Mani Khanuja er en Tech Lead – Generative AI Specialists, forfatter til bogen – Applied Machine Learning and High Performance Computing på AWS, og medlem af bestyrelsen for Women in Manufacturing Education Foundation Board. Hun leder maskinlæringsprojekter (ML) inden for forskellige domæner såsom computervision, naturlig sprogbehandling og generativ AI. Hun hjælper kunder med at bygge, træne og implementere store maskinlæringsmodeller i stor skala. Hun taler i interne og eksterne konferencer såsom re:Invent, Women in Manufacturing West, YouTube-webinarer og GHC 23. I sin fritid kan hun godt lide at gå lange løbeture langs stranden.

Dr. Baichuan Sun, der i øjeblikket tjener som Sr. AI/ML Solution Architect hos AWS, fokuserer på generativ AI og anvender sin viden inden for datavidenskab og maskinlæring til at levere praktiske, cloud-baserede forretningsløsninger. Med erfaring i ledelsesrådgivning og AI-løsningsarkitektur adresserer han en række komplekse udfordringer, herunder robotteknologi, computervision, tidsserieprognoser og forudsigelig vedligeholdelse, blandt andre. Hans arbejde er baseret på en solid baggrund inden for projektledelse, software R&D og akademiske aktiviteter. Uden for arbejdet nyder Dr. Sun balancen mellem at rejse og tilbringe tid med familie og venner.

Derrick Choo er en Senior Solutions Architect hos AWS med fokus på at accelerere kundernes rejse til skyen og transformere deres forretning gennem adoption af cloud-baserede løsninger. Hans ekspertise er inden for fuld stack applikations- og maskinlæringsudvikling. Han hjælper kunder med at designe og bygge end-to-end-løsninger, der dækker frontend-brugergrænseflader, IoT-applikationer, API- og dataintegrationer og maskinlæringsmodeller. I sin fritid nyder han at bruge tid sammen med sin familie og eksperimentere med fotografering og video.

Frank Winkler er Senior Solutions Architect og Generative AI Specialist hos AWS baseret i Singapore, med fokus på Machine Learning og Generative AI. Han arbejder med globale digitale indfødte virksomheder for at udvikle skalerbare, sikre og omkostningseffektive produkter og tjenester på AWS. I sin fritid bruger han tid sammen med sin søn og datter og rejser for at nyde bølgerne på tværs af ASEAN.

Nihir Chadderwala er Sr. AI/ML Solutions Architect i Global Healthcare and Life Sciences-teamet. Hans ekspertise er i at bygge Big Data og AI-drevne løsninger på kundeproblemer, især inden for biomedicin, biovidenskab og sundhedsområdet. Han er også begejstret for krydsfeltet mellem kvanteinformationsvidenskab og kunstig intelligens og nyder at lære og bidrage til dette rum. I sin fritid nyder han at spille tennis, rejse og lære om kosmologi.

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
• PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
• PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
• PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
• Kilde: https://aws.amazon.com/blogs/machine-learning/use-rag-for-drug-discovery-with-knowledge-bases-for-amazon-bedrock/