Utilizați RAG pentru descoperirea medicamentelor cu bazele de cunoștințe pentru Amazon Bedrock | Amazon Web Services

Amazon Bedrock oferă o gamă largă de modele de la Amazon și furnizori terți, inclusiv Anthropic, AI21, Meta, Cohere și Stability AI și acoperă o gamă largă de cazuri de utilizare, inclusiv generarea de text și imagini, încorporare, chat, agenți de nivel înalt cu raționament și orchestrare și nu numai. Baze de cunoștințe pentru Amazon Bedrock vă permite să construiți aplicații performante și personalizate Retrieval Augmented Generation (RAG) pe deasupra AWS și a magazinelor de vectori terță parte folosind atât modele AWS, cât și modele terțe. Bazele de cunoștințe pentru Amazon Bedrock automatizează sincronizarea datelor dvs. cu magazinul dvs. de vectori, inclusiv diferențierea datelor atunci când sunt actualizate, încărcarea și fragmentarea documentelor, precum și încorporarea semantică. Vă permite să personalizați fără probleme solicitările RAG și strategiile de recuperare - oferim atribuirea sursei și gestionăm automat gestionarea memoriei. Bazele de cunoștințe sunt complet fără server, așa că nu trebuie să gestionați nicio infrastructură, iar atunci când utilizați baze de cunoștințe, sunteți taxat doar pentru modelele, bazele de date vectoriale și stocarea pe care o utilizați.

RAG este o tehnică populară care combină utilizarea datelor private cu modele de limbaj mari (LLM). RAG începe cu un pas inițial pentru a prelua documentele relevante dintr-un depozit de date (cel mai frecvent un index vectorial) pe baza interogării utilizatorului. Apoi utilizează un model de limbaj pentru a genera un răspuns luând în considerare atât documentele preluate, cât și interogarea originală.

În această postare, demonstrăm cum să construiți un flux de lucru RAG utilizând baze de cunoștințe pentru Amazon Bedrock pentru un caz de utilizare a descoperirii de medicamente.

Prezentare generală a bazelor de cunoștințe pentru Amazon Bedrock

Bazele de cunoștințe pentru Amazon Bedrock acceptă o gamă largă de tipuri de fișiere comune, inclusiv .txt, .docx, .pdf, .csv și multe altele. Pentru a permite recuperarea eficientă din datele private, o practică comună este împărțirea mai întâi a acestor documente în bucăți gestionabile. Knowledge Bases a implementat o strategie implicită de fragmentare care funcționează bine în majoritatea cazurilor pentru a vă permite să începeți mai rapid. Dacă doriți mai mult control, bazele de cunoștințe vă permit să controlați strategia de fragmentare printr-un set de opțiuni preconfigurate. Puteți controla dimensiunea maximă a simbolului și cantitatea de suprapunere care trebuie creată între bucăți pentru a oferi un context coerent pentru încorporare. Bazele de cunoștințe pentru Amazon Bedrock gestionează procesul de sincronizare a datelor de la dvs Serviciul Amazon de stocare simplă (Amazon S3), îl împarte în bucăți mai mici, generează înglobări vectoriale și stochează înglobările într-un index vectorial. Acest proces vine cu gestionarea inteligentă a diferențelor, a debitului și a erorilor.

În timpul execuției, un model de încorporare este utilizat pentru a converti interogarea utilizatorului într-un vector. Indexul vectorial este apoi interogat pentru a găsi documente similare cu interogarea utilizatorului prin compararea vectorilor de document cu vectorul de interogare a utilizatorului. În pasul final, documentele similare din punct de vedere semantic preluate din indexul vectorial sunt adăugate ca context pentru interogarea originală a utilizatorului. La generarea unui răspuns pentru utilizator, documentele similare semantic sunt solicitate în modelul text, împreună cu atribuirea sursei pentru trasabilitate.

Bazele de cunoștințe pentru Amazon Bedrock acceptă mai multe baze de date vectoriale, inclusiv Amazon OpenSearch Serverless, Amazon Aurora, Pinecone și Redis Enterprise Cloud. API-urile Retrieve și RetrieveAndGenerate permit aplicațiilor dumneavoastră să interogheze direct indexul folosind o sintaxă unificată și standard, fără a fi nevoie să învețe API-uri separate pentru fiecare bază de date vectorială diferită, reducând nevoia de a scrie interogări de index personalizate în magazinul dvs. de vectori. API-ul Retrieve preia interogarea primită, o convertește într-un vector de încorporare și interogează magazinul de backend folosind algoritmii configurați la nivelul bazei de date vectoriale; API-ul RetrieveAndGenerate folosește un LLM configurat de utilizator furnizat de Amazon Bedrock și generează răspunsul final în limbaj natural. Suportul nativ de trasabilitate informează aplicația solicitantă despre sursele folosite pentru a răspunde la o întrebare. Pentru implementările companiei, bazele de cunoștințe sunt compatibile AWS Service Management Service criptare (AWS KMS), AWS CloudTrail integrare și multe altele.

În secțiunile următoare, demonstrăm cum să construim un flux de lucru RAG utilizând baze de cunoștințe pentru Amazon Bedrock, susținut de motorul vectorial OpenSearch Serverless, pentru a analiza un set de date nestructurat de studii clinice pentru un caz de utilizare a descoperirii unui medicament. Aceste date sunt bogate în informații, dar pot fi foarte eterogene. Manipularea corectă a terminologiei și conceptelor specializate în diferite formate este esențială pentru a detecta perspective și pentru a asigura integritatea analitică. Cu bazele de cunoștințe pentru Amazon Bedrock, puteți accesa informații detaliate prin interogări simple și naturale.

Construiți o bază de cunoștințe pentru Amazon Bedrock

În această secțiune, demonstrăm procesul de creare a unei baze de cunoștințe pentru Amazon Bedrock prin consolă. Parcurgeți următorii pași:

1. Pe consola Amazon Bedrock, sub Orchestrarea în panoul de navigare, alegeți Bază de cunoștințe.
2. Alege Creați o bază de cunoștințe.

3. În Detalii baza de cunoștințe secțiune, introduceți un nume și o descriere opțională.
4. În Permisiuni IAM secțiune, selectați Creați și utilizați un nou rol de serviciu.
5. Pentru Rolul numelui serviciului, introduceți un nume pentru rolul dvs., care trebuie să înceapă cu AmazonBedrockExecutionRoleForKnowledgeBase_.
6. Alege Pagina Următoare →.

7. În Sursă de date secțiunea, introduceți un nume pentru sursa dvs. de date și URI-ul S3 în care se află setul de date. Bazele de cunoștințe acceptă următoarele formate de fișiere:
   • Text simplu (.txt)
   • Markdown (.md)
   • Limbajul de marcare hipertext (.html)
   • Document Microsoft Word (.doc/.docx)
   • Valori separate prin virgulă (.csv)
   • Foaie de calcul Microsoft Excel (.xls/.xlsx)
   • Format document portabil (.pdf)

8. În Setari aditionale¸ alegeți strategia preferată de fragmentare (pentru această postare, noi alegem Dimensiuni fixe) și specificați dimensiunea fragmentului și suprapunerea în procente. Alternativ, puteți utiliza setările implicite.
9. Alege Pagina Următoare →.

10. În Model de înglobare secțiunea, alegeți modelul Titan Embeddings de la Amazon Bedrock.
11. În Baza de date vectorială secțiune, selectați Creați rapid un nou magazin de vectori, care gestionează procesul de înființare a unui magazin de vectori.
12. Alege Pagina Următoare →.

13. Examinați setările și alegeți Creați o bază de cunoștințe.

14. Așteptați finalizarea creării bazei de cunoștințe și confirmați starea acesteia Gata.
15. În Sursă de date secțiunea sau pe bannerul din partea de sus a paginii sau în fereastra de testare, alegeți Sincronizați pentru a declanșa procesul de încărcare a datelor din compartimentul S3, împărțindu-le în bucăți de dimensiunea specificată de dvs., generând înglobări vectoriale folosind modelul de încorporare a textului selectat și stocându-le în depozitul de vectori gestionat de bazele de cunoștințe pentru Amazon Bedrock.

Funcția de sincronizare acceptă asimilarea, actualizarea și ștergerea documentelor din indexul vectorial pe baza modificărilor aduse documentelor din Amazon S3. De asemenea, puteți utiliza StartIngestionJob API pentru a declanșa sincronizarea prin AWS SDK.

Când sincronizarea este completă, istoricul de sincronizare arată starea Finalizat.

Interogați baza de cunoștințe

În această secțiune, demonstrăm cum să accesăm informații detaliate în baza de cunoștințe prin interogări simple și naturale. Folosim un set de date sintetice nestructurat format din fișiere PDF, numărul de pagină al fiecăruia variind de la 10 la 100 de pagini, simulând un plan de studiu clinic al unui nou medicament propus, inclusiv metode de analiză statistică și formulare de consimțământ pentru participanți. Folosim bazele de cunoștințe pentru Amazon Bedrock retrieve_and_generate și retrieve API-uri cu Integrarea Amazon Bedrock LangChain.

Înainte de a putea scrie scripturi care utilizează API-ul Amazon Bedrock, va trebui să instalați versiunea corespunzătoare a AWS SDK în mediul dvs. Pentru scripturile Python, acesta va fi SDK AWS pentru Python (Boto3):

pip install langchain
pip install boto3

În plus, permiteți accesul la modelul Amazon Titan Embeddings și Anthropic Claude v2 sau v1. Pentru mai multe informații, consultați Acces model.

Generați întrebări folosind Amazon Bedrock

Putem folosi Anthropic Claude 2.1 pentru Amazon Bedrock pentru a propune o listă de întrebări de adresat cu privire la setul de date din studiile clinice:

import boto3
from langchain.llms.bedrock import Bedrock

bedrock_client = boto3.client("bedrock-runtime")

# Start with the query
prompt = "For medical research trial consent forms to sign, what are the top 5 questions can be asked?"

claude_llm = Bedrock(
    model_id="anthropic.claude-v2:1",
    model_kwargs={"temperature": 0, "top_k": 10, "max_tokens_to_sample": 3000},
    client=bedrock_client,
)

# Provide the prompt to the LLM to generate an answer to the query without any additional context provided
response = claude_llm(prompt)
questions = [
    item.split(".")[1].strip() for item in response.strip().split("nn")[1:-1]
]
questions
>>> answer:
'What is the purpose of the study? Make sure you understand the goals of the research and what the study procedures will entail',
'What are the risks and potential benefits? The form should explain all foreseeable risks, side effects, or discomforts you might experience from participating',
'What will participation involve? Get details on what tests, medications, lifestyle changes, or procedures you will go through, how much time it will take, and how long the study will last',
'Are there any costs or payments? Ask if you will be responsible for any costs related to the study or get paid for participating',
'How will my privacy be protected? The form should explain how your personal health information will be kept confidential before, during, and after the trial'

Utilizați API-ul Amazon Bedrock RetrieveAndGenerate

Pentru o experiență RAG gestionată complet, puteți utiliza bazele native de cunoștințe pentru Amazon Bedrock RetrieveAndGenerate API pentru a obține răspunsurile direct:

bedrock_agent_client = boto3.client("bedrock-agent-runtime")

kb_id = "<YOUR_KNOWLEDGE_BASE_ID>"

def retrieveAndGenerate(
    input: str,
    kbId: str,
    region: str = "us-east-1",
    sessionId: str = None,
    model_id: str = "anthropic.claude-v2:1",
):
    model_arn = f"arn:aws:bedrock:{region}::foundation-model/{model_id}"

    if sessionId:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
            sessionId=sessionId,
        )

    else:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
        )

response = retrieveAndGenerate(
    "What are the potential risks and benefits of participating?", kb_id
)

generated_text = response["output"]["text"]
>>> "The potential risks include side effects from the study medication lithium such as nausea, loose stools, thirst, urination changes, shakiness, headaches, sweating, fatigue, decreased concentration, and skin rash. There is also a risk of lithium interaction with other medications. For women, there is a risk of birth defects if lithium is taken during pregnancy. There are no guaranteed benefits, but possible benefits include new information that could help the participant from the interviews and tests conducted during the study."

Sursa de informații citată poate fi obținută prin următorul cod (cu unele dintre rezultate redactate pentru concizie):

response["citations"]

>>> [
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " The potential risks include side effects from the study...",
                "span": {"start": 0, "end": 361},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "590 ICF#2 Page 7 of 19 The primary risks and discomforts of participation…"
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
            {
                "content": {
                    "text": "N/A CSP 590 ICF#2 Page 10 of 19 Risks associated with suddenly stopping study medications..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
        ],
    },
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " There are no guaranteed benefits, but possible benefits include...",
                "span": {"start": 363, "end": 531},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "research, not usual clinical care. After these are done we ask..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            }
        ],
    },
]

Prin transmiterea ID-ului de sesiune al RetrieveAndGenerate API, puteți păstra contextul conversației și puteți pune întrebări ulterioare. De exemplu, fără context, dacă cereți mai multe detalii din răspunsul anterior, este posibil să nu poată răspunde corect:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=None)["output"]["text"]
>>> "The search results do not provide additional details about the mild nausea side effect that would allow me to elaborate further on it."

Dar prin transmiterea ID-ului sesiunii, conducta RAG este capabilă să identifice contextul corespunzător și să returneze răspunsuri relevante:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=response["sessionId"])["output"]["text"]
>>> "The search results provide details that nausea from taking lithium is usually mild and goes away after days or weeks for most people. Specifically, up to 75% of people may experience mild nausea when first starting lithium, but this goes away in 90-99% of people who continue taking it."

Următorul tabel prezintă răspunsurile obținute la toate întrebările corespunzătoare.

Interogați folosind API-ul Amazon Bedrock Retrieve

Pentru a vă personaliza fluxul de lucru RAG, puteți utiliza API-ul Retrieve pentru a prelua fragmentele relevante pe baza interogării dvs. și a le transmite oricărui LLM furnizat de Amazon Bedrock. Pentru a utiliza API-ul Retrieve, definiți-l după cum urmează:

def retrieve(query: str, kbId: str, numberOfResults: int = 5):
    return bedrock_agent_client.retrieve(
        retrievalQuery={"text": query},
        knowledgeBaseId=kbId,
        retrievalConfiguration={
            "vectorSearchConfiguration": {"numberOfResults": numberOfResults}
        },
    )

Preluați contextul corespunzător (cu unele dintre rezultate redactate pentru concizie):

query = "What is the purpose of the medical research study?"
response = retrieve(query, kb_id, 3)
retrievalResults = response["retrievalResults"]
>>> [
    {
        "content": {"text": "You will not be charged for any procedures that..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXXX/XXXX.pdf"}},
        "score": 0.6552521,
    },
    {
        "content": {"text": "and possible benefits of the study. You have been..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
        "score": 0.6581577,
    },
    ...,
]

Extrageți contextul pentru șablonul prompt:

def get_contexts(retrievalResults):
    contexts = []
    for retrievedResult in retrievalResults:
        contexts.append(retrievedResult["content"]["text"])
    return " ".join(contexts)

contexts = get_contexts(retrievalResults)

Importați modulele Python și configurați șablonul de prompt pentru răspunsuri la întrebări în context, apoi generați răspunsul final:

from langchain.prompts import PromptTemplate

PROMPT_TEMPLATE = """
Human: You are an AI system working on medical trial research, and provides answers to questions 
by using fact based and statistical information when possible.
Use the following pieces of information to provide a concise answer to the question enclosed in <question> tags.
If you don't know the answer, just say that you don't know, don't try to make up an answer.

<context>
{context_str}
</context>

<question>
{query_str}
</question>

The response should be specific and use statistics or numbers when possible.

Assistant:"""

claude_prompt = PromptTemplate(
    template=PROMPT_TEMPLATE, input_variables=["context_str", "query_str"]
)

prompt = claude_prompt.format(context_str=contexts, query_str=query)
response = claude_llm(prompt)
>>> "Based on the context provided, the purpose of this medical research study is to evaluate the efficacy of lithium compared to a placebo in preventing suicide over a 1 year period. Specifically, participants will be randomly assigned to receive either lithium or a placebo pill for 1 year, with their doctors and the participants themselves not knowing which treatment they receive (double-blind). Blood lithium levels will be monitored and doses adjusted over the first 6-8 visits, then participants will be followed monthly for 1 year to assess outcomes."

Interogați folosind integrarea Amazon Bedrock LangChain

Pentru a crea o aplicație de întrebări și răspunsuri personalizată end-to-end, Knowledge Bases pentru Amazon Bedrock oferă integrarea cu LangChain. Pentru a configura LangChain retriever, furnizați ID-ul bazei de cunoștințe și specificați numărul de rezultate de returnat din interogare:

from langchain.retrievers.bedrock import AmazonKnowledgeBasesRetriever

retriever = AmazonKnowledgeBasesRetriever(
    knowledge_base_id=kb_id,
    retrieval_config={"vectorSearchConfiguration": {"numberOfResults": 4}},
)

Acum configurați LangChain RetrievalQA și generați răspunsuri din baza de cunoștințe:

from langchain.chains import RetrievalQA

qa = RetrievalQA.from_chain_type(
    llm=claude_llm,
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": claude_prompt},
)

[qa(q)["result"] for q in questions]

Acest lucru va genera răspunsuri corespunzătoare similare cu cele enumerate în tabelul anterior.

A curăța

Asigurați-vă că ștergeți următoarele resurse pentru a evita costurile suplimentare:

Concluzie

Amazon Bedrock oferă un set larg de servicii profund integrate pentru a alimenta aplicațiile RAG de toate scarile, ceea ce face simplu să începeți cu analiza datelor companiei dvs. Bazele de cunoștințe pentru Amazon Bedrock se integrează cu modelele de bază Amazon Bedrock pentru a construi conducte scalabile de încorporare a documentelor și servicii de recuperare a documentelor pentru a alimenta o gamă largă de aplicații interne și destinate clienților. Suntem încântați de viitorul care urmează, iar feedbackul dumneavoastră va juca un rol vital în ghidarea progresului acestui produs. Pentru a afla mai multe despre capacitățile Amazon Bedrock și bazele de cunoștințe, consultați Baza de cunoștințe pentru Amazon Bedrock.

Despre Autori

Mark Roy este arhitect principal de învățare automată pentru AWS, ajutând clienții să proiecteze și să construiască soluții AI/ML. Lucrarea lui Mark acoperă o gamă largă de cazuri de utilizare ML, cu un interes principal în viziunea computerizată, învățarea profundă și scalarea ML în întreaga întreprindere. El a ajutat companii din multe industrii, inclusiv asigurări, servicii financiare, mass-media și divertisment, asistență medicală, utilități și producție. Mark deține șase certificări AWS, inclusiv certificarea de specialitate ML. Înainte de a se alătura AWS, Mark a fost arhitect, dezvoltator și lider tehnologic timp de peste 25 de ani, inclusiv 19 ani în servicii financiare.

Mani Khanuja este Tehnic Lead – Generative AI Specialists, autoarea cărții – Applied Machine Learning and High Performance Computing on AWS și membru al Consiliului de Administrație pentru Women in Manufacturing Education Foundation Board. Ea conduce proiecte de învățare automată (ML) în diverse domenii, cum ar fi viziunea computerizată, procesarea limbajului natural și AI generativă. Ea îi ajută pe clienți să construiască, să antreneze și să implementeze modele mari de învățare automată la scară. Vorbește în cadrul conferințelor interne și externe precum re:Invent, Women in Manufacturing West, webinarii YouTube și GHC 23. În timpul liber, îi place să meargă la alergări lungi de-a lungul plajei.

Dr. Baichuan Sun, care lucrează în prezent ca arhitect senior de soluții AI/ML la AWS, se concentrează pe IA generativă și își aplică cunoștințele în știința datelor și învățarea automată pentru a oferi soluții de afaceri practice, bazate pe cloud. Cu experiență în consultanță în management și arhitectură de soluții AI, el abordează o serie de provocări complexe, inclusiv viziunea computerizată a roboticii, prognoza serii de timp și întreținerea predictivă, printre altele. Munca lui se bazează pe un fundal solid de management de proiect, cercetare și dezvoltare software și activități academice. În afara serviciului, Dr. Sun se bucură de echilibrul dintre călătorii și petrecerea timpului cu familia și prietenii.

Derrick Choo este arhitect senior de soluții la AWS, concentrat pe accelerarea călătoriei clienților către cloud și pe transformarea afacerii lor prin adoptarea de soluții bazate pe cloud. Experiența sa se referă la dezvoltarea aplicațiilor full stack și a învățării automate. El îi ajută pe clienți să proiecteze și să construiască soluții end-to-end care acoperă interfețe cu utilizatorul frontal, aplicații IoT, API și integrări de date și modele de învățare automată. În timpul liber, îi place să petreacă timpul cu familia și să experimenteze cu fotografia și videografia.

Frank Winkler este arhitect senior de soluții și specialist în inteligența artificială generativă la AWS cu sediul în Singapore, concentrat pe învățarea automată și inteligența artificială generativă. El lucrează cu companii native digitale globale pentru a proiecta produse și servicii scalabile, sigure și rentabile pe AWS. În timpul liber, își petrece timpul cu fiul și fiica lui și călătorește pentru a se bucura de valurile din ASEAN.

Nihir Chadderwala este arhitect senior de soluții AI/ML în echipa Global Healthcare și Life Sciences. Expertiza sa este în construirea de soluții bazate pe Big Data și AI pentru problemele clienților, în special în domeniul biomedical, al științelor vieții și al sănătății. De asemenea, este încântat de intersecția dintre știința informațiilor cuantice și AI și îi place să învețe și să contribuie la acest spațiu. În timpul liber, îi place să joace tenis, să călătorească și să învețe despre cosmologie.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/use-rag-for-drug-discovery-with-knowledge-bases-for-amazon-bedrock/