Utilizza RAG per la scoperta di farmaci con le basi di conoscenza per Amazon Bedrock | Servizi Web di Amazon

Roccia Amazzonica fornisce un'ampia gamma di modelli di Amazon e fornitori di terze parti, tra cui Anthropic, AI21, Meta, Cohere e Stability AI, e copre un'ampia gamma di casi d'uso, tra cui generazione di testo e immagini, incorporamento, chat, agenti di alto livello con ragionamento e orchestrazione e altro ancora. Basi di conoscenza per Amazon Bedrock ti consente di creare applicazioni RAG (Retrieval Augmented Generation) performanti e personalizzate su archivi di vettori AWS e di terze parti utilizzando sia modelli AWS che di terze parti. Knowledge Base per Amazon Bedrock automatizza la sincronizzazione dei tuoi dati con il tuo archivio vettoriale, inclusa la differenziazione dei dati quando vengono aggiornati, il caricamento dei documenti e la suddivisione in blocchi, nonché l'incorporamento semantico. Ti consente di personalizzare perfettamente i tuoi prompt RAG e le strategie di recupero: forniamo l'attribuzione della fonte e gestiamo automaticamente la gestione della memoria. Knowledge Base è completamente serverless, quindi non è necessario gestire alcuna infrastruttura e, quando utilizzi Knowledge Base, ti vengono addebitati solo i modelli, i database vettoriali e lo spazio di archiviazione che utilizzi.

RAG è una tecnica popolare che combina l'uso di dati privati ​​con modelli linguistici di grandi dimensioni (LLM). RAG inizia con un passaggio iniziale per recuperare i documenti rilevanti da un archivio dati (più comunemente un indice vettoriale) in base alla query dell'utente. Utilizza quindi un modello linguistico per generare una risposta considerando sia i documenti recuperati che la query originale.

In questo post, mostriamo come creare un flusso di lavoro RAG utilizzando Knowledge Base per Amazon Bedrock per un caso d'uso di scoperta di farmaci.

Panoramica delle basi di conoscenza per Amazon Bedrock

Le basi di conoscenza per Amazon Bedrock supportano un'ampia gamma di tipi di file comuni, tra cui .txt, .docx, .pdf, .csv e altri. Per consentire un recupero efficace dai dati privati, una pratica comune consiste nel suddividere innanzitutto questi documenti in blocchi gestibili. Knowledge Base ha implementato una strategia di suddivisione in blocchi predefinita che funziona bene nella maggior parte dei casi per consentirti di iniziare più rapidamente. Se desideri un maggiore controllo, Knowledge Base ti consente di controllare la strategia di suddivisione in blocchi attraverso una serie di opzioni preconfigurate. Puoi controllare la dimensione massima del token e la quantità di sovrapposizione da creare tra i blocchi per fornire un contesto coerente all'incorporamento. Knowledge Base per Amazon Bedrock gestisce il processo di sincronizzazione dei dati dal tuo Servizio di archiviazione semplice Amazon (Amazon S3), lo divide in parti più piccole, genera incorporamenti vettoriali e memorizza gli incorporamenti in un indice vettoriale. Questo processo prevede la gestione intelligente delle differenze, della produttività e degli errori.

In fase di esecuzione, viene utilizzato un modello di incorporamento per convertire la query dell'utente in un vettore. Viene quindi eseguita una query sull'indice del vettore per trovare documenti simili alla query dell'utente confrontando i vettori del documento con il vettore della query dell'utente. Nella fase finale, i documenti semanticamente simili recuperati dall'indice del vettore vengono aggiunti come contesto per la query dell'utente originale. Quando si genera una risposta per l'utente, i documenti semanticamente simili vengono richiesti nel modello di testo, insieme all'attribuzione della fonte per la tracciabilità.

Le basi di conoscenza per Amazon Bedrock supportano più database vettoriali, inclusi Amazon OpenSearch senza server, Amazon Aurora, Pigna e Redis Enterprise Cloud. Le API Retrieve e RetrieveAndGenerate consentono alle tue applicazioni di eseguire query direttamente sull'indice utilizzando una sintassi unificata e standard senza dover apprendere API separate per ogni diverso database vettoriale, riducendo la necessità di scrivere query di indice personalizzate sul tuo archivio vettoriale. L'API Retrieve accetta la query in entrata, la converte in un vettore di incorporamento ed interroga l'archivio backend utilizzando gli algoritmi configurati a livello di database vettoriale; l'API RetrieveAndGenerate utilizza un LLM configurato dall'utente fornito da Amazon Bedrock e genera la risposta finale in linguaggio naturale. Il supporto nativo alla tracciabilità informa l'applicazione richiedente sulle fonti utilizzate per rispondere ad una domanda. Per le implementazioni aziendali, supporta le basi di conoscenza Servizio di gestione delle chiavi AWS (AWS KMS), crittografia AWS CloudTrail integrazione e altro ancora.

Nelle sezioni seguenti, dimostriamo come creare un flusso di lavoro RAG utilizzando le basi di conoscenza per Amazon Bedrock, supportate dal motore vettoriale OpenSearch Serverless, per analizzare un set di dati di sperimentazione clinica non strutturata per un caso d'uso di scoperta di farmaci. Questi dati sono ricchi di informazioni ma possono essere molto eterogenei. La corretta gestione della terminologia e dei concetti specializzati in diversi formati è essenziale per individuare informazioni approfondite e garantire l’integrità analitica. Con le Knowledge Base per Amazon Bedrock, puoi accedere a informazioni dettagliate tramite query semplici e naturali.

Crea una base di conoscenza per Amazon Bedrock

In questa sezione viene presentata una dimostrazione del processo di creazione di una knowledge base per Amazon Bedrock tramite la console. Completa i seguenti passaggi:

1. Sulla console Amazon Bedrock, sotto Orchestrazione nel pannello di navigazione, scegli Knowledge Base.
2. Scegli Crea una base di conoscenza.

3. Nel Dettagli della base di conoscenza sezione, immettere un nome e una descrizione facoltativa.
4. Nel Autorizzazioni IAM sezione, selezionare Crea e utilizza un nuovo ruolo del servizio.
5. Nel Ruolo del nome del servizio, inserisci un nome per il tuo ruolo, che deve iniziare con AmazonBedrockExecutionRoleForKnowledgeBase_.
6. Scegli Avanti.

7. Nel Fonte di dati sezione, inserisci un nome per l'origine dati e l'URI S3 in cui si trova il set di dati. Le basi di conoscenza supportano i seguenti formati di file:
   • Testo normale (.txt)
   • Ribasso (.md)
   • Linguaggio di markup ipertestuale (.html)
   • Documento Microsoft Word (.doc/.docx)
   • Valori separati da virgole (.csv)
   • Foglio di calcolo Microsoft Excel (.xls/.xlsx)
   • Formato documento portatile (.pdf)

8. Sotto impostazioni aggiuntive¸ scegli la tua strategia di suddivisione preferita (per questo post, scegliamo Chunking a dimensione fissa) e specificare la dimensione del blocco e la sovrapposizione in percentuale. In alternativa è possibile utilizzare le impostazioni predefinite.
9. Scegli Avanti.

10. Nel Modello degli incastri sezione, scegli il modello Titan Embeddings di Amazon Bedrock.
11. Nel Banca dati vettoriale sezione, selezionare Crea rapidamente un nuovo archivio vettoriale, che gestisce il processo di creazione di un archivio vettoriale.
12. Scegli Avanti.

13. Rivedi le impostazioni e scegli Crea una base di conoscenza.

14. Attendi il completamento della creazione della knowledge base e conferma che il suo stato è Pronto.
15. Nel Fonte di dati oppure sul banner nella parte superiore della pagina o nel popup nella finestra di test, scegli Sincronizza per attivare il processo di caricamento dei dati dal bucket S3, suddividendoli in blocchi della dimensione specificata, generando incorporamenti di vettori utilizzando il modello di incorporamento del testo selezionato e archiviandoli nell'archivio di vettori gestito da Knowledge Base per Amazon Bedrock.

La funzione di sincronizzazione supporta l'acquisizione, l'aggiornamento e l'eliminazione dei documenti dall'indice vettoriale in base alle modifiche ai documenti in Amazon S3. Puoi anche usare il StartIngestionJob API per attivare la sincronizzazione tramite l'SDK AWS.

Una volta completata la sincronizzazione, la cronologia della sincronizzazione mostra lo stato Completato.

Interroga la base di conoscenza

In questa sezione, dimostriamo come accedere a informazioni dettagliate nella knowledge base tramite query semplici e naturali. Utilizziamo un set di dati sintetici non strutturati costituito da file PDF, il numero di pagina di ciascuno compreso tra 10 e 100 pagine, simulando un piano di sperimentazione clinica di un nuovo medicinale proposto, inclusi metodi di analisi statistica e moduli di consenso dei partecipanti. Utilizziamo le Knowledge Base per Amazon Bedrock retrieve_and_generate ed retrieve API con Integrazione di Amazon Bedrock LangChain.

Prima di poter scrivere script che utilizzano l'API Amazon Bedrock, dovrai installare la versione appropriata dell'SDK AWS nel tuo ambiente. Per gli script Python, questo sarà il file SDK AWS per Python (Boto3):

pip install langchain
pip install boto3

Inoltre, abilita l'accesso al modello Amazon Titan Embeddings e Anthropic Claude v2 o v1. Per ulteriori informazioni, fare riferimento a Accesso al modello.

Genera domande utilizzando Amazon Bedrock

Possiamo utilizzare Anthropic Claude 2.1 per Amazon Bedrock per proporre un elenco di domande da porre sul set di dati della sperimentazione clinica:

import boto3
from langchain.llms.bedrock import Bedrock

bedrock_client = boto3.client("bedrock-runtime")

# Start with the query
prompt = "For medical research trial consent forms to sign, what are the top 5 questions can be asked?"

claude_llm = Bedrock(
    model_id="anthropic.claude-v2:1",
    model_kwargs={"temperature": 0, "top_k": 10, "max_tokens_to_sample": 3000},
    client=bedrock_client,
)

# Provide the prompt to the LLM to generate an answer to the query without any additional context provided
response = claude_llm(prompt)
questions = [
    item.split(".")[1].strip() for item in response.strip().split("nn")[1:-1]
]
questions
>>> answer:
'What is the purpose of the study? Make sure you understand the goals of the research and what the study procedures will entail',
'What are the risks and potential benefits? The form should explain all foreseeable risks, side effects, or discomforts you might experience from participating',
'What will participation involve? Get details on what tests, medications, lifestyle changes, or procedures you will go through, how much time it will take, and how long the study will last',
'Are there any costs or payments? Ask if you will be responsible for any costs related to the study or get paid for participating',
'How will my privacy be protected? The form should explain how your personal health information will be kept confidential before, during, and after the trial'

Utilizza l'API Amazon Bedrock RetrieveAndGenerate

Per un'esperienza RAG completamente gestita, puoi utilizzare le Knowledge Base native per Amazon Bedrock RetrieveAndGenerate API per ottenere direttamente le risposte:

bedrock_agent_client = boto3.client("bedrock-agent-runtime")

kb_id = "<YOUR_KNOWLEDGE_BASE_ID>"

def retrieveAndGenerate(
    input: str,
    kbId: str,
    region: str = "us-east-1",
    sessionId: str = None,
    model_id: str = "anthropic.claude-v2:1",
):
    model_arn = f"arn:aws:bedrock:{region}::foundation-model/{model_id}"

    if sessionId:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
            sessionId=sessionId,
        )

    else:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
        )

response = retrieveAndGenerate(
    "What are the potential risks and benefits of participating?", kb_id
)

generated_text = response["output"]["text"]
>>> "The potential risks include side effects from the study medication lithium such as nausea, loose stools, thirst, urination changes, shakiness, headaches, sweating, fatigue, decreased concentration, and skin rash. There is also a risk of lithium interaction with other medications. For women, there is a risk of birth defects if lithium is taken during pregnancy. There are no guaranteed benefits, but possible benefits include new information that could help the participant from the interviews and tests conducted during the study."

La fonte di informazioni citata può essere ottenuta tramite il seguente codice (con parte dell'output oscurato per brevità):

response["citations"]

>>> [
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " The potential risks include side effects from the study...",
                "span": {"start": 0, "end": 361},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "590 ICF#2 Page 7 of 19 The primary risks and discomforts of participation…"
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
            {
                "content": {
                    "text": "N/A CSP 590 ICF#2 Page 10 of 19 Risks associated with suddenly stopping study medications..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
        ],
    },
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " There are no guaranteed benefits, but possible benefits include...",
                "span": {"start": 363, "end": 531},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "research, not usual clinical care. After these are done we ask..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            }
        ],
    },
]

Passando l'ID di sessione del RetrieveAndGenerate API, puoi preservare il contesto della conversazione e porre domande di follow-up. Ad esempio, senza il contesto, se chiedi maggiori dettagli alla risposta precedente, potrebbe non essere in grado di rispondere correttamente:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=None)["output"]["text"]
>>> "The search results do not provide additional details about the mild nausea side effect that would allow me to elaborate further on it."

Ma passando l'ID di sessione, la pipeline RAG è in grado di identificare il contesto corrispondente e restituire risposte pertinenti:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=response["sessionId"])["output"]["text"]
>>> "The search results provide details that nausea from taking lithium is usually mild and goes away after days or weeks for most people. Specifically, up to 75% of people may experience mild nausea when first starting lithium, but this goes away in 90-99% of people who continue taking it."

La tabella seguente mostra le risposte recuperate a tutte le domande corrispondenti.

Esegui query utilizzando l'API Amazon Bedrock Retrieve

Per personalizzare il flusso di lavoro RAG, puoi utilizzare l'API Retrieve per recuperare i blocchi rilevanti in base alla query e trasmetterli a qualsiasi LLM fornito da Amazon Bedrock. Per utilizzare l'API Retrieve, definirla come segue:

def retrieve(query: str, kbId: str, numberOfResults: int = 5):
    return bedrock_agent_client.retrieve(
        retrievalQuery={"text": query},
        knowledgeBaseId=kbId,
        retrievalConfiguration={
            "vectorSearchConfiguration": {"numberOfResults": numberOfResults}
        },
    )

Recupera il contesto corrispondente (con parte dell'output oscurato per brevità):

query = "What is the purpose of the medical research study?"
response = retrieve(query, kb_id, 3)
retrievalResults = response["retrievalResults"]
>>> [
    {
        "content": {"text": "You will not be charged for any procedures that..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXXX/XXXX.pdf"}},
        "score": 0.6552521,
    },
    {
        "content": {"text": "and possible benefits of the study. You have been..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
        "score": 0.6581577,
    },
    ...,
]

Estrai il contesto per il modello di prompt:

def get_contexts(retrievalResults):
    contexts = []
    for retrievedResult in retrievalResults:
        contexts.append(retrievedResult["content"]["text"])
    return " ".join(contexts)

contexts = get_contexts(retrievalResults)

Importa i moduli Python e imposta il modello di richiesta di risposta alle domande nel contesto, quindi genera la risposta finale:

from langchain.prompts import PromptTemplate

PROMPT_TEMPLATE = """
Human: You are an AI system working on medical trial research, and provides answers to questions 
by using fact based and statistical information when possible.
Use the following pieces of information to provide a concise answer to the question enclosed in <question> tags.
If you don't know the answer, just say that you don't know, don't try to make up an answer.

<context>
{context_str}
</context>

<question>
{query_str}
</question>

The response should be specific and use statistics or numbers when possible.

Assistant:"""

claude_prompt = PromptTemplate(
    template=PROMPT_TEMPLATE, input_variables=["context_str", "query_str"]
)

prompt = claude_prompt.format(context_str=contexts, query_str=query)
response = claude_llm(prompt)
>>> "Based on the context provided, the purpose of this medical research study is to evaluate the efficacy of lithium compared to a placebo in preventing suicide over a 1 year period. Specifically, participants will be randomly assigned to receive either lithium or a placebo pill for 1 year, with their doctors and the participants themselves not knowing which treatment they receive (double-blind). Blood lithium levels will be monitored and doses adjusted over the first 6-8 visits, then participants will be followed monthly for 1 year to assess outcomes."

Query utilizzando l'integrazione Amazon Bedrock LangChain

Per creare un'applicazione di domande e risposte personalizzata end-to-end, Knowledge Base per Amazon Bedrock fornisce l'integrazione con LangChain. Per impostare il LangChain Retriever, fornire l'ID della knowledge base e specificare il numero di risultati da restituire dalla query:

from langchain.retrievers.bedrock import AmazonKnowledgeBasesRetriever

retriever = AmazonKnowledgeBasesRetriever(
    knowledge_base_id=kb_id,
    retrieval_config={"vectorSearchConfiguration": {"numberOfResults": 4}},
)

Ora configura LangChain RetrievalQA e genera risposte dalla knowledge base:

from langchain.chains import RetrievalQA

qa = RetrievalQA.from_chain_type(
    llm=claude_llm,
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": claude_prompt},
)

[qa(q)["result"] for q in questions]

Ciò genererà risposte corrispondenti simili a quelle elencate nella tabella precedente.

ripulire

Assicurati di eliminare le seguenti risorse per evitare di incorrere in costi aggiuntivi:

Conclusione

Amazon Bedrock fornisce un'ampia gamma di servizi profondamente integrati per potenziare le applicazioni RAG di tutte le scale, semplificando l'avvio dell'analisi dei dati aziendali. Le basi di conoscenza per Amazon Bedrock si integrano con i modelli base di Amazon Bedrock per creare pipeline di incorporamento di documenti scalabili e servizi di recupero di documenti per alimentare un'ampia gamma di applicazioni interne e rivolte ai clienti. Siamo entusiasti del futuro che ci aspetta e il tuo feedback svolgerà un ruolo fondamentale nel guidare il progresso di questo prodotto. Per ulteriori informazioni sulle funzionalità di Amazon Bedrock e sulle basi di conoscenza, fare riferimento a Base di conoscenza per Amazon Bedrock.

Informazioni sugli autori

Marco Roy è Principal Machine Learning Architect per AWS e aiuta i clienti a progettare e creare soluzioni AI/ML. Il lavoro di Mark copre un'ampia gamma di casi d'uso del machine learning, con un interesse primario per la visione artificiale, il deep learning e la scalabilità del machine learning in tutta l'azienda. Ha aiutato aziende in molti settori, tra cui assicurazioni, servizi finanziari, media e intrattenimento, sanità, servizi pubblici e produzione. Mark detiene sei certificazioni AWS, inclusa la certificazione di specialità ML. Prima di entrare in AWS, Mark è stato architetto, sviluppatore e leader tecnologico per oltre 25 anni, di cui 19 nei servizi finanziari.

Mani Khanuja è un Tech Lead – Generative AI Specialists, autore del libro – Applied Machine Learning and High Performance Computing on AWS e membro del Consiglio di amministrazione della Women in Manufacturing Education Foundation. Conduce progetti di machine learning (ML) in vari settori come la visione artificiale, l'elaborazione del linguaggio naturale e l'intelligenza artificiale generativa. Aiuta i clienti a creare, addestrare e distribuire modelli di machine learning di grandi dimensioni su larga scala. Partecipa a conferenze interne ed esterne come re:Invent, Women in Manufacturing West, webinar su YouTube e GHC 23. Nel tempo libero le piace fare lunghe corse lungo la spiaggia.

Dott. Baichuan Sun, che attualmente ricopre il ruolo di Sr. AI/ML Solution Architect presso AWS, si concentra sull'intelligenza artificiale generativa e applica le sue conoscenze nella scienza dei dati e nell'apprendimento automatico per fornire soluzioni aziendali pratiche basate sul cloud. Con esperienza nella consulenza gestionale e nell'architettura di soluzioni AI, affronta una serie di sfide complesse, tra cui la visione artificiale robotica, la previsione di serie temporali e la manutenzione predittiva, tra le altre. Il suo lavoro si basa su un solido background di gestione di progetti, ricerca e sviluppo di software e attività accademiche. Al di fuori del lavoro, il dottor Sun ama l'equilibrio tra viaggiare e trascorrere del tempo con la famiglia e gli amici.

Derrick Choo è un Senior Solutions Architect presso AWS focalizzato sull'accelerazione del percorso dei clienti verso il cloud e sulla trasformazione del loro business attraverso l'adozione di soluzioni basate sul cloud. La sua esperienza riguarda lo sviluppo di applicazioni full stack e di machine learning. Aiuta i clienti a progettare e costruire soluzioni end-to-end che coprono interfacce utente frontend, applicazioni IoT, integrazioni API e dati e modelli di machine learning. Nel tempo libero gli piace trascorrere del tempo con la sua famiglia e sperimentare con la fotografia e la videografia.

Franco Winkler è un Senior Solutions Architect e uno specialista di intelligenza artificiale generativa presso AWS con sede a Singapore, specializzato in machine learning e intelligenza artificiale generativa. Collabora con aziende globali native digitali per progettare prodotti e servizi scalabili, sicuri ed economici su AWS. Nel tempo libero trascorre del tempo con suo figlio e sua figlia e viaggia per godersi le onde dell'ASEAN.

Nihir Chadderwala è un Senior AI/ML Solutions Architect nel team Global Healthcare and Life Sciences. La sua esperienza consiste nella creazione di Big Data e soluzioni basate sull'intelligenza artificiale per i problemi dei clienti, in particolare nel settore biomedico, delle scienze della vita e della sanità. È anche entusiasta dell’intersezione tra scienza dell’informazione quantistica e intelligenza artificiale e gli piace imparare e contribuire a questo spazio. Nel tempo libero gli piace giocare a tennis, viaggiare e conoscere la cosmologia.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/use-rag-for-drug-discovery-with-knowledge-bases-for-amazon-bedrock/