Uporabite RAG za odkrivanje zdravil z bazami znanja za Amazon Bedrock | Spletne storitve Amazon

Amazon Bedrock ponuja široko paleto modelov Amazona in drugih ponudnikov, vključno z Anthropic, AI21, Meta, Cohere in Stability AI, in pokriva širok spekter primerov uporabe, vključno z ustvarjanjem besedila in slik, vdelavo, klepetom, agenti na visoki ravni z obrazložitvijo in orkestracijo ter še več. Baze znanja za Amazon Bedrock vam omogoča, da zgradite zmogljive in prilagojene aplikacije Retrieval Augmented Generation (RAG) na vrhu AWS in vektorskih shramb tretjih oseb z uporabo AWS in modelov tretjih oseb. Baze znanja za Amazon Bedrock avtomatizirajo sinhronizacijo vaših podatkov z vašo vektorsko shrambo, vključno z razlikovanjem podatkov, ko so posodobljeni, nalaganjem dokumentov in razčlenjevanjem, kot tudi semantično vdelavo. Omogoča vam nemoteno prilagajanje vaših RAG pozivov in strategij pridobivanja – zagotovimo pripis vira in samodejno upravljamo upravljanje pomnilnika. Baze znanja so popolnoma brez strežnika, zato vam ni treba upravljati nobene infrastrukture, pri uporabi baz znanja pa vam zaračunajo samo modele, vektorske baze podatkov in prostor za shranjevanje, ki ga uporabljate.

RAG je priljubljena tehnika, ki združuje uporabo zasebnih podatkov z velikimi jezikovnimi modeli (LLM). RAG se začne z začetnim korakom za pridobivanje ustreznih dokumentov iz podatkovne shrambe (najpogosteje vektorskega indeksa) na podlagi uporabnikove poizvedbe. Nato uporabi jezikovni model za ustvarjanje odgovora z upoštevanjem tako pridobljenih dokumentov kot izvirne poizvedbe.

V tej objavi prikazujemo, kako zgraditi potek dela RAG z uporabo baz znanja za Amazon Bedrock za primer uporabe odkrivanja zdravil.

Pregled baz znanja za Amazon Bedrock

Baze znanja za Amazon Bedrock podpirajo široko paleto pogostih vrst datotek, vključno z .txt, .docx, .pdf, .csv in drugimi. Da bi omogočili učinkovito pridobivanje iz zasebnih podatkov, je običajna praksa, da te dokumente najprej razdelite na obvladljive dele. Baze znanja so implementirale privzeto strategijo razčlenjevanja, ki v večini primerov dobro deluje in vam omogoča hitrejši začetek. Če želite več nadzora, vam baze znanja omogočajo nadzor nad strategijo razčlenjevanja prek nabora vnaprej konfiguriranih možnosti. Nadzirate lahko največjo velikost žetona in količino prekrivanja, ki se ustvari med kosi, da zagotovite skladen kontekst za vdelavo. Baze znanja za Amazon Bedrock upravlja postopek sinhronizacije podatkov iz vašega Preprosta storitev shranjevanja Amazon (Amazon S3) vedro, ga razdeli na manjše kose, generira vdelave vektorjev in jih shrani v vektorski indeks. Ta proces je opremljen z inteligentnim upravljanjem razlik, prepustnosti in napak.

Med izvajanjem se za pretvorbo uporabniške poizvedbe v vektor uporabi model vdelave. Vektorski indeks se nato poizveduje, da se najdejo dokumenti, podobni uporabnikovi poizvedbi, tako da se vektorji dokumentov primerjajo z vektorjem uporabniške poizvedbe. V zadnjem koraku se semantično podobni dokumenti, pridobljeni iz vektorskega indeksa, dodajo kot kontekst za izvirno uporabniško poizvedbo. Pri generiranju odgovora za uporabnika se semantično podobni dokumenti pozovejo v besedilni model, skupaj z atribucijo vira za sledljivost.

Baze znanja za Amazon Bedrock podpira več vektorskih baz podatkov, vključno z Amazon OpenSearch brez strežnika, Amazonska Aurora, Pinecone in Redis Enterprise Cloud. API-ja Retrieve in RetrieveAndGenerate omogočata vašim aplikacijam neposredno poizvedovanje po indeksu z uporabo poenotene in standardne sintakse, ne da bi se morali naučiti ločenih API-jev za vsako drugo vektorsko bazo podatkov, kar zmanjša potrebo po pisanju poizvedb po indeksu po meri za vašo vektorsko shrambo. Retrieve API sprejme dohodno poizvedbo, jo pretvori v vdelani vektor in poizveduje v zaledni shrambi z uporabo algoritmov, konfiguriranih na ravni vektorske baze podatkov; API RetrieveAndGenerate uporablja uporabniško konfiguriran LLM, ki ga zagotavlja Amazon Bedrock, in ustvari končni odgovor v naravnem jeziku. Izvorna podpora za sledljivost obvesti aplikacijo, ki zahteva, o virih, uporabljenih za odgovor na vprašanje. Za izvedbe v podjetjih podpirajo zbirke znanja AWS Service Key Management (AWS KMS) šifriranje, AWS CloudTrail integracija in še več.

V naslednjih razdelkih prikazujemo, kako zgraditi potek dela RAG z uporabo zbirk znanja za Amazon Bedrock, ki jih podpira brezstrežniški vektorski mehanizem OpenSearch, za analizo nestrukturiranega nabora podatkov kliničnega preskušanja za primer uporabe odkrivanja zdravil. Ti podatki so bogati z informacijami, vendar so lahko zelo heterogeni. Pravilno ravnanje s specializirano terminologijo in koncepti v različnih formatih je bistveno za odkrivanje vpogledov in zagotavljanje analitične celovitosti. Z bazami znanja za Amazon Bedrock lahko dostopate do podrobnih informacij s preprostimi, naravnimi poizvedbami.

Zgradite bazo znanja za Amazon Bedrock

V tem razdelku predstavljamo postopek ustvarjanja baze znanja za Amazon Bedrock prek konzole. Izvedite naslednje korake:

1. Na konzoli Amazon Bedrock pod Orkestracija v podoknu za krmarjenje izberite Baza znanja.
2. Izberite Ustvarite bazo znanja.

3. v Podrobnosti baze znanja vnesite ime in opis po želji.
4. v IAM dovoljenja izberite, izberite Ustvarite in uporabite novo storitveno vlogo.
5. za Vloga imena storitve, vnesite ime za svojo vlogo, ki se mora začeti z AmazonBedrockExecutionRoleForKnowledgeBase_.
6. Izberite Naslednji.

7. v Vir podatkov razdelku vnesite ime za svoj vir podatkov in S3 URI, kjer je nabor podatkov. Baze znanja podpirajo naslednje oblike datotek:
   • Navadno besedilo (.txt)
   • Markdown (.md)
   • HyperText Markup Language (.html)
   • Dokument Microsoft Word (.doc/.docx)
   • Vrednosti, ločene z vejico (.csv)
   • Preglednica Microsoft Excel (.xls/.xlsx)
   • Prenosni format dokumenta (.pdf)

8. Pod Dodatne nastavitve¸ izberite želeno strategijo razčlenjevanja (za to objavo izberemo mi Razrez s fiksno velikostjo) ter določite velikost in prekrivanje v odstotkih. Lahko pa uporabite tudi privzete nastavitve.
9. Izberite Naslednji.

10. v Model vdelav izberite model Titan Embeddings podjetja Amazon Bedrock.
11. v Vektorska baza podatkov izberite, izberite Hitro ustvarite novo vektorsko trgovino, ki vodi postopek postavitve vektorske trgovine.
12. Izberite Naslednji.

13. Preglejte nastavitve in izberite Ustvarite bazo znanja.

14. Počakajte, da se ustvarjanje baze znanja zaključi in potrdite, da je njen status Želite.
15. v Vir podatkov ali na pasici na vrhu strani ali pojavnem oknu v testnem oknu izberite Sinhronizacija za sprožitev postopka nalaganja podatkov iz vedra S3, njihovo razdelitev na dele velikosti, ki ste jo določili, generiranje vektorskih vdelav z uporabo izbranega modela vdelave besedila in njihovo shranjevanje v vektorsko shrambo, ki jo upravljajo baze znanja za Amazon Bedrock.

Funkcija sinhronizacije podpira vnos, posodabljanje in brisanje dokumentov iz vektorskega indeksa na podlagi sprememb dokumentov v Amazon S3. Uporabite lahko tudi StartIngestionJob API za sprožitev sinhronizacije prek AWS SDK.

Ko je sinhronizacija končana, se v zgodovini sinhronizacije prikaže stanje Dokončano.

Poizvedujte po bazi znanja

V tem razdelku prikazujemo, kako dostopati do podrobnih informacij v bazi znanja z enostavnimi in naravnimi poizvedbami. Uporabljamo nestrukturiran sintetični nabor podatkov, sestavljen iz datotek PDF, številka strani vsake od 10 do 100 strani, ki simulirajo načrt kliničnega preskušanja predlaganega novega zdravila, vključno z metodami statistične analize in obrazci za soglasje udeležencev. Uporabljamo baze znanja za Amazon Bedrock retrieve_and_generate in retrieve API-ji z Integracija Amazon Bedrock LangChain.

Preden lahko pišete skripte, ki uporabljajo API Amazon Bedrock, boste morali v svoje okolje namestiti ustrezno različico AWS SDK. Za skripte Python bo to AWS SDK za Python (Boto3):

pip install langchain
pip install boto3

Poleg tega omogočite dostop do modela Amazon Titan Embeddings in Anthropic Claude v2 ali v1. Za več informacij glejte Dostop do modela.

Ustvarite vprašanja z uporabo Amazon Bedrock

Uporabimo lahko Anthropic Claude 2.1 za Amazon Bedrock, da predlagamo seznam vprašanj, ki jih je treba zastaviti o naboru podatkov kliničnega preskušanja:

import boto3
from langchain.llms.bedrock import Bedrock

bedrock_client = boto3.client("bedrock-runtime")

# Start with the query
prompt = "For medical research trial consent forms to sign, what are the top 5 questions can be asked?"

claude_llm = Bedrock(
    model_id="anthropic.claude-v2:1",
    model_kwargs={"temperature": 0, "top_k": 10, "max_tokens_to_sample": 3000},
    client=bedrock_client,
)

# Provide the prompt to the LLM to generate an answer to the query without any additional context provided
response = claude_llm(prompt)
questions = [
    item.split(".")[1].strip() for item in response.strip().split("nn")[1:-1]
]
questions
>>> answer:
'What is the purpose of the study? Make sure you understand the goals of the research and what the study procedures will entail',
'What are the risks and potential benefits? The form should explain all foreseeable risks, side effects, or discomforts you might experience from participating',
'What will participation involve? Get details on what tests, medications, lifestyle changes, or procedures you will go through, how much time it will take, and how long the study will last',
'Are there any costs or payments? Ask if you will be responsible for any costs related to the study or get paid for participating',
'How will my privacy be protected? The form should explain how your personal health information will be kept confidential before, during, and after the trial'

Uporabite API Amazon Bedrock RetrieveAndGenerate

Za popolnoma upravljano izkušnjo RAG lahko uporabite izvorne baze znanja za Amazon Bedrock RetrieveAndGenerate API za neposredno pridobivanje odgovorov:

bedrock_agent_client = boto3.client("bedrock-agent-runtime")

kb_id = "<YOUR_KNOWLEDGE_BASE_ID>"

def retrieveAndGenerate(
    input: str,
    kbId: str,
    region: str = "us-east-1",
    sessionId: str = None,
    model_id: str = "anthropic.claude-v2:1",
):
    model_arn = f"arn:aws:bedrock:{region}::foundation-model/{model_id}"

    if sessionId:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
            sessionId=sessionId,
        )

    else:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
        )

response = retrieveAndGenerate(
    "What are the potential risks and benefits of participating?", kb_id
)

generated_text = response["output"]["text"]
>>> "The potential risks include side effects from the study medication lithium such as nausea, loose stools, thirst, urination changes, shakiness, headaches, sweating, fatigue, decreased concentration, and skin rash. There is also a risk of lithium interaction with other medications. For women, there is a risk of birth defects if lithium is taken during pregnancy. There are no guaranteed benefits, but possible benefits include new information that could help the participant from the interviews and tests conducted during the study."

Naveden vir informacij je mogoče pridobiti prek naslednje kode (z nekaterimi izhodi, redigiranimi zaradi kratkosti):

response["citations"]

>>> [
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " The potential risks include side effects from the study...",
                "span": {"start": 0, "end": 361},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "590 ICF#2 Page 7 of 19 The primary risks and discomforts of participation…"
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
            {
                "content": {
                    "text": "N/A CSP 590 ICF#2 Page 10 of 19 Risks associated with suddenly stopping study medications..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
        ],
    },
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " There are no guaranteed benefits, but possible benefits include...",
                "span": {"start": 363, "end": 531},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "research, not usual clinical care. After these are done we ask..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            }
        ],
    },
]

S posredovanjem ID-ja seje RetrieveAndGenerate API, lahko ohranite kontekst pogovora in postavite dodatna vprašanja. Na primer, brez konteksta, če vprašate za več podrobnosti iz prejšnjega odgovora, morda ne bo mogel odgovoriti pravilno:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=None)["output"]["text"]
>>> "The search results do not provide additional details about the mild nausea side effect that would allow me to elaborate further on it."

Toda s posredovanjem ID-ja seje lahko cevovod RAG prepozna ustrezen kontekst in vrne ustrezne odgovore:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=response["sessionId"])["output"]["text"]
>>> "The search results provide details that nausea from taking lithium is usually mild and goes away after days or weeks for most people. Specifically, up to 75% of people may experience mild nausea when first starting lithium, but this goes away in 90-99% of people who continue taking it."

Naslednja tabela prikazuje pridobljene odgovore na vsa ustrezna vprašanja.

Poizvedujte z uporabo API-ja Amazon Bedrock Retrieve

Če želite prilagoditi potek dela RAG, lahko uporabite API Retrieve, da pridobite ustrezne kose na podlagi vaše poizvedbe in jih posredujete kateremu koli LLM, ki ga ponuja Amazon Bedrock. Če želite uporabiti Retrieve API, ga definirajte na naslednji način:

def retrieve(query: str, kbId: str, numberOfResults: int = 5):
    return bedrock_agent_client.retrieve(
        retrievalQuery={"text": query},
        knowledgeBaseId=kbId,
        retrievalConfiguration={
            "vectorSearchConfiguration": {"numberOfResults": numberOfResults}
        },
    )

Pridobite ustrezen kontekst (z nekaterimi izhodi, redigiranimi zaradi kratkosti):

query = "What is the purpose of the medical research study?"
response = retrieve(query, kb_id, 3)
retrievalResults = response["retrievalResults"]
>>> [
    {
        "content": {"text": "You will not be charged for any procedures that..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXXX/XXXX.pdf"}},
        "score": 0.6552521,
    },
    {
        "content": {"text": "and possible benefits of the study. You have been..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
        "score": 0.6581577,
    },
    ...,
]

Izvlecite kontekst za predlogo poziva:

def get_contexts(retrievalResults):
    contexts = []
    for retrievedResult in retrievalResults:
        contexts.append(retrievedResult["content"]["text"])
    return " ".join(contexts)

contexts = get_contexts(retrievalResults)

Uvozite module Python in nastavite predlogo poziva za odgovarjanje na vprašanja v kontekstu, nato ustvarite končni odgovor:

from langchain.prompts import PromptTemplate

PROMPT_TEMPLATE = """
Human: You are an AI system working on medical trial research, and provides answers to questions 
by using fact based and statistical information when possible.
Use the following pieces of information to provide a concise answer to the question enclosed in <question> tags.
If you don't know the answer, just say that you don't know, don't try to make up an answer.

<context>
{context_str}
</context>

<question>
{query_str}
</question>

The response should be specific and use statistics or numbers when possible.

Assistant:"""

claude_prompt = PromptTemplate(
    template=PROMPT_TEMPLATE, input_variables=["context_str", "query_str"]
)

prompt = claude_prompt.format(context_str=contexts, query_str=query)
response = claude_llm(prompt)
>>> "Based on the context provided, the purpose of this medical research study is to evaluate the efficacy of lithium compared to a placebo in preventing suicide over a 1 year period. Specifically, participants will be randomly assigned to receive either lithium or a placebo pill for 1 year, with their doctors and the participants themselves not knowing which treatment they receive (double-blind). Blood lithium levels will be monitored and doses adjusted over the first 6-8 visits, then participants will be followed monthly for 1 year to assess outcomes."

Poizvedba z integracijo Amazon Bedrock LangChain

Za ustvarjanje aplikacije za vprašanja in odgovore po meri, baze znanja za Amazon Bedrock zagotavljajo integracijo z LangChain. Če želite nastaviti LangChain retriever, zagotovite ID baze znanja in določite število rezultatov, ki naj se vrnejo iz poizvedbe:

from langchain.retrievers.bedrock import AmazonKnowledgeBasesRetriever

retriever = AmazonKnowledgeBasesRetriever(
    knowledge_base_id=kb_id,
    retrieval_config={"vectorSearchConfiguration": {"numberOfResults": 4}},
)

Zdaj nastavite LangChain RetrievalQA in ustvarite odgovore iz baze znanja:

from langchain.chains import RetrievalQA

qa = RetrievalQA.from_chain_type(
    llm=claude_llm,
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": claude_prompt},
)

[qa(q)["result"] for q in questions]

To bo ustvarilo ustrezne odgovore, podobne tistim, navedenim v prejšnji tabeli.

Čiščenje

Ne pozabite izbrisati naslednjih virov, da se izognete dodatnim stroškom:

zaključek

Amazon Bedrock ponuja širok nabor globoko integriranih storitev za napajanje aplikacij RAG vseh razsežnosti, kar olajša začetek analiziranja podatkov vašega podjetja. Baze znanja za Amazon Bedrock se integrirajo z osnovnimi modeli Amazon Bedrock za izgradnjo razširljivih cevovodov za vdelavo dokumentov in storitev pridobivanja dokumentov za napajanje širokega nabora notranjih aplikacij in aplikacij, namenjenih strankam. Navdušeni smo nad prihodnostjo in vaše povratne informacije bodo imele ključno vlogo pri usmerjanju napredka tega izdelka. Če želite izvedeti več o zmožnostih Amazon Bedrock in bazah znanja, glejte Baza znanja za Amazon Bedrock.

O avtorjih

Mark Roy je glavni arhitekt strojnega učenja za AWS, ki strankam pomaga oblikovati in zgraditi rešitve AI/ML. Markovo delo pokriva širok spekter primerov uporabe ML, pri čemer ga zanima predvsem računalniški vid, globoko učenje in razširjanje ML v podjetju. Pomagal je podjetjem v številnih panogah, vključno z zavarovalništvom, finančnimi storitvami, mediji in zabavo, zdravstvom, komunalnimi storitvami in proizvodnjo. Mark ima šest certifikatov AWS, vključno s certifikatom ML Specialty. Preden se je Mark pridružil podjetju AWS, je bil več kot 25 let arhitekt, razvijalec in tehnološki vodja, vključno z 19 leti v finančnih storitvah.

Mani Khanuja je tehnični vodja – Generative AI Specialists, avtorica knjige – Applied Machine Learning and High Performance Computing on AWS in članica upravnega odbora Fundacije za ženske v proizvodnem izobraževanju. Vodi projekte strojnega učenja (ML) na različnih področjih, kot so računalniški vid, obdelava naravnega jezika in generativna umetna inteligenca. Strankam pomaga zgraditi, usposobiti in uvesti velike modele strojnega učenja v velikem obsegu. Govori na internih in zunanjih konferencah, kot so re:Invent, Women in Manufacturing West, YouTube spletni seminarji in GHC 23. V prostem času se rada odpravi na dolge teke ob plaži.

Dr. Baichuan Sun, ki trenutno dela kot starejši arhitekt rešitev AI/ML pri AWS, se osredotoča na generativno umetno inteligenco in uporablja svoje znanje podatkovne znanosti in strojnega učenja za zagotavljanje praktičnih poslovnih rešitev v oblaku. Z izkušnjami pri svetovanju pri upravljanju in arhitekturi rešitev umetne inteligence obravnava vrsto zapletenih izzivov, vključno z robotskim računalniškim vidom, napovedovanjem časovnih vrst in prediktivnim vzdrževanjem, med drugim. Njegovo delo temelji na trdnem ozadju vodenja projektov, raziskav in razvoja programske opreme ter akademskega udejstvovanja. Zunaj službe dr. Sun uživa v ravnotežju med potovanji in preživljanjem časa z družino in prijatelji.

Derrick Choo je višji arhitekt rešitev pri AWS, ki se osredotoča na pospešitev strankine poti v oblak in preoblikovanje njihovega poslovanja s sprejetjem rešitev v oblaku. Njegovo strokovno znanje je na področju aplikacij polnega sklada in razvoja strojnega učenja. Strankam pomaga pri načrtovanju in izdelavi celovitih rešitev, ki zajemajo čelne uporabniške vmesnike, aplikacije IoT, API-je in integracije podatkov ter modele strojnega učenja. V prostem času rad preživlja čas z družino in se preizkuša v fotografiji in videu.

Frank Winkler je višji arhitekt rešitev in strokovnjak za generativno umetno inteligenco pri AWS s sedežem v Singapurju, osredotočen na strojno učenje in generativno umetno inteligenco. Sodeluje z globalnimi domačimi digitalnimi podjetji pri oblikovanju razširljivih, varnih in stroškovno učinkovitih izdelkov in storitev na AWS. V prostem času preživlja čas s sinom in hčerko ter potuje, da bi užival na valovih po ASEAN-u.

Nihir Chadderwala je starejši arhitekt rešitev AI/ML v ekipi Global Healthcare and Life Sciences. Njegovo strokovno znanje je pri gradnji rešitev za težave strank, ki jih poganjajo veliki podatki in umetna inteligenca, zlasti na področju biomedicine, znanosti o življenju in zdravstva. Navdušen je tudi nad presečiščem kvantne informacijske znanosti in umetne inteligence ter uživa v učenju in prispevanju k temu prostoru. V prostem času rad igra tenis, potuje in spoznava kozmologijo.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/machine-learning/use-rag-for-drug-discovery-with-knowledge-bases-for-amazon-bedrock/