Використовуйте RAG для пошуку ліків за допомогою баз знань для Amazon Bedrock | Веб-сервіси Amazon

Amazon Bedrock надає широкий спектр моделей від Amazon і сторонніх постачальників, включаючи Anthropic, AI21, Meta, Cohere та Stability AI, і охоплює широкий спектр випадків використання, включаючи створення тексту та зображень, вбудовування, чат, високорівневі агенти з аргументацією та аранжуванням тощо. Бази знань для Amazon Bedrock дає змогу створювати ефективні та налаштовані програми Retrieval Augmented Generation (RAG) на основі AWS і векторних сховищ сторонніх виробників, використовуючи моделі AWS і сторонніх виробників. Бази знань для Amazon Bedrock автоматизують синхронізацію ваших даних із вашим векторним сховищем, зокрема розрізняють дані під час їх оновлення, завантажують документи та фрагментують, а також семантичне вбудовування. Це дозволяє легко налаштовувати підказки RAG і стратегії пошуку — ми надаємо атрибуцію джерела та автоматично керуємо пам’яттю. Бази знань є повністю безсерверними, тому вам не потрібно керувати будь-якою інфраструктурою, а за використання баз знань ви платите лише за моделі, векторні бази даних і сховище, яке ви використовуєте.

RAG — це популярна техніка, яка поєднує використання приватних даних із великими мовними моделями (LLM). RAG починається з початкового кроку для отримання відповідних документів із сховища даних (найчастіше векторний індекс) на основі запиту користувача. Потім він використовує мовну модель для створення відповіді, враховуючи як отримані документи, так і вихідний запит.

У цій публікації ми демонструємо, як побудувати робочий процес RAG за допомогою баз знань для Amazon Bedrock для прикладу використання препаратів.

Огляд баз знань для Amazon Bedrock

Бази знань для Amazon Bedrock підтримують широкий діапазон поширених типів файлів, включаючи .txt, .docx, .pdf, .csv тощо. Щоб уможливити ефективний пошук із приватних даних, звичайною практикою є спершу розділити ці документи на керовані блоки. Бази знань реалізували стандартну стратегію поділу на фрагменти, яка добре працює в більшості випадків, щоб дозволити вам швидше розпочати роботу. Якщо вам потрібен більший контроль, Бази знань дозволяють контролювати стратегію поділу за допомогою набору попередньо налаштованих параметрів. Ви можете керувати максимальним розміром маркера та кількістю перекриття, яке буде створено між блоками, щоб забезпечити узгоджений контекст для вбудовування. Бази знань для Amazon Bedrock керує процесом синхронізації даних із вашого Служба простого зберігання Amazon (Amazon S3), розділяє його на менші фрагменти, генерує векторні вбудовування та зберігає вбудовування у векторному індексі. Цей процес супроводжується інтелектуальним керуванням відмінностями, пропускною спроможністю та відмовами.

Під час виконання модель вбудовування використовується для перетворення запиту користувача у вектор. Потім запитується векторний індекс, щоб знайти документи, подібні до запиту користувача, шляхом порівняння векторів документа з вектором запиту користувача. На останньому кроці семантично схожі документи, отримані з векторного індексу, додаються як контекст для оригінального запиту користувача. Під час генерації відповіді для користувача семантично подібні документи запитуються в текстовій моделі разом із посиланням на джерело для відстеження.

Бази знань для Amazon Bedrock підтримують декілька векторних баз даних, у тому числі Amazon OpenSearch Serverless, Амазонська Аврора, Pinecone та Redis Enterprise Cloud. API Retrieve та RetrieveAndGenerate дозволяють вашим програмам безпосередньо запитувати індекс за допомогою уніфікованого стандартного синтаксису без необхідності вивчати окремі API для кожної окремої векторної бази даних, зменшуючи потребу писати спеціальні запити індексу до вашого векторного сховища. Retrieve API приймає вхідний запит, перетворює його на вбудований вектор і запитує серверне сховище за допомогою алгоритмів, налаштованих на рівні векторної бази даних; API RetrieveAndGenerate використовує налаштований користувачем LLM, наданий Amazon Bedrock, і генерує остаточну відповідь природною мовою. Внутрішня підтримка відстеження інформує програму, яка запитує, про джерела, використані для відповіді на запитання. Для корпоративних реалізацій підтримуються бази знань Служба управління ключами AWS (AWS KMS) шифрування, AWS CloudTrail інтеграція та інше.

У наступних розділах ми демонструємо, як побудувати робочий процес RAG за допомогою баз знань для Amazon Bedrock, що підтримується безсерверною векторною системою OpenSearch, щоб проаналізувати неструктурований набір даних клінічних випробувань для випадку використання ліків. Ці дані багаті інформацією, але можуть бути дуже різнорідними. Правильне використання спеціальної термінології та концепцій у різних форматах має важливе значення для виявлення інформації та забезпечення аналітичної цілісності. За допомогою баз знань для Amazon Bedrock ви можете отримати доступ до детальної інформації за допомогою простих природних запитів.

Створіть базу знань для Amazon Bedrock

У цьому розділі ми демонструємо процес створення бази знань для Amazon Bedrock за допомогою консолі. Виконайте наступні дії:

1. На консолі Amazon Bedrock під Оркестрація на панелі навігації виберіть База знань.
2. Вибирати Створити базу знань.

3. У Деталі бази знань розділі, введіть ім’я та необов’язковий опис.
4. У Дозволи IAM розділ, виберіть Створіть і використовуйте нову роль служби.
5. для Роль імені служби, введіть назву своєї ролі, яка має починатися з AmazonBedrockExecutionRoleForKnowledgeBase_.
6. Вибирати МАЙБУТНІ.

7. У Джерело даних розділі введіть ім’я джерела даних і URI S3, де знаходиться набір даних. Бази знань підтримують такі формати файлів:
   • Звичайний текст (.txt)
   • Уцінка (.md)
   • Мова розмітки гіпертексту (.html)
   • Документ Microsoft Word (.doc/.docx)
   • Значення, розділені комами (.csv)
   • Електронна таблиця Microsoft Excel (.xls/.xlsx)
   • Портативний формат документа (.pdf)

8. під Додаткові налаштування¸ виберіть бажану стратегію фрагментації (для цієї публікації ми вибираємо Фрагменти фіксованого розміру) і вкажіть розмір блоку та накладання у відсотках. Крім того, ви можете використовувати налаштування за замовчуванням.
9. Вибирати МАЙБУТНІ.

10. У Модель вбудовування виберіть модель Titan Embeddings від Amazon Bedrock.
11. У Векторна база даних розділ, виберіть Швидке створення нового векторного магазину, який керує процесом налаштування векторного сховища.
12. Вибирати МАЙБУТНІ.

13. Перегляньте налаштування та виберіть Створити базу знань.

14. Дочекайтеся завершення створення бази знань і підтвердьте її статус Готовий.
15. У Джерело даних або на банері у верхній частині сторінки чи спливаючому вікні тестового вікна виберіть Синхронізація щоб ініціювати процес завантаження даних із сегмента S3, розділення їх на фрагменти вказаного вами розміру, створення векторних вбудованих зображень за допомогою вибраної моделі вбудованого тексту та збереження їх у векторному сховищі, яким керує Knowledge Bases для Amazon Bedrock.

Функція синхронізації підтримує прийом, оновлення та видалення документів із векторного індексу на основі змін документів в Amazon S3. Ви також можете використовувати StartIngestionJob API для запуску синхронізації через AWS SDK.

Після завершення синхронізації в історії синхронізації відображається статус Завершено.

Зробіть запит до бази знань

У цьому розділі ми демонструємо, як отримати доступ до детальної інформації в базі знань за допомогою простих і природних запитів. Ми використовуємо неструктурований синтетичний набір даних, що складається з PDF-файлів, номери сторінок кожного з яких варіюються від 10 до 100 сторінок, моделюючи план клінічних випробувань запропонованого нового лікарського засобу, включаючи методи статистичного аналізу та форми згоди учасників. Ми використовуємо бази знань для Amazon Bedrock retrieve_and_generate та retrieve API з Інтеграція Amazon Bedrock LangChain.

Перш ніж ви зможете писати сценарії, які використовують API Amazon Bedrock, вам потрібно буде інсталювати відповідну версію AWS SDK у вашому середовищі. Для сценаріїв Python це буде AWS SDK для Python (Boto3):

pip install langchain
pip install boto3

Крім того, увімкніть доступ до моделі Amazon Titan Embeddings і Anthropic Claude v2 або v1. Для отримання додаткової інформації див Доступ до моделі.

Створюйте запитання за допомогою Amazon Bedrock

Ми можемо використати Anthropic Claude 2.1 для Amazon Bedrock, щоб запропонувати список запитань, які потрібно поставити щодо набору даних клінічних випробувань:

import boto3
from langchain.llms.bedrock import Bedrock

bedrock_client = boto3.client("bedrock-runtime")

# Start with the query
prompt = "For medical research trial consent forms to sign, what are the top 5 questions can be asked?"

claude_llm = Bedrock(
    model_id="anthropic.claude-v2:1",
    model_kwargs={"temperature": 0, "top_k": 10, "max_tokens_to_sample": 3000},
    client=bedrock_client,
)

# Provide the prompt to the LLM to generate an answer to the query without any additional context provided
response = claude_llm(prompt)
questions = [
    item.split(".")[1].strip() for item in response.strip().split("nn")[1:-1]
]
questions
>>> answer:
'What is the purpose of the study? Make sure you understand the goals of the research and what the study procedures will entail',
'What are the risks and potential benefits? The form should explain all foreseeable risks, side effects, or discomforts you might experience from participating',
'What will participation involve? Get details on what tests, medications, lifestyle changes, or procedures you will go through, how much time it will take, and how long the study will last',
'Are there any costs or payments? Ask if you will be responsible for any costs related to the study or get paid for participating',
'How will my privacy be protected? The form should explain how your personal health information will be kept confidential before, during, and after the trial'

Використовуйте API Amazon Bedrock RetrieveAndGenerate

Щоб повністю керувати RAG, ви можете використовувати рідні бази знань для Amazon Bedrock RetrieveAndGenerate API для отримання відповідей безпосередньо:

bedrock_agent_client = boto3.client("bedrock-agent-runtime")

kb_id = "<YOUR_KNOWLEDGE_BASE_ID>"

def retrieveAndGenerate(
    input: str,
    kbId: str,
    region: str = "us-east-1",
    sessionId: str = None,
    model_id: str = "anthropic.claude-v2:1",
):
    model_arn = f"arn:aws:bedrock:{region}::foundation-model/{model_id}"

    if sessionId:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
            sessionId=sessionId,
        )

    else:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
        )

response = retrieveAndGenerate(
    "What are the potential risks and benefits of participating?", kb_id
)

generated_text = response["output"]["text"]
>>> "The potential risks include side effects from the study medication lithium such as nausea, loose stools, thirst, urination changes, shakiness, headaches, sweating, fatigue, decreased concentration, and skin rash. There is also a risk of lithium interaction with other medications. For women, there is a risk of birth defects if lithium is taken during pregnancy. There are no guaranteed benefits, but possible benefits include new information that could help the participant from the interviews and tests conducted during the study."

Наведене джерело інформації можна отримати за допомогою такого коду (з деякими вихідними даними для стислості):

response["citations"]

>>> [
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " The potential risks include side effects from the study...",
                "span": {"start": 0, "end": 361},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "590 ICF#2 Page 7 of 19 The primary risks and discomforts of participation…"
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
            {
                "content": {
                    "text": "N/A CSP 590 ICF#2 Page 10 of 19 Risks associated with suddenly stopping study medications..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
        ],
    },
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " There are no guaranteed benefits, but possible benefits include...",
                "span": {"start": 363, "end": 531},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "research, not usual clinical care. After these are done we ask..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            }
        ],
    },
]

Передаючи ідентифікатор сеансу RetrieveAndGenerate API, ви можете зберегти контекст розмови та задавати додаткові запитання. Наприклад, без контексту, якщо ви запитуєте більше деталей із попередньої відповіді, він може не дати правильну відповідь:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=None)["output"]["text"]
>>> "The search results do not provide additional details about the mild nausea side effect that would allow me to elaborate further on it."

Але передаючи ідентифікатор сеансу, конвеєр RAG може ідентифікувати відповідний контекст і повертати відповідні відповіді:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=response["sessionId"])["output"]["text"]
>>> "The search results provide details that nausea from taking lithium is usually mild and goes away after days or weeks for most people. Specifically, up to 75% of people may experience mild nausea when first starting lithium, but this goes away in 90-99% of people who continue taking it."

У наступній таблиці показано отримані відповіді на всі відповідні запитання.

Запитуйте за допомогою Amazon Bedrock Retrieve API

Щоб налаштувати робочий процес RAG, ви можете використовувати Retrieve API, щоб отримати відповідні фрагменти на основі вашого запиту та передати їх будь-якому LLM, наданому Amazon Bedrock. Щоб використовувати Retrieve API, визначте його таким чином:

def retrieve(query: str, kbId: str, numberOfResults: int = 5):
    return bedrock_agent_client.retrieve(
        retrievalQuery={"text": query},
        knowledgeBaseId=kbId,
        retrievalConfiguration={
            "vectorSearchConfiguration": {"numberOfResults": numberOfResults}
        },
    )

Отримайте відповідний контекст (з деякими вихідними даними, відредагованими для стислості):

query = "What is the purpose of the medical research study?"
response = retrieve(query, kb_id, 3)
retrievalResults = response["retrievalResults"]
>>> [
    {
        "content": {"text": "You will not be charged for any procedures that..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXXX/XXXX.pdf"}},
        "score": 0.6552521,
    },
    {
        "content": {"text": "and possible benefits of the study. You have been..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
        "score": 0.6581577,
    },
    ...,
]

Витягніть контекст для шаблону запиту:

def get_contexts(retrievalResults):
    contexts = []
    for retrievedResult in retrievalResults:
        contexts.append(retrievedResult["content"]["text"])
    return " ".join(contexts)

contexts = get_contexts(retrievalResults)

Імпортуйте модулі Python і налаштуйте шаблон підказки відповіді на питання в контексті, а потім згенеруйте остаточну відповідь:

from langchain.prompts import PromptTemplate

PROMPT_TEMPLATE = """
Human: You are an AI system working on medical trial research, and provides answers to questions 
by using fact based and statistical information when possible.
Use the following pieces of information to provide a concise answer to the question enclosed in <question> tags.
If you don't know the answer, just say that you don't know, don't try to make up an answer.

<context>
{context_str}
</context>

<question>
{query_str}
</question>

The response should be specific and use statistics or numbers when possible.

Assistant:"""

claude_prompt = PromptTemplate(
    template=PROMPT_TEMPLATE, input_variables=["context_str", "query_str"]
)

prompt = claude_prompt.format(context_str=contexts, query_str=query)
response = claude_llm(prompt)
>>> "Based on the context provided, the purpose of this medical research study is to evaluate the efficacy of lithium compared to a placebo in preventing suicide over a 1 year period. Specifically, participants will be randomly assigned to receive either lithium or a placebo pill for 1 year, with their doctors and the participants themselves not knowing which treatment they receive (double-blind). Blood lithium levels will be monitored and doses adjusted over the first 6-8 visits, then participants will be followed monthly for 1 year to assess outcomes."

Запит за допомогою інтеграції Amazon Bedrock LangChain

Бази знань для Amazon Bedrock забезпечують інтеграцію з LangChain для створення наскрізної персоналізованої програми із запитаннями та відповідями. Щоб налаштувати ретрівер LangChain, надайте ідентифікатор бази знань і вкажіть кількість результатів, які потрібно повернути із запиту:

from langchain.retrievers.bedrock import AmazonKnowledgeBasesRetriever

retriever = AmazonKnowledgeBasesRetriever(
    knowledge_base_id=kb_id,
    retrieval_config={"vectorSearchConfiguration": {"numberOfResults": 4}},
)

Тепер налаштуйте LangChain RetrievalQA та створіть відповіді з бази знань:

from langchain.chains import RetrievalQA

qa = RetrievalQA.from_chain_type(
    llm=claude_llm,
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": claude_prompt},
)

[qa(q)["result"] for q in questions]

Це створить відповідні відповіді, схожі на ті, що перелічені в попередній таблиці.

Прибирати

Обов’язково видаліть такі ресурси, щоб уникнути додаткових витрат:

Висновок

Amazon Bedrock надає широкий набір глибоко інтегрованих послуг для роботи програм RAG будь-якого масштабу, завдяки чому можна легко розпочати аналіз даних вашої компанії. Бази знань для Amazon Bedrock інтегруються з базовими моделями Amazon Bedrock для створення масштабованих конвеєрів вбудовування документів і служб пошуку документів для забезпечення широкого спектру внутрішніх і орієнтованих на клієнтів програм. Ми з нетерпінням чекаємо майбутнього, і ваші відгуки відіграватимуть важливу роль у розвитку цього продукту. Щоб дізнатися більше про можливості Amazon Bedrock і бази знань, див База знань для Amazon Bedrock.

Про авторів

Марк Рой є головним архітектором машинного навчання для AWS, допомагаючи клієнтам проектувати та створювати рішення AI/ML. Робота Марка охоплює широкий спектр випадків використання ML, головний інтерес до комп’ютерного бачення, глибокого навчання та масштабування ML на підприємстві. Він допомагав компаніям у багатьох галузях, включаючи страхування, фінансові послуги, медіа та розваги, охорону здоров’я, комунальні послуги та виробництво. Марк має шість сертифікатів AWS, у тому числі спеціальність ML. До того як приєднатися до AWS, Марк понад 25 років працював архітектором, розробником і технологічним лідером, у тому числі 19 років у сфері фінансових послуг.

Мані Хануджа є технічним керівником – Generative AI Specialists, автором книги – Applied Machine Learning and High Performance Computing on AWS, і членом ради директорів ради жінок у виробничій освіті. Вона керує проектами машинного навчання (ML) у різних областях, таких як комп’ютерне бачення, обробка природної мови та генеративний ШІ. Вона допомагає клієнтам створювати, навчати та розгортати великі моделі машинного навчання в масштабі. Вона виступає на внутрішніх і зовнішніх конференціях, таких як re:Invent, Women in Manufacturing West, вебінарах YouTube і GHC 23. У вільний час вона любить довго бігати вздовж пляжу.

Доктор Байчуань Сан, який зараз працює старшим архітектором рішень AI/ML в AWS, зосереджується на генеративному штучному інтелекті та застосовує свої знання в галузі обробки даних і машинного навчання для створення практичних хмарних бізнес-рішень. Маючи досвід управлінського консультування та архітектури рішень штучного інтелекту, він вирішує низку складних завдань, зокрема робототехнічне комп’ютерне бачення, прогнозування часових рядів та прогнозне технічне обслуговування тощо. Його робота базується на солідному досвіді управління проектами, дослідженнях і розробці програмного забезпечення та академічній діяльності. Поза роботою доктор Сан насолоджується балансом між подорожами та проведенням часу з родиною та друзями.

Деррік Чу є старшим архітектором рішень в AWS, який зосереджується на прискоренні переходу клієнтів до хмари та трансформації їхнього бізнесу шляхом впровадження хмарних рішень. Його досвід полягає в розробці додатків повного стеку та машинного навчання. Він допомагає клієнтам розробляти та створювати наскрізні рішення, що охоплюють інтерфейси користувача, додатки IoT, API та інтеграцію даних, а також моделі машинного навчання. У вільний час він любить проводити час із сім’єю та експериментувати з фотографією та відеозйомкою.

Френк Вінклер є старшим архітектором рішень і спеціалістом із генеративного штучного інтелекту в AWS, що базується в Сінгапурі, і спеціалізується на машинному навчанні та генеративному штучному інтелекті. Він співпрацює з глобальними цифровими компаніями, створюючи масштабовані, безпечні та економічно ефективні продукти та послуги на AWS. У вільний час він проводить час із сином і донькою, а також подорожує, щоб насолодитися хвилями країн АСЕАН.

Ніхір Чаддервала є старшим архітектором рішень AI/ML у групі Global Healthcare and Life Sciences. Його досвід полягає у розробці рішень на основі великих даних та штучного інтелекту для вирішення проблем клієнтів, особливо в галузі біомедицини, наук про життя та охорони здоров’я. Він також у захваті від перетину квантової інформатики та штучного інтелекту, йому подобається вчитися та робити внесок у цей простір. У вільний час він любить грати в теніс, подорожувати та вивчати космологію.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://aws.amazon.com/blogs/machine-learning/use-rag-for-drug-discovery-with-knowledge-bases-for-amazon-bedrock/