Используйте RAG для поиска лекарств с помощью баз знаний для Amazon Bedrock | Веб-сервисы Amazon

Коренная порода Амазонки предоставляет широкий спектр моделей от Amazon и сторонних поставщиков, включая Anthropic, AI21, Meta, Cohere и Stability AI, и охватывает широкий спектр вариантов использования, включая генерацию текста и изображений, встраивание, чат, агентов высокого уровня. с рассуждением и оркестровкой и многим другим. Базы знаний для Amazon Bedrock позволяет создавать производительные и настраиваемые приложения дополненной генерации данных (RAG) на основе AWS и сторонних векторных хранилищ, используя как модели AWS, так и сторонние модели. Базы знаний для Amazon Bedrock автоматизируют синхронизацию ваших данных с вашим векторным хранилищем, включая сравнение данных при их обновлении, загрузку документов и фрагментирование, а также семантическое внедрение. Это позволяет вам легко настраивать подсказки RAG и стратегии поиска — мы указываем источник и автоматически управляем памятью. Базы знаний полностью бессерверны, поэтому вам не нужно управлять какой-либо инфраструктурой, а при использовании баз знаний вы платите только за используемые модели, векторные базы данных и хранилище.

RAG — это популярный метод, сочетающий использование частных данных с большими языковыми моделями (LLM). RAG начинается с начального шага по извлечению соответствующих документов из хранилища данных (чаще всего векторного индекса) на основе запроса пользователя. Затем он использует языковую модель для генерации ответа, учитывая как полученные документы, так и исходный запрос.

В этом посте мы демонстрируем, как построить рабочий процесс RAG с использованием баз знаний для Amazon Bedrock для сценария использования по поиску лекарств.

Обзор баз знаний для Amazon Bedrock

Базы знаний для Amazon Bedrock поддерживают широкий спектр распространенных типов файлов, включая .txt, .docx, .pdf, .csv и другие. Чтобы обеспечить эффективное извлечение личных данных, общепринятой практикой является сначала разделить эти документы на управляемые фрагменты. В базах знаний реализована стратегия разбивки по умолчанию, которая хорошо работает в большинстве случаев и позволяет вам быстрее приступить к работе. Если вам нужен больший контроль, базы знаний позволяют вам управлять стратегией фрагментирования с помощью набора предварительно настроенных параметров. Вы можете контролировать максимальный размер токена и степень перекрытия между фрагментами, чтобы обеспечить согласованный контекст для внедрения. Базы знаний для Amazon Bedrock управляет процессом синхронизации данных с вашего Простой сервис хранения Amazon (Amazon S3), разбивает его на более мелкие фрагменты, генерирует векторные внедрения и сохраняет их в векторном индексе. Этот процесс включает в себя интеллектуальное сравнение, пропускную способность и управление сбоями.

Во время выполнения модель внедрения используется для преобразования запроса пользователя в вектор. Затем индекс вектора запрашивается для поиска документов, аналогичных запросу пользователя, путем сравнения векторов документов с вектором запроса пользователя. На последнем этапе семантически схожие документы, полученные из векторного индекса, добавляются в качестве контекста для исходного пользовательского запроса. При формировании ответа для пользователя в текстовой модели запрашиваются семантически схожие документы вместе с указанием источника для отслеживания.

Базы знаний для Amazon Bedrock поддерживают несколько векторных баз данных, в том числе Amazon OpenSearch без сервера, Амазон Аврора, Pinecone и Redis Enterprise Cloud. API-интерфейсы Retieve и RetriveAndGenerate позволяют вашим приложениям напрямую запрашивать индекс, используя унифицированный и стандартный синтаксис, без необходимости изучать отдельные API-интерфейсы для каждой отдельной базы данных векторов, что снижает необходимость в написании пользовательских индексных запросов к вашему хранилищу векторов. API получения принимает входящий запрос, преобразует его в вектор внедрения и запрашивает внутреннее хранилище, используя алгоритмы, настроенные на уровне базы данных векторов; API RetvieveAndGenerate использует настроенный пользователем LLM, предоставленный Amazon Bedrock, и генерирует окончательный ответ на естественном языке. Встроенная поддержка отслеживания информирует запрашивающее приложение об источниках, использованных для ответа на вопрос. Для корпоративных реализаций базы знаний поддерживают Служба управления ключами AWS (AWS KMS) шифрование, AWS CloudTrail интеграция и многое другое.

В следующих разделах мы покажем, как построить рабочий процесс RAG с использованием баз знаний для Amazon Bedrock, поддерживаемых бессерверным векторным механизмом OpenSearch, для анализа неструктурированного набора данных клинических испытаний для сценария использования для поиска лекарств. Эти данные богаты информацией, но могут быть крайне разнородными. Правильное обращение со специализированной терминологией и концепциями в различных форматах имеет важное значение для обнаружения идей и обеспечения аналитической целостности. Благодаря базам знаний для Amazon Bedrock вы можете получить доступ к подробной информации с помощью простых и естественных запросов.

Создайте базу знаний для Amazon Bedrock.

В этом разделе мы демонстрируем процесс создания базы знаний для Amazon Bedrock через консоль. Выполните следующие шаги:

1. На консоли Amazon Bedrock в разделе оркестровка на панели навигации выберите База знаний.
2. Выберите Создать базу знаний.

3. В Подробности базы знаний раздел введите имя и необязательное описание.
4. В IAM-разрешения раздел, выберите Создайте и используйте новую роль службы.
5. Что касается Роль имени службы, введите имя своей роли, которое должно начинаться с AmazonBedrockExecutionRoleForKnowledgeBase_.
6. Выберите Следующая.

7. В Источник данных введите имя источника данных и URI S3, в котором находится набор данных. Базы знаний поддерживают следующие форматы файлов:
   • Обычный текст (.txt)
   • Уценка (.md)
   • Язык разметки гипертекста (.html)
   • Документ Microsoft Word (.doc/.docx)
   • Значения, разделенные запятыми (.csv)
   • Таблица Microsoft Excel (.xls/.xlsx)
   • Формат переносимого документа (.pdf)

8. Под Дополнительные настройки¸ выберите предпочтительную стратегию разбиения на фрагменты (для этого поста мы выбираем Фиксированный размер фрагментов) и укажите размер фрагмента и наложение в процентах. Альтернативно вы можете использовать настройки по умолчанию.
9. Выберите Следующая.

10. В Модель вложений выберите модель Titan Embeddings из Amazon Bedrock.
11. В База данных векторов раздел, выберите Быстрое создание нового векторного хранилища, который управляет процессом настройки векторного хранилища.
12. Выберите Следующая.

13. Просмотрите настройки и выберите Создать базу знаний.

14. Дождитесь завершения создания базы знаний и подтвердите, что ее статус Готовый.
15. В Источник данных разделе, либо на баннере вверху страницы, либо во всплывающем окне в тестовом окне выберите Синхронизация чтобы запустить процесс загрузки данных из корзины S3, разбить их на фрагменты указанного вами размера, создать векторные внедрения с использованием выбранной модели внедрения текста и сохранить их в векторном хранилище, управляемом базами знаний для Amazon Bedrock.

Функция синхронизации поддерживает прием, обновление и удаление документов из векторного индекса на основе изменений документов в Amazon S3. Вы также можете использовать StartIngestionJob API для запуска синхронизации через AWS SDK.

Когда синхронизация завершена, в истории синхронизации отображается статус. Завершено.

Запросить базу знаний

В этом разделе мы покажем, как получить доступ к подробной информации в базе знаний с помощью простых и естественных запросов. Мы используем неструктурированный синтетический набор данных, состоящий из файлов PDF, количество страниц каждого из которых варьируется от 10 до 100 страниц, имитируя план клинических испытаний предлагаемого нового лекарства, включая методы статистического анализа и формы согласия участников. Мы используем базы знаний Amazon Bedrock. retrieve_and_generate и retrieve API с Интеграция Amazon Bedrock с LangChain.

Прежде чем вы сможете писать сценарии, использующие API Amazon Bedrock, вам необходимо установить соответствующую версию AWS SDK в вашей среде. Для скриптов Python это будет AWS SDK для Python (Boto3):

pip install langchain
pip install boto3

Кроме того, включите доступ к модели Amazon Titan Embeddings и Anthropic Claude v2 или v1. Для получения дополнительной информации см. Доступ к модели.

Создавайте вопросы с помощью Amazon Bedrock

Мы можем использовать Anthropic Claude 2.1 для Amazon Bedrock, чтобы предложить список вопросов, которые следует задать в наборе данных клинических испытаний:

import boto3
from langchain.llms.bedrock import Bedrock

bedrock_client = boto3.client("bedrock-runtime")

# Start with the query
prompt = "For medical research trial consent forms to sign, what are the top 5 questions can be asked?"

claude_llm = Bedrock(
    model_id="anthropic.claude-v2:1",
    model_kwargs={"temperature": 0, "top_k": 10, "max_tokens_to_sample": 3000},
    client=bedrock_client,
)

# Provide the prompt to the LLM to generate an answer to the query without any additional context provided
response = claude_llm(prompt)
questions = [
    item.split(".")[1].strip() for item in response.strip().split("nn")[1:-1]
]
questions
>>> answer:
'What is the purpose of the study? Make sure you understand the goals of the research and what the study procedures will entail',
'What are the risks and potential benefits? The form should explain all foreseeable risks, side effects, or discomforts you might experience from participating',
'What will participation involve? Get details on what tests, medications, lifestyle changes, or procedures you will go through, how much time it will take, and how long the study will last',
'Are there any costs or payments? Ask if you will be responsible for any costs related to the study or get paid for participating',
'How will my privacy be protected? The form should explain how your personal health information will be kept confidential before, during, and after the trial'

Используйте API Amazon Bedrock RetievAndGenerate.

Для полноценного управления RAG вы можете использовать собственные базы знаний для Amazon Bedrock. RetrieveAndGenerate API для получения ответов напрямую:

bedrock_agent_client = boto3.client("bedrock-agent-runtime")

kb_id = "<YOUR_KNOWLEDGE_BASE_ID>"

def retrieveAndGenerate(
    input: str,
    kbId: str,
    region: str = "us-east-1",
    sessionId: str = None,
    model_id: str = "anthropic.claude-v2:1",
):
    model_arn = f"arn:aws:bedrock:{region}::foundation-model/{model_id}"

    if sessionId:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
            sessionId=sessionId,
        )

    else:
        return bedrock_agent_client.retrieve_and_generate(
            input={"text": input},
            retrieveAndGenerateConfiguration={
                "type": "KNOWLEDGE_BASE",
                "knowledgeBaseConfiguration": {
                    "knowledgeBaseId": kbId,
                    "modelArn": model_arn,
                },
            },
        )

response = retrieveAndGenerate(
    "What are the potential risks and benefits of participating?", kb_id
)

generated_text = response["output"]["text"]
>>> "The potential risks include side effects from the study medication lithium such as nausea, loose stools, thirst, urination changes, shakiness, headaches, sweating, fatigue, decreased concentration, and skin rash. There is also a risk of lithium interaction with other medications. For women, there is a risk of birth defects if lithium is taken during pregnancy. There are no guaranteed benefits, but possible benefits include new information that could help the participant from the interviews and tests conducted during the study."

Цитируемый источник информации можно получить с помощью следующего кода (некоторые выходные данные отредактированы для краткости):

response["citations"]

>>> [
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " The potential risks include side effects from the study...",
                "span": {"start": 0, "end": 361},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "590 ICF#2 Page 7 of 19 The primary risks and discomforts of participation…"
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
            {
                "content": {
                    "text": "N/A CSP 590 ICF#2 Page 10 of 19 Risks associated with suddenly stopping study medications..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            },
        ],
    },
    {
        "generatedResponsePart": {
            "textResponsePart": {
                "text": " There are no guaranteed benefits, but possible benefits include...",
                "span": {"start": 363, "end": 531},
            }
        },
        "retrievedReferences": [
            {
                "content": {
                    "text": "research, not usual clinical care. After these are done we ask..."
                },
                "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
            }
        ],
    },
]

Передавая идентификатор сеанса RetrieveAndGenerate API, вы можете сохранить контекст разговора и задавать дополнительные вопросы. Например, без контекста, если вы запросите более подробную информацию из предыдущего ответа, возможно, он не сможет ответить правильно:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=None)["output"]["text"]
>>> "The search results do not provide additional details about the mild nausea side effect that would allow me to elaborate further on it."

Но, передавая идентификатор сеанса, конвейер RAG может идентифицировать соответствующий контекст и возвращать соответствующие ответы:

retrieveAndGenerate("elaborate more on the first side effect", kb_id, sessionId=response["sessionId"])["output"]["text"]
>>> "The search results provide details that nausea from taking lithium is usually mild and goes away after days or weeks for most people. Specifically, up to 75% of people may experience mild nausea when first starting lithium, but this goes away in 90-99% of people who continue taking it."

В следующей таблице показаны полученные ответы на все соответствующие вопросы.

Запрос с использованием API Amazon Bedrock Retrieve

Чтобы настроить рабочий процесс RAG, вы можете использовать API получения для получения соответствующих фрагментов на основе вашего запроса и передачи их в любой LLM, предоставленный Amazon Bedrock. Чтобы использовать API получения, определите его следующим образом:

def retrieve(query: str, kbId: str, numberOfResults: int = 5):
    return bedrock_agent_client.retrieve(
        retrievalQuery={"text": query},
        knowledgeBaseId=kbId,
        retrievalConfiguration={
            "vectorSearchConfiguration": {"numberOfResults": numberOfResults}
        },
    )

Получите соответствующий контекст (при этом часть вывода отредактирована для краткости):

query = "What is the purpose of the medical research study?"
response = retrieve(query, kb_id, 3)
retrievalResults = response["retrievalResults"]
>>> [
    {
        "content": {"text": "You will not be charged for any procedures that..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXXX/XXXX.pdf"}},
        "score": 0.6552521,
    },
    {
        "content": {"text": "and possible benefits of the study. You have been..."},
        "location": {"type": "S3", "s3Location": {"uri": "s3://XXXX/XXXX.pdf"}},
        "score": 0.6581577,
    },
    ...,
]

Извлеките контекст шаблона приглашения:

def get_contexts(retrievalResults):
    contexts = []
    for retrievedResult in retrievalResults:
        contexts.append(retrievedResult["content"]["text"])
    return " ".join(contexts)

contexts = get_contexts(retrievalResults)

Импортируйте модули Python и настройте контекстный шаблон подсказки для ответа на вопрос, а затем сгенерируйте окончательный ответ:

from langchain.prompts import PromptTemplate

PROMPT_TEMPLATE = """
Human: You are an AI system working on medical trial research, and provides answers to questions 
by using fact based and statistical information when possible.
Use the following pieces of information to provide a concise answer to the question enclosed in <question> tags.
If you don't know the answer, just say that you don't know, don't try to make up an answer.

<context>
{context_str}
</context>

<question>
{query_str}
</question>

The response should be specific and use statistics or numbers when possible.

Assistant:"""

claude_prompt = PromptTemplate(
    template=PROMPT_TEMPLATE, input_variables=["context_str", "query_str"]
)

prompt = claude_prompt.format(context_str=contexts, query_str=query)
response = claude_llm(prompt)
>>> "Based on the context provided, the purpose of this medical research study is to evaluate the efficacy of lithium compared to a placebo in preventing suicide over a 1 year period. Specifically, participants will be randomly assigned to receive either lithium or a placebo pill for 1 year, with their doctors and the participants themselves not knowing which treatment they receive (double-blind). Blood lithium levels will be monitored and doses adjusted over the first 6-8 visits, then participants will be followed monthly for 1 year to assess outcomes."

Запрос с использованием интеграции Amazon Bedrock LangChain

Для создания комплексного настраиваемого приложения вопросов и ответов Базы знаний для Amazon Bedrock обеспечивают интеграцию с LangChain. Чтобы настроить ретривер LangChain, укажите идентификатор базы знаний и укажите количество результатов, возвращаемых по запросу:

from langchain.retrievers.bedrock import AmazonKnowledgeBasesRetriever

retriever = AmazonKnowledgeBasesRetriever(
    knowledge_base_id=kb_id,
    retrieval_config={"vectorSearchConfiguration": {"numberOfResults": 4}},
)

Теперь настроим LangChain RetrivalQA и сгенерируем ответы из базы знаний:

from langchain.chains import RetrievalQA

qa = RetrievalQA.from_chain_type(
    llm=claude_llm,
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": claude_prompt},
)

[qa(q)["result"] for q in questions]

Это приведет к генерации соответствующих ответов, аналогичных тем, которые перечислены в предыдущей таблице.

Убирать

Обязательно удалите следующие ресурсы, чтобы избежать дополнительных расходов:

Заключение

Amazon Bedrock предоставляет широкий набор глубоко интегрированных сервисов для поддержки приложений RAG всех масштабов, что упрощает начало анализа данных вашей компании. Базы знаний для Amazon Bedrock интегрируются с базовыми моделями Amazon Bedrock для создания масштабируемых конвейеров внедрения документов и служб извлечения документов для поддержки широкого спектра внутренних и клиентских приложений. Мы с нетерпением ждем будущего, и ваши отзывы будут играть жизненно важную роль в развитии этого продукта. Дополнительную информацию о возможностях Amazon Bedrock и базах знаний см. База знаний для Amazon Bedrock.

Об авторах

Марк Рой является главным архитектором машинного обучения в AWS, помогая клиентам разрабатывать и создавать решения AI/ML. Работа Марка охватывает широкий спектр вариантов использования машинного обучения, в первую очередь интересуясь компьютерным зрением, глубоким обучением и масштабированием машинного обучения на предприятии. Он помогал компаниям во многих отраслях, включая страхование, финансовые услуги, средства массовой информации и развлечения, здравоохранение, коммунальные услуги и производство. Марк имеет шесть сертификатов AWS, в том числе сертификат ML Specialty. До прихода в AWS Марк был архитектором, разработчиком и руководителем технологий более 25 лет, в том числе 19 лет в сфере финансовых услуг.

Мани Хануджа — технический руководитель отдела генеративного искусственного интеллекта, автор книги «Прикладное машинное обучение и высокопроизводительные вычисления на AWS», а также член совета директоров Фонда образования женщин в производстве. Она возглавляет проекты машинного обучения (ML) в различных областях, таких как компьютерное зрение, обработка естественного языка и генеративный искусственный интеллект. Она помогает клиентам создавать, обучать и развертывать большие модели машинного обучения в любом масштабе. Она выступает на внутренних и внешних конференциях, таких как re:Invent, Women in Manufacturing West, вебинарах YouTube и GHC 23. В свободное время она любит совершать длительные пробежки по пляжу.

Доктор Байчуань Сунь, в настоящее время работает старшим архитектором решений AI/ML в AWS, специализируется на генеративном искусственном интеллекте и применяет свои знания в области науки о данных и машинного обучения для предоставления практических облачных бизнес-решений. Имея опыт в управленческом консалтинге и архитектуре решений искусственного интеллекта, он решает ряд сложных задач, включая, среди прочего, робототехническое компьютерное зрение, прогнозирование временных рядов и профилактическое обслуживание. Его работа основана на солидном опыте управления проектами, исследованиях и разработках программного обеспечения и академической деятельности. Вне работы доктор Сан любит путешествовать и проводить время с семьей и друзьями.

Деррик Чу — старший архитектор решений в AWS, занимающийся ускорением перехода клиентов в облако и преобразованием их бизнеса за счет внедрения облачных решений. Его опыт заключается в разработке полнофункциональных приложений и машинного обучения. Он помогает клиентам проектировать и создавать комплексные решения, охватывающие интерфейсы пользователя, приложения IoT, интеграцию API и данных, а также модели машинного обучения. В свободное время он любит проводить время со своей семьей и экспериментировать с фотографией и видеосъемкой.

Фрэнк Винклер — старший архитектор решений и специалист по генеративному искусственному интеллекту в AWS в Сингапуре, специализирующийся на машинном обучении и генеративном искусственном интеллекте. Он сотрудничает с глобальными цифровыми компаниями, разрабатывая масштабируемые, безопасные и экономичные продукты и услуги на AWS. В свободное время он проводит время с сыном и дочерью, а также путешествует, чтобы насладиться волнами по АСЕАН.

Нихир Чаддервала — старший архитектор решений искусственного интеллекта и машинного обучения в команде глобального здравоохранения и медико-биологических наук. Его опыт заключается в создании решений на основе больших данных и искусственного интеллекта для решения проблем клиентов, особенно в области биомедицины, медико-биологических наук и здравоохранения. Его также воодушевляет пересечение квантовой информатики и искусственного интеллекта, ему нравится учиться и вносить свой вклад в эту область. В свободное время он любит играть в теннис, путешествовать и изучать космологию.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://aws.amazon.com/blogs/machine-learning/use-rag-for-drug-discovery-with-knowledge-bases-for-amazon-bedrock/