At AWS re:Invent 2023 年,我们宣布全面推出 Amazon Bedrock 知识库。借助 Amazon Bedrock 的知识库,您可以安全地连接基础模型 (FM) 亚马逊基岩 使用完全托管的检索增强生成 (RAG) 模型来访问您的公司数据。
对于基于 RAG 的应用程序,FM 生成的响应的准确性取决于提供给模型的上下文。根据用户查询从向量存储中检索上下文。在最近发布的 Amazon Bedrock 知识库功能中, 混合搜索,您可以将语义搜索与关键字搜索结合起来。但是,在许多情况下,您可能需要检索在定义的时间段内创建的或用某些类别标记的文档。要细化搜索结果,您可以根据文档元数据进行过滤,以提高检索准确性,从而生成更符合您兴趣的相关 FM。
在这篇文章中,我们讨论 Amazon Bedrock 知识库中新的自定义元数据过滤功能,您可以使用该功能通过预先过滤矢量存储中的检索来改进搜索结果。
元数据过滤概述
在元数据过滤发布之前,所有语义相关的块(达到预设最大值)都将作为上下文返回,供 FM 用于生成响应。现在,借助元数据过滤器,您不仅可以检索语义相关的块,还可以根据应用的元数据过滤器和关联值检索这些相关块的明确定义的子集。
借助此功能,您现在可以为知识库中的每个文档提供自定义元数据文件(每个元数据文件最多 10 KB)。您可以对检索应用过滤器,指示矢量存储根据文档元数据进行预过滤,然后搜索相关文档。这样,您就可以控制检索到的文档,尤其是当您的查询不明确时。例如,您可以在不同的上下文中使用具有相似术语的法律文档,或者在不同年份发布的具有相似情节的电影。此外,通过减少正在搜索的块的数量,除了提高准确性之外,您还可以获得性能优势,例如减少 CPU 周期和查询向量存储的成本。
要使用元数据过滤功能,您需要在源数据文件旁边提供与源数据文件同名的元数据文件,并且 .metadata.json
后缀。元数据可以是字符串、数字或布尔值。以下是元数据文件内容的示例:
Amazon Bedrock 知识库的元数据过滤功能已在 AWS 区域美国东部(弗吉尼亚北部)和美国西部(俄勒冈)推出。
以下是元数据过滤的常见用例:
- 一家软件公司的文档聊天机器人 – 这允许用户查找产品信息和故障排除指南。例如,操作系统或应用程序版本的过滤器可以帮助避免检索过时或不相关的文档。
- 组织应用程序的对话式搜索 – 这允许用户搜索文档、看板、会议记录笔录和其他资产。使用工作组、业务部门或项目 ID 上的元数据过滤器,您可以个性化聊天体验并改善协作。例如,“Sphinx 项目的状态和引发的风险是什么”,用户可以在其中过滤特定项目或源类型的文档(例如电子邮件或会议文档)。
- 智能搜索软件开发人员 – 这允许开发人员查找特定版本的信息。对发布版本、文档类型(例如代码、API 参考或问题)的过滤器可以帮助查明相关文档。
解决方案概述
在以下部分中,我们将演示如何准备数据集以用作知识库,然后使用元数据过滤进行查询。您可以使用以下任一方式进行查询 AWS管理控制台 或 SDK。
为 Amazon Bedrock 知识库准备数据集
在这篇文章中,我们使用 样本数据集 关于虚构视频游戏,以说明如何使用 Amazon Bedrock 知识库提取和检索元数据。如果您想使用自己的 AWS 账户进行操作,请下载该文件。
如果要将元数据添加到现有知识库中的文档,请使用预期的文件名和架构创建元数据文件,然后跳到将数据与知识库同步的步骤以开始增量摄取。
在我们的示例数据集中,每个游戏的文档都是一个单独的 CSV 文件(例如, s3://$bucket_name/video_game/$game_id.csv
)以及以下列:
title
, description
, genres
, year
, publisher
, score
每个游戏的元数据都有后缀 .metadata.json
(例如, s3://$bucket_name/video_game/$game_id.csv.metadata.json
)具有以下架构:
为 Amazon Bedrock 创建知识库
有关创建新知识库的说明,请参阅 创建知识库。对于本示例,我们使用以下设置:
- 点击 设置数据源 页面,在 分块策略, 选择 无分块,因为您已经在上一步中预处理了文档。
- 在 嵌入模型 部分中,选择 Titan G1 嵌入 – 文本.
- 在 矢量数据库 部分中,选择 快速创建新的矢量存储。元数据过滤功能适用于所有支持的矢量存储。
将数据集与知识库同步
创建知识库后,您的数据文件和元数据文件位于 亚马逊简单存储服务 (Amazon S3) 存储桶,您可以开始增量摄取。有关说明,请参阅 同步将您的数据源摄取到知识库中.
在 Amazon Bedrock 控制台上使用元数据过滤进行查询
要使用 Amazon Bedrock 控制台上的元数据过滤选项,请完成以下步骤:
- 在 Amazon Bedrock 控制台上,选择 知识库 在导航窗格中。
- 选择您创建的知识库。
- 测试知识库.
- 选择 配置结构图 图标,然后展开 筛选.
- 使用以下格式输入条件:键 = 值(例如,流派 = 策略),然后按 输入.
- 要更改键、值或运算符,请选择条件。
- 继续执行其余条件(例如,(流派 = 策略 AND 年份 >= 2023) OR (评级 >= 9))
- 完成后,在消息框中输入您的查询,然后选择 运行.
对于这篇文章,我们输入查询“2023 年之后发布的具有炫酷图形的策略游戏”。
使用 SDK 进行元数据过滤查询
要使用SDK,首先创建客户端 亚马逊基岩代理 运行:
然后构造过滤器(以下是一些示例):
将过滤器传递给 retrievalConfiguration
的 检索API or 检索并生成 API:
下表列出了一些具有不同元数据过滤条件的响应。
询问 | 元数据过滤 | 检索到的文件 | 观察 |
“一款 2023 年之后发布的具有炫酷画面的策略游戏” | 关闭 |
* 维京传奇:海袭者,年份:2023,类型:策略 * 中世纪城堡:围攻与征服,年份:2022, 类型: 策略 * 控制论革命:机器的崛起,年份:2022, 类型: 策略 |
2/5 游戏满足条件(类型 = 策略且年份 >= 2023) |
On | * 维京传奇:海袭者,年份:2023,类型:策略 * 幻想王国:艾尔多利亚编年史,年份:2023,类型:策略 |
2/2 游戏满足条件(类型 = 策略且年份 >= 2023) |
除了自定义元数据之外,您还可以使用 S3 前缀进行过滤(这是内置元数据,因此您不需要提供任何元数据文件)。例如,如果您按发行商将游戏文档组织成前缀(例如, s3://$bucket_name/video_game/$publisher/$game_id.csv
),您可以使用特定发布者进行过滤(例如, neo_tokyo_games
) 使用以下语法:
清理
要清理您的资源,请完成以下步骤:
- 删除知识库:
- 在 Amazon Bedrock 控制台上,选择 知识库 下 编曲配置 在导航窗格中。
- 选择您创建的知识库。
- 注意 AWS身份和访问管理 (IAM) 中的服务角色名称 知识库概述 部分。
- 在 矢量数据库 部分,记下集合 ARN。
- 删除,然后输入删除进行确认。
- 删除矢量数据库:
- 点击 亚马逊开放搜索服务 控制台,选择 系列 下 无服务器 在导航窗格中。
- 输入您在搜索栏中保存的集合 ARN。
- 选择集合并选择 删除.
- 在确认提示中输入confirm,然后选择 删除.
- 删除 IAM 服务角色:
- 在IAM控制台上,选择 角色 在导航窗格中。
- 搜索您之前记下的角色名称。
- 选择角色并选择 删除.
- 在确认提示中输入角色名称并删除角色。
- 删除样本数据集:
- 在 Amazon S3 控制台上,导航到您使用的 S3 存储桶。
- 选择前缀和文件,然后选择 删除.
- 在确认提示中输入永久删除即可删除。
结论
在这篇文章中,我们介绍了 Amazon Bedrock 知识库中的元数据过滤功能。您学习了如何向文档添加自定义元数据并将其用作过滤器,同时使用 Amazon Bedrock 控制台和开发工具包检索和查询文档。这有助于提高上下文准确性,使查询响应更加相关,同时降低查询矢量数据库的成本。
有关其他资源,请参阅以下资源:
作者简介
乌鸦座李 是驻伦敦的 GenAI Labs 高级解决方案架构师。他热衷于设计和开发使用生成式人工智能解决客户问题的原型。他还通过将生成人工智能和检索技术应用到现实场景中来跟上它们的最新发展。
艾哈迈德·尤维斯 是 AWS GenAI 实验室的高级解决方案架构师,帮助客户构建生成式 AI 原型来解决业务问题。当不与顾客合作时,他喜欢和孩子们一起玩耍和做饭。
克里斯·佩科拉 是 Amazon Web Services 的生成人工智能数据科学家。他热衷于构建创新产品和解决方案,同时也专注于以客户为中心的科学。当不进行实验和了解 GenAI 的最新发展时,他喜欢与孩子们共度时光。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-for-amazon-bedrock-now-supports-metadata-filtering-to-improve-retrieval-accuracy/
- :具有
- :是
- :不是
- :在哪里
- $UP
- 10
- 100
- 12
- 14
- 150
- 19
- 2016
- 2023
- 28
- 500
- 7
- 9
- a
- 关于
- ACCESS
- 账号管理
- 实现
- 加
- 增加
- 额外
- 优点
- 后
- AI
- 人工智能数据
- 对齐的
- 所有类型
- 允许
- 沿
- 靠
- 已经
- 还
- Amazon
- 亚马逊网络服务
- an
- 和
- 公布
- 任何
- API
- 应用领域
- 应用领域
- 应用的
- 使用
- 应用
- 保健
- AS
- 办公室文员:
- 相关
- At
- 增强
- 可用性
- 可使用
- 避免
- AWS
- 酒吧
- 基地
- 基于
- BE
- 因为
- 作为
- 盒子
- 建立
- 建筑物
- 内建的
- 商业
- 但是
- by
- CAN
- 例
- 类别
- 一定
- 更改
- 即时通话
- 聊天机器人
- 选择
- 清洁
- 客户
- 发条装置
- 码
- 合作
- 合作
- 采集
- 列
- 结合
- 相当常见
- 公司
- 完成
- 流程条件
- 条件
- 确认
- 确认
- 分享链接
- 安慰
- 建设
- 内容
- 上下文
- 上下文
- 控制
- Cool
- 价格
- 覆盖
- 创建信息图
- 创建
- 习俗
- 顾客
- 合作伙伴
- 周期
- data
- 数据科学家
- 数据库
- 定义
- 演示
- 依赖
- 设计
- 开发
- 发展
- 发展
- 不同
- 讨论
- 文件
- 文件
- 别
- 下载
- 每
- 此前
- 东部
- 或
- 邮箱地址
- 输入
- 等于
- 特别
- 前夕
- 甚至
- 例子
- 例子
- 现有
- 扩大
- 预期
- 体验
- 实验
- 幻想
- 专栏
- 少数
- 虚构
- 文件
- 档
- 过滤
- 过滤
- 过滤器
- 找到最适合您的地方
- 姓氏:
- 聚焦
- 遵循
- 以下
- 针对
- 格式
- 基金会
- 止
- 充分
- g1
- 游戏
- Games
- Genai
- 其他咨询
- 生成
- 产生
- 代
- 代
- 生成的
- 生成式人工智能
- 流派
- 图形
- 组的
- 指南
- 有
- he
- 帮助
- 帮助
- 帮助
- 他的
- 创新中心
- How To
- 但是
- HTML
- HTTP
- HTTPS
- ID
- 身分
- IDS
- if
- 说明
- 改善
- 改进
- in
- 增量
- 信息
- 创新
- 说明
- 利益
- 成
- 问题
- JPG
- 保持
- 保持
- 键
- 孩子们
- 知识
- 实验室
- 最新
- 最新发展
- 信息
- 知道
- 法律咨询
- 喜欢
- 书单
- 伦敦
- 看
- 爱
- 机
- 制作
- 管理
- 颠覆性技术
- 许多
- 最多
- 可能..
- 中世纪
- 满足
- 会议
- 的话
- 元数据
- 模型
- 模型
- 更多
- 电影
- 姓名
- 导航
- 旅游导航
- 需求
- 全新
- 忍者
- 注意
- 注意到
- 现在
- 数
- 过时的
- of
- on
- 仅由
- 操作
- 操作系统
- 操作者
- 附加选项
- or
- 俄勒冈
- 其他名称
- 我们的
- 超过
- 己
- 页
- 面包
- 多情
- 性能
- 期间
- 永久
- 个性化
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 播放
- 情节
- 帖子
- Prepare
- express
- 以前
- 问题
- 产品
- 产品信息
- 热销产品
- 项目
- 原型
- 提供
- 提供
- 发行人
- 查询
- 询问
- 抹布
- 凸
- 等级
- RE
- 真实的世界
- 最近
- 了解
- 减少
- 减少
- 参考
- 参考
- 提炼
- 地区
- 释放
- 发布
- 相应
- 其余
- 资源
- 响应
- 回复
- 成果
- 恢复
- 革命
- 上升
- 风险
- 角色
- 运行
- 运行
- 传奇
- 同
- 样品
- 样本数据集
- 保存
- 情景
- 科学
- 科学家
- 得分了
- SDK
- SEA
- 搜索
- 部分
- 部分
- 安全
- 看到
- 选择
- 语义
- 前辈
- 分开
- 服务
- 特色服务
- 设置
- 类似
- 简易
- 情况
- So
- 软件
- 解决方案
- 解决
- 一些
- 来源
- 来源
- 具体的
- 花费
- 开始
- Status
- 步
- 步骤
- 存储
- 商店
- 商店
- 策略
- 串
- 这样
- 供应
- 支持
- 支持
- 同步。
- 句法
- 系统
- 表
- 行李牌
- 采取
- 团队
- 技术
- 条款
- 这
- 他们
- 然后
- Free Introduction
- 那些
- 通过
- 次
- 至
- 转
- 类型
- 下
- 单位
- us
- 使用
- 用过的
- 用户
- 用户
- 运用
- 折扣值
- 价值观
- 版本
- 视频
- 视频游戏
- 弗吉尼亚州
- 想
- 方法..
- we
- 卷筒纸
- Web服务
- 定义明确
- 西部
- ,尤其是
- 这
- 而
- 工作
- 将
- 年
- 年
- 完全
- 您一站式解决方案
- 和风网
- 压缩