生成式人工智能 随着组织积极探索其潜在应用,人工智能(AI)获得了巨大的发展动力。随着成功的概念验证过渡到生产,组织越来越需要企业可扩展的解决方案。然而,为了释放这些人工智能驱动的解决方案的长期成功和可行性,至关重要的是使它们与既定的架构原则保持一致。
AWS 架构完善的框架提供了在云中设计和运行可靠、安全、高效且经济高效的系统的最佳实践和指南。出于多种原因,使生成式人工智能应用程序与该框架保持一致至关重要,包括提供可扩展性、维护安全性和隐私、实现可靠性、优化成本和简化运营。对于寻求利用生成人工智能的力量并推动创新的组织来说,接受这些原则至关重要。
这篇文章探讨了新的企业级功能 Amazon Bedrock 上的知识库 以及它们如何与 AWS 架构完善的框架保持一致。借助 Amazon Bedrock 知识库,您可以使用检索增强生成 (RAG) 快速构建应用程序,用于问答、上下文聊天机器人和个性化搜索等用例。
以下是我们将介绍的一些功能:
- AWS CloudFormation 支持
- Amazon OpenSearch Serverless 的专用网络策略
- 多个S3存储桶作为数据源
- 服务配额支持
- 混合搜索、元数据过滤器、自定义提示
RetreiveAndGenerate
API 和最大检索数。
AWS 架构完善的设计原则
使用 Amazon Bedrock 知识库构建的基于 RAG 的应用程序可以从遵循以下规则中受益匪浅: AWS架构完善的框架。该框架有六大支柱,可帮助组织确保其应用程序安全、高性能、有弹性、高效、经济高效和可持续:
- 卓越运营 – 架构完善的原则可简化操作、实现流程自动化,并实现持续监控和改进生成式 AI 应用程序性能。
- 安保行业 – 实施强大的访问控制、加密和监控有助于保护组织知识库中使用的敏感数据,并防止滥用生成式人工智能。
- 值得信赖 – 架构完善的原则指导弹性和容错系统的设计,为用户提供一致的价值交付。
- 性能优化 – 选择适当的资源、实施缓存策略以及主动监控性能指标可确保应用程序提供快速、准确的响应,从而实现最佳性能并增强用户体验。
- 成本优化 – 架构完善的指南有助于优化资源使用、使用节省成本的服务和监控费用,从而实现生成式人工智能项目的长期可行性。
- 永续发展 – 架构完善的原则可促进资源的高效利用并最大限度地减少碳足迹,从而解决日益增长的生成式人工智能使用对环境的影响。
通过与架构完善的框架保持一致,组织可以使用 Amazon Bedrock 知识库有效构建和管理企业级 RAG 应用程序。现在,让我们深入了解 Amazon Bedrock 知识库中推出的新功能。
AWS CloudFormation 支持
对于构建 RAG 应用程序的组织来说,跨不同环境提供高效且有效的操作以及一致的基础架构非常重要。这可以通过实施自动化部署流程等实践来实现。为了实现这一目标,Amazon Bedrock 知识库现在提供以下支持: AWS CloudFormation.
借助 AWS CloudFormation 和 AWS云开发套件 (AWS CDK),您现在可以创建、更新和删除知识库及关联的数据源。采用 AWS CloudFormation 和 AWS CDK 来管理知识库和关联数据源不仅简化了部署流程,而且还促进了对架构完善原则的遵守。通过将操作(应用程序、基础设施)作为代码执行,您可以在多个 AWS 账户和 AWS 区域中提供一致且可靠的部署,并维护版本化和可审核的基础设施配置。
下面是一个示例 JSON 格式的 CloudFormation 脚本 用于在 Amazon Bedrock 中创建和更新知识库:
Type
将知识库指定为顶级模板中的资源。您至少必须指定以下属性:
- 名字 – 指定知识库的名称。
- 角色Arn – 指定 Amazon 资源名称 (ARN) AWS身份和访问管理 (IAM) 角色,有权在知识库上调用 API 操作。有关更多信息,请参阅 为 Amazon Bedrock 的知识库创建服务角色.
- 知识库配置 – 指定知识库的嵌入配置。需要以下子属性:
- Type – 指定值
VECTOR
. - 矢量知识库配置 – 包含有关用于为知识库创建向量嵌入的模型的详细信息。
- Type – 指定值
- 存储配置 – 指定数据源所在向量存储的信息 存储。需要以下子属性:
- Type – 指定您正在使用的矢量存储服务。
- 您还需要选择知识库支持的矢量存储之一,例如 OpenSearchServerless、Pinecone 或 Amazon PostgreSQL,并为所选矢量存储提供配置。
有关所有字段的详细信息以及提供 Amazon Bedrock 知识库支持的各种向量存储的配置,请参阅 AWS::基岩::知识库.
截至撰写本文时,AWS CloudFormation 不支持 Redis Enterprise Cloud 矢量存储。有关最新信息,请参阅上面的文档。
创建知识库后,您需要从以下位置创建数据源: 亚马逊简单存储服务 (Amazon S3) 存储桶,包含您的知识库的文件。它称为 CreateDataSource
和 DeleteDataSource
蜜蜂。
以下是样本 云形成脚本 JSON 格式:
Type
将数据源指定为顶级模板中的资源。您至少必须指定以下属性:
- 名字 – 指定数据源的名称。
- 知识库ID – 指定数据源所属知识库的ID。
- 数据源配置 – 指定有关包含数据源的 S3 存储桶的信息。需要以下子属性:
- Type – 指定值 S3。
- S3配置 – 包含有关包含数据源的 S3 对象的配置的详细信息。
- 矢量摄取配置 – 包含有关如何提取数据源中的文档的详细信息。您需要提供“分块配置”,您可以在其中定义您的分块策略。
- 服务器端加密配置 – 包含服务器端加密的配置,您可以在其中提供用于加密资源的 AWS KMS 密钥的 Amazon 资源名称 (ARN)。
有关在 Amazon Bedrock 中设置数据源的更多信息,请参阅 为您的知识库设置数据源.
注意:创建数据源后无法更改分块配置。
CloudFormation 模板允许您使用基础架构即代码 (IaC) 定义和管理知识库资源。通过自动化知识库的设置和管理,您可以在不同的环境中提供一致的基础架构。这种方法与卓越运营支柱相一致,强调将操作作为代码执行。通过将整个工作负载视为代码,您可以自动化流程、创建一致的事件响应,并最终减少人为错误。
Amazon OpenSearch Serverless 的专用网络策略
对于构建 RAG 应用程序的公司来说,确保数据安全并且网络流量不会进入公共互联网至关重要。为了支持这一点,Amazon Bedrock 知识库现在支持专用网络策略 亚马逊 OpenSearch 无服务器.
Amazon Bedrock 知识库提供了使用 OpenSearch Serverless 作为向量存储的选项。您现在可以访问具有专用网络策略的 OpenSearch Serverless 集合,这进一步增强了 RAG 应用程序的安全状况。为此,您需要创建 OpenSearch Serverless 集合并将其配置为专用网络访问。首先,在集合中创建一个向量索引来存储嵌入。然后,在创建集合时,设置 网络访问设置 至 私做 并指定访问的VPC端点。重要的是,您现在可以提供 专用网络访问 OpenSearch Serverless 专为 Amazon Bedrock 设计的系列。为此,请选择 AWS服务私有访问 并指定 bedrock.amazonaws.com
作为服务。
这种专用网络配置可确保您的嵌入安全存储,并且只能由 Amazon Bedrock 访问,从而增强知识库的整体安全性和隐私性。它与 安全支柱 控制所有层的流量,因为所有网络流量都通过这些设置保留在 AWS 主干网内。
到目前为止,我们已经探索了创建、删除和更新知识库资源的自动化,以及通过 OpenSearch Serverless 的专用网络策略来增强安全性,以安全地存储向量嵌入。现在,让我们了解如何构建更可靠、更全面且成本优化的 RAG 应用程序。
多个S3存储桶作为数据源
Amazon Bedrock 知识库现在支持在单个知识库中添加多个 S3 存储桶作为数据源,包括跨账户访问。这一增强功能允许用户无缝地聚合和使用来自各种来源的信息,从而提高了知识库的全面性和准确性。
主要特点如下:
- 多个 S3 存储桶 – Amazon Bedrock 的知识库现在可以整合来自多个 S3 存储桶的数据,使用户能够轻松组合和使用来自不同来源的信息。此功能促进了数据多样性,并确保相关信息可随时用于基于 RAG 的应用程序。
- 跨账户数据访问 – Amazon Bedrock 知识库支持将 S3 存储桶配置为跨不同账户的数据源。您可以提供必要的凭据来访问这些数据源,从而扩大可纳入其知识库的信息范围。
- 高效的数据管理 – 删除数据源或知识库时,矢量存储中的相关或现有项目将自动删除。此功能可确保知识库保持最新状态且不含过时或不相关的数据,从而保持 RAG 流程的完整性和准确性。
通过支持多个S3桶作为数据源,无需创建多个知识库或冗余数据副本,从而优化成本并促进云财务管理。此外,跨账户访问功能支持弹性架构的开发,与 AWS 架构完善框架的可靠性支柱保持一致,提供高可用性和容错能力。
最近宣布的其他知识库功能
为了进一步增强 RAG 应用程序的可靠性,Amazon Bedrock 知识库现在扩展了对 服务配额。此功能提供单一管理平台来查看应用的 AWS 配额值和使用情况。例如,您现在可以快速访问诸如允许的数量之类的信息RetrieveAndGenerate
每秒 API 请求数。
此功能允许您有效管理资源配额、防止过度配置并限制 API 请求率以保护服务免遭潜在滥用。
您还可以通过使用最近宣布的功能来增强应用程序的性能,例如 混合搜索, 基于元数据的过滤, RetreiveAndGenerate API 的自定义提示以及最大检索次数。这些功能共同提高了生成响应的准确性、相关性和一致性,并与 AWS 架构完善的框架的性能效率支柱保持一致。
Amazon Bedrock 知识库通过使用托管服务和优化资源利用率,与 AWS 架构完善的框架的可持续发展支柱保持一致。作为一项完全托管的服务,Amazon Bedrock 知识库消除了预置、管理和扩展底层基础设施的负担,从而减少了与运营和维护这些资源相关的环境影响。
此外,通过符合 AWS Well-Architected 原则,组织可以以可持续的方式设计和运营其 RAG 应用程序。通过 AWS CloudFormation 实现自动化部署、实施专用网络策略以实现安全数据访问以及使用 OpenSearch Serverless 等高效服务等实践有助于最大限度地减少这些工作负载对环境的影响。
总体而言,Amazon Bedrock 知识库与 AWS 架构完善的框架相结合,使组织能够构建可扩展、安全且可靠的 RAG 应用程序,同时通过高效的资源利用和采用托管服务来优先考虑环境可持续性。
结论
新的企业级功能,例如 AWS CloudFormation 支持、专用网络策略、使用多个 S3 存储桶作为数据源的能力以及对服务配额的支持,让您可以通过知识库轻松构建可扩展、安全且可靠的 RAG 应用程序适用于亚马逊基岩。使用 AWS 托管服务并遵循架构完善的最佳实践,组织可以专注于提供创新的生成式 AI 解决方案,同时提供卓越的运营、强大的安全性和高效的资源利用。当您在 AWS 上构建应用程序时,将 RAG 应用程序与 AWS 架构完善的框架保持一致,可以为构建企业级解决方案奠定坚实的基础,从而在遵守行业标准的同时推动业务价值。
有关其他资源,请参阅以下资源:
关于作者
玛尼哈努加 是一位技术主管 - 生成式 AI 专家、《AWS 上的应用机器学习和高性能计算》一书的作者,以及女性制造业教育基金会董事会成员。她领导计算机视觉、自然语言处理和生成人工智能等各个领域的机器学习项目。她在 AWS re:Invent、Women in Manufacturing West、YouTube 网络研讨会和 GHC 23 等内部和外部会议上发表演讲。在空闲时间,她喜欢沿着海滩长距离跑步。
尼廷优西比乌斯 是 AWS 的高级企业解决方案架构师,在软件工程、企业架构和 AI/ML 方面经验丰富。他对探索生成人工智能的可能性充满热情。他与客户合作,帮助他们在 AWS 平台上构建架构良好的应用程序,并致力于解决技术挑战并协助他们完成云之旅。
帕拉维·纳尔贡德 是 AWS 的首席解决方案架构师。作为云技术推动者,她与客户合作,了解他们的目标和挑战,并提供规范性指导,以利用 AWS 产品实现他们的目标。她对科技领域的女性充满热情,是亚马逊 AI/ML 女性项目的核心成员。她在 AWS re:Invent、AWS 峰会和网络研讨会等内部和外部会议上发表演讲。工作之余,她喜欢志愿服务、园艺、骑自行车和徒步旅行。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/building-scalable-secure-and-reliable-rag-applications-using-knowledge-bases-for-amazon-bedrock/
- :具有
- :是
- :不是
- :在哪里
- $UP
- 100
- 125
- 16
- 23
- 7
- a
- 对,能力--
- 关于
- 以上
- 滥用
- ACCESS
- 无障碍
- 完成
- 账户
- 精准的
- 实现
- 实现
- 横过
- 积极地
- 添加
- 额外
- 解决
- 遵守
- 坚持
- 采用
- 采用
- 后
- 骨料
- AI
- AI供电
- AI / ML
- 对齐
- 对齐
- 对齐
- 所有类型
- 允许
- 允许
- 允许
- 沿
- 还
- Amazon
- 亚马逊网络服务
- an
- 和
- 公布
- 回答
- API
- APIs
- 应用
- 应用领域
- 应用领域
- 应用的
- 的途径
- 适当
- 建筑的
- 架构
- 架构
- 保健
- 人造的
- AS
- 协助
- 协助
- 相关
- At
- 可审核的
- 增强
- 作者
- 自动化
- 自动
- 自动化
- 自动化和干细胞工程
- 可用性
- 可使用
- AWS
- AWS CloudFormation
- AWS re:Invent
- 骨干
- 基地
- 基于
- BE
- 海滩
- 因为
- 得益
- 最佳
- 最佳实践
- 板
- 董事会
- 书
- 建立
- 建筑物
- 建
- 负担
- 商业
- 但是
- by
- 缓存
- 呼叫
- CAN
- 不能
- 能力
- 碳
- 例
- 挑战
- 更改
- 聊天机器人
- 选择
- 密切
- 云端技术
- 云技术
- 码
- 领域展开合作
- 采集
- 收藏
- 统
- 结合
- 结合
- 公司
- 全面
- 一台
- 计算机视觉
- 计算
- 会议
- 配置
- 一贯
- 包含
- 上下文
- 连续
- 贡献
- 控制
- 控制
- 核心
- 价格
- 经济有效
- 成本
- 外壳
- 创建信息图
- 创造
- 资历
- 危急
- 关键
- 习俗
- 合作伙伴
- data
- 数据访问
- 日期
- 专用
- 深
- 深深
- 定义
- 交付
- 交付
- 交货
- 部署
- 部署
- 描述
- 设计
- 设计
- 详情
- 研发支持
- 不同
- 团队介绍
- 潜水
- 多元化
- do
- 文件
- 文件
- 不
- 域名
- 驾驶
- 教育
- 有效
- 只
- 效率
- 高效
- 费力
- 淘汰
- 拥抱
- 强调
- 如虎添翼
- enable
- 推动者
- 使
- 加密
- 加密
- 端点
- 工程师
- 提高
- 增强
- 增强
- 增强
- 加强
- 确保
- 企业
- 企业级
- 整个
- 环境的
- 环境可持续发展
- 环境中
- 故障
- 必要
- 事件
- 例子
- 追求卓越
- 现有
- 扩大
- 开支
- 体验
- 有经验
- 探讨
- 探讨
- 探索
- 扩展
- 外部
- 远
- 高效率
- 专栏
- 特征
- 字段
- 档
- 过滤器
- 金融
- 姓氏:
- 专注焦点
- 以下
- 针对
- 格式
- 基金会
- 骨架
- Free
- 止
- 充分
- 进一步
- 此外
- 获得
- 产生
- 代
- 生成的
- 生成式人工智能
- 给
- 玻璃
- Go
- 理想中
- 非常
- 成长
- 指导
- 指南
- 方针
- 有
- he
- 帮助
- 帮助
- 这里
- 高
- 高绩效
- 创新中心
- How To
- 但是
- HTML
- HTTP
- HTTPS
- 人
- ID
- 身分
- 影响力故事
- 实施
- 重要
- 重要的
- 改善
- 改进
- in
- 包含
- 合并
- 成立
- 增加
- 日益
- 指数
- 行业中的应用:
- 行业标准
- 信息
- 基础设施
- 創新
- 创新
- 诚信
- 内部
- 网络
- 成
- IT
- 项目
- 它的
- 旅程
- JPEG
- JPG
- JSON
- 不停
- 键
- 知识
- 语言
- 最新
- 推出
- 层
- 铅
- 领导
- 信息
- 学习
- 喜欢
- 喜欢
- 极限
- 长
- 长期
- 机
- 机器学习
- 保持
- 维护
- 使
- 制作
- 管理
- 管理
- 颠覆性技术
- 管理的
- 方式
- 制造业
- 最多
- 会员
- 元数据
- 指标
- 最小化
- 滥用
- 模型
- 动力泉源
- 监控
- 更多
- 多
- 必须
- 姓名
- 自然
- 自然语言处理
- 必要
- 需求
- 网络
- 网络流量
- 全新
- 新功能
- 现在
- 数
- 对象
- 目标
- 过时的
- of
- 供品
- 优惠精选
- on
- 一
- 仅由
- 操作
- 操作
- 操作
- 运营
- 最佳
- 追求项目的积极优化
- 附加选项
- or
- 组织
- 学校以外
- 最划算
- 面包
- 多情
- 为
- 性能
- 执行
- 权限
- 个性化你的
- 支柱
- 支柱
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 请
- 政策
- 政策
- 可能性
- 帖子
- PostgreSQL的
- 潜力
- 功率
- 做法
- 防止
- 校长
- 原则
- 优先顺序
- 隐私
- 私立
- 过程
- 过程
- 处理
- 生产
- 项目
- 促进
- 促进
- 促进
- 提示
- 提供
- 提供
- 优
- 国家
- 题
- 快速
- 很快
- 抹布
- 范围
- 价格表
- RE
- 容易
- 原因
- 最近
- 减少
- 减少
- 参考
- 地区
- 有关
- 相关性
- 相应
- 可靠性
- 可靠
- 遗迹
- 去除
- 移除了
- 请求
- 要求
- 必须
- 弹性
- 资源
- 资源
- 回复
- 导致
- 恢复
- 健壮
- 角色
- 运行
- 维护
- 样品
- 可扩展性
- 可扩展性
- 缩放
- 脚本
- 无缝
- 搜索
- 其次
- 安全
- 安全
- 保安
- 看到
- 寻求
- 选择
- 选
- 敏感
- 无服务器
- 服务
- 特色服务
- 集
- 设置
- 设置
- 格局
- 几个
- 她
- 显著
- 简易
- 单
- SIX
- 软件
- 软件工程
- 固体
- 解决方案
- 解决
- 一些
- 来源
- 来源
- 说
- 专家
- 特别是
- 标准
- 存储
- 商店
- 存储
- 商店
- 简单的
- 策略
- 策略
- 精简
- 流线
- 精简
- 串
- 强烈
- 成功
- 成功
- 这样
- 峰会
- SUPPORT
- 支持
- 支持
- 支持
- 肯定
- 永续发展
- 可持续发展
- 产品
- 科技
- 专业技术
- 模板
- 这
- 其
- 他们
- 然后
- 从而
- 博曼
- 他们
- Free Introduction
- 通过
- 次
- 至
- 公差
- 顶级
- 交通
- 过渡
- 治疗
- 类型
- 最终
- 相关
- 理解
- 开锁
- 更新
- 更新
- 用法
- 使用
- 用过的
- 用户
- 用户体验
- 用户
- 运用
- 折扣值
- 价值观
- 各个
- 可行性
- 查看
- 愿景
- we
- 卷筒纸
- Web服务
- 在线研讨会
- 西部
- ,尤其是
- 这
- 而
- 将
- 中
- 女性
- 女性在技术方面
- 工作
- 合作
- 将
- 写作
- 完全
- 您一站式解决方案
- YouTube的
- 和风网