围绕大型语言模型 (LLM) 构建的生成人工智能 (AI) 应用程序已经证明了为企业创造和加速经济价值的潜力。应用示例包括 对话式搜索, 客户支持代理协助, 客户支持分析, 自助虚拟助理, 聊天机器人, 富媒体一代, 内容审核, 编码伴侣可加速安全、高性能的软件开发, 来自多模式内容源的更深入见解, 加速组织的安全调查和缓解措施, 以及更多。许多客户在开发生成式人工智能应用程序时正在寻求有关如何管理安全性、隐私和合规性的指导。了解并解决设计和架构阶段的 LLM 漏洞、威胁和风险,有助于团队专注于最大化生成式 AI 带来的经济和生产力优势。了解风险可以增强生成式人工智能应用程序的透明度和信任,鼓励提高可观察性,有助于满足合规性要求,并促进领导者做出明智的决策。
这篇文章的目标是让 AI 和机器学习 (ML) 工程师、数据科学家、解决方案架构师、安全团队和其他利益相关者拥有一个通用的思维模型和框架来应用安全最佳实践,从而使 AI/ML 团队能够采取行动快速,无需牺牲安全性来换取速度。具体来说,这篇文章旨在帮助以前可能没有接触过安全原则的人工智能/机器学习和数据科学家在使用法学硕士开发生成式人工智能应用程序的背景下了解核心安全和隐私最佳实践。我们还讨论了可能破坏人工智能信任的常见安全问题,正如 开放式全球应用程序安全项目 (OWASP) LLM 应用程序前 10 名,并展示如何使用 AWS 来增强安全态势和信心,同时利用生成式 AI 进行创新。
这篇文章提供了三个指导步骤,用于在使用法学硕士开发生成式人工智能应用程序时构建风险管理策略。我们首先深入研究 LLM 解决方案的实施、部署和使用中出现的漏洞、威胁和风险,并就如何在考虑安全的情况下开始创新提供指导。然后我们讨论建立在安全基础上对于生成式人工智能至关重要。最后,我们将它们与示例 LLM 工作负载连接起来,以描述跨信任边界构建深度防御安全性的方法。
在这篇文章的最后, AI/ML 工程师、数据科学家和具有安全意识的技术人员将能够确定为其生成式 AI 应用程序构建分层防御的策略,了解如何将 OWASP Top 10 的 LLM 安全问题映射到一些相应的控制措施,并构建基础知识回答有关其应用程序的以下主要 AWS 客户问题主题:
- 在我的应用程序中使用基于 LLM 的生成式 AI 会带来哪些常见的安全和隐私风险,而本指南对我影响最大?
- 在 AWS 上的生成式 AI LLM 应用程序的开发生命周期中实施安全和隐私控制的方法有哪些?
- 我可以将哪些运营和技术最佳实践融入到我的组织构建生成式 AI LLM 应用程序中,以管理风险并增强对使用 LLM 的生成式 AI 应用程序的信心?
在开发生成式人工智能的同时改善安全结果
使用法学硕士进行生成式人工智能创新需要从安全性入手,以培养组织的弹性,建立安全的基础,并将安全性与纵深防御安全方法相结合。安全是一个 共同责任 AWS 和 AWS 客户之间。 AWS 责任共担模型的所有原则都适用于生成式 AI 解决方案。在构建 LLM 解决方案时,刷新您对 AWS 责任共担模型的理解,因为它适用于基础设施、服务和数据。
从安全入手,培养组织弹性
从安全性开始,培养组织的弹性,以开发满足您的安全性和合规性目标的生成式 AI 应用程序。组织弹性利用并扩展了 AWS 架构完善的框架中弹性的定义 包括并为组织从中断中恢复的能力做好准备。在评估与法学硕士一起开发生成式人工智能的总体准备情况以及您的组织对任何潜在影响的适应能力时,请考虑您的安全状况、治理和卓越运营。随着您的组织推进对生成式人工智能和法学硕士等新兴技术的使用,整体组织弹性应被视为分层防御策略的基石,以保护资产和业务线免受意外后果的影响。
组织弹性对于法学硕士申请至关重要
尽管所有风险管理计划都可以从弹性中受益,但组织弹性对于生成式人工智能至关重要。 OWASP 确定的 LLM 申请的十大风险中有五个依赖于定义架构和操作控制并在组织范围内实施它们以管理风险。这五种风险是不安全的输出处理、供应链漏洞、敏感信息泄露、过度代理和过度依赖。通过让您的团队进行社交活动,将 AI、ML 和生成式 AI 安全性视为核心业务需求和产品整个生命周期(从想法的产生、研究到应用程序的开发、部署和部署)的首要任务,开始提高组织的弹性。使用。除了意识之外,您的团队还应该采取行动,在治理、保证和合规性验证实践中考虑生成式 AI。
围绕生成式人工智能建立组织弹性
组织可以开始采取各种方法来构建组织内的 AI/ML 和生成式 AI 安全能力。您应该首先扩展现有的安全、保证、合规性和开发计划以考虑生成式人工智能。
以下是组织人工智能、机器学习和生成人工智能安全感兴趣的五个关键领域:
- 了解 AI/ML 安全形势
- 在安全策略中纳入不同的观点
- 积极采取行动确保研发活动的安全
- 使激励措施与组织成果保持一致
- 为 AI/ML 和生成式 AI 中的现实安全场景做好准备
在整个生成式 AI 生命周期中开发威胁模型
使用生成式人工智能进行构建的组织应重点关注风险管理,而不是风险消除,并包括 威胁建模 在和 业务连续性计划 生成型人工智能工作负载的规划、开发和运营。通过使用传统安全风险和生成式人工智能特定风险为每个应用程序开发威胁模型,从生成式人工智能的生产使用中逆向工作。有些风险可能是您的企业可以接受的,威胁建模练习可以帮助您的公司确定您可以接受的风险偏好。例如,您的企业可能不需要生成式 AI 应用程序具有 99.999% 的正常运行时间,因此与使用恢复相关的额外恢复时间 AWS 备份 亚马逊S3冰川 可能是一个可以接受的风险。相反,模型中的数据可能极其敏感且受到高度监管,因此偏离 AWS密钥管理服务 (AWS 知识管理系统) 客户管理的密钥 (CMK) 轮换和使用 AWS网络防火墙 帮助对入口和出口流量实施传输层安全 (TLS) 以防止数据泄露可能是不可接受的风险。
评估在生产环境中使用生成式人工智能应用程序的风险(固有风险与残余风险),以确定正确的基础和应用程序级别控制。尽早计划从生产安全事件和服务中断(例如提示注入、训练数据中毒、模型拒绝服务和模型盗窃)中进行回滚和恢复,并在定义应用程序需求时定义将使用的缓解措施。了解需要实施的风险和控制将有助于定义构建生成式人工智能应用程序的最佳实施方法,并为利益相关者和决策者提供信息,以便就风险做出明智的业务决策。如果您不熟悉整个 AI 和 ML 工作流程,请首先查看 提高机器学习工作负载安全性的 7 种方法 提高对传统人工智能/机器学习系统所需的安全控制的熟悉程度。
就像构建任何 ML 应用程序一样,构建生成式 AI 应用程序需要经历一系列研究和开发生命周期阶段。您可能想查看 AWS 生成式 AI 安全范围矩阵 帮助建立一个心理模型,以了解您应该根据您选择的生成式 AI 解决方案考虑的关键安全规则。
使用法学硕士的生成式人工智能应用程序通常按照以下有序步骤进行开发和操作:
- 申请要求 – 确定用例业务目标、要求和成功标准
- 选型 – 选择符合用例要求的基础模型
- 模型适配和微调 – 准备数据、工程师提示并微调模型
- 模型评估 – 使用特定于用例的指标评估基础模型并选择性能最佳的模型
- 部署与集成 – 在您优化的基础设施上部署选定的基础模型,并与您的生成式人工智能应用程序集成
- 应用监控 – 监控应用程序和模型性能以进行根本原因分析
确保团队在第一天就将安全性作为软件开发生命周期的设计和架构阶段的一部分了解安全性的关键性质。这意味着在堆栈和生命周期的每一层讨论安全性,并将安全性和隐私性定位为实现业务目标的推动者。在启动 LLM 申请之前,架构师要控制威胁,并考虑用于模型调整和微调的数据和信息是否保证在研究、开发和培训环境中实施控制。作为质量保证测试的一部分,引入合成安全威胁(例如尝试毒害训练数据,或尝试通过恶意提示工程提取敏感数据)来定期测试您的防御和安全态势。
此外,利益相关者应为生产型人工智能、机器学习和生成型人工智能工作负载建立一致的审查节奏,并在启动前确定组织优先考虑人机控制和错误之间的权衡。验证并确保在部署的 LLM 应用程序中尊重这些权衡将增加风险缓解成功的可能性。
在安全的云基础上构建生成式人工智能应用程序
在 AWS,安全是我们的首要任务。 AWS 旨在成为最安全的全球云基础设施,可在其上构建、迁移和管理应用程序和工作负载。这得到了我们 300 多种云安全工具的支持,以及数百万客户的信任,包括政府、医疗保健和金融服务等对安全最敏感的组织。在 AWS 上使用 LLM 构建生成式 AI 应用程序时,您可以从以下方面获得安全优势: 安全、可靠、灵活的AWS云计算环境.
使用 AWS 全球基础设施实现安全、隐私和合规性
当您在 AWS 上开发数据密集型应用程序时,您可以从 AWS 全球区域基础设施中受益,该基础设施旨在提供满足您的核心安全性和合规性要求的功能。我们强化了这一点 AWS 数字主权承诺,我们致力于为您提供云中可用的最先进的主权控制和功能集。我们致力于扩展我们的能力,让您满足您的需求 数字主权 需求,而不影响 AWS 云的性能、创新、安全性或规模。为了简化安全和隐私最佳实践的实施,请考虑使用参考设计和基础设施作为代码资源,例如 AWS 安全参考架构 (AWS SRA) 和 AWS 隐私参考架构 (AWS PRA)。 进一步了解 构建隐私解决方案, 设计主权及 AWS 上的合规性 并使用诸如 AWS 配置, AWS工件及 AWS 审计经理 支持您的隐私、合规性、审计和可观察性需求。
使用 AWS 架构完善和云采用框架了解您的安全状况
AWS 提供的最佳实践指南源自多年支持客户构建云环境的经验 AWS架构完善的框架 并不断发展以通过云技术实现商业价值 AWS 云采用框架 (AWS CAF)。通过执行架构完善的框架审查,了解 AI、ML 和生成式 AI 工作负载的安全状况。可以使用以下工具进行审核 AWS 架构完善的工具,或者在您的 AWS 团队的帮助下通过 AWS 企业支持。 AWS 架构完善的工具 自动整合见解 止 AWS 可信顾问 评估现有的最佳实践以及存在哪些改进功能和成本优化的机会。 AWS Well-Architected Tool 还提供具有特定最佳实践的定制镜头,例如 机器学习镜头 以便您根据最佳实践定期衡量您的架构并确定需要改进的领域。通过了解 AWS 客户如何采用策略来开发组织能力,检查您在价值实现和云成熟之路上的旅程。 适用于人工智能、机器学习和生成式 AI 的 AWS 云采用框架。您还可能会发现,通过参加一个活动来了解您的整体云准备情况是有好处的。 AWS 云就绪评估。 AWS 提供了额外的参与机会 — 请向您的 AWS 客户团队询问有关如何开始使用 AWS 的更多信息 生成式人工智能创新中心.
通过最佳实践指导、培训和认证加速您的安全和 AI/ML 学习
AWS 还精选了来自 安全、身份和合规性最佳实践 和 AWS 安全文档 帮助您确定保护培训、开发、测试和操作环境安全的方法。如果您刚刚开始,请更深入地了解安全培训和认证,请考虑从 AWS 安全基础知识 和 AWS 安全学习计划。 你也可以使用 AWS 安全成熟度模型 帮助指导您在 AWS 成熟度的不同阶段找到最佳活动并确定其优先级,从快速获胜开始,经过基础、高效和优化阶段。在您和您的团队对 AWS 的安全性有了基本了解后,我们强烈建议您查看 如何进行威胁建模 然后与您的团队一起领导威胁建模练习 建筑商威胁建模研讨会 培训计划。还有很多其他的 AWS 安全培训和认证资源 可用。
应用深度防御方法来保护 LLM 申请的安全
对生成型 AI 工作负载、数据和信息应用深度防御安全方法可以帮助创造最佳条件来实现业务目标。深度防御安全最佳实践可以缓解任何工作负载面临的许多常见风险,帮助您和您的团队加速生成式 AI 创新。深度防御安全策略使用多重冗余防御来保护您的 AWS 账户、工作负载、数据和资产。它有助于确保如果任何一项安全控制受到损害或失败,则存在额外的层来帮助隔离威胁并预防、检测、响应安全事件并从中恢复。您可以在每一层使用策略组合(包括 AWS 服务和解决方案)来提高生成式 AI 工作负载的安全性和弹性。
许多 AWS 客户都遵循行业标准框架,例如 NIST网络安全框架。该框架有助于确保您的安全防御在识别、保护、检测、响应、恢复以及最近添加的治理等支柱中得到保护。然后,该框架可以轻松映射到 AWS 安全服务以及来自集成第三方的安全服务,以帮助您针对组织遇到的任何安全事件验证足够的覆盖范围和策略。
深度防御:保护您的环境,然后添加增强的 AI/ML 特定安全和隐私功能
纵深防御策略应首先保护您的帐户和组织,然后分层使用附加的内置安全和隐私增强服务功能,例如 亚马逊基岩 和 亚马逊SageMaker. Amazon 在安全、身份和合规性产品组合中拥有 30 多项服务 它们与 AWS AI/ML 服务集成,可以一起使用来帮助保护您的工作负载、账户和组织。为了正确抵御 OWASP Top 10 LLM,这些应与 AWS AI/ML 服务一起使用。
首先实施最小权限策略,使用诸如 IAM 访问分析器 至 寻找过于宽松的帐户、角色和资源,以使用短期凭据限制访问。接下来,确保所有静态数据都使用 AWS KMS 进行加密,包括考虑使用 CMK,并且所有数据和模型都使用 AWS KMS 进行版本控制和备份 亚马逊简单存储服务 (Amazon S3) 版本控制和应用对象级不变性 Amazon S3 对象锁定。使用以下方式保护服务之间传输的所有数据 AWS证书管理器 和 AWS 私有 CA,并将其保留在 VPC 内,使用 AWS私有链接。定义严格的数据入口和出口规则,以帮助防止使用 VPC 进行操纵和泄露 AWS网络防火墙 政策。考虑插入 AWS Web 应用程序防火墙 (AWS WAF) 在前面到 保护 Web 应用程序和 API 止 恶意机器人, SQL 注入攻击、跨站脚本攻击 (XSS)、 以及账户接管 欺诈控制。记录与 AWS 云跟踪, 亚马逊虚拟私有云 (Amazon VPC) 流日志,以及 Amazon Elastic Kubernetes服务 (Amazon EKS) 审核日志将有助于对可用于服务的每笔交易进行取证审查,例如 亚马逊侦探。 您可以使用 亚马逊检查员 自动化漏洞发现和管理 亚马逊弹性计算云 (Amazon EC2) 实例、容器、 AWS Lambda 功能,和 确定工作负载的网络可达性。使用以下方法保护您的数据和模型免受可疑活动的影响 亚马逊GuardDuty的 ML 支持的威胁模型和情报源,并启用 EKS 保护、ECS 保护、S3 保护、RDS 保护、恶意软件保护、Lambda 保护等附加功能。您可以使用类似的服务 AWS 安全中心 集中和自动化您的安全检查,以检测与安全最佳实践的偏差,并通过剧本加速调查和自动修复安全问题。您还可以考虑实施 零信任 AWS 上的架构,以进一步增强对人类用户或机器对机器进程可以根据每个请求访问的内容的细粒度身份验证和授权控制。还可以考虑使用 亚马逊安全湖 自动将来自 AWS 环境、SaaS 提供商、本地和云源的安全数据集中到存储在您账户中的专用数据湖中。借助 Security Lake,您可以更全面地了解整个组织的安全数据。
在确保生成式 AI 工作负载环境的安全后,您可以分层添加特定于 AI/ML 的功能,例如 亚马逊SageMaker数据牧马人 识别数据准备过程中潜在的偏差 亚马逊SageMaker澄清 检测 ML 数据和模型中的偏差。您还可以使用 Amazon SageMaker模型监控器 评估生产中 SageMaker ML 模型的质量,并在数据质量、模型质量和特征归因出现偏差时通知您。这些 AWS AI/ML 服务(包括与 Amazon Bedrock 配合使用的 SageMaker)与 AWS 安全服务配合使用,可以帮助您识别潜在的自然偏差来源并防止恶意数据篡改。对每个 OWASP Top 10 LLM 漏洞重复此过程,以确保您最大限度地发挥 AWS 服务的价值,实施深度防御以保护您的数据和工作负载。
正如 AWS 企业策略师 Clarke Rodgers 在他的博客文章中写道 “CISO 见解:每项 AWS 服务都是安全服务”“我认为,AWS 云中的几乎每项服务要么本身就能实现安全结果,要么可供客户使用(单独或与一项或多项服务结合使用)来实现安全、风险或合规性目标。” “客户首席信息安全官 (CISO)(或其各自的团队)可能希望花时间确保他们精通所有 AWS 服务,因为可能存在可以满足的安全、风险或合规性目标,即使服务不属于‘安全、身份和合规性’类别。”
LLM 应用程序中信任边界的层防御
在开发基于 AI 的生成系统和应用程序时,您应该考虑与任何其他 ML 应用程序相同的问题,如 MITRE ATLAS 机器学习威胁矩阵,例如注意软件和数据组件的来源(例如执行开源软件审计、审查软件物料清单 (SBOM) 以及分析数据工作流程和 API 集成)以及针对 LLM 供应链威胁实施必要的保护。包括来自行业框架的见解,并了解如何使用威胁情报和风险信息的多个来源来调整和扩展安全防御,以应对新兴且未包含在传统框架中的人工智能、机器学习和生成式人工智能安全风险。从工业、国防、政府、国际和学术来源寻找有关人工智能特定风险的配套信息,因为该领域定期出现和演变新的威胁,并且配套框架和指南会经常更新。例如,当使用检索增强生成(RAG)模型时,如果模型不包含所需的数据,它可能会从外部数据源请求数据以在推理和微调期间使用。它查询的来源可能超出您的控制范围,并且可能成为您的供应链中潜在的妥协来源。深度防御方法应扩展到外部源,以建立所访问数据的信任、身份验证、授权、访问、安全、隐私和准确性。要深入了解,请阅读“使用 Amazon SageMaker JumpStart 通过生成式 AI 和 RAG 构建安全的企业应用程序=
分析并降低 LLM 申请中的风险
在本节中,我们分析和讨论一些基于信任边界和交互的风险缓解技术,或具有类似适当控制范围和风险状况的不同工作负载区域。在此聊天机器人应用程序的示例架构中,有五个信任边界,根据 AWS 客户通常构建其 LLM 应用程序的方式来演示控制。您的法学硕士申请可能有更多或更少的可定义信任边界。在以下示例架构中,这些信任边界定义为:
- 用户界面交互(请求和响应)
- 应用程序交互
- 模型交互
- 数据交互
- 组织互动和使用
用户界面交互:开发请求和响应监控
通过评估解决生成人工智能应用程序输入和输出风险的策略,及时检测和响应与生成人工智能相关的网络事件。例如,如果在法学硕士申请中使用,可能需要对行为和数据流出进行额外的监控,以检测域或组织之外的敏感信息泄露。
在保护数据方面,生成式人工智能应用程序仍应遵循标准的安全最佳实践。建立一个 安全数据边界 和 保护敏感数据存储。对用于 LLM 申请的静态和传输中的数据和信息进行加密。通过了解和控制允许哪些用户、进程和角色为数据存储做出贡献,以及数据在应用程序中的流动方式、监控偏差偏差以及使用版本控制和控制,保护用于训练模型的数据免受训练数据中毒。 Amazon S3 等存储服务中的不可变存储。使用 AWS 网络防火墙和 AWS VPC 等服务建立严格的数据入口和出口控制,以防止可疑输入和潜在的数据泄露。
在训练、再训练或微调过程中,您应该了解所使用的任何敏感数据。在其中一个过程中使用数据后,您应该计划这样一种场景:模型的任何用户突然能够利用提示注入技术提取数据或信息。了解在模型和推理中使用敏感数据的风险和好处。实施强大的身份验证和授权机制来建立和管理细粒度的访问权限,该机制不依赖于 LLM 应用程序逻辑来防止泄露。生成人工智能应用程序的用户控制输入已被证明在某些条件下能够提供向量以从模型或输入的任何非用户控制部分中提取信息。这可以通过提示注入来实现,用户提供的输入会导致模型的输出偏离 LLM 应用程序的预期护栏,包括提供模型最初训练的数据集的线索。
为提供输入和接收模型输出的用户实施用户级访问配额。在模型训练数据和信息敏感的情况下,或者存在对手根据其输入和对齐的模型输出训练模型传真的风险时,您应该考虑不允许匿名访问的方法。一般来说,如果模型的部分输入包含任意用户提供的文本,请考虑输出容易受到提示注入的影响,并相应地确保输出的使用包括实施的技术和组织对策,以减轻不安全的输出处理、过度代理和过度依赖。在前面与使用 AWS WAF 过滤恶意输入相关的示例中,请考虑在应用程序前面构建一个过滤器,以防止此类潜在的误用提示,并制定一项策略,以随着模型和数据的增长如何处理和改进这些提示。还应考虑在将输出返回给用户之前对输出进行过滤审查,以确保其符合质量、准确性或内容审核标准。您可能希望根据您组织的需求进一步自定义此功能,在模型前面对输入和输出进行额外的控制,以减少可疑的流量模式。
应用程序交互:应用程序安全性和可观察性
审查您的 LLM 申请,注意用户如何利用您的模型绕过对他们无权访问或使用的下游工具或工具链的标准授权。这一层的另一个问题涉及通过使用模型作为攻击机制来访问外部数据存储,从而使用完全的技术或组织 LLM 风险。例如,如果您的模型经过训练可以访问可能包含敏感数据的某些数据存储,则您应该确保在模型和数据存储之间进行适当的授权检查。执行授权检查时,使用非来自模型的用户的不可变属性。完全不安全的输出处理、不安全的插件设计和过多的代理可能会造成威胁行为者可能使用模型来欺骗授权系统提升有效权限的条件,从而导致下游组件相信用户有权检索数据或采取特定的操作行动。
在实施任何生成式人工智能插件或工具时,必须检查和理解所授予的访问级别,并仔细检查已配置的访问控制。使用完全不安全的生成式人工智能插件可能会使您的系统容易受到供应链漏洞和威胁的影响,从而可能导致恶意操作,包括运行远程代码。
模型交互:模型攻击预防
您应该了解您使用的任何模型、插件、工具或数据的来源,以便评估和缓解供应链漏洞。例如,一些常见的模型格式允许在模型本身中嵌入任意可运行的代码。使用与您的组织安全目标相关的包镜像、扫描和其他检查。
还必须审查您训练和微调模型的数据集。如果您根据用户反馈(或其他最终用户可控信息)进一步自动微调模型,则必须考虑恶意威胁行为者是否可以根据操纵其响应来任意更改模型并实现训练数据中毒。
数据交互:监控数据质量和使用情况
像法学硕士这样的生成式人工智能模型通常效果很好,因为它们已经接受过大量数据的训练。尽管这些数据可以帮助法学硕士完成复杂的任务,但它也可能使您的系统面临训练数据中毒的风险,当训练数据集中包含或省略不适当的数据并可能改变模型的行为时,就会发生这种情况。为了减轻这种风险,您应该在模型中使用系统之前查看您的供应链并了解系统的数据审查流程。尽管训练管道是数据中毒的主要来源,但您还应该查看模型如何获取数据(例如 RAG 模型或数据湖中的数据),以及该数据的来源是否受信任和受保护。使用 AWS Security Hub、Amazon GuardDuty 和 Amazon Inspector 等 AWS 安全服务帮助持续监控 Amazon EC2、Amazon EKS、Amazon S3、 亚马逊关系数据库服务 (Amazon RDS) 和可能是新兴威胁指标的网络访问,并使用 Detective 可视化安全调查。还可以考虑使用诸如 亚马逊安全湖 通过创建专门构建的数据湖来自动集中来自 AWS 环境、SaaS 提供商、本地以及有助于 AI/ML 工作负载的云源的安全数据,从而加速安全调查。
组织互动:实施生成式人工智能的企业治理护栏
识别与为您的企业使用生成式人工智能相关的风险。您应该构建组织的风险分类法并进行风险评估,以便在部署生成式 AI 解决方案时做出明智的决策。开发一个 业务连续性计划(BCP) 其中包括 AI、ML 和生成式 AI 工作负载,并且可以快速实施以替换受影响或离线 LLM 应用程序丢失的功能,以满足您的 SLA。
识别流程和资源差距、低效和不一致,并提高整个企业的意识和所有权。 威胁模型 所有生成式人工智能工作负载,以识别和减轻可能导致业务影响结果的潜在安全威胁,包括未经授权的数据访问、拒绝服务和资源滥用。充分利用新的 AWS Threat Composer 建模工具 在执行威胁建模时帮助缩短实现价值的时间。在开发周期的后期,考虑引入 安全混沌工程 故障注入实验可创建真实条件,以了解您的系统将如何应对未知因素并建立对系统弹性和安全性的信心。
在制定安全策略和风险管理机制时纳入不同的观点,以确保人工智能/机器学习和生成安全在所有工作角色和职能中的遵守和覆盖。从任何生成式人工智能应用程序的启动和研究开始,就将安全思维纳入考虑范围,以符合需求。如果您需要 AWS 的额外帮助,请询问您的 AWS 客户经理,请求 AWS 安全和 AI/ML 的 AWS 解决方案架构师协同提供帮助,以确保提供同等支持。
确保您的安全组织定期采取行动,促进生成式 AI 利益相关者(例如产品经理、软件开发人员、数据科学家和执行领导层)之间围绕风险意识和风险管理理解的沟通,从而将威胁情报和控制指南传达给可能的团队。受到影响。安全组织可以通过参与讨论并向生成人工智能利益相关者提供与其业务目标相关的新想法和信息,支持负责任的披露和迭代改进的文化。学习更多关于 我们对负责任的人工智能的承诺 和额外的 负责任的人工智能资源 帮助我们的客户。
通过在组织的现有安全流程中畅通实现价值的时间,在为生成式 AI 提供更好的组织态势方面获得优势。主动评估您的组织在哪些方面可能需要在生成式 AI 安全环境下过于繁重的流程,并改进这些流程,为开发人员和科学家提供清晰的启动路径,并采取正确的控制措施。
评估哪里可能有机会调整激励措施、消除风险,并为期望的结果提供清晰的视野。更新控制指导和防御,以满足 AI/ML 和生成式 AI 应用程序开发不断变化的需求,从而减少可能耗费开发时间、增加风险和影响的混乱和不确定性。
确保非安全专家的利益相关者能够了解组织治理、策略和风险管理步骤如何应用于其工作负载,以及应用风险管理机制。让您的组织做好应对生成式 AI 应用程序可能发生的实际事件和场景的准备,并确保生成式 AI 构建者角色和响应团队了解升级路径和操作,以防出现任何可疑活动。
结论
要成功地将任何新兴技术的创新商业化,都需要从安全第一的心态开始,建立在安全的基础设施基础上,并思考如何尽早将技术堆栈每个级别的安全性与深度防御安全性进一步集成方法。这包括技术堆栈多个层的交互以及数字供应链内的集成点,以确保组织的弹性。尽管生成式 AI 引入了一些新的安全和隐私挑战,但如果您遵循基本的安全最佳实践(例如使用分层安全服务进行深度防御),则可以帮助您的组织免受许多常见问题和不断变化的威胁的影响。您应该在生成型 AI 工作负载和更大的组织中实施分层的 AWS 安全服务,并重点关注数字供应链中的集成点,以保护您的云环境。然后,您可以使用 AWS AI/ML 服务(例如 Amazon SageMaker 和 Amazon Bedrock)中增强的安全和隐私功能,为您的生成 AI 应用程序添加更多层增强的安全和隐私控制。从一开始就嵌入安全性将使利用生成式人工智能进行创新变得更快、更容易、更具成本效益,同时简化合规性。这将帮助您增强员工、客户、合作伙伴、监管机构和其他相关利益相关者对生成式 AI 应用程序的控制、信心和可观察性。
其他参考
- AI/ML 特定风险管理和安全的行业标准框架:
关于作者
克里斯托弗·雷 是首席全球安全 GTM 专家,专注于开发和执行加速和扩大 AWS 安全服务采用的战略计划。他对网络安全和新兴技术的交叉充满热情,拥有 20 多年的全球战略领导经验,为媒体、娱乐和电信客户提供安全解决方案。他通过阅读、旅行、美食美酒、发现新音乐以及为早期初创公司提供建议来恢复活力。
伊利亚·温特 是 Amazon Security 的高级安全工程师,拥有网络安全工程学士学位,并且热爱哈利·波特。 Elijah 擅长识别和解决人工智能系统中的漏洞,将技术专业知识与魔法融为一体。 Elijah 为人工智能生态系统设计了量身定制的安全协议,为数字防御带来了神奇的天赋。 Elijah 秉持诚信,在公共和商业部门组织中拥有专注于保护信任的安全背景。
拉姆·维塔尔 是 AWS 的首席 ML 解决方案架构师。 他在架构和构建分布式、混合和云应用程序方面拥有超过 3 年的经验。 他热衷于构建安全且可扩展的 AI/ML 和大数据解决方案,以帮助企业客户进行云采用和优化之旅,从而改善其业务成果。 闲暇时,他会骑着摩托车,带着他三岁的牧羊犬一起散步!
NAVNEET 图泰贾 是 Amazon Web Services 的数据专家。 在加入 AWS 之前,Navneet 曾担任寻求实现数据架构现代化和实施综合 AI/ML 解决方案的组织的促进者。 她拥有塔帕尔大学的工程学位和德克萨斯 A&M 大学的统计学硕士学位。
艾米莉·索沃德 是 AWS 专业服务的数据科学家。 她拥有英国苏格兰爱丁堡大学的人工智能科学硕士学位,重点是自然语言处理 (NLP)。 Emily 曾担任应用科学和工程职位,专注于支持 AI 的产品研发、卓越运营以及公共和私营部门组织运行的 AI 工作负载的治理。 她作为 AWS 高级演讲者为客户指导做出了贡献,最近,她成为 AWS Well-Architected in the Machine Learning Lens 的作者。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/architect-defense-in-depth-security-for-generative-ai-applications-using-the-owasp-top-10-for-llms/
- :具有
- :是
- :不是
- :在哪里
- $UP
- 1
- 10
- 100
- 125
- 140
- 150
- 30
- 300
- 7
- a
- 对,能力--
- Able
- 关于
- 学者
- 加快
- 可接受
- ACCESS
- 访问数据
- 访问
- 因此
- 账号管理
- 账户
- 实现
- 横过
- 操作
- 行动
- 活动
- 活动
- 适应
- 加
- 添加
- 增加
- 额外
- 地址
- 解决
- 遵守
- 采用
- 采用
- 采用
- 高级
- 进步
- 优点
- 指导
- 后
- 驳
- 机构
- 经纪人
- AI
- AI模型
- 人工智能系统
- AI / ML
- 对齐
- 对齐的
- 对齐
- 所有类型
- 让
- 允许
- 允许
- 单
- 还
- 尽管
- Amazon
- Amazon EC2
- 亚马逊RDS
- 亚马逊SageMaker
- 亚马逊网络服务
- 其中
- 量
- an
- 分析
- 分析
- 和
- 和基础设施
- 匿名
- 另一个
- 回答
- 任何
- API
- 食欲
- 相应
- 应用领域
- 应用程序开发
- 应用安全
- 应用领域
- 应用的
- 适用
- 使用
- 应用
- 的途径
- 方法
- 适当
- 建筑师
- 建筑的
- 架构
- 保健
- 地区
- 争论
- 出现
- 围绕
- 人造的
- 人工智能
- 人工智能(AI)
- AS
- 问
- 评估
- 评估
- 办公室文员:
- 帮助
- 助理
- 相关
- 保证
- At
- 攻击
- 攻击
- 尝试
- 关注我们
- 属性
- 审计
- 增强
- 认证
- 作者
- 授权
- 授权
- 自动化
- 自动
- 可使用
- 察觉
- 意识
- AWS
- AWS 客户
- AWS专业服务
- 背部
- 已备份
- 背景
- 基于
- 基本包
- 基础
- BE
- 因为
- 成为
- 很
- before
- 开始
- 行为
- 行为
- 作为
- 相信
- 得益
- 好处
- 最佳
- 最佳实践
- 更好
- 之间
- 偏见
- 大
- 大数据运用
- 法案
- 混纺
- 博客
- 都
- 边界
- 带来
- 瞻
- 建立
- 建设者
- 建设者
- 建筑物
- 建立
- 建
- 内建的
- 商业
- 企业
- by
- 绕行
- CAN
- 可以得到
- 能力
- 容量
- 案件
- 产品类别
- 原因
- 原因
- 集中
- 一定
- 证书
- 证书
- 链
- 链
- 挑战
- 更改
- 混沌
- 聊天机器人
- 支票
- 首席
- 清除
- 云端技术
- 云采用
- 云计算
- 云基础设施
- 云安全
- 码
- 组合
- 如何
- 购买的订单均
- 商业的
- 商业化
- 承诺
- 提交
- 相当常见
- 常用
- 沟通
- 伴侣
- 同伴
- 公司
- 完成
- 复杂
- 符合
- 元件
- 作曲家
- 理解
- 全面
- 妥协
- 妥协
- 折中
- 计算
- 计算
- 关心
- 关心
- 关注
- 条件
- 进行
- 信心
- 配置
- 混乱
- 结合
- 分享链接
- 后果
- 考虑
- 考虑
- 考虑
- 一贯
- 由
- 包含
- 集装箱
- 内容
- 上下文
- 连续性
- 一直
- 贡献
- 有助于
- 控制
- 控制
- 控制
- 反过来
- 核心
- 基石
- 正确
- 相应
- 价格
- 经济有效
- 可以
- 覆盖
- 创建信息图
- 创造
- 危急
- 文化塑造
- 策展人
- 顾客
- 合作伙伴
- 定制
- 定制
- 网络
- 网络安全
- 网络安全
- 周期
- data
- 数据湖
- 资料准备
- 数据科学家
- 数据篡改
- 数据库
- 数据集
- 天
- 几十年
- 决策
- 决策者
- 决定
- 深
- 更深
- 国防
- 防卫
- 定义
- 定义
- 定义
- 学位
- 交付
- 钻研
- 证明
- 拒绝服务
- 根据
- 部署
- 部署
- 部署
- 部署
- 深度
- 描述
- 设计
- 设计
- 期望
- 检测
- 开发
- 发达
- 开发
- 发展
- 研发支持
- 偏离
- 偏差
- 不同
- 数字
- 学科
- 泄露
- 发现
- 发现
- 讨论
- 讨论
- 讨论
- 中断
- 不同
- 区别
- 分布
- 潜水
- 不同
- 不同的观点
- 不会
- 域
- 别
- 借鉴
- 驱动
- ,我们将参加
- 每
- 此前
- 早
- 早期
- 更容易
- 容易
- 经济
- 经济价值
- 生态系统
- 有效
- 高效
- 或
- 嵌入
- 出现
- 新兴经济体的新市场。
- 新兴技术
- 新兴技术
- 重点
- 员工
- 授权
- enable
- 使
- 使
- 鼓励
- 加密
- 结束
- 执行
- 强制执行
- 工程师
- 工程师
- 工程师
- 增强
- 确保
- 企业
- 娱乐
- 整个
- 环境
- 环境中
- 等于
- 错误
- 升级
- 必要
- 建立
- 建立
- 评估
- 评估
- 评估
- 甚至
- 活动
- 事件
- 所有的
- 发展
- 演变
- 检查
- 例子
- 例子
- 追求卓越
- 过多
- 执行
- 执行
- 锻炼
- 渗出
- 存在
- 现有
- 扩大
- 预期
- 体验
- 实验
- 专门知识
- 专家
- 曝光
- 延长
- 扩展
- 延长
- 扩展
- 外部
- 额外
- 提取
- 非常
- 面孔
- 功能有助于
- 主持人
- 失败
- 秋季
- 熟悉
- 高效率
- 快
- 专栏
- 特征
- 反馈
- 少
- 过滤
- 过滤
- 金融
- 金融服务
- 找到最适合您的地方
- 寻找
- 发现
- 火墙
- 姓氏:
- 五
- 柔软
- 流
- 流动
- 专注焦点
- 重点
- 遵循
- 以下
- 食品
- 针对
- 法医
- 培育
- 寄养
- 基金会
- 基础
- 骨架
- 框架
- 频繁
- 止
- 前
- 功能
- 功能
- 根本
- 进一步
- Gain增益
- 差距
- 其他咨询
- 通常
- 代
- 生成的
- 生成式人工智能
- 得到
- 越来越
- 特定
- 全球
- 目标
- 理想中
- 去
- 治理
- 治理
- 政府
- 政府
- 授予
- 成长
- 指导
- 指南
- 制导
- 指南
- 民政事务总署
- 处理
- 处理
- 有
- he
- 医疗保健
- 帮助
- 帮助
- 帮助
- 高性能
- 高度
- 他的
- 保持
- 持有
- 创新中心
- How To
- HTML
- HTTP
- HTTPS
- 中心
- 人
- 杂交种
- i
- 主意
- 思路
- 确定
- 鉴定
- 确定
- 身分
- if
- 不变性
- 一成不变
- 影响力故事
- 影响
- 影响
- 势在必行
- 实施
- 履行
- 实施
- 实施
- 改善
- 改进
- in
- 激励
- 成立
- 包括
- 包括
- 包括
- 包含
- 不一致
- 增加
- 增加
- 增加
- 指标
- 行业中的应用:
- 效率低下
- 信息
- 信息安全
- 通知
- 基础设施
- 输注
- 固有
- 项目
- 创新
- 创新
- 創新
- 输入
- 输入
- 不安全
- 内
- 洞察
- 可行的洞见
- 整合
- 集成
- 集成
- 积分
- 集成
- 诚信
- 房源搜索
- 互动
- 兴趣
- 接口
- 国际
- 路口
- 成
- 介绍
- 推出
- 介绍
- 调查
- 调查
- 涉及
- 问题
- IT
- 它的
- 本身
- 工作
- 加盟
- 旅程
- JPG
- 只是
- 保持
- 键
- 重点领域
- 神的国
- 知识
- 湖泊
- 语言
- 大
- 大
- 最后
- 后来
- 发射
- 层
- 分层
- 层
- 铅
- 领导人
- 领导团队
- 领导
- 学习用品
- 学习
- 最少
- 镜片
- 镜头
- Level
- 生命周期
- 喜欢
- 可能性
- Line
- 线
- LLM
- 记录
- 逻辑
- 看
- 寻找
- 丢失
- 爱
- 机
- 机器学习
- 使
- 恶意
- 恶意软件
- 管理
- 管理
- 颠覆性技术
- 经理
- 经理
- 管理的
- 操纵
- 操作
- 方式
- 许多
- 地图
- 主
- 硕士
- 物料
- 事项
- 到期
- 最大化
- 可能..
- 手段
- 衡量
- 机制
- 机制
- 媒体
- 满足
- 会见
- 心理
- 提到
- 一半
- 指标
- 可能
- 迁移
- 百万
- 介意
- 思维定势
- 滥用
- 减轻
- 减轻
- ML
- 模型
- 造型
- 模型
- 适度
- 现代化
- 显示器
- 监控
- 更多
- 最先进的
- 摩托车
- 移动
- 许多
- 多
- 音乐
- 必须
- my
- 自然
- 自然语言处理
- 自然
- 必要
- 需求
- 打印车票
- 需要
- 网络
- 全新
- 下页
- NIST
- NLP
- 对象
- 目标
- 目标
- of
- 折扣
- 提供
- 优惠精选
- 人员
- 这一点在线下监测数字化产品的影响方面尤为明显。
- on
- 一
- 打开
- 开放源码
- 操作
- 操作
- 运营
- 机会
- 优化
- 优化
- or
- 秩序
- 组织
- 组织
- 组织
- 起源
- 本来
- 起源
- 其他名称
- 我们的
- 输出
- 成果
- 结果
- 产量
- 输出
- 学校以外
- 超过
- 最划算
- 所有权
- 包
- 部分
- 参与
- 各方
- 伙伴
- 部分
- 多情
- 径
- 路径
- 模式
- 性能
- 执行
- 执行
- 权限
- 观点
- 阶段
- 支柱
- 管道
- 地方
- 计划
- 规划行程
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 插入
- 插件
- 点
- 毒药
- 政策
- 政策
- 定位
- 帖子
- 潜力
- 可能
- 在练习上
- 做法
- 准备
- Prepare
- 防止
- 以前
- 总理
- 校长
- 原则
- 先
- 优先顺序
- 优先
- 隐私
- 私立
- 私营部门
- 特权
- 权限
- 过程
- 过程
- 处理
- 产品
- 生产
- 生产率
- 所以专业
- 本人简介
- 曲目
- 训练课程
- 项目
- 提示
- 正确
- 正确
- 保护
- 保护
- 保护
- 保护
- 协议
- 提供
- 供应商
- 提供
- 优
- 国家
- 放
- 质量
- 查询
- 题
- 快速
- 很快
- 抹布
- 达到
- 应对
- 阅读
- 准备就绪
- 阅读
- 真实的世界
- 现实
- 实现
- 实现
- 接收
- 最近
- 建议
- 建议
- 恢复
- 恢复
- 减少
- 参考
- 提炼
- 地区
- 定期
- 经常
- 监管
- 稳压器
- 有关
- 相应
- 可靠
- 依靠
- 整治
- 远程
- 给予
- 重复
- 更换
- 请求
- 请求
- 要求
- 需求
- 岗位要求
- 需要
- 研究
- 研究和开发
- 弹性
- 资源
- 资源
- 尊敬的
- 那些
- 回应
- 响应
- 回复
- 责任
- 提供品牌战略规划
- REST的
- 限制
- 恢复
- 检讨
- 审查
- 回顾
- 评论
- 游乐设施
- 右
- 风险
- 风险偏好
- 变更管理
- 风险
- 健壮
- 罗杰斯
- 角色
- 根
- 常规
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- 运行
- s
- SaaS的
- sagemaker
- 同
- 可扩展性
- 鳞片
- 扫描
- 脚本
- 情景
- 科学
- .
- 科学家
- 科学家
- 范围
- 作用域
- 搜索
- 部分
- 扇形
- 安全
- 担保
- 保障
- 保安
- 安全福利
- 安全事件
- 安全风险
- 安全威胁
- 寻找
- 寻求
- 寻求
- 选择
- 选
- 前辈
- 敏感
- 已服务
- 服务
- 特色服务
- 集
- 设置
- 共用的,
- 她
- 应该
- 显示
- 视力
- 类似
- 简易
- 简化
- 简化
- So
- 社交化
- 软件
- 软件账单
- 软件开发者
- 软件开发
- 方案,
- 解决方案
- 一些
- 来源
- 来源
- 主权
- 太空
- 喇叭
- 专家
- 具体的
- 特别是
- 速度
- 堆
- 实习
- 利益相关者
- 标准
- 标准
- 开始
- 开始
- 开始
- 初创企业
- 统计
- 步骤
- 仍
- 存储
- 存储
- 商店
- 善用
- 策略
- 战略家
- 策略
- 监督
- 非常
- 基本上
- 成功
- 顺利
- 这样
- 供应
- 供应链
- 供应链
- SUPPORT
- 支持
- 肯定
- 易感
- 可疑
- 合成的
- 系统
- 产品
- 表
- 量身定制
- 采取
- 需要
- 串联
- 任务
- 分类
- 团队
- 队
- 文案
- 技术
- 技术
- 技术专家
- 专业技术
- 电信
- test
- 测试
- 测试
- 德州
- 文本
- 这
- 盗窃
- 其
- 他们
- 主题
- 他们自己
- 然后
- 那里。
- 博曼
- 他们
- 思维
- 第三
- 第三者
- Free Introduction
- 那些
- 威胁
- 威胁
- 三
- 通过
- 始终
- 次
- 及时
- 至
- 一起
- 工具
- 工具
- 最佳
- 返回顶部
- 触摸
- 向
- 交易
- 传统
- 交通
- 培训
- 熟练
- 产品培训
- 交易
- 过境
- 用户评论透明
- 运输
- 旅游
- 信任
- 信任
- 一般
- 擅自
- 不确定
- 下
- 破坏
- 理解
- 理解
- 陌生
- 联合的
- 英国
- 大学
- 无懈可击
- 更新
- 更新
- 坚持
- 正常运行时间
- 使用
- 用例
- 用过的
- 用户
- 用户
- 使用
- 运用
- 利用
- 利用
- 利用
- 验证
- 证实
- 验证
- 折扣值
- 谙练
- 通过
- 在线会议
- 实质上
- 想像
- vs
- 漏洞
- 漏洞
- 走
- 想
- 认股权证
- 是
- 方法
- we
- 卷筒纸
- Web应用程序
- 网络应用
- Web服务
- 井
- 什么是
- ,尤其是
- 是否
- 这
- 而
- WHO
- 全
- 将
- Witness & Evangelism Committee
- 胜利
- 中
- 也完全不需要
- 工作
- 工作
- 工作流程
- 工作流程
- 加工
- 全世界
- 将
- 写
- XSS
- 年
- 完全
- 您一站式解决方案
- 和风网