Slack 提供由 Amazon SageMaker JumpStart 提供支持的本机且安全的生成式 AI |亚马逊网络服务

本文由 Slack 人工智能产品副总裁 Jackie Rocca 共同撰写

Slack 是工作发生的地方。它是一个由人工智能驱动的工作平台，可将人员、对话、应用程序和系统连接到一处。随着新推出的 松弛人工智能—Slack 中直接提供的可信、原生、生成式人工智能 (AI) 体验 — 用户可以显示信息并确定其优先级，以便找到自己的焦点并完成最高效的工作。

我们很高兴地宣布 Salesforce 公司 Slack 已与 亚马逊SageMaker JumpStart 为 Slack AI 的初始搜索和摘要功能提供支持，并为 Slack 更安全地使用大型语言模型 (LLM) 提供保障。 Slack 与 SageMaker JumpStart 合作托管行业领先的第三方 LLM，这样数据就不会与第三方模型提供商拥有的基础设施共享。

这样可以始终将客户数据保留在 Slack 中，并维护与客户期望 Slack 本身相同的安全实践和合规标准。 Slack 也在使用 亚马逊SageMaker 用于高级路由策略的推理功能，可以为客户提供最佳性能、延迟和吞吐量的解决方案。

“借助 Amazon SageMaker JumpStart，Slack 可以访问最先进的基础模型来为 Slack AI 提供支持，同时优先考虑安全和隐私。 Slack 客户现在可以更智能地搜索、立即总结对话并发挥最大的生产力。”

– Jackie Rocca，Slack 人工智能产品副总裁

SageMaker JumpStart 中的基础模型

SageMaker JumpStart 是一个机器学习 (ML) 中心，可以帮助加速您的 ML 之旅。借助 SageMaker JumpStart，您可以根据预定义的质量和责任指标快速评估、比较和选择基础模型 (FM)，以执行文章摘要和图像生成等任务。预训练模型可以根据您的数据使用案例进行完全定制，您可以使用用户界面或 SDK 轻松地将它们部署到生产中。此外，您还可以访问预构建的解决方案来解决常见用例并在组织内共享 ML 工件（包括 ML 模型和笔记本），以加速 ML 模型的构建和部署。您的任何数据都不会用于训练底层模型。所有数据均经过加密，绝不会与第三方供应商共享，因此您可以相信您的数据将保持私密性和机密性。

查询 SageMaker JumpStart 模型页面 对于可用型号。

松弛人工智能

Slack 推出了 Slack AI，提供原生生成式 AI 功能，使客户能够轻松快速地查找和消费大量信息，使他们能够从 Slack 中的共享知识中获得更多价值。例如，用户可以用简单的语言提出问题，并通过增强的搜索立即获得清晰简洁的答案。他们可以通过对话摘要一键了解频道和话题。他们还可以通过新推出的回顾来访问特定频道中发生的事情的个性化每日摘要。

因为信任是 Slack 最重要的价值，Slack AI 运行在他们在 AWS 上构建的企业级基础设施上，秉承同样的价值观 安全实践和合规标准 客户期望的。 Slack AI 专为具有安全意识的客户而构建，并在设计上保证安全——客户数据保留在内部，数据不用于 LLM 培训目的，并且数据保持孤立状态。

解决方案概述

SageMaker JumpStart 提供对许多 LLM 的访问，Slack 会选择适合其用例的正确 FM。由于这些模型托管在 Slack 自有的 AWS 基础设施上，因此在调用期间发送到模型的数据不会离开 Slack 的 AWS 基础设施。此外，为了提供安全的解决方案，为调用 SageMaker 模型而发送的数据在传输过程中进行加密。发送到 SageMaker JumpStart 端点以调用模型的数据不用于训练基础模型。 SageMaker JumpStart 使 Slack 能够支持高标准的安全性和数据隐私，同时还使用最先进的模型来帮助 Slack AI 为 Slack 客户提供最佳性能。

为 Slack 业务应用程序提供服务的 SageMaker JumpStart 终端节点由 AWS 实例提供支持。 SageMaker 支持 广泛的实例类型 用于模型部署，这使得 Slack 能够选择最适合支持 Slack AI 使用案例的延迟和可扩展性要求的实例。 Slack AI 可以访问基于多 GPU 的实例来托管其 SageMaker JumpStart 模型。多个 GPU 实例允许支持 Slack AI 端点的每个实例托管模型的多个副本。这有助于提高资源利用率并降低模型部署成本。欲了解更多信息，请参阅 Amazon SageMaker 添加了新的推理功能，有助于降低基础模型部署成本和延迟.

下图说明了解决方案体系结构。

为了最有效地使用实例并支持并发和延迟要求，Slack 将 SageMaker 提供的路由策略与其 SageMaker 端点结合使用。默认情况下，SageMaker 端点使用名为“循环算法”的循环算法路由策略，将传入请求统一分发到 ML 实例。 RANDOM。然而，对于生成式 AI 工作负载，请求和响应可能会发生极大的变化，因此最好通过考虑实例的容量和利用率来实现负载平衡，而不是随机负载平衡。为了在支持端点的实例之间有效地分发请求，Slack 使用 LEAST_OUTSTANDING_REQUESTS (LAR) 路由策略。此策略将请求路由到具有更多处理请求能力的特定实例，而不是随机选择任何可用实例。 LAR策略提供了更加统一的负载均衡和资源利用率。因此，Slack AI 注意到，启用后，其 p39 延迟数降低了 95% 以上 LEAST_OUTSTANDING_REQUESTS 与随机相比。

有关 SageMaker 路由策略的更多详细信息，请参阅 使用 Amazon SageMaker 路由策略最大限度地减少实时推理延迟.

结论

Slack 正在提供原生的生成式 AI 功能，帮助客户提高工作效率，并轻松利用 Slack 对话中嵌入的集体知识。通过快速访问大量 FM 选择以及通过 SageMaker JumpStart 托管在专用实例中的高级负载平衡功能，Slack AI 能够以更强大、更快速的方式提供丰富的生成式 AI 功能，同时维护 Slack 的信任和安全标准。

进一步了解 SageMaker 快速启动, 松弛人工智能 和 Slack 团队如何构建安全且私密的 Slack AI。在评论部分留下您的想法和问题。

---

作者简介

杰基·罗卡 是 Slack 的产品副总裁，负责监督 Slack AI 的愿景和执行，该 AI 将生成式 AI 原生且安全地引入 Slack 的用户体验中。现在，她的使命是帮助客户提高生产力，并通过生成人工智能从对话、数据和集体知识中获得更多价值。在加入 Slack 之前，Jackie 在 Google 担任产品经理六年多，帮助推出和发展 Youtube TV。 Jackie 居住在旧金山湾区。

拉奇纳查达 是 AWS 战略客户的首席解决方案架构师 AI/ML。 Rachna 是一个乐观主义者，他相信以合乎道德和负责任的方式使用 AI 可以改善未来的社会并带来经济和社会繁荣。 在业余时间，Rachna 喜欢与家人共度时光、远足和听音乐。

马克卡普 是 Amazon SageMaker 服务团队的 ML 架构师。 他专注于帮助客户大规模设计、部署和管理 ML 工作负载。 在业余时间，他喜欢旅行和探索新的地方。

马尼德·考尔 是 AWS 战略 ISV 的 AI/ML 专家主管。 凭借客户至上的理念，Mani 帮助战略客户制定 AI/ML 战略、推动创新并加速他们的 AI/ML 之旅。 Mani 坚信道德和负责任的人工智能，并努力确保客户的人工智能解决方案符合这些原则。

基因婷 是 AWS 的首席解决方案架构师。他专注于帮助企业客户在 AWS 上安全地构建和操作工作负载。在空闲时间，吉恩喜欢教孩子们技术和体育，以及关注网络安全的最新动态。

艾伦谭 是 SageMaker 的高级产品经理，负责大型模型推理方面的工作。 他热衷于将机器学习应用于分析领域。 工作之余，他喜欢户外活动。

• SEO 支持的内容和 PR 分发。 今天得到放大。
• PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
• 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
• 柏拉图ESG。 碳， 清洁科技, 能源， 环境， 太阳能， 废物管理。 访问这里。
• 柏拉图健康。 生物技术和临床试验情报。 访问这里。
• Sumber: https://aws.amazon.com/blogs/machine-learning/slack-delivers-native-and-secure-generative-ai-powered-by-amazon-sagemaker-jumpstart/