在线游戏和社交社区为用户提供语音和文本聊天功能进行交流。尽管语音和文本聊天通常支持友好的玩笑,但它也可能导致仇恨言论、网络欺凌、骚扰和诈骗等问题。如今,许多公司仅依靠人工审核员来审查有毒内容。然而,验证聊天中的违规行为非常耗时、容易出错且难以扩展。
在这篇文章中,我们介绍了使用各种 AWS 服务实现音频和文本聊天审核的解决方案,包括 亚马逊转录, 亚马逊领悟, 亚马逊基岩及 亚马逊开放搜索服务.
社交平台寻求一种现成的、易于启动的调节解决方案,但它们也需要定制来管理不同的政策。延迟和成本也是必须考虑的关键因素。通过使用生成式 AI 与大型语言模型 (LLM) 协调毒性分类,我们提供了一种平衡简单性、延迟、成本和灵活性的解决方案,以满足各种要求。
这篇文章的示例代码可以在 GitHub存储库.
音频聊天审核工作流程
音频聊天审核工作流程可以由用户在游戏平台上举报其他用户违反政策(例如脏话、仇恨言论或骚扰)来启动。这代表了一种被动的音频调节方法。系统会记录所有音频对话,但不会立即进行分析。收到报告后,工作流程会检索相关音频文件并启动分析过程。然后,人工主持人审查所报告的对话,调查其内容以确定其是否违反平台政策。
或者,可以主动触发工作流程。例如,在社交音频聊天室中,系统可以记录所有对话并进行分析。
被动和主动方法都可以触发以下音频分析管道。
音频审核工作流程涉及以下步骤:
- 工作流程从接收音频文件并将其存储在 亚马逊简单存储服务 (Amazon S3) 存储桶,供 Amazon Transcribe 访问。
- 亚马逊转录
StartTranscriptionJob
API 的调用方式为 毒性检测 已启用。 Amazon Transcribe 将音频转换为文本,提供有关毒性分析的附加信息。有关毒性分析的更多信息,请参阅 使用 Amazon Transcribe Toxicity Inspection 标记口语对话中的有害语言. - 如果毒性分析返回的毒性分数超过特定阈值(例如 50%),我们可以使用 Amazon Bedrock 知识库 使用法学硕士根据定制策略评估消息。
- 人类主持人会收到一份详细的音频审核报告,突出显示被认为有毒且违反政策的对话片段,从而使他们能够做出明智的决定。
以下屏幕截图显示了一个示例应用程序,显示音频片段的毒性分析。它包括原始转录、Amazon Transcribe 毒性分析的结果以及通过 Amazon Bedrock Anthropic Claude V2 模型使用 Amazon Bedrock 知识库进行的分析。
LLM 分析提供违规结果(Y 或 N),并解释模型关于政策违规的决策背后的基本原理。此外,知识库包括评估所使用的参考政策文件,为主持人提供额外的背景信息。
Amazon Transcribe 毒性检测
Amazon Transcribe 是一项自动语音识别 (ASR) 服务,使开发人员可以轻松地向其应用程序添加语音转文本功能。音频审核工作流程使用 Amazon Transcribe Toxicity Inspection,这是一种由机器学习 (ML) 支持的功能,可使用基于音频和文本的提示来识别和分类七类基于语音的有毒内容,包括性骚扰、仇恨言论、威胁、辱骂、亵渎、侮辱和图形语言。除了分析文本之外,毒性检测还使用音调和音调等语音提示来识别语音中的恶意意图。
仅当毒性分析超过设定阈值时,音频审核工作流程才会激活法学硕士的策略评估。这种方法通过有选择地应用 LLM 来减少延迟并优化成本,过滤掉大部分流量。
使用LLM提示工程来适应定制政策
Amazon Transcribe 和 Amazon Comprehend 中预先训练的毒性检测模型提供了广泛的毒性分类法,社交平台通常使用该分类法来审核用户生成的音频和文本格式的内容。尽管这些预训练模型可以低延迟地有效检测问题,但您可能需要一个解决方案来检测违反特定公司或业务域策略的行为,而仅靠预训练模型无法实现这一点。
此外,检测上下文对话中的违规行为,例如识别 儿童性诱骗 对话,需要一个可定制的解决方案,其中涉及考虑聊天消息和外部上下文,例如用户的年龄、性别和对话历史记录。这就是法学硕士可以提供扩展这些要求所需的灵活性的地方。
Amazon Bedrock 是一项完全托管的服务,提供来自领先 AI 公司的高性能基础模型 (FM) 选择。这些解决方案使用 Amazon Bedrock 中的 Anthropic Claude v2 来使用灵活的提示模板来调节音频转录和文本聊天消息,如以下代码所述:
该模板包含策略描述、聊天消息和需要审核的其他规则的占位符。 Anthropic Claude V2 模型以指示的格式(Y 或 N)提供响应,并进行分析,解释为什么它认为该消息违反了策略。这种方法允许您定义灵活的审核类别并以人类语言阐明您的政策。
训练内部分类模型的传统方法涉及数据注释、训练、测试和模型部署等繁琐的过程,需要数据科学家和机器学习工程师的专业知识。相比之下,法学硕士提供了高度的灵活性。业务用户可以用人类语言修改提示,从而提高机器学习模型训练的效率并减少迭代周期。
Amazon Bedrock 知识库
尽管提示工程对于自定义策略非常有效,但将冗长的策略和规则直接注入每条消息的 LLM 提示中可能会引入延迟并增加成本。为了解决这个问题,我们使用 Amazon Bedrock 知识库作为托管检索增强生成 (RAG) 系统。这使您能够灵活管理策略文档,允许工作流仅检索每条输入消息的相关策略段。这最大限度地减少了发送给法学硕士进行分析的令牌数量。
您可以使用 AWS管理控制台 将保单文档上传到 S3 存储桶,然后将文档索引到矢量数据库以便高效检索。以下是由 Amazon Bedrock 知识库管理的概念工作流程,该工作流程从 Amazon S3 检索文档、将文本拆分为块并调用 Amazon Bedrock Titan 文本嵌入模型 将文本块转换为向量,然后将其存储在向量数据库中。
在这个解决方案中,我们使用 亚马逊开放搜索服务 作为向量存储。 OpenSearch的 是一个可扩展、灵活且可扩展的开源软件套件,用于搜索、分析、安全监控和可观察性应用程序,并根据 Apache 2.0 许可证获得许可。 OpenSearch Service 是一项完全托管的服务,可以在 AWS 云中轻松部署、扩展和操作 OpenSearch。
在 OpenSearch 服务中对文档建立索引后,音频和文本审核工作流程会发送聊天消息,触发以下查询流程以进行自定义策略评估。
该过程与启动工作流程类似。首先,使用 Amazon Bedrock Titan 文本嵌入 API 将文本消息转换为文本嵌入。然后使用这些嵌入来执行 矢量搜索 针对 OpenSearch Service 数据库,该数据库已经填充了文档嵌入。数据库返回与输入文本消息相关的具有最高匹配分数的策略块。然后,我们编写包含输入聊天消息和策略段的提示,并将其发送到 Anthropic Claude V2 进行评估。 LLM模型根据提示指令返回分析结果。
有关如何使用 Amazon Bedrock 知识库中的策略文档创建新实例的详细说明,请参阅 知识库现在在 Amazon Bedrock 中提供完全托管的 RAG 体验.
文本聊天审核工作流程
文本聊天审核工作流程遵循与音频审核类似的模式,但它使用专为文本审核量身定制的 Amazon Comprehend 毒性分析。示例应用程序支持上传 CSV 或 TXT 格式的批量文本文件的接口,并提供用于快速测试的单消息接口。下图说明了工作流程。
文本审核工作流程涉及以下步骤:
- 用户将文本文件上传到 S3 存储桶。
- Amazon Comprehend 毒性分析应用于短信。
- 如果毒性分析返回的毒性分数超过特定阈值(例如 50%),我们将使用 Amazon Bedrock 知识库根据 Anthropic Claude V2 LLM 的定制策略来评估消息。
- 政策评估报告将发送给人工主持人。
Amazon Comprehend 毒性分析
在文本审核工作流程中,我们使用 Amazon Comprehend 毒性分析来评估短信的毒性级别。 Amazon Comprehend 是一项自然语言处理 (NLP) 服务,它使用 ML 来发现文本中有价值的见解和联系。 Amazon Comprehend 毒性检测 API 为文本内容分配总体毒性评分,范围为 0-1,表示其有毒的可能性。它还将文本分为以下类别,并为每个类别提供置信度分数: hate_speech
, 形象的, harrassement_or_abuse
, 性, violence_or_threat
、侮辱和亵渎。
在此文本审核工作流程中,Amazon Comprehend 毒性分析在识别传入文本消息是否包含有毒内容方面发挥着至关重要的作用。与音频审核工作流程类似,它包含一个条件,仅当毒性分析返回的分数超过预定义阈值时才激活下游 LLM 策略评估。此优化有助于减少与 LLM 分析相关的总体延迟和成本。
总结
在这篇文章中,我们介绍了使用 AWS 服务(包括 Amazon Transcribe、Amazon Comprehend、Amazon Bedrock 和 OpenSearch Service)进行音频和文本聊天审核的解决方案。这些解决方案使用预先训练的模型进行毒性分析,并与生成式 AI LLM 进行协调,以实现准确性、延迟和成本方面的最佳平衡。它们还使您能够灵活地定义自己的策略。
您可以按照示例应用程序中的说明进行体验 GitHub回购.
关于作者
张拉娜 是 AWS WWSO AI 服务团队的高级解决方案架构师,专注于内容审核、计算机视觉、自然语言处理和生成 AI 的 AI 和 ML。 凭借自己的专业知识,她致力于推广 AWS AI/ML 解决方案,并协助客户转变其跨不同行业的业务解决方案,包括社交媒体、游戏、电子商务、媒体、广告和营销。
- :具有
- :是
- :不是
- :在哪里
- 100
- 118
- 14
- 7
- a
- 关于
- 滥用
- ACCESS
- 容纳
- 账号管理
- 横过
- 激活
- 加
- 增加
- 额外
- 附加信息
- 地址
- 广告
- 驳
- 年龄
- AI
- 人工智能服务
- AI / ML
- 所有类型
- 允许
- 允许
- 单
- 沿
- 已经
- 还
- 尽管
- Amazon
- 亚马逊领悟
- 亚马逊转录
- 亚马逊网络服务
- an
- 分析
- 分析
- 分析
- 和
- 人类的
- 阿帕奇
- API
- 应用
- 应用领域
- 应用领域
- 应用的
- 使用
- 应用
- 的途径
- 方法
- 保健
- AS
- 评估
- 协助
- 助理
- 协助
- 相关
- At
- 音频
- 增强
- 作者
- 自动表
- 可使用
- AWS
- 当前余额
- 结余
- 基地
- 基于
- BE
- 很
- 开始
- 背后
- 作为
- 都
- 破坏
- 广阔
- 商业
- 但是
- by
- CAN
- 能力
- 类别
- 一定
- 挑战
- 即时通话
- 猫
- 选择
- 分类
- 分类
- 云端技术
- 码
- 常用
- 通信
- 地区
- 公司
- 公司
- 理解
- 一台
- 计算机视觉
- 概念上的
- 流程条件
- 进行
- 信心
- 连接
- 考虑
- 考虑
- 考虑
- 包含
- 内容
- 上下文
- 上下文
- 对比
- 谈话
- 对话
- 兑换
- 转换
- 价格
- 成本
- 可以
- 创建信息图
- 危急
- 关键
- 麻烦的
- 合作伙伴
- 定制
- 定制
- 定制
- 周期
- data
- 数据库
- 决定
- 决定
- 专用
- 定义
- 学位
- 提供
- 部署
- 部署
- 描述
- 详细
- 检测
- 检测
- 确定
- 开发
- 图表
- 直接
- 显示
- 不同
- 文件
- 文件
- 不
- 域
- 向下
- 电子商务行业
- 每
- 效率
- 高效
- 有效
- 或
- 嵌入
- 授权
- enable
- 启用
- 使
- 工程师
- 工程师
- 增强
- 评估
- 评估
- 例子
- 超额
- 超过
- 体验
- 技术专家
- 专门知识
- 说明
- 介绍
- 延长
- 因素
- 文件
- 档
- 过滤
- 找到最适合您的地方
- (名字)
- 高度灵活
- 柔软
- 灵活地
- 流
- 以下
- 如下
- 针对
- 格式
- 基金会
- 友好
- 止
- 充分
- 功能
- 此外
- 赌博
- 游戏平台
- 性别
- 代
- 生成的
- 生成式人工智能
- 图形
- 有害
- 恨
- 帮助
- 这里
- 高
- 高绩效
- 最高
- 突出
- 历史
- 创新中心
- How To
- 但是
- HTML
- HTTP
- HTTPS
- 人
- 鉴定
- 确定
- if
- 说明
- 即时
- in
- 包括
- 包含
- 来电
- 增加
- 指数
- 索引
- 表示
- 说明
- 行业
- 信息
- 通知
- 开始
- 启动
- 同修
- 引发
- 输入
- 可行的洞见
- 例
- 说明
- 侮辱
- 意图
- 接口
- 成
- 介绍
- 介绍
- 调查
- 调用
- 所调用
- 涉及
- 问题
- IT
- 迭代
- 它的
- 工作
- JPG
- 保持
- 知识
- 语言
- 大
- 潜伏
- 铅
- 领导
- 学习
- Level
- 执照
- 行货
- 可能性
- LLM
- 低
- 机
- 机器学习
- 使
- 制作
- 管理
- 管理
- 颠覆性技术
- 管理的
- 许多
- 营销
- 匹配
- 可能..
- 手段
- 媒体
- 的话
- 条未读消息
- 方法
- 最小化
- ML
- 模型
- 模型
- 中度
- 缓和
- 适度
- 修改
- 监控
- 更多
- 必须
- 自然
- 自然语言处理
- 需求
- 打印车票
- 全新
- NLP
- 现在
- 数
- of
- 提供
- 优惠精选
- 经常
- on
- 仅由
- 打开
- 开放源码
- 操作
- 最佳
- 优化
- 优化
- or
- 精心策划
- 编排
- 原版的
- 其他名称
- 输出
- 概述
- 学校以外
- 最划算
- 己
- 被动
- 模式
- 演出
- 管道
- 沥青
- 平台
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 扮演
- 请
- 政策
- 政策
- 人口稠密
- 一部分
- 帖子
- 预定义
- 主动
- 问题
- 过程
- 过程
- 处理
- 亵渎
- 促进
- 提示
- 提供
- 提供
- 优
- 询问
- 快速
- 抹布
- 范围
- 合理的
- 收到
- 接收
- 接收
- 承认
- 记录
- 记录
- 减少
- 减少
- 减少
- 参考
- 引用
- 关于
- 有关
- 相应
- 依靠
- 报告
- 报道
- 报告
- 代表
- 要求
- 岗位要求
- 需要
- 回应
- 回复
- 导致
- 成果
- 恢复
- 回报
- 检讨
- 评论
- 角色
- Room
- 第
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- 安全
- 实现安全
- 样品
- 满足
- 可扩展性
- 鳞片
- 诈骗
- 科学家
- 得分了
- 搜索
- 部分
- 保安
- 寻找
- 段
- 中模板
- 发送
- 前辈
- 发送
- 服务
- 特色服务
- 集
- XNUMX所
- 有性
- 她
- 作品
- 显著
- 类似
- 简易
- 简单
- 社会
- 社会化媒体
- 社交平台
- 软件
- 独自
- 方案,
- 解决方案
- 来源
- 专业
- 具体的
- 言语
- 语音识别
- 语音到文本
- 拆分
- 说
- 步骤
- 存储
- 商店
- 存储
- 存储
- 简单的
- 这样
- 套房
- SUPPORT
- 支持
- 系统
- 行李牌
- 量身定制
- 拍摄
- 分类
- 团队
- 模板
- 测试
- 文本
- 这
- 其
- 他们
- 然后
- 博曼
- 他们
- 想
- Free Introduction
- 威胁
- 门槛
- 通过
- 耗时的
- 泰坦
- 至
- 今晚
- 令牌
- 传统
- 交通
- 产品培训
- 转型
- 触发
- 引发
- 触发
- 信任
- 揭露
- 下
- 上传
- 使用
- 用过的
- 用户
- 用户
- 使用
- 运用
- 有价值
- 各个
- 验证
- 违反
- 违反
- 愿景
- 音色
- we
- 卷筒纸
- Web服务
- ,尤其是
- 是否
- 这
- 而
- 为什么
- 维基百科上的数据
- 将
- 中
- 也完全不需要
- 话
- 工作流程
- 完全
- 您一站式解决方案
- 和风网