亚马逊互动视频服务 (Amazon IVS) 是一种托管直播流解决方案,旨在提供快速、简单的设置,让您构建交互式视频体验并处理从摄取到交付的交互式视频内容。
随着实时流媒体使用的增加,有效内容审核的需求变得更加重要。 用户生成内容 (UGC) 给安全带来了复杂的挑战。 许多公司依靠人工主持人来监控视频流,这非常耗时、容易出错,而且无法随着业务增长速度而扩展。 人们越来越需要支持人机参与 (HITL) 的自动审核解决方案。
Amazon Rekognition 内容审核, 的能力 亚马逊重新认识,自动化并简化图像和视频审核工作流程,无需机器学习 (ML) 经验。 在这篇文章中,我们通过使用 Amazon Rekognition Image API 来审核直播流的解决方案来解释直播流视觉审核的常见做法。 您可以使用以下命令将此解决方案部署到您的 AWS 账户 AWS云开发套件 (AWS CDK) 包可在我们的 GitHub回购.
适度的直播视觉内容
UGC 直播视觉审核最常见的方法包括从流中采样图像并利用图像审核来接收近乎实时的结果。 直播平台可以使用灵活的规则来调节视觉内容。 例如,拥有年轻受众的平台可能对成人内容和某些产品有严格的规则,而其他平台可能会关注仇恨符号。 这些平台制定了不同的规则来有效匹配他们的政策。 将人工审核和自动审核相结合的混合流程是一种常见的设计方法。 某些流将自动停止,但人工审核员还将评估流是否违反平台政策并应停用。
下图说明了近实时审核系统的概念工作流程,该系统设计为与直播系统松散耦合。
工作流包含以下步骤:
- 直播流服务(或客户端应用程序)根据特定的时间间隔从视频流中采样图像帧。
- 规则引擎评估审核指南,确定流采样的频率和适用的审核类别,所有这些都在预定义的策略内。 此过程涉及机器学习和非机器学习算法的利用。
- 规则引擎在检测到视频流中的违规行为时向人工主持人发出警报。
- 人工主持人评估结果并关闭直播。
审核 UGC 直播流与媒体中的经典视频审核不同。 它满足不同的法规。 从视频帧中采样图像进行审核的频率通常由平台的信任与安全策略和服务级别协议 (SLA) 决定。 例如,如果直播平台的目标是在 3 分钟内停止违反政策的频道,那么实用的方法是每 1-2 分钟采样一次,以便人工主持人有时间验证并采取行动。 一些平台需要灵活的调节频率控制。 例如,信誉良好的主播可能需要较少的审核,而新主播则需要更密切的关注。 这还可以通过降低采样频率来实现成本优化。
成本是任何直播审核解决方案中的一个重要考虑因素。 随着 UGC 直播平台的迅速扩张,高频率地调节并发流可能会引发成本问题。 本文中介绍的解决方案旨在通过允许您定义调节规则来自定义采样频率、忽略相似的图像帧和其他技术来优化成本。
将 Amazon IVS 流内容录制到 Amazon S3
Amazon IVS 提供原生解决方案 录制流内容 到 亚马逊简单存储服务 (Amazon S3) 存储桶并生成缩略图 - 来自视频流的图像帧。 默认情况下,它每 60 秒生成一次缩略图,并为用户提供自定义图像质量和频率的选项。 使用 AWS管理控制台,你可以直接在这个页面上 创建录音配置 并将其链接到 Amazon IVS 渠道。 当录制配置与频道关联时,该频道的直播流会自动录制到指定的S3存储桶中。
使用自动记录到 Amazon S3 功能或写入 Amazon S3 不会产生 Amazon IVS 费用。 Amazon S3 存储、Amazon IVS 代表客户进行的 Amazon S3 API 调用以及向观看者提供存储的视频均需付费。 有关 Amazon IVS 费用的详细信息,请参阅 成本(低延迟流媒体).
Amazon Rekognition 审核 API
在这个解决方案中,我们使用 Amazon Rekognition DetectModerationLabel API 近乎实时地管理 Amazon IVS 缩略图。 Amazon Rekognition 内容审核提供预先训练的 API 来分析各种不当或攻击性内容,例如暴力、裸体、仇恨符号等。 有关 Amazon Rekognition 内容审核分类法的完整列表,请参阅 审核内容.
以下代码片段演示了如何调用 Amazon Rekognition DetectModerationLabel API 来审核 AWS Lambda 使用 Python Boto3 库的函数:
以下是来自 Amazon Rekognition 图像审核 API 的示例响应:
有关 Amazon Rekognition 图像审核 API 的其他示例,请参阅我们的 内容审核图像实验室.
解决方案概述
该解决方案通过从 S3 存储桶读取缩略图并将图像发送到 Amazon Rekognition Image Moderation API 来与 Amazon IVS 集成。 它提供了自动停止流和人工参与审核的选择。 您可以配置系统根据条件自动停止流的规则。 它还包括一个轻型人工审核门户,使版主能够监控流、管理违规警报并在必要时停止流。
本节我们简单介绍一下系统架构。 欲了解更多详细信息,请参阅 GitHub回购.
以下屏幕录制显示主持人 UI,使他们能够通过审核警告监控活动流,并采取停止流或消除警告等操作。
用户可以自定义审核规则,控制每个通道的视频流采样频率,使用置信度阈值配置 Amazon Rekognition 审核类别,并启用相似性检查,从而通过避免处理冗余图像来确保性能和成本优化。
以下屏幕录制显示了用于管理全局配置的 UI。
该解决方案采用微服务架构,由两个与 Amazon IVS 松散耦合的关键组件组成。
规则引擎
规则引擎构成了直播审核系统的支柱。 它是一种实时处理服务,可以实现近乎实时的审核。 它使用 Amazon Rekognition 来审核图像,根据可自定义的规则验证结果,采用图像哈希算法来识别和排除相似的图像,并可以在违反规则时自动停止流或向人工审核子系统发出警报。 该服务通过基于 Amazon S3 的图像读取与 Amazon IVS 集成,并通过以下方式促进 API 调用: Amazon API网关.
以下架构图说明了近实时审核工作流程。
有两种方法可以触发规则引擎处理工作流程:
- S3文件触发器 – 当新图像添加到 S3 存储桶时,工作流程开始。 这是 Amazon IVS 集成的推荐方式。
- REST API 调用 – 您可以使用请求正文中的图像字节对 API Gateway 进行 RESTful API 调用。 API 将图像存储在 S3 存储桶中,从而触发近乎实时的处理。 这种方法适合由实时流应用程序的客户端捕获并通过互联网传输的图像。
图像处理工作流程,由 AWS步骤功能,涉及几个步骤:
- 检查采样频率规则。 如果前一个采样时间太近,处理就会停止。
- 如果在配置中启用,请使用图像哈希算法执行相似性检查。 如果该图像与同一通道接收到的上一张图像相似,则该过程会跳过该图像。
- 使用 Amazon Rekognition 图像审核 API 根据配置的规则评估图像,应用置信度阈值并忽略不必要的类别。
- 如果审核结果违反任何规则,请发送通知至 亚马逊简单通知服务 (Amazon SNS) 主题,向下游系统发出审核警告。
- 如果违反自动停止审核规则,Amazon IVS 流将自动停止。
该设计通过 Step Functions 状态机管理规则,提供拖放 GUI 以实现灵活的工作流程定义。 您可以通过合并其他 Step Functions 工作流程来扩展规则引擎。
监控和管理仪表板
监控和管理仪表板是一个具有 UI 的 Web 应用程序,可让人工审核员监控 Amazon IVS 直播流。 它提供近乎实时的审核警报,允许审核者停止直播或忽略警告。 Web 门户还使管理员能够管理规则引擎的审核规则。 它支持两种类型的配置:
- 渠道规则 – 您可以为特定渠道定义规则。
- 全球规则 – 这些规则适用于缺少特定配置的全部或部分 Amazon IVS 通道。 您可以定义正则表达式以将全局规则应用于与模式匹配的 Amazon IVS 通道名称。 例如:.* 适用于所有通道。 /^test-/ 适用于名称以 test- 开头的通道。
该系统是一个无服务器 Web 应用程序,具有托管在 Amazon S3 上的静态 React 前端, 亚马逊的CloudFront的 用于缓存。 身份验证由处理 亚马逊Cognito。 数据通过 API Gateway 和 Lambda 提供,状态存储在 Amazon DynamoDB. 下图说明了此体系结构。
监控仪表板是一个轻量级演示应用程序,为版主提供基本功能。 为了增强功能,您可以扩展实现以通过管理系统支持多个主持人,并通过使用 WebSocket 实现推送机制来减少延迟。
审核延迟
该解决方案专为近实时审核而设计,并在两个独立的子系统中测量延迟:
- 规则引擎工作流程 – 规则引擎工作流程,从接收图像到通过 Amazon SNS 发送通知,平均在 2 秒内完成。 该服务通过 Step Functions 状态机快速处理图像。 对于平均文件大小低于 500 MB 的情况,Amazon Rekognition 图像审核 API 的处理时间不到 1 毫秒。 (这些结果基于使用示例应用程序进行的测试,满足近乎实时的要求。)在 Amazon IVS 中,您可以选择不同的 缩略图分辨率 调整图像大小。
- 监控门户网站 – 监控Web 门户订阅规则引擎的SNS 主题。 它在 DynamoDB 表中记录警告,而网站 UI 每 10 秒获取最新警告。 此设计展示了主持人观点的轻量级演示。 为了进一步减少延迟,请考虑实施 WebSocket,以便在警告到达时立即通过 Amazon SNS 将警告推送到 UI。
扩展解决方案
这篇文章重点讨论直播视觉内容审核。 然而,该解决方案有意做到灵活,能够适应复杂的业务规则,并且可扩展以支持其他媒体类型,包括调节实时流中的聊天消息和音频。 您可以通过引入具有上游调度逻辑的新 Step Functions 状态机工作流程来增强规则引擎。 我们将在接下来的帖子中更深入地研究使用 AWS AI 服务的实时流文本和音频审核。
总结
在这篇文章中,我们概述了一个示例解决方案,展示了如何使用 Amazon Rekognition 管理 Amazon IVS 直播视频。 您可以按照示例应用程序中的说明进行体验 GitHub回购 并使用随附的 AWS CDK 包将其部署到您的 AWS 账户。
进一步了解 AWS 上的内容审核。 迈出第一步 使用 AWS 简化您的内容审核操作.
作者简介
张拉娜 是 AWS WWSO AI 服务团队的高级解决方案架构师,专注于内容审核、计算机视觉、自然语言处理和生成 AI 的 AI 和 ML。 凭借自己的专业知识,她致力于推广 AWS AI/ML 解决方案,并协助客户转变其跨不同行业的业务解决方案,包括社交媒体、游戏、电子商务、媒体、广告和营销。
托尼·武 是 Twitch 的高级合作伙伴工程师。 他专门评估与 Amazon Interactive Video Service (IVS) 集成的合作伙伴技术,旨在为我们的 IVS 客户开发和提供全面的联合解决方案。
- :是
- 1
- 10
- 100
- 118
- 12
- 500
- 60
- 7
- a
- 关于
- 容纳
- 账号管理
- 横过
- 操作
- 行动
- 要积极。
- 添加
- 额外
- 管理员
- 成人
- 广告
- 驳
- 协议
- AI
- 人工智能服务
- AI / ML
- 致力
- 目标
- 警惕
- 通知
- 算法
- 所有类型
- 允许
- 还
- Amazon
- 亚马逊重新认识
- 亚马逊网络服务
- an
- 分析
- 和
- 任何
- API
- APIs
- 应用
- 相应
- 应用领域
- 适用
- 使用
- 应用
- 的途径
- 架构
- 保健
- 到来
- AS
- 评估
- 评估
- 协助
- 相关
- At
- 关注我们
- 观众
- 音频
- 认证
- 作者
- 汽车
- 自动化
- 自动化
- 自动表
- 自动
- 可使用
- 避免
- AWS
- 骨干
- 基于
- BE
- 成为
- 代表
- 如下。
- 身体
- 都
- 简要地
- 建立
- 商业
- 但是
- by
- 呼叫
- 呼叫
- CAN
- 能力
- 能力
- 捕获
- 类别
- 迎合
- 一定
- 挑战
- 渠道
- 通道
- 收费
- 查
- 支票
- 选择
- 经典
- 客户
- 接近
- 云端技术
- 码
- 结合
- 相当常见
- 公司
- 复杂
- 组件
- 全面
- 一台
- 计算机视觉
- 概念上的
- 关注
- 并发
- 条件
- 进行
- 信心
- 配置
- 配置
- 考虑
- 考虑
- 由
- 包含
- 内容
- 控制
- 控制
- 价格
- 成本
- 再加
- 关键
- 顾客
- 合作伙伴
- 定制
- 定制
- XNUMX月XNUMX日
- data
- 专用
- 更深
- 默认
- 定义
- 定义
- 交付
- 交货
- 钻研
- 演示
- 演示
- 部署
- 部署
- 设计
- 设计
- 详细
- 详情
- 决心
- 确定
- 开发
- 研发支持
- 不同
- 解除此信息
- 显示器
- 不同
- 不同
- 不会
- 电子商务行业
- 有效
- 只
- 员工
- 授权
- 如虎添翼
- 启用
- 使
- 使
- 结束
- 发动机
- 工程师
- 提高
- 确保
- 必要
- 建立
- 甚至
- 所有的
- 例子
- 例子
- 扩大
- 体验
- 体验
- 专门知识
- 说明
- 表达
- 延长
- 功能有助于
- 专栏
- 特征
- 特色
- 女
- 文件
- 发现
- (名字)
- 配件
- 柔软
- 专注焦点
- 重点
- 以下
- 针对
- 形式
- 频率
- 频繁
- 止
- 前
- 前端
- 功能
- 功能
- 功能
- 进一步
- 赌博
- 网关
- 产生
- 发电
- 生成的
- 生成式人工智能
- GIF
- 全球
- 事业发展
- 方针
- 手柄
- 哈希
- 散列
- 恨
- 有
- he
- 这里
- 高
- 高度
- 托管
- 创新中心
- How To
- 但是
- HTML
- HTTP
- HTTPS
- 人
- 杂交种
- if
- 忽略
- 说明
- 图片
- 图片
- 履行
- 实施
- 重要
- in
- 包括
- 包括
- 包含
- 结合
- 增加
- 日益
- 行业
- 信息
- 例
- 即刻
- 说明
- 集成
- 积分
- 故意地
- 互动
- 网络
- 成
- 介绍
- 介绍
- IT
- 联合
- JPG
- 键
- 缺乏
- 语言
- 潜伏
- 最新
- 学习
- 减
- 让
- 让
- 自学资料库
- 光
- 轻巧
- 友情链接
- 清单
- 生活
- 直播视频流
- 逻辑
- 机
- 机器学习
- 使
- 制作
- 管理
- 管理
- 颠覆性技术
- 管理
- 管理的
- 许多
- 营销
- 匹配
- 匹配
- 可能..
- 机制
- 媒体
- 会议
- 条未读消息
- 方法
- 微服务
- 可能
- 毫秒
- 分钟
- ML
- 适度
- 显示器
- 监控
- 更多
- 最先进的
- 多
- 姓名
- 名称
- 本地人
- 自然
- 自然语言处理
- 必要
- 需求
- 打印车票
- 全新
- 没有
- 通知
- 通知
- 对象
- of
- 进攻
- 优惠精选
- on
- 一
- 那些
- 运营
- 优化
- 附加选项
- or
- 其他名称
- 其它
- 我们的
- 超过
- 最划算
- 简介
- 包
- 合伙人
- 模式
- 为
- 演出
- 性能
- 平台
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 政策
- 政策
- 门户网站
- 帖子
- 帖子
- 实用
- 在练习上
- 呈现
- 礼物
- 以前
- 过程
- 过程
- 处理
- 核心产品
- 促进
- 提供
- 提供
- 提供
- 优
- 推
- 蟒蛇
- 质量
- 快速
- 提高
- 范围
- 急速
- 应对
- 阅读
- 接收
- 收到
- 接收
- 最近
- 承认
- 建议
- 记录
- 了解
- 记录
- 减少
- 减少
- 参考
- 定期
- 法规
- 依靠
- 信誉良好
- 请求
- 要求
- 岗位要求
- 响应
- 导致
- 成果
- 检讨
- 第
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- 实现安全
- 同
- 鳞片
- 屏风
- 秒
- 部分
- 提交
- 发送
- 前辈
- 分开
- 已服务
- 无服务器
- 服务
- 特色服务
- 服务
- 格局
- 几个
- 她
- 应该
- 侧
- 类似
- 简易
- 尺寸
- 尺寸
- 片段
- 社会
- 社会化媒体
- 方案,
- 解决方案
- 一些
- 专业
- 专业
- 具体的
- 指定
- 速度
- 开始
- 启动
- 州/领地
- 静止
- 步
- 步骤
- Stop 停止
- 停止
- 停车
- 存储
- 存储
- 商店
- 简单的
- 流
- 流
- 流
- 监督
- 这样
- SUPPORT
- 支持
- 支持
- 系统
- 产品
- 表
- 采取
- 团队
- 技术
- 专业技术
- 测试
- 文本
- 这
- 其
- 他们
- 那里。
- 博曼
- Free Introduction
- 门槛
- 通过
- 缩略图
- 次
- 耗时的
- 至
- 托尼
- 也有
- 主题
- 向
- 转型
- 触发
- 触发
- 信任
- Twitch
- 二
- 类型
- 一般
- 教资会
- ui
- 下
- 不必要
- 即将上市
- 上
- 用法
- 使用
- 用户
- 使用
- 运用
- 利用
- 确认
- 通过
- 视频
- 视频
- 查看
- 观众
- 违反
- 违反
- 违反
- 暴力
- 愿景
- 视觉
- 方法..
- we
- 卷筒纸
- Web应用程序
- Web服务
- 您的网站
- 网络套接字
- ,尤其是
- 而
- 是否
- 这
- 而
- 宽
- 大范围
- 将
- 中
- 也完全不需要
- 工作流程
- 工作流程
- 写作
- 完全
- 更年轻
- 您一站式解决方案
- 和风网