用户生成内容 (UGC) 呈指数级增长,保持内容和在线社区安全合规的要求和成本也呈指数级增长。 从初创公司到大型组织,现代网络和移动平台通过社交功能推动业务发展并推动用户参与。 在线社区成员期望获得安全和包容的体验,他们可以自由地消费和贡献图像、视频、文本和音频。 UGC 的数量、种类和复杂性不断增加,使得传统的人工审核工作流程难以扩展以保护用户。 这些限制迫使客户采用低效、昂贵且反应性的缓解流程,从而给用户和企业带来不必要的风险。 结果是糟糕的、有害的和非包容性的社区体验,使用户脱离,对社区和业务目标产生负面影响。
该解决方案是可扩展的内容审核工作流程,依赖于人工智能 (AI)、机器学习 (ML)、深度学习 (DL) 和自然语言处理 (NLP) 技术。 这些结构可翻译、转录、识别、检测、屏蔽、编辑,并战略性地将人才引入审核工作流程,以运行保证用户安全和参与所需的操作,同时提高准确性和流程效率,并降低运营成本。
本文回顾了如何使用 AWS AI 服务构建内容审核工作流程。 要详细了解自动内容审核给社交媒体、游戏、电子商务和广告行业带来的业务需求、影响和成本降低,请参阅 利用 AWS AI 服务自动化内容审核和合规性.
解决方案概述
您不需要 ML 方面的专业知识来实施这些工作流程,并且可以根据您的特定业务需求定制这些模式! AWS 通过完全托管的服务提供这些功能,消除了操作复杂性和无差别的繁重工作,并且无需数据科学团队。
在这篇文章中,我们演示了如何使用文本、音频、图像、视频甚至 PDF 文件有效地管理客户讨论和评论产品的空间。 下图展示了该解决方案的架构。
先决条件
默认情况下,这些模式展示了一种无服务器方法,您只需为使用的内容付费。 您继续为计算资源付费,例如 AWS 法门 容器和存储,例如 亚马逊简单存储服务 (Amazon S3),直到您删除这些资源。 所讨论的 AWS AI 服务还遵循每次操作的消费定价模型。
假设您的帐户符合资格,非生产环境可以在免费套餐中测试这些模式。
中等纯文本
首先,您需要对纯文本实施内容审核。 此过程是更复杂的媒体类型的基础,并且需要两个高级步骤:
- 翻译文本。
- 分析文本。
全球客户希望以他们的母语与社交平台进行协作。 满足这一期望可能会增加复杂性,因为设计团队必须为每种语言构建工作流程或步骤。 相反,您可以使用 亚马逊翻译 将文本转换为超过 70 个地区的 15 多种语言和变体。 此功能使您能够为单一语言编写分析规则,并将这些规则应用于全球在线社区。
Amazon Translate 是一项神经机器翻译服务,可提供快速、高质量、经济实惠且可定制的语言翻译。 您可以将其集成到您的工作流程中以检测主导语言并 翻译文本. 下图说明了工作流程。
API 的操作方式如下:
- 检测主导语言 API 确定输入文本的主要语言。 有关 Amazon Comprehend 可以检测的语言列表,请参阅 主要语言.
- 翻译文本 API 将输入文本从源语言翻译为目标语言,可选 亵渎掩饰。 有关可用语言和语言代码的列表,请参阅 支持的语言和语言代码.
- 开始执行 和 开始同步执行 API 启动 AWS步骤功能 状态机。
接下来,您可以使用 NLP 来发现文本中的联系,例如发现关键短语、分析情绪和检测个人身份信息 (PII)。 亚马逊领悟 API 提取这些有价值的见解并将其传递到自定义函数处理程序中。
在里面运行这些处理程序 AWS Lambda 函数可以弹性扩展您的代码,而无需考虑服务器或集群。 或者,您可以使用 Amazon Comprehend 处理见解 微服务架构模式。 无论运行时如何,您的代码都专注于使用结果,而不是解析文本。
下图说明了工作流程。
Lambda 函数与以下 API 交互:
- 检测实体 API 发现并分组现实世界对象的名称,例如文本中的人物和地点。 您可以使用自定义词汇表来编辑不适当的和特定于业务的实体类型。
- 检测情绪 API 将文本的整体情绪识别为积极、消极或中性。 您可以训练自定义分类器来识别感兴趣的行业特定情况并提取文本的概念含义。
- 检测PII实体 API 识别您文本中的 PII,例如地址、银行帐号或电话号码。 输出包含 PII 实体的类型及其相应的位置。
适度的音频文件
要审核音频文件,您必须将文件转录为文本,然后对其进行分析。 此过程有两种变体,具体取决于您是处理单个文件(同步)还是实时音频流(异步)。 同步工作流程非常适合批处理,调用者会收到一个完整的响应。 相反,音频流需要定期采样多个转录结果。
亚马逊转录 是一种自动语音识别服务,使用 ML 模型将音频转换为文本。 您可以通过以下方式将其集成到同步工作流程中 开始转录工作 并定期 查询作业状态。 作业完成后,您可以使用上一步中的纯文本审核工作流程来分析输出。
下图说明了工作流程。
API 的操作方式如下:
- 开始转录作业 API 启动异步作业将语音转录为文本。
- 获取转录工作 API 返回有关转录作业的信息。 要查看作业的状态,请检查
TranscriptionJobStatus
场地。 如果状态属性是COMPLETED
,您可以在指定的位置找到结果TranscriptFileUri
场地。 如果您启用内容编辑,则编辑后的文字记录将显示在RedactedTranscriptFileUri
.
实时音频流需要支持实时交付模型的不同模式。 流媒体可以包括预先录制的媒体(例如电影、音乐和播客)和实时媒体(例如现场新闻广播)。 您可以使用以下命令即时转录音频块 Amazon Transcribe 流媒体 通过 HTTP/2 和 WebSockets 协议。 将一个块发布到服务后,您会收到一个或多个 转录结果对象 描述部分和完整的转录片段。 需要审核的片段可以重用上一节中的纯文本工作流程。 下图说明了此过程。
开始流式转录 API 启动双向 HTTP/2 流,其中音频流式传输到 Amazon Transcribe,将转录结果流式传输到您的应用程序。
适度的图像和照片
审核图像需要从图像和照片内容中检测包含裸露、暗示、暴力和其他类别的不当、不需要或冒犯性内容。
亚马逊重新认识 使您能够简化或自动化图像和视频审核工作流程,而无需 ML 专业知识。 Amazon Rekognition 返回与审核相关的标签的分层分类。 这些信息使您可以轻松地根据您的标准和实践、用户安全和合规性准则定义精细的业务规则。 使用这些功能不需要 ML 经验。 Amazon Rekognition 可以检测和读取图像中的文本,并为找到的每个单词返回边界框。 Amazon Rekognition 支持以英语、阿拉伯语、俄语、德语、法语、意大利语、葡萄牙语和西班牙语编写的文本检测!
您可以使用机器预测来完全自动化特定的审核任务。 此功能使人类主持人能够专注于更高阶的工作。 此外,Amazon Rekognition 可以使用 ML 快速审查数百万张图像或数千个视频,并标记需要采取进一步行动的资产子集。 预过滤有助于提供全面且经济高效的审核覆盖范围,同时减少人工团队审核的内容量。
下图说明了工作流程。
API 的操作方式如下:
- 检测审核标签 API 检测指定 JPEG 或 PNG 格式图像中的不安全内容。 根据您的要求,使用 DetectModerationLabels 来审核图片。 例如,您可能想要过滤包含裸露的图像,但不过滤包含暗示性内容的图像。
- 检测文本 API 检测输入图像中的文本并将其转换为机器可读的文本。
适度的富文本文档
接下来,您可以使用 亚马逊Textract 从扫描文档中提取手写文本和数据。 这个过程首先调用 开始文档分析 解析 Microsoft Word 和 Adobe PDF 文件的操作。 您可以通过以下方式监控作业进度 获取文档分析 行动。
分析结果指定文档中每个未覆盖的页面、段落、表格和键值对。 例如,假设医疗服务提供者必须仅在索赔描述字段中隐藏患者姓名。 在这种情况下,分析报告可以为 智能文档处理管道 审核和编辑特定数据字段。 下图说明了管道。
API 的操作方式如下:
- 开始文档分析 API 开始对输入文档进行异步分析,以了解检测到的项目(例如键值对、表格和选择元素)之间的关系
- 获取文档分析 API 获取分析文档中文本的 Amazon Textract 异步操作的结果
审核视频
视频内容审核的标准方法是通过帧采样过程。 许多用例不需要检查每一帧,每 15-30 秒选择一帧就足够了。 采样的视频帧可以重用状态机来调节上一节中的图像。 类似地,现有的音频调节过程可以支持文件的可听内容。 下图说明了此工作流程。
调用 API 运行 Lambda 函数并同步等待响应。
假设媒体文件是具有多个场景的整部电影。 在这种情况下,您可以使用 Amazon Rekognition 细分 API,用于检测技术线索或镜头检测的复合 API。 接下来,您可以使用这些时间偏移量与之前的视频审核模式并行处理每个片段,如下图所示。
API 的操作方式如下:
- 开始分段检测 API启动存储视频中分段检测的异步检测
- 获取分段检测 API 获取由 StartSegmentDetection API 启动的 Amazon Rekognition Video 分析的片段检测结果
从电影中提取各个帧不需要多次从 Amazon S3 获取对象。 一个简单的解决方案是将视频读入内存并分页到末尾。 此模式非常适合短片和评估对时间不敏感的情况。
另一种策略是将文件移动一次到 亚马逊弹性文件系统 (Amazon EFS),一个完全托管、可扩展的共享文件系统,适用于其他 AWS 服务,例如 Lambda。 和 适用于 Lambda 的 Amazon EFS,您可以跨函数调用有效地分发数据。 每次调用都有效地处理一小块,从而释放大规模并行处理和更快处理时间的潜力。
清理
在尝试本文中的方法后,您应该删除 S3 存储桶中的所有内容,以避免未来产生费用。 如果您使用预配置的计算资源(例如 亚马逊弹性计算云 (Amazon EC2)或 亚马逊弹性容器服务 (Amazon ECS),您应该停止这些实例以避免进一步的费用。
结论
用户生成的内容及其对游戏、社交媒体、电子商务以及金融和健康服务组织的价值将继续增长。 尽管如此,初创企业和大型组织仍然需要创建有效的审核流程来保护用户、信息和业务,同时降低运营成本。 该解决方案演示了 AI、ML 和 NLP 技术如何有效地帮助您大规模管理内容。 您可以自定义 AWS AI 服务来满足您的特定审核需求! 这些完全托管的功能消除了操作复杂性。 这种灵活性战略性地将情境洞察和人才整合到您的审核流程中。
如需更多信息、资源并立即免费开始,请访问 AWS 内容审核主页.
作者简介
内特·巴赫迈尔 是一名 AWS 高级解决方案架构师,他在纽约游牧,一次一个云集成。 他擅长迁移和现代化应用程序。 除此之外,内特是一名全日制学生,有两个孩子。
拉姆帕坦吉 是旧金山湾区 Amazon Web Services 的解决方案架构师。 他帮助农业、保险、银行、零售、医疗保健和生命科学、酒店业和高科技垂直行业的客户在 AWS 云上成功运营其业务。 他专注于数据库、分析和机器学习。
立体盆 是 AWS 的解决方案架构师,专注于 AI/ML。 他热衷于利用人工智能和机器学习帮助客户创新并实现其业务目标。 业余时间,鲁普喜欢阅读和徒步旅行。
- "
- 100
- 70
- 关于
- 摘要
- 账号管理
- 横过
- 操作
- 行动
- 增加
- 额外
- 地址
- 广告
- 农业
- AI
- 人工智能服务
- Amazon
- 亚马逊网络服务
- 量
- 分析
- 分析
- API
- APIs
- 应用领域
- 应用领域
- 的途径
- 架构
- 国家 / 地区
- 人造的
- 人工智能
- 人工智能(AI)
- 人工智能和机器学习
- 办公室文员:
- 音频
- 自动化
- 自动化
- 自动表
- 可使用
- AWS
- 银行
- 银行账户
- 银行业
- 海湾
- 建立
- 商业
- 企业
- 呼叫者
- 能力
- 携带
- 例
- 挑战
- 收费
- 剪辑
- 云端技术
- 码
- 合作
- 如何
- 地区
- 社体的一部分
- 复杂性
- 符合
- 兼容
- 全面
- 计算
- 连接
- 消耗
- 消费
- 容器
- 集装箱
- 包含
- 内容
- 继续
- 贡献
- 相应
- 经济有效
- 成本
- 创建信息图
- 习俗
- 合作伙伴
- 定制
- data
- 数据科学
- 数据库
- 提供
- 交货
- 演示
- 根据
- 设计
- 检测
- 检测
- 不同
- 讨论
- 文件
- 不会
- 驾驶
- 电子商务行业
- 电子商务
- 效率
- 高效
- 有效
- enable
- 订婚
- 英语
- 实体
- 例子
- 现有
- 期望
- 体验
- 体验
- 实验
- 专门知识
- 成倍
- 高效率
- 快
- 特征
- 金融
- 高度灵活
- 流
- 专注焦点
- 重点
- 遵循
- 以下
- 发现
- 基金会
- FRAME
- 旧金山
- Free
- 法语
- 汽油
- 功能
- 进一步
- 未来
- 赌博
- 全球
- 组的
- 增长
- 方针
- 健康管理
- 医疗保健
- 帮助
- 帮助
- 帮助
- 高品质
- 创新中心
- How To
- HTTPS
- 人
- 图片
- 影响力故事
- 实施
- 实施
- 包括
- 增加
- 个人
- 行业
- 信息
- 输入
- 可行的洞见
- 保险
- 整合
- 积分
- 房源搜索
- 兴趣
- IT
- 工作
- 键
- 孩子们
- 标签
- 语言
- 语言
- 大
- 学习用品
- 学习
- 生命科学
- 翻新
- 清单
- 圖書分館的位置
- 机
- 机器学习
- 制作
- 管理
- 面膜
- 意
- 媒体
- 会议
- 成员
- 内存
- 微软
- 可能
- 百万
- ML
- 联络号码
- 模型
- 模型
- 显示器
- 更多
- 电影
- 电影
- 移动
- 多
- 音乐
- 名称
- 自然
- 负
- 纽约
- 消息
- 数
- 在线
- 操作
- 操作
- 组织
- 其他名称
- 最划算
- 多情
- 模式
- 员工
- 短语
- 平台
- 播客
- 贫困
- 葡萄牙语
- 积极
- 潜力
- 功率
- 预测
- 以前
- 价格
- 过程
- 过程
- 处理
- 热销产品
- 财产
- 保护
- 协议
- 提供
- 很快
- 阅读
- 实时的
- 接收
- 承认
- 减少
- 关系
- 报告
- 要求
- 必须
- 岗位要求
- 资源
- 响应
- 成果
- 零售
- 回报
- 回报
- 检讨
- 评论
- 风险
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- 运行
- 安全
- 实现安全
- 圣
- 旧金山
- 可扩展性
- 鳞片
- 场景
- 科学
- 科学
- 秒
- 段
- 中模板
- 情绪
- 无服务器
- 服务
- 特色服务
- 共用的,
- 短
- 如图
- 同样
- 简易
- 小
- 社会
- 社会化媒体
- 方案,
- 解决方案
- 极致
- 剩余名额
- 专业
- 标准
- 标准
- 开始
- 开始
- 启动
- 初创企业
- 州/领地
- Status
- 存储
- 策略
- 流
- 流
- 学生
- 顺利
- SUPPORT
- 支持
- 系统
- 天赋
- 目标
- 任务
- 团队
- 文案
- 技术
- test
- 思维
- 数千
- 通过
- 次
- 今晚
- 一起
- 传统
- 成绩单
- 翻译
- 类型
- 揭露
- 使用
- 用户
- 折扣值
- 各种
- 垂直
- 视频
- 视频
- 体积
- 卷筒纸
- Web服务
- 什么是
- 是否
- 而
- 中
- 也完全不需要
- 工作