使用 Amazon Comprehend 毒性检测标记有害内容 | 亚马逊网络服务

使用 Amazon Comprehend 毒性检测标记有害内容 | 亚马逊网络服务

时间戳记：14年2023月4日晚上10:XNUMX

在线社区正在推动游戏、社交媒体、电子商务、约会和电子学习等行业的用户参与度。 这些在线社区的成员信任平台所有者提供一个安全和包容的环境，让他们可以自由地消费内容和做出贡献。 内容审核员通常负责审核用户生成的内容并检查其安全性并符合您的使用条款。 然而，不适当内容的规模、复杂性和种类不断增加，使得人工审核工作流程无法扩展且成本高昂。 其结果是形成贫穷、有害和非包容性的社区，从而导致用户脱离并对社区和企业产生负面影响。

与用户生成的内容一样，机器生成的内容也给内容审核带来了新的挑战。 它会自动创建高度真实的内容，这些内容可能在规模上不合适或有害。 该行业正面临着自动审核人工智能生成的内容以保护用户免受有害内容侵害的新挑战。

在这篇文章中，我们介绍了毒性检测，这是来自 亚马逊领悟 它可以帮助您自动检测用户或机器生成的文本中的有害内容。 这包括纯文本、从图像中提取的文本以及从音频或视频内容转录的文本。

使用 Amazon Comprehend 检测文本内容中的毒性

Amazon Comprehend 是一项自然语言处理 (NLP) 服务，它使用机器学习 (ML) 来发现文本中有价值的见解和联系。 它提供了一系列 ML 模型，可以通过 API 接口进行预训练或定制。 Amazon Comprehend 现在提供了一种基于 NLP 的简单解决方案，用于检测文本中的有毒内容。

Amazon Comprehend 毒性检测 API 为文本内容分配总体毒性评分，范围为 0-1，表明其有毒的可能性。 它还将文本分为以下七个类别，并为每个类别提供置信度分数：

  • 仇恨言论 – 基于身份（无论是种族、民族、性别认同、宗教、性取向、能力、国籍或其他身份群体）批评、侮辱、谴责或非人化个人或群体的言论。
  • GRAPHIC – 使用视觉描述性的、详细的和令人不快的生动图像的演讲。 这种语言常常变得冗长，以放大对接受者的侮辱、不适或伤害。
  • 骚扰或虐待 – 在说话者和听者之间施加破坏性权力动态的言论（无论意图如何），试图影响接受者的心理健康，或客观化一个人。
  • SEXUAL – 通过直接或间接提及身体部位、身体特征或性别来表明性兴趣、活动或性唤起的言语。
  • 暴力或威胁 – 包含威胁、试图对个人或团体造成痛苦、伤害或敌意的言论。
  • 侮辱 – 包含贬低、羞辱、嘲笑、侮辱或贬低语言的言论。
  • 亵渎 – 包含不礼貌、粗俗或冒犯性的单词、短语或缩写词的言论。

您可以通过使用以下命令直接调用来访问毒性检测 API： AWS命令行界面 (AWS CLI) 和 AWS 开发工具包。 Amazon Comprehend 中的毒性检测目前支持英语版本。

用例

文本审核在管理用户生成的各种格式的内容（包括社交媒体帖子、在线聊天消息、论坛讨论、网站评论等）方面发挥着至关重要的作用。 此外，接受视频和音频内容的平台可以使用此功能来调节转录的音频内容。

生成式人工智能和大语言模型（LLM）的出现代表了人工智能领域的最新趋势。 因此，越来越需要响应式解决方案来管理法学硕士生成的内容。 Amazon Comprehend 毒性检测 API 非常适合满足这一需求。

Amazon Comprehend 毒性检测 API 请求

您最多可以向毒性检测 API 发送 10 个文本段，每个文本段的大小限制为 1 KB。 请求中的每个文本段都是独立处理的。 在以下示例中，我们生成一个名为的 JSON 文件 toxicity_api_input.json 包含文本内容，包括三个用于审核的示例文本片段。 请注意，在示例中，亵渎词语被屏蔽为 XXXX。

{ "TextSegments": [ {"Text": "and go through the door go through the door he's on the right"}, {"Text": "he's on the right XXXXX him"}, {"Text": "what the XXXX are you doing man that's why i didn't want to play"} ], "LanguageCode": "en"
}

您可以使用 AWS CLI 使用前面包含文本内容的 JSON 文件来调用毒性检测 API：

aws comprehend detect-toxic-content --cli-input-json file://toxicity_api_input.json

Amazon Comprehend 毒性检测 API 响应

毒性检测 API 响应 JSON 输出将包括毒性分析结果 ResultList 领域。 ResultList 列出文本段项，序列表示 API 请求中接收文本序列的顺序。 毒性代表检测的总体置信度得分（0-1 之间）。 标签包括带有置信度分数的毒性标签列表，按毒性类型分类。

以下代码显示了来自毒性检测 API 的基于上一节中的请求示例的 JSON 响应：

{ "ResultList": [ { "Toxicity": 0.009200000204145908, "Labels": [ { "Name": "PROFANITY", "Score": 0.0007999999797903001}, { "Name": "HATE_SPEECH", "Score": 0.0017999999690800905}, { "Name": "INSULT", "Score": 0.003000000026077032}, { "Name": "GRAPHIC", "Score": 0.0010000000474974513}, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.0013000000035390258}, { "Name": "SEXUAL", "Score": 0.0017000000225380063}, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.004999999888241291} ] }, { "Toxicity": 0.7358999848365784, "Labels": [ { "Name": "PROFANITY", "Score": 0.011900000274181366}, { "Name": "HATE_SPEECH", "Score": 0.019500000402331352}, { "Name": "INSULT", "Score": 0.0714000016450882}, { "Name": "GRAPHIC", "Score": 0.006099999882280827}, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.018200000748038292}, { "Name": "SEXUAL", "Score": 0.0027000000700354576}, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.8145999908447266} ] }, { "Toxicity": 0.9843000173568726, "Labels": [ { "Name": "PROFANITY", "Score": 0.9369999766349792 }, { "Name": "HATE_SPEECH", "Score": 0.30880001187324524 }, { "Name": "INSULT", "Score": 0.42100000381469727 }, { "Name": "GRAPHIC", "Score": 0.12630000710487366 }, { "Name": "HARASSMENT_OR_ABUSE", "Score": 0.25519999861717224 }, { "Name": "SEXUAL", "Score": 0.19169999659061432 }, { "Name": "VIOLENCE_OR_THREAT", "Score": 0.19539999961853027 } ] } ]
}

在前面的 JSON 中，第一个文本段被认为是安全的，毒性分数较低。 然而，第二和第三文本片段的毒性分数分别为 73% 和 98%。 对于第二部分，Amazon Comprehend 检测到高毒性分数 VIOLENCE_OR_THREAT; 对于第三段，它检测到 PROFANITY 具有高毒性评分。

使用 Python SDK 的示例请求

以下代码片段演示了如何利用Python SDK调用毒性检测API。 此代码接收与前面演示的 AWS CLI 命令相同的 JSON 响应。

import boto3 import base64
# Initialize a Comprehend boto3 client object
comprehend_client = session.client('comprehend') # Call comprehend Detect Toxic Content API with text segments
response = comprehend_client.detect_toxic_content( TextSegments=[ {"Text": "and go through the door go through the door he's on the right"}, {"Text": "he's on the right XXXXX him"}, {"Text": "what the XXXX are you doing man that's why i didn't want to play"} ], LanguageCode='en'
)

总结

在这篇文章中，我们概述了新的 Amazon Comprehend 毒性检测 API。 我们还描述了如何解析 API 响应 JSON。 欲了解更多信息，请参阅 理解API文档。

Amazon Comprehend 毒性检测现已在四个区域全面推出：us-east-1、us-west-2、eu-west-1 和 ap-southeast-2。

要了解有关内容审核的更多信息，请参阅 AWS 内容审核指南。 迈出第一步 使用 AWS 简化您的内容审核操作.

作者简介

作者 - 拉娜张张拉娜 是 AWS WWSO AI 服务团队的高级解决方案架构师，专注于内容审核、计算机视觉、自然语言处理和生成 AI 的 AI 和 ML。 凭借自己的专业知识，她致力于推广 AWS AI/ML 解决方案，并协助客户转变其跨不同行业的业务解决方案，包括社交媒体、游戏、电子商务、媒体、广告和营销。

作者 - Ravisha SK拉维沙SK 是 AWS 的高级产品经理和技术人员，专注于 AI/ML。 她在不同领域的数据分析和机器学习方面拥有超过 10 年的经验。 在业余时间，她喜欢阅读、在厨房尝试和探索新的咖啡店。

时间戳记：

更多来自 AWS机器学习