新的和改进的内容审核工具

为了帮助开发人员保护他们的应用程序免受可能的误用，我们推出了更快、更准确的 审核端点. 此端点为 OpenAI API 开发人员提供免费访问 基于 GPT 检测不受欢迎内容的分类器——一个实例 使用人工智能系统 协助对这些系统进行人工监督。 我们还发布了两个 技术论文 描述我们的方法和 数据集 用于评估。

当给出文本输入时，审核端点会评估内容是否是性的、仇恨的、暴力的或宣扬自残的——我们禁止的内容 内容政策. 端点已经过训练，可以快速、准确并在一系列应用程序中稳健地执行。 重要的是，这减少了产品“说”错话的机会，即使在大规模部署给用户时也是如此。 因此，人工智能可以在教育等敏感环境中释放优势，否则无法放心使用。

审核端点可帮助开发人员从我们的基础设施投资中受益。 而不是构建和维护自己的分类器——这是一个广泛的过程，正如我们在我们的文档中所记录的那样 纸——他们可以通过单个 API 调用访问准确的分类器。

作为 OpenAI 的一部分 承诺 至 让人工智能生态系统更安全，我们提供此端点以允许免费审核所有 OpenAI API 生成的内容。 例如， 在世界上是 OpenAI API 的客户，使用 Moderation 端点来帮助他们基于 AI 的虚拟角色“停留在脚本上”。 通过利用 OpenAI 的技术，Inworld 可以专注于他们的核心产品——创造令人难忘的角色。

此外，我们欢迎使用端点来审核内容 不能 使用 OpenAI API 生成。 在一种情况下，公司 NGL – 一个专注于安全的匿名消息传递平台 – 使用审核端点来检测其应用程序中的仇恨语言和欺凌行为。 NGL 发现这些分类器能够泛化到最新的俚语，让他们随着时间的推移保持更加自信。 使用审核端点监控非 API 流量处于私人测试阶段，需要付费。 如果您有兴趣，请联系我们 支持@openai.com.

通过签出开始使用审核端点 文件. 有关训练过程和模型性能的更多详细信息，请参阅我们的 纸. 我们还发布了一个 评估数据集，具有在这些类别中标记的 Common Crawl 数据，我们希望这将促进该领域的进一步研究。