新しく改善されたコンテンツ モデレーション ツール

開発者がアプリケーションを誤用の可能性から保護できるようにするために、より高速で正確な モデレートエンドポイント. このエンドポイントは、OpenAI API 開発者に無料でアクセスできるようにします。 GPT ベース 望ましくないコンテンツを検出する分類子 — のインスタンス AI システムの使用 これらのシステムの人間による監視を支援します。 また、両方をリリースしました 技術論文 私たちの方法論と データセット 評価に使用されます。

テキスト入力が与えられると、モデレーション エンドポイントは、コンテンツが性的、憎悪、暴力、または自傷行為を助長するものであるかどうかを評価します。 コンテンツポリシー. エンドポイントは、迅速かつ正確で、さまざまなアプリケーションで確実に機能するようにトレーニングされています。 重要なことは、これにより、大規模なユーザーに展開された場合でも、製品が間違ったことを「言う」可能性が減少することです。 その結果、AI は、他の方法では自信を持って使用できなかった、教育などの機密設定で利点を引き出すことができます。

モデレーション エンドポイントは、開発者がインフラストラクチャへの投資から利益を得るのに役立ちます。 独自の分類器を構築して維持するのではなく、大規模なプロセスです。 紙—代わりに、XNUMX 回の API 呼び出しで正確な分類子にアクセスできます。

OpenAI の一部として コミットメント 〜へ AIエコシステムをより安全にする、このエンドポイントを提供して、OpenAI API によって生成されたすべてのコンテンツを無料でモデレートできるようにします。 例えば、 インワールドOpenAI API の顧客である は、モデレーション エンドポイントを使用して、AI ベースの仮想キャラクターが「台本通りに」作業できるようにしています。 OpenAI のテクノロジーを活用することで、Inworld はコア製品である印象的なキャラクターの作成に集中できます。

さらに、エンドポイントを使用してコンテンツを管理することを歓迎します OpenAI API で生成されます。 あるケースでは、同社は NGL – 安全性に重点を置いた匿名メッセージング プラットフォーム – モデレーション エンドポイントを使用して、アプリケーション内の憎悪に満ちた言葉やいじめを検出します。 NGL は、これらの分類子が最新のスラングに一般化できることを発見し、時間の経過とともに自信を維持できるようにしました。 API 以外のトラフィックを監視するためのモデレーション エンドポイントの使用はプライベート ベータ版であり、料金が発生します。 ご興味のある方は、こちらまでお問い合わせください。 support@openai.com.

チェックアウトして、モデレーション エンドポイントの使用を開始する ドキュメンテーション. トレーニング プロセスとモデルのパフォーマンスの詳細については、 紙. また、 評価データセット、これらのカテゴリ内でラベル付けされた Common Crawl データを特徴としています。これにより、この分野のさらなる研究が促進されることを願っています。