Outils de modération de contenu nouveaux et améliorés

Pour aider les développeurs à protéger leurs applications contre d'éventuelles utilisations abusives, nous introduisons le plus rapide et le plus précis Point final de modération. Ce point de terminaison offre aux développeurs de l'API OpenAI un accès gratuit à Basé sur GPT classificateurs qui détectent le contenu indésirable - une instance de en utilisant des systèmes d'IA pour aider à la supervision humaine de ces systèmes. Nous avons également publié à la fois un papier technique décrivant notre méthodologie et les jeu de données utilisé pour l'évaluation.

Lorsqu'il reçoit une entrée de texte, le point de terminaison Modération évalue si le contenu est sexuel, haineux, violent ou incite à l'automutilation - contenu interdit par notre politique de contenu. Le point de terminaison a été formé pour être rapide, précis et performant dans une gamme d'applications. Surtout, cela réduit les risques que les produits « disent » la mauvaise chose, même lorsqu'ils sont déployés à grande échelle auprès des utilisateurs. En conséquence, l'IA peut débloquer des avantages dans des contextes sensibles, comme l'éducation, où elle ne pourrait pas être utilisée autrement en toute confiance.

Le point de terminaison de modération aide les développeurs à bénéficier de nos investissements en infrastructure. Plutôt que de créer et de maintenir leurs propres classificateurs - un processus approfondi, comme nous le documentons dans notre papier— ils peuvent à la place accéder à des classificateurs précis via un seul appel d'API.

Dans le cadre d'OpenAI engagement à rendre l'écosystème de l'IA plus sûr, nous fournissons ce point de terminaison pour permettre la modération gratuite de tout le contenu généré par l'API OpenAI. Par exemple, Dans le monde, un client de l'API OpenAI, utilise le point de terminaison Modération pour aider ses personnages virtuels basés sur l'IA à "rester sur le script". En tirant parti de la technologie d'OpenAI, Inworld peut se concentrer sur son produit principal : créer des personnages mémorables.

De plus, nous nous félicitons de l'utilisation du point de terminaison pour modérer le contenu ne sauraient généré avec l'API OpenAI. Dans un cas, la société LGN – une plate-forme de messagerie anonyme, axée sur la sécurité – utilise le point de terminaison Modération pour détecter le langage haineux et l'intimidation dans leur application. NGL constate que ces classificateurs sont capables de généraliser au dernier argot, leur permettant de rester plus confiants au fil du temps. L'utilisation du point de terminaison de modération pour surveiller le trafic non API est en version bêta privée et sera soumise à des frais. Si vous êtes intéressé, merci de nous contacter au support@openai.com.

Commencez avec le point de terminaison Modération en vérifiant la documentation. Plus de détails sur le processus de formation et les performances du modèle sont disponibles dans notre papier. Nous avons également publié un ensemble de données d'évaluation, présentant des données Common Crawl classées dans ces catégories, qui, nous l'espérons, stimuleront les recherches dans ce domaine.