Alat Moderasi Konten yang Baru dan Lebih Baik

Untuk membantu pengembang melindungi aplikasi mereka dari kemungkinan penyalahgunaan, kami memperkenalkan yang lebih cepat dan lebih akurat Titik akhir moderasi. Titik akhir ini memberi pengembang OpenAI API akses gratis ke berbasis GPT pengklasifikasi yang mendeteksi konten yang tidak diinginkan — sebuah instance dari menggunakan sistem AI untuk membantu pengawasan manusia terhadap sistem ini. Kami juga telah merilis keduanya makalah teknis menjelaskan metodologi kami dan kumpulan data digunakan untuk evaluasi.

Saat diberi masukan teks, titik akhir Moderasi menilai apakah konten tersebut bersifat seksual, kebencian, kekerasan, atau mempromosikan tindakan menyakiti diri sendiri — konten yang dilarang oleh kebijakan konten. Titik akhir telah dilatih untuk menjadi cepat, akurat, dan berkinerja kuat di berbagai aplikasi. Yang penting, ini mengurangi kemungkinan produk “mengatakan” hal yang salah, bahkan ketika diterapkan ke pengguna dalam skala besar. Akibatnya, AI dapat membuka manfaat dalam pengaturan sensitif, seperti pendidikan, di mana itu tidak dapat digunakan dengan percaya diri.

Titik akhir Moderasi membantu pengembang mendapatkan manfaat dari investasi infrastruktur kami. Daripada membangun dan memelihara pengklasifikasi mereka sendiri—proses ekstensif, seperti yang kami dokumentasikan di kertas—mereka malah dapat mengakses pengklasifikasi akurat melalui satu panggilan API.

Sebagai bagian dari OpenAI komitmen untuk membuat ekosistem AI lebih aman, kami menyediakan titik akhir ini untuk memungkinkan moderasi gratis dari semua konten yang dihasilkan API OpenAI. Contohnya, Di dunia, pelanggan OpenAI API, menggunakan titik akhir Moderasi untuk membantu karakter virtual berbasis AI mereka "tetap sesuai skrip". Dengan memanfaatkan teknologi OpenAI, Inworld dapat fokus pada produk inti mereka – menciptakan karakter yang mudah diingat.

Selain itu, kami menyambut penggunaan titik akhir untuk memoderasi konten tidak dihasilkan dengan OpenAI API. Dalam satu kasus, perusahaan NGL – platform perpesanan anonim, dengan fokus pada keamanan – menggunakan titik akhir Moderasi untuk mendeteksi bahasa kebencian dan penindasan dalam aplikasi mereka. NGL menemukan bahwa pengklasifikasi ini mampu menggeneralisasi ke bahasa gaul terbaru, memungkinkan mereka untuk tetap lebih percaya diri dari waktu ke waktu. Penggunaan titik akhir Moderasi untuk memantau lalu lintas non-API dalam versi beta pribadi dan akan dikenakan biaya. Jika Anda tertarik, silakan hubungi kami di dukungan@openai.com.

Mulailah dengan titik akhir Moderasi dengan memeriksa dokumentasi. Rincian lebih lanjut tentang proses pelatihan dan kinerja model tersedia di kami kertas. Kami juga telah merilis kumpulan data evaluasi, menampilkan data Perayapan Umum yang diberi label dalam kategori ini, yang kami harap akan memacu penelitian lebih lanjut di bidang ini.