Herramientas de moderación de contenido nuevas y mejoradas

Para ayudar a los desarrolladores a proteger sus aplicaciones contra posibles usos indebidos, estamos introduciendo el más rápido y más preciso Punto final de moderación. Este punto final proporciona a los desarrolladores de API de OpenAI acceso gratuito a basado en GPT clasificadores que detectan contenido no deseado: una instancia de utilizando sistemas de IA para ayudar con la supervisión humana de estos sistemas. También hemos lanzado un papel técnico describiendo nuestra metodología y el datos utilizado para la evaluación.

Cuando se le da una entrada de texto, el punto final de moderación evalúa si el contenido es sexual, de odio, violento o promueve la autolesión (contenido prohibido por nuestra política de contenido. El endpoint ha sido entrenado para ser rápido, preciso y para funcionar de manera robusta en una variedad de aplicaciones. Es importante destacar que esto reduce las posibilidades de que los productos "digan" algo incorrecto, incluso cuando se implementan para los usuarios a escala. Como consecuencia, la IA puede desbloquear beneficios en entornos sensibles, como la educación, donde de otro modo no podría usarse con confianza.

El punto final de moderación ayuda a los desarrolladores a beneficiarse de nuestras inversiones en infraestructura. En lugar de construir y mantener sus propios clasificadores, un proceso extenso, como documentamos en nuestro En cambio, pueden acceder a clasificadores precisos a través de una sola llamada a la API.

Como parte de OpenAI compromiso a hacer que el ecosistema de IA sea más seguro, proporcionamos este punto final para permitir la moderación gratuita de todo el contenido generado por la API de OpenAI. Por ejemplo, En el mundo, un cliente de la API de OpenAI, utiliza el punto final de moderación para ayudar a sus personajes virtuales basados ​​en IA a "permanecer en el guión". Al aprovechar la tecnología de OpenAI, Inworld puede concentrarse en su producto principal: crear personajes memorables.

Además, agradecemos el uso del punto final para moderar el contenido. no generado con la API de OpenAI. En un caso, la empresa NGL – una plataforma de mensajería anónima, con un enfoque en la seguridad – utiliza el punto final de moderación para detectar lenguaje de odio e intimidación en su aplicación. NGL encuentra que estos clasificadores son capaces de generalizar a la jerga más reciente, lo que les permite tener más confianza con el tiempo. El uso del extremo de Moderación para monitorear el tráfico que no es de API está en versión beta privada y estará sujeto a una tarifa. Si está interesado, póngase en contacto con nosotros en soporte@openai.com.

Comience con el punto final de moderación revisando la documentación. Más detalles sobre el proceso de entrenamiento y el rendimiento del modelo están disponibles en nuestro . También hemos lanzado un conjunto de datos de evaluación, que presenta datos de Common Crawl etiquetados dentro de estas categorías, lo que esperamos estimule más investigaciones en esta área.