Новые и улучшенные инструменты модерации контента

Чтобы помочь разработчикам защитить свои приложения от возможного неправомерного использования, мы представляем более быструю и точную Конечная точка модерации. Эта конечная точка предоставляет разработчикам API OpenAI бесплатный доступ к на основе GPT классификаторы, обнаруживающие нежелательный контент — экземпляр с использованием систем ИИ для помощи в человеческом надзоре за этими системами. Мы также выпустили техническая документация описание нашей методики и Набор данных используется для оценки.

При вводе текста конечная точка модерации оценивает, является ли контент сексуальным, разжигающим ненависть, жестоким или пропагандирующим членовредительство — контент, запрещенный нашими контентная политика. Конечная точка обучена быть быстрой, точной и стабильно работать в различных приложениях. Важно отметить, что это снижает вероятность того, что продукты «говорят» не то, что нужно, даже при масштабном развертывании для пользователей. Как следствие, ИИ может раскрыть преимущества в чувствительных условиях, таких как образование, где иначе его нельзя было бы использовать с уверенностью.

Конечная точка модерации помогает разработчикам извлечь выгоду из наших инвестиций в инфраструктуру. Вместо того, чтобы создавать и поддерживать свои собственные классификаторы — обширный процесс, как мы документируем в нашем бумаги— вместо этого они могут получить доступ к точным классификаторам с помощью одного вызова API.

В рамках OpenAI обязательство в сделать экосистему ИИ более безопасной, мы предоставляем эту конечную точку, чтобы разрешить бесплатную модерацию всего контента, созданного API OpenAI. Например, В мире, клиент OpenAI API, использует конечную точку модерации, чтобы помочь своим виртуальным персонажам на основе ИИ «оставаться в сценарии». Используя технологию OpenAI, Inworld может сосредоточиться на своем основном продукте — создании запоминающихся персонажей.

Кроме того, мы приветствуем использование конечной точки для модерации контента. не генерируется с помощью OpenAI API. В одном случае компания NGL — платформа анонимного обмена сообщениями с акцентом на безопасность — использует конечную точку модерации для обнаружения нецензурных выражений и издевательств в своем приложении. NGL считает, что эти классификаторы способны обобщать новейший сленг, что позволяет им со временем оставаться более уверенными. Использование конечной точки модерации для мониторинга трафика, не связанного с API, находится в стадии закрытого бета-тестирования и будет платным. Если вы заинтересованы, пожалуйста, свяжитесь с нами по адресу support@openai.com.

Начните работу с конечной точкой модерации, проверив документация. Более подробная информация о процессе обучения и производительности модели доступна в нашем бумаги. Мы также выпустили набор данных для оценки, в котором представлены данные Common Crawl, помеченные в этих категориях, что, как мы надеемся, будет стимулировать дальнейшие исследования в этой области.