Нові та покращені засоби модерації вмісту

Щоб допомогти розробникам захистити свої програми від можливого зловживання, ми представляємо швидшу та точнішу Кінцева точка модерації. Ця кінцева точка надає розробникам OpenAI API безкоштовний доступ до на основі GPT класифікатори, які виявляють небажаний вміст — екземпляр за допомогою систем ШІ щоб допомогти з наглядом людини за цими системами. Ми також випустили обидва a технічний папір описуючи нашу методологію та набору даних використовується для оцінки.

Після введення тексту кінцева точка модерування оцінює, чи є вміст сексуальним, ненависті, насильством або пропагує самоушкодження — вміст, заборонений нашими політика щодо вмісту. Кінцеву точку було навчено бути швидкою, точною та надійною для різноманітних програм. Важливо те, що це зменшує ймовірність того, що продукти «скажуть» неправильні речі, навіть якщо їх розгортати для користувачів у масштабі. Як наслідок, штучний інтелект може розблокувати переваги в делікатних умовах, таких як освіта, де інакше його неможливо використовувати з упевненістю.

Кінцева точка модерації допомагає розробникам отримати вигоду від наших інвестицій у інфраструктуру. Замість того, щоб створювати та підтримувати власні класифікатори — великий процес, як ми задокументували в нашому папір— натомість вони можуть отримати доступ до точних класифікаторів через один виклик API.

Як частина OpenAI зобов'язання до зробити екосистему ШІ безпечнішою, ми надаємо цю кінцеву точку, щоб дозволити безкоштовну модерацію всього вмісту, створеного OpenAI API. Наприклад, Внутрішній світ, клієнт OpenAI API, використовує кінцеву точку модерації, щоб допомогти своїм віртуальним персонажам на основі штучного інтелекту «залишатися на сценарії». Використовуючи технологію OpenAI, Inworld може зосередитися на своєму основному продукті – створенні персонажів, що запам’ятовуються.

Крім того, ми вітаємо використання кінцевої точки для модерування вмісту НЕ створений за допомогою OpenAI API. В одному випадку компанія НГЛ – платформа анонімного обміну повідомленнями, зосереджена на безпеці – використовує кінцеву точку модерації для виявлення ненависті та залякування у своїй програмі. NGL виявляє, що ці класифікатори здатні узагальнювати найновіший сленг, що дозволяє їм залишатися більш впевненими з часом. Використання кінцевої точки модерування для моніторингу трафіку, не пов’язаного з API, знаходиться в приватній бета-версії та буде платним. Якщо ви зацікавлені, зв’яжіться з нами за адресою support@openai.com.

Почніть роботу з кінцевою точкою модерування, перевіривши документація. Детальніше про тренувальний процес і модельні показники дивіться у нас папір. Ми також випустили набір даних оцінки, що містить дані Common Crawl, помічені в цих категоріях, які, як ми сподіваємося, сприятимуть подальшим дослідженням у цій галузі.