Új és továbbfejlesztett tartalommoderáló eszközök

Annak érdekében, hogy a fejlesztők megóvják alkalmazásaikat az esetleges visszaélésekkel szemben, bevezetjük a gyorsabb és pontosabb megoldást Moderálás végpontja. Ez a végpont ingyenes hozzáférést biztosít az OpenAI API fejlesztői számára GPT alapú osztályozók, amelyek észlelik a nem kívánt tartalmat – egy példánya AI rendszerek használatával hogy segítsenek ezeknek a rendszereknek az emberi felügyeletében. Mi is kiadtuk mind a műszaki papír ismertetve módszertanunkat és a adatbázisba értékelésére használják.

Szövegbevitel esetén a Moderálási végpont felméri, hogy a tartalom szexuális, gyűlöletkeltő, erőszakos-e vagy önsértést hirdet-e – ez a tartalom tiltja tartalompolitika. A végpontot úgy képezték ki, hogy gyors, pontos és robusztus teljesítményt nyújtson számos alkalmazásban. Fontos, hogy ez csökkenti annak az esélyét, hogy a termékek rossz dolgot „mondjanak”, még akkor is, ha nagy méretben telepítik őket a felhasználókhoz. Következésképpen az AI olyan érzékeny környezetekben, mint például az oktatásban, olyan előnyökhöz juthat, ahol egyébként nem lehetne magabiztosan használni.

A moderálás végpontja segít a fejlesztőknek abban, hogy részesüljenek infrastrukturális beruházásainkból. Ahelyett, hogy saját osztályozókat építenének és karbantartanának – ez egy kiterjedt folyamat, amint azt a mi dokumentumunkban dokumentáljuk papír— ehelyett egyetlen API-híváson keresztül hozzáférhetnek a pontos osztályozókhoz.

Az OpenAI részeként elkötelezettség nak nek biztonságosabbá téve a mesterséges intelligencia ökoszisztémáját, ezt a végpontot azért biztosítjuk, hogy lehetővé tegyük az összes OpenAI API által generált tartalom ingyenes moderálását. Például, A világban, an OpenAI API customer, uses the Moderation endpoint to help their AI-based virtual characters “stay on-script”. By leveraging OpenAI’s technology, Inworld can focus on their core product – creating memorable characters.

Ezenkívül üdvözöljük a végpont használatát a tartalom moderálására nem az OpenAI API-val generált. Az egyik esetben a cég ngl – an anonymous messaging platform, with a focus on safety – uses the Moderation endpoint to detect hateful language and bullying in their application. NGL finds that these classifiers are capable of generalizing to the latest slang, allowing them to remain more-confident over time. Use of the Moderation endpoint to monitor non-API traffic is in private beta and will be subject to a fee. If you are interested, please reach out to us at support@openai.com.

A Moderálás végpont használatának megkezdéséhez ellenőrizze a dokumentáció. A képzési folyamatról és a modell teljesítményéről további részletek találhatók a mi oldalunkon papír. Kiadtunk egy értékelési adatkészlet, amely ezeken a kategóriákon belüli Common Crawl-adatokat tartalmaz, amelyek reményeink szerint további kutatásokat fognak ösztönözni ezen a területen.