Công cụ kiểm duyệt nội dung mới và cải tiến

Để giúp các nhà phát triển bảo vệ ứng dụng của họ chống lại việc lạm dụng có thể xảy ra, chúng tôi đang giới thiệu Điểm cuối kiểm duyệt. Điểm cuối này cung cấp cho các nhà phát triển API OpenAI quyền truy cập miễn phí vào Dựa trên GPT bộ phân loại phát hiện nội dung không mong muốn - một ví dụ của sử dụng hệ thống AI để hỗ trợ sự giám sát của con người đối với các hệ thống này. Chúng tôi cũng đã phát hành cả hai giấy kỹ thuật mô tả phương pháp luận của chúng tôi và tập dữ liệu được sử dụng để đánh giá.

Khi được cung cấp một đầu vào văn bản, điểm cuối Kiểm duyệt sẽ đánh giá xem nội dung có mang tính kích dục, thù địch, bạo lực hay kích động hành vi tự làm hại bản thân hay không - nội dung bị chúng tôi cấm chính sách nội dung. Điểm cuối đã được đào tạo để nhanh chóng, chính xác và hoạt động mạnh mẽ trên nhiều ứng dụng. Quan trọng là, điều này làm giảm khả năng các sản phẩm “nói sai”, ngay cả khi được triển khai cho người dùng trên quy mô lớn. Do đó, AI có thể mở khóa các lợi ích trong các cài đặt nhạy cảm, như giáo dục, nơi mà nó không thể được sử dụng một cách tự tin.

Điểm cuối Kiểm duyệt giúp các nhà phát triển hưởng lợi từ các khoản đầu tư vào cơ sở hạ tầng của chúng tôi. Thay vì xây dựng và duy trì các bộ phân loại của riêng họ — một quá trình mở rộng, như chúng tôi ghi lại trong giấy— Thay vào đó, họ có thể truy cập các bộ phân loại chính xác thông qua một lệnh gọi API.

Là một phần của OpenAI's cam kết đến làm cho hệ sinh thái AI an toàn hơn, chúng tôi đang cung cấp điểm cuối này để cho phép kiểm duyệt miễn phí tất cả nội dung do API OpenAI tạo. Ví dụ, Trong thế giới, một khách hàng API OpenAI, sử dụng điểm cuối Kiểm duyệt để giúp các nhân vật ảo dựa trên AI của họ “giữ nguyên kịch bản”. Bằng cách tận dụng công nghệ của OpenAI, Inworld có thể tập trung vào sản phẩm cốt lõi của mình – tạo ra những nhân vật đáng nhớ.

Ngoài ra, chúng tôi hoan nghênh việc sử dụng điểm cuối để kiểm duyệt nội dung không được tạo bằng API OpenAI. Trong một trường hợp, công ty NGL – một nền tảng nhắn tin ẩn danh, tập trung vào sự an toàn – sử dụng điểm cuối Kiểm duyệt để phát hiện ngôn ngữ thù hận và bắt nạt trong ứng dụng của họ. NGL nhận thấy rằng những bộ phân loại này có khả năng khái quát hóa thành tiếng lóng mới nhất, cho phép chúng tự tin hơn theo thời gian. Việc sử dụng điểm cuối Kiểm duyệt để giám sát lưu lượng truy cập không phải API đang ở giai đoạn thử nghiệm riêng tư và sẽ phải trả phí. Nếu bạn quan tâm, vui lòng liên hệ với chúng tôi tại support@openai.com.

Bắt đầu với điểm cuối Kiểm duyệt bằng cách kiểm tra tài liệu. Thông tin chi tiết về quá trình đào tạo và hiệu suất mô hình có sẵn trong giấy. Chúng tôi cũng đã phát hành một tập dữ liệu đánh giá, có dữ liệu Thu thập thông tin chung được gắn nhãn trong các danh mục này, mà chúng tôi hy vọng sẽ thúc đẩy nghiên cứu sâu hơn trong lĩnh vực này.