Ferramentas de moderação de conteúdo novas e aprimoradas

Para ajudar os desenvolvedores a proteger seus aplicativos contra possíveis usos indevidos, estamos apresentando o método mais rápido e preciso Ponto de extremidade de moderação. Esse endpoint fornece aos desenvolvedores da API OpenAI acesso gratuito a Baseado em GPT classificadores que detectam conteúdo indesejado — uma instância de usando sistemas de IA para auxiliar na supervisão humana desses sistemas. Também lançamos um papel técnico descrevendo nossa metodologia e o conjunto de dados usado para avaliação.

Ao receber uma entrada de texto, o endpoint de moderação avalia se o conteúdo é sexual, odioso, violento ou promove automutilação — conteúdo proibido por nossa política de conteúdo. O endpoint foi treinado para ser rápido, preciso e ter um desempenho robusto em uma variedade de aplicativos. É importante ressaltar que isso reduz as chances de os produtos “falarem” a coisa errada, mesmo quando implantados para usuários em escala. Como consequência, a IA pode desbloquear benefícios em ambientes sensíveis, como educação, onde não poderia ser usada com confiança.

O endpoint de moderação ajuda os desenvolvedores a se beneficiarem de nossos investimentos em infraestrutura. Em vez de construir e manter seus próprios classificadores - um processo extenso, conforme documentamos em nosso papel— eles podem acessar classificadores precisos por meio de uma única chamada de API.

Como parte do OpenAI compromisso para tornando o ecossistema de IA mais seguro, estamos fornecendo esse endpoint para permitir a moderação gratuita de todo o conteúdo gerado pela API OpenAI. Por exemplo, No mundo, um cliente da API OpenAI, usa o endpoint de moderação para ajudar seus personagens virtuais baseados em IA a "permanecer no script". Ao alavancar a tecnologia da OpenAI, a Inworld pode se concentrar em seu produto principal – criando personagens memoráveis.

Além disso, agradecemos o uso do endpoint para moderar conteúdo não gerado com a API OpenAI. Em um caso, a empresa NGL – uma plataforma de mensagens anônimas, com foco na segurança – usa o endpoint Moderação para detectar linguagem de ódio e bullying em seu aplicativo. A NGL descobre que esses classificadores são capazes de generalizar para as gírias mais recentes, permitindo que permaneçam mais confiantes ao longo do tempo. O uso do endpoint de moderação para monitorar o tráfego não API está na versão beta privada e estará sujeito a uma taxa. Se você estiver interessado, por favor, entre em contato conosco em suporte@openai.com.

Comece com o endpoint de moderação fazendo check-out a documentação. Mais detalhes do processo de treinamento e desempenho do modelo estão disponíveis em nosso papel. Também lançamos um conjunto de dados de avaliação, apresentando dados de Rastreamento Comum rotulados nessas categorias, que esperamos estimular mais pesquisas nessa área.