A Anthropic criou um chatbot de IA democrático ao permitir que seus princípios fossem escolhidos pelos usuários.

Em uma exploração inovadora das capacidades de IA, a Anthropic, uma empresa de inteligência artificial (IA), adaptou um grande modelo de linguagem (LLM) para refletir os valores definidos pelo usuário. Este estudo único envolveu a coleta de informações de 1,000 participantes para ajustar as respostas do LLM com base em seus julgamentos coletivos.

Ao contrário dos LLMs convencionais equipados com proteções predefinidas para restringir certos resultados, a abordagem da Anthropic abrange a agência do usuário. Modelos como Claude da Anthropic e ChatGPT da OpenAI frequentemente aderem a respostas de segurança predefinidas, especialmente em relação a tópicos delicados. No entanto, os críticos argumentam que tais intervenções podem comprometer a autonomia do utilizador, uma vez que a definição de aceitabilidade varia e é subjectiva entre culturas e períodos de tempo.

Uma solução potencial para este desafio complexo é capacitar os usuários para moldar o alinhamento de valor dos modelos de IA. A Anthropic embarcou no experimento “IA Constitucional Coletiva” em colaboração com a Polis e o Projeto de Inteligência Coletiva. Envolvendo 1,000 usuários de diversas origens, eles fizeram uma série de perguntas por meio de pesquisas para coletar informações valiosas.

O experimento gira em torno de conceder aos usuários autoridade para determinar a adequação sem expô-los a resultados indesejáveis. Este processo envolveu extrair valores do usuário e incorporá-los em um modelo pré-treinado. A Anthropic emprega uma técnica conhecida como “IA Constitucional”, onde o modelo é fornecido com um conjunto de regras a seguir, semelhante a uma constituição que orienta a governança nas nações.

No experimento de IA Constitucional Coletiva, a Antrópica teve como objetivo integrar o feedback de grupos de usuários na constituição do modelo. De acordo com a postagem do blog da Anthropic, os resultados sugerem um sucesso científico, lançando luz sobre os desafios associados a permitir que os usuários definam coletivamente os valores de um produto LLM.

Um obstáculo notável enfrentado pela equipe foi o desenvolvimento de um novo processo de benchmarking. Dada a natureza pioneira do experimento e a confiança na metodologia de IA Constitucional da Anthropic, não há nenhum teste estabelecido para comparar modelos básicos com aqueles ajustados usando valores de crowdsourcing.

No final, parece que o modelo que incorpora dados derivados do feedback das sondagens dos utilizadores exibiu uma “ligeira” melhoria em relação ao modelo base na mitigação de resultados tendenciosos. A Anthropic expressa entusiasmo não apenas com o modelo resultante, mas, mais importante, com o próprio processo inovador. Este experimento significa um dos primeiros casos em que o público, como um coletivo, influenciou intencionalmente o comportamento de um grande modelo de linguagem. A esperança é que as comunidades em todo o mundo utilizem essas técnicas para desenvolver modelos que se alinhem com as suas necessidades culturais e contextuais específicas.