Anthropic creó un chatbot de IA democrático al permitir que los usuarios eligieran sus principios.

En una exploración innovadora de las capacidades de la IA, Anthropic, una empresa de inteligencia artificial (IA), ha adaptado un modelo de lenguaje grande (LLM) para reflejar los valores definidos por el usuario. Este estudio único implicó recopilar aportaciones de 1,000 participantes para afinar las respuestas del LLM en función de sus juicios colectivos.

A diferencia de los LLM convencionales equipados con barreras predefinidas para limitar ciertos resultados, el enfoque de Anthropic abarca la agencia del usuario. Modelos como Claude de Anthropic y ChatGPT de OpenAI a menudo se adhieren a respuestas de seguridad preestablecidas, especialmente en lo que respecta a temas delicados. Sin embargo, los críticos argumentan que tales intervenciones podrían comprometer la autonomía del usuario, ya que la definición de aceptabilidad varía y es subjetiva según las culturas y los períodos de tiempo.

Una posible solución a este complejo desafío es capacitar a los usuarios para que den forma a la alineación de valores de los modelos de IA. Anthropic se embarcó en el experimento “IA constitucional colectiva” en colaboración con Polis y el Proyecto de Inteligencia Colectiva. Al involucrar a 1,000 usuarios de diversos orígenes, plantearon una serie de preguntas a través de encuestas para recopilar información valiosa.

El experimento gira en torno a otorgar a los usuarios la autoridad para determinar la idoneidad sin exponerlos a resultados no deseados. Este proceso implicó obtener valores del usuario e incorporarlos en un modelo previamente entrenado. Anthropic emplea una técnica conocida como "IA constitucional", donde el modelo recibe un conjunto de reglas a seguir, similar a una constitución que guía la gobernanza en las naciones.

En el experimento Collective Constitutional AI, Anthropic pretendía integrar la retroalimentación de los grupos de usuarios en la constitución del modelo. Según la publicación del blog de Anthropic, los resultados sugieren un éxito científico, arrojando luz sobre los desafíos asociados con permitir que los usuarios definan colectivamente los valores de un producto LLM.

Un obstáculo notable al que se enfrentó el equipo fue el desarrollo de un novedoso proceso de evaluación comparativa. Dada la naturaleza pionera del experimento y su dependencia de la metodología de IA constitucional de Anthropic, no existe una prueba establecida para comparar los modelos base con aquellos ajustados utilizando valores de origen público.

Al final, parece que el modelo que incorpora datos derivados de los comentarios de las encuestas de los usuarios mostró una “leve” mejora con respecto al modelo base en la mitigación de resultados sesgados. Anthropic expresa entusiasmo no sólo por el modelo resultante sino, más importante aún, por el proceso innovador en sí. Este experimento representa uno de los primeros casos en los que el público, como colectivo, influyó intencionalmente en el comportamiento de un gran modelo lingüístico. La esperanza es que las comunidades de todo el mundo se basen en estas técnicas para desarrollar modelos que se alineen con sus necesidades culturales y contextuales específicas.