Anthropic ha creato un chatbot democratico basato sull'intelligenza artificiale consentendo agli utenti di votare per i suoi valori

In quello che potrebbe essere il primo studio nel suo genere, la società di intelligenza artificiale (AI) Anthropic ha sviluppato un modello linguistico di grandi dimensioni (LLM) che è stato messo a punto per i giudizi di valore da parte della sua comunità di utenti.

Cosa significa che lo sviluppo dell’intelligenza artificiale sia più democratico? Per scoprirlo, abbiamo collaborato con @collect_intel usare @usepolis curare una costituzione sull’intelligenza artificiale basata sulle opinioni di circa 1000 americani. Quindi abbiamo addestrato un modello contro di esso utilizzando l’intelligenza artificiale costituzionale. pic.twitter.com/ZKaXw5K9sU

— Antropico (@AnthropicAI) Ottobre 17, 2023

Molti LLM rivolti al pubblico sono stati sviluppati con guardrail (istruzioni codificate che dettano comportamenti specifici) nel tentativo di limitare gli output indesiderati. Claude di Anthropic e ChatGPT di OpenAI, ad esempio, in genere forniscono agli utenti una risposta di sicurezza predefinita alle richieste di output relative ad argomenti violenti o controversi.

Tuttavia, come hanno sottolineato innumerevoli esperti, i guardrail e altre tecniche di intervento possono servire a derubare gli utenti della loro agenzia. Ciò che è considerato accettabile non è sempre utile e ciò che è considerato utile non è sempre accettabile. E le definizioni di moralità o di giudizi basati sui valori possono variare a seconda delle culture, delle popolazioni e dei periodi di tempo.

Correlato: Il Regno Unito prenderà di mira le potenziali minacce legate all’intelligenza artificiale al vertice previsto per novembre

Un possibile rimedio a questo problema è consentire agli utenti di dettare l’allineamento dei valori per i modelli di intelligenza artificiale. L’esperimento “Collective Constitutional AI” di Anthropic è un tentativo in questa “sfida disordinata”.

Anthropic, in collaborazione con Polis e Collective Intelligence Project, ha contattato 1,000 utenti di diversi dati demografici e ha chiesto loro di rispondere a una serie di domande tramite sondaggi.

La sfida è incentrata sul consentire agli utenti dell'agenzia di determinare cosa è appropriato senza esporli a risultati inappropriati. Ciò ha comportato la sollecitazione dei valori degli utenti e l'implementazione di tali idee in un modello già addestrato.

Anthropic utilizza un metodo chiamato “AI costituzionale”. dirette i suoi sforzi per ottimizzare gli LLM per la sicurezza e l'utilità. In sostanza, ciò implica fornire al modello un elenco di regole a cui deve attenersi e quindi addestrarlo a implementare tali regole durante tutto il suo processo, proprio come una costituzione funge da documento fondamentale per la governance in molte nazioni.

Nell'esperimento di intelligenza artificiale costituzionale collettiva, Anthropic ha tentato di integrare il feedback basato sul gruppo nella costituzione del modello. I risultati, secondo a un post sul blog di Anthropic, sembrano essere stati un successo scientifico in quanto hanno evidenziato ulteriori sfide verso il raggiungimento dell'obiettivo di consentire agli utenti di un prodotto LLM di determinare i propri valori collettivi.

Una delle difficoltà che il team ha dovuto superare è stata trovare un nuovo metodo per il processo di benchmarking. Poiché questo esperimento sembra essere il primo nel suo genere e si basa sulla metodologia Constitutional AI di Anthropic, non esiste un test consolidato per confrontare i modelli di base con quelli sintonizzati con valori di crowdsourcing.

In definitiva, sembra che il modello che ha implementato i dati risultanti dal feedback dei sondaggi degli utenti abbia sovraperformato “leggermente” il modello base nell’area dei risultati distorti.

Secondo il post del blog:

“Più che del modello risultante, siamo entusiasti del processo. Riteniamo che questo possa essere uno dei primi casi in cui membri del pubblico hanno, come gruppo, diretto intenzionalmente il comportamento di un ampio modello linguistico. Ci auguriamo che le comunità di tutto il mondo si basino su tecniche come questa per formare modelli culturalmente e contestualmente specifici che soddisfino le loro esigenze”.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://cointelegraph.com/news/antropic-democratic-ai-chatbot-by-letting-users-vote-for-its-values