Anthropic a construit un chatbot AI democratic, permițând utilizatorilor să voteze pentru valorile acestuia

Anthropic a construit un chatbot AI democratic, permițând utilizatorilor să voteze pentru valorile acestuia

Marca temporală: 18 octombrie 2023 1:00

În ceea ce ar putea fi primul studiu de acest gen, firma de inteligență artificială (AI) Anthropic a dezvoltat un model de limbaj mare (LLM) care a fost ajustat pentru judecățile de valoare de către comunitatea sa de utilizatori.

Multe LLM-uri destinate publicului au fost dezvoltate cu balustrade - instrucțiuni codificate care dictează un comportament specific - în încercarea de a limita ieșirile nedorite. Claude de la Anthropic și ChatGPT de la OpenAI, de exemplu, oferă utilizatorilor un răspuns de siguranță predefinit la solicitările de ieșire legate de subiecte violente sau controversate.

Cu toate acestea, așa cum au subliniat nenumărați experți, balustradele și alte tehnici de intervenție pot servi la jefuirea utilizatorilor de agenție. Ceea ce este considerat acceptabil nu este întotdeauna util, iar ceea ce este considerat util nu este întotdeauna acceptabil. Iar definițiile pentru moralitate sau judecățile bazate pe valoare pot varia între culturi, populații și perioade de timp.

Related: Regatul Unit va viza potențialele amenințări ale inteligenței artificiale la summitul planificat din noiembrie

Un posibil remediu pentru acest lucru este de a permite utilizatorilor să dicteze alinierea valorii pentru modelele AI. Experimentul „AI constituțională colectivă” de la Anthropic este o încercare la această „provocare dezordonată”.

Anthropic, în colaborare cu Polis și Collective Intelligence Project, a contactat 1,000 de utilizatori din diverse categorii demografice și le-a cerut să răspundă la o serie de întrebări prin sondaje.

Anthropic a construit un chatbot AI democratic, permițând utilizatorilor să voteze pentru valorile sale PlatoBlockchain Data Intelligence. Căutare verticală. Ai.
Sursă, Antropică

Provocarea se concentrează pe a permite utilizatorilor agenției să determine ce este potrivit fără a-i expune la rezultate neadecvate. Aceasta a implicat solicitarea valorilor utilizatorilor și apoi implementarea acestor idei într-un model care a fost deja instruit.

Anthropic folosește o metodă numită „IA constituțională”. direcționa eforturile sale de a regla LLM-urile pentru siguranță și utilitate. În esență, aceasta implică oferirea modelului unei liste de reguli pe care trebuie să le respecte și apoi instruirea acestuia pentru a implementa acele reguli pe parcursul procesului său, la fel cum o constituție servește ca document de bază pentru guvernare în multe națiuni.

În experimentul Collective Constitutional AI, Anthropic a încercat să integreze feedback-ul de grup în constituția modelului. Rezultatele, conform într-o postare pe blog de la Anthropic, par să fi fost un succes științific prin faptul că a luminat provocări suplimentare pentru atingerea obiectivului de a permite utilizatorilor unui produs LLM să-și determine valorile colective.

Una dintre dificultățile pe care echipa a trebuit să le depășească a fost să vină cu o metodă nouă pentru procesul de evaluare comparativă. Deoarece acest experiment pare a fi primul de acest gen și se bazează pe metodologia AI constituțională a Anthropic, nu există un test stabilit pentru compararea modelelor de bază cu cele reglate cu valori generate de mulțime.

În cele din urmă, se pare că modelul care a implementat datele rezultate din feedback-ul sondajului utilizatorilor a depășit „puțin” modelul de bază în zona rezultatelor părtinitoare.

După postarea de pe blog:

„Mai mult decât modelul rezultat, suntem încântați de proces. Credem că aceasta poate fi una dintre primele cazuri în care membrii publicului au dirijat, ca grup, în mod intenționat comportamentul unui model de limbaj mare. Sperăm că comunitățile din întreaga lume se vor baza pe tehnici ca aceasta pentru a pregăti modele specifice cultural și context, care să le servească nevoilor.”

Timestamp-ul:

Mai mult de la Cointelegraph