Az Anthropic egy demokratikus mesterséges intelligencia chatbotot épített fel, lehetővé téve a felhasználóknak, hogy szavazzanak az értékei mellett

Az Anthropic egy demokratikus mesterséges intelligencia chatbotot épített fel, lehetővé téve a felhasználóknak, hogy szavazzanak az értékei mellett

Időbélyeg: 18. október 2023. 1:00

In what may be a first of its kind study, artificial intelligence (AI) firm Anthropic has developed a large language model (LLM) that’s been fine-tuned for value judgments by its user community.

Számos nyilvános LLM-et fejlesztettek ki védőkorlátokkal – kódolt utasításokkal, amelyek meghatározott viselkedést diktálnak – a nem kívánt kimenetek korlátozása érdekében. Az Anthropic Claude és az OpenAI ChatGPT például jellemzően előre meghatározott biztonsági választ ad a felhasználóknak az erőszakos vagy vitatott témákkal kapcsolatos kimeneti kérésekre.

However, as innumerable pundits have pointed out, guardrails and other interventional techniques can serve to rob users of their agency. What’s considered acceptable isn’t always useful, and what’s considered useful isn’t always acceptable. And definitions for morality or value-based judgments can vary between cultures, populaces, and periods of time.

Kapcsolódó: Az Egyesült Királyság a lehetséges mesterséges intelligencia-fenyegetések ellen irányul a tervezett novemberi csúcstalálkozón

One possible remedy to this is to allow users to dictate value alignment for AI models. Anthropic’s “Collective Constitutional AI” experiment is a stab at this “messy challenge.”

Az Anthropic a Polisszal és a Collective Intelligence Projecttel együttműködve 1,000 felhasználót kérdezett meg különböző demográfiai csoportokból, és kérte őket, hogy válaszoljanak egy sor kérdésre egy szavazáson keresztül.

Anthropic built a democratic AI chatbot by letting users vote for its values PlatoBlockchain Data Intelligence. Vertical Search. Ai.
Forrás, Antropikus

A kihívás középpontjában az áll, hogy lehetővé tegyük a felhasználók számára az ügynökség számára, hogy eldönthessék, mi a megfelelő anélkül, hogy nem megfelelő eredményeknek tennék ki őket. Ez magában foglalta a felhasználói értékek felkutatását, majd az ötletek megvalósítását egy már betanított modellben.

Anthropic uses a method called “Constitutional AI” to közvetlen its efforts at tuning LLMs for safety and usefulness. Essentially, this involves giving the model a list of rules it must abide by and then training it to implement those rules throughout its process, much like a constitution serves as the core document for governance in many nations.

In the Collective Constitutional AI experiment, Anthropic attempted to integrate group-based feedback into the model’s constitution. The results, szerint to a blog post from Anthropic, appear to have been a scientific success in that it illuminated further challenges towards achieving the goal of allowing the users of an LLM product to determine their collective values.

Az egyik nehézség, amelyet a csapatnak le kellett küzdenie, egy újszerű módszer kidolgozása volt a benchmarking folyamathoz. Mivel ez a kísérlet a maga nemében az elsőnek tűnik, és az Anthropic Constitutional AI módszertanára támaszkodik, nincs bevált teszt az alapmodellek és a tömegből származó értékekre hangolt modellek összehasonlítására.

Ultimately, it appears as though the model that implemented data resulting from user polling feedback outperformed the base model “slightly” in the area of biased outputs.

A blogbejegyzés szerint:

„Az eredményül kapott modellnél jobban izgatottak vagyunk a folyamat miatt. Úgy gondoljuk, hogy ez lehet az egyik első olyan eset, amikor a nyilvánosság tagjai csoportként szándékosan irányítják egy nagy nyelvi modell viselkedését. Reméljük, hogy a közösségek szerte a világon az ehhez hasonló technikákra építenek, hogy kulturálisan és kontextus-specifikus modelleket képezzenek, amelyek megfelelnek az igényeiknek.”

Időbélyeg:

Még több Cointelegraph