Anthropic heeft een democratische AI-chatbot gebouwd door gebruikers op de waarden ervan te laten stemmen

Anthropic heeft een democratische AI-chatbot gebouwd door gebruikers op de waarden ervan te laten stemmen

Tijdstempel: 18 oktober 2023 1:00 uur

In wat misschien wel de eerste in zijn soort is, heeft het kunstmatige intelligentie (AI)-bedrijf Anthropic een groot taalmodel (LLM) ontwikkeld dat is afgestemd op de waardeoordelen van de gebruikersgemeenschap.

Veel publiekgerichte LLM's zijn ontwikkeld met vangrails (gecodeerde instructies die specifiek gedrag dicteren) in een poging ongewenste output te beperken. Claude van Anthropic en ChatGPT van OpenAI bieden gebruikers bijvoorbeeld doorgaans een standaard veiligheidsantwoord op uitvoerverzoeken die verband houden met gewelddadige of controversiële onderwerpen.

Zoals talloze experts echter hebben benadrukt, kunnen vangrails en andere interventietechnieken ertoe leiden dat gebruikers van hun keuzevrijheid worden beroofd. Wat als acceptabel wordt beschouwd, is niet altijd nuttig, en wat als nuttig wordt beschouwd, is niet altijd acceptabel. En definities voor moraliteit of op waarden gebaseerde oordelen kunnen variëren tussen culturen, bevolkingsgroepen en tijdsperioden.

Zie ook: Groot-Brittannië gaat zich tijdens de geplande top in november richten op potentiële AI-bedreigingen

Een mogelijke oplossing hiervoor is om gebruikers de mogelijkheid te bieden de afstemming van waarden voor AI-modellen te dicteren. Het ‘Collective Constitutional AI’-experiment van Anthropic is een poging om deze ‘rommelige uitdaging’ aan te pakken.

Anthropic heeft, in samenwerking met Polis en Collective Intelligence Project, 1,000 gebruikers uit verschillende demografische groepen benaderd en hen gevraagd een reeks vragen te beantwoorden via opiniepeilingen.

Anthropic bouwde een democratische AI-chatbot door gebruikers te laten stemmen op de waarden PlatoBlockchain Data Intelligence. Verticaal zoeken. Ai.
Bron, antropisch

De uitdaging draait om het toestaan ​​van gebruikers aan het bureau om te bepalen wat gepast is, zonder hen bloot te stellen aan ongepaste resultaten. Hierbij werd om gebruikerswaarden gevraagd en vervolgens die ideeën geïmplementeerd in een model dat al is getraind.

Anthropic gebruikt een methode genaamd ‘Constitutional AI’ directe zijn inspanningen om LLM's af te stemmen op veiligheid en bruikbaarheid. In wezen houdt dit in dat het model een lijst wordt gegeven met regels waaraan het zich moet houden en dat het vervolgens wordt getraind om die regels gedurende het gehele proces te implementeren, net zoals een grondwet in veel landen als kerndocument voor het bestuur dient.

In het Collective Constitutional AI-experiment probeerde Anthropic groepsgebaseerde feedback te integreren in de samenstelling van het model. De resultaten, volgens naar een blogpost van Anthropic, lijken een wetenschappelijk succes te zijn geweest in die zin dat het verdere uitdagingen belichtte bij het bereiken van het doel om de gebruikers van een LLM-product in staat te stellen hun collectieve waarden te bepalen.

Een van de moeilijkheden die het team moest overwinnen was het bedenken van een nieuwe methode voor het benchmarkingproces. Omdat dit experiment het eerste in zijn soort lijkt te zijn, en het berust op de Constitutionele AI-methodologie van Anthropic, bestaat er geen gevestigde test om basismodellen te vergelijken met modellen die zijn afgestemd op crowdsourced-waarden.

Uiteindelijk lijkt het erop dat het model dat gegevens implementeerde die voortkwamen uit de feedback van gebruikersonderzoeken, “iets” beter presteerde dan het basismodel op het gebied van vertekende resultaten.

Volgens de blogpost:

“Meer nog dan het resulterende model zijn we enthousiast over het proces. Wij geloven dat dit een van de eerste gevallen kan zijn waarin leden van het publiek, als groep, opzettelijk het gedrag van een groot taalmodel hebben gestuurd. We hopen dat gemeenschappen over de hele wereld op dit soort technieken zullen voortbouwen om cultuur- en contextspecifieke modellen te trainen die in hun behoeften voorzien.”

Tijdstempel:

Meer van Cointelegraph