Firma Anthropic zbudowała demokratycznego chatbota opartego na sztucznej inteligencji, umożliwiając użytkownikom głosowanie na jego wartości

Firma Anthropic zbudowała demokratycznego chatbota opartego na sztucznej inteligencji, umożliwiając użytkownikom głosowanie na jego wartości

Znacznik czasu: 18 października 2023 1:00

W ramach prawdopodobnie pierwszego tego rodzaju badania firma Anthropic zajmująca się sztuczną inteligencją (AI) opracowała duży model językowy (LLM), który został dostosowany do oceny wartości przez społeczność użytkowników.

Wiele dostępnych publicznie rozwiązań LLM zostało opracowanych z poręczami — zakodowanymi instrukcjami dyktującymi określone zachowanie — w celu ograniczenia niepożądanych wyników. Na przykład Claude firmy Anthropic i ChatGPT firmy OpenAI zazwyczaj zapewniają użytkownikom gotowe odpowiedzi dotyczące bezpieczeństwa na żądania wyjściowe dotyczące tematów związanych z przemocą lub kontrowersyjnymi.

Jednakże, jak zauważyło niezliczonych ekspertów, poręcze i inne techniki interwencyjne mogą służyć do okradania użytkowników z ich sprawczości. To, co uważa się za dopuszczalne, nie zawsze jest przydatne, a to, co uważa się za przydatne, nie zawsze jest akceptowalne. Definicje moralności lub osądów opartych na wartościach mogą się różnić w zależności od kultury, populacji i okresu.

Związane z: Wielka Brytania skupi się na potencjalnych zagrożeniach związanych ze sztuczną inteligencją podczas planowanego listopadowego szczytu

Jednym z możliwych rozwiązań tego problemu jest umożliwienie użytkownikom dyktowania dostosowania wartości modeli AI. Eksperyment Anthropic „Collective Constitutional AI” jest odpowiedzią na to „bałaganowe wyzwanie”.

Anthropic, we współpracy z Polis i Collective Intelligence Project, skontaktował się z 1,000 użytkownikami z różnych grup demograficznych i poprosił ich o udzielenie odpowiedzi na serię pytań za pośrednictwem ankiety.

Anthropic zbudował demokratycznego chatbota AI, umożliwiając użytkownikom głosowanie na jego wartości PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI.
Źródło, Antropiczny

Wyzwanie polega na umożliwieniu użytkownikom agencji określenia, co jest odpowiednie, bez narażania ich na niewłaściwe wyniki. Wiązało się to z pozyskiwaniem wartości od użytkowników, a następnie wdrażaniem tych pomysłów do modelu, który został już przeszkolony.

Anthropic wykorzystuje metodę zwaną „konstytucyjną sztuczną inteligencją”. kierować swoje wysiłki na rzecz dostrojenia LLM pod kątem bezpieczeństwa i użyteczności. Zasadniczo wiąże się to z przekazaniem modelowi listy zasad, których musi przestrzegać, a następnie przeszkoleniem go w zakresie wdrażania tych zasad w całym procesie, podobnie jak konstytucja służy jako podstawowy dokument służący sprawowaniu rządów w wielu krajach.

W eksperymencie Collective Constitutional AI firma Anthropic podjęła próbę zintegrowania informacji zwrotnych pochodzących z grupy z konstytucją modelu. Wyniki, według do wpisu na blogu firmy Anthropic, wydają się być sukcesem naukowym, ponieważ naświetliły dalsze wyzwania w kierunku osiągnięcia celu, jakim jest umożliwienie użytkownikom produktu LLM określenia ich zbiorowych wartości.

Jedną z trudności, jakie zespół musiał pokonać, było opracowanie nowatorskiej metody procesu benchmarkingu. Ponieważ ten eksperyment wydaje się być pierwszym tego rodzaju i opiera się na metodologii Constitutional AI firmy Anthropic, nie ma ustalonego testu umożliwiającego porównanie modeli podstawowych z modelami dostrojonymi na podstawie wartości pochodzących od tłumów.

Ostatecznie wygląda na to, że model, który zaimplementował dane wynikające z opinii użytkowników w ankietach, „nieznacznie” przewyższał model bazowy w obszarze stronniczych wyników.

Według wpisu na blogu:

„Bardziej niż powstały model jesteśmy podekscytowani samym procesem. Uważamy, że może to być jeden z pierwszych przypadków, w których członkowie społeczeństwa, jako grupa, celowo kierowali zachowaniem dużego modelu językowego. Mamy nadzieję, że społeczności na całym świecie będą korzystać z takich technik, aby szkolić modele specyficzne dla kultury i kontekstu, które służą ich potrzebom”.

Znak czasu:

Więcej z Cointelegraph