Anthropic با اجازه دادن به کاربران برای رای دادن به ارزش های آن، یک چت ربات هوش مصنوعی دموکراتیک ساخت

Anthropic با اجازه دادن به کاربران برای رای دادن به ارزش های آن، یک چت ربات هوش مصنوعی دموکراتیک ساخت

تمبر زمان: 18 اکتبر 2023، 1:00 بعد از ظهر

شرکت هوش مصنوعی Anthropic در آنچه که ممکن است اولین مطالعه در نوع خود باشد، یک مدل زبان بزرگ (LLM) ایجاد کرده است که برای قضاوت های ارزشی توسط جامعه کاربرانش به خوبی تنظیم شده است.

بسیاری از LLM های عمومی با نرده های محافظ - دستورالعمل های کدگذاری شده ای که رفتار خاصی را دیکته می کنند - در تلاشی برای محدود کردن خروجی های ناخواسته در محل ایجاد شده اند. برای مثال، کلود Anthropic و ChatGPT OpenAI، معمولاً به کاربران یک پاسخ ایمنی محدود به درخواست‌های خروجی مربوط به موضوعات خشونت‌آمیز یا بحث‌برانگیز می‌دهند.

با این حال، همانطور که کارشناسان بیشماری اشاره کرده‌اند، نرده‌های محافظ و سایر تکنیک‌های مداخله‌ای می‌توانند برای دزدیدن آژانس از کاربران استفاده کنند. آنچه قابل قبول تلقی می شود همیشه مفید نیست و آنچه مفید تلقی می شود همیشه قابل قبول نیست. و تعاریف برای اخلاق یا قضاوت های مبتنی بر ارزش می تواند بین فرهنگ ها، جمعیت ها و دوره های زمانی متفاوت باشد.

مرتبط: بریتانیا تهدیدهای بالقوه هوش مصنوعی را در نشست برنامه ریزی شده نوامبر مورد هدف قرار می دهد

یکی از راه‌حل‌های ممکن برای این امر این است که به کاربران اجازه دهیم تا همسویی ارزش را برای مدل‌های هوش مصنوعی دیکته کنند. آزمایش «هوش مصنوعی مشروطیت جمعی» آنتروپیک ضربه‌ای به این «چالش کثیف» است.

آنتروپیک، با همکاری پولیس و پروژه اطلاعات جمعی، از 1,000 کاربر در جمعیت‌های مختلف استفاده کرد و از آنها خواست تا از طریق نظرسنجی به یک سری سؤالات پاسخ دهند.

آنتروپیک با اجازه دادن به کاربران برای رای دادن به ارزش‌های آن یعنی فناوری اطلاعات پلاتوبلاک چین، یک چت ربات هوش مصنوعی دموکراتیک ساخت. جستجوی عمودی Ai.
منبع آنتروپیک

این چالش حول محور این است که به کاربران این امکان را می دهد که آژانس تشخیص دهد چه چیزی مناسب است بدون اینکه آنها را در معرض خروجی های نامناسب قرار دهد. این شامل درخواست ارزش‌های کاربر و سپس پیاده‌سازی آن ایده‌ها در مدلی بود که قبلاً آموزش داده شده است.

آنتروپیک از روشی به نام "هوش مصنوعی اساسی" استفاده می کند مستقیم تلاش های آن در تنظیم LLM برای ایمنی و مفید بودن. اساساً، این شامل ارائه فهرستی از قوانینی است که باید از آنها پیروی کند و سپس به آن آموزش می‌دهیم تا آن قوانین را در طول فرآیند خود اجرا کند، دقیقاً مانند قانون اساسی به عنوان سند اصلی برای حکومت در بسیاری از کشورها.

در آزمایش هوش مصنوعی مشروطه جمعی، آنتروپیک تلاش کرد تا بازخورد گروهی را در قانون اساسی مدل ادغام کند. نتایج، مطابق به یک پست وبلاگی از Anthropic، به نظر می رسد موفقیتی علمی بوده است زیرا چالش های بیشتری را برای دستیابی به هدف اجازه دادن به کاربران یک محصول LLM برای تعیین ارزش های جمعی خود روشن می کند.

یکی از مشکلاتی که تیم باید بر آن غلبه می کرد، ارائه یک روش جدید برای فرآیند محک زدن بود. از آنجایی که به نظر می‌رسد این آزمایش اولین آزمایش در نوع خود است و بر روش‌شناسی هوش مصنوعی آنتروپیک متکی است، آزمون ثابتی برای مقایسه مدل‌های پایه با مدل‌های تنظیم‌شده با مقادیر جمع‌آوری‌شده وجود ندارد.

در نهایت، به نظر می‌رسد که مدلی که داده‌های حاصل از بازخورد نظرسنجی کاربران را پیاده‌سازی می‌کند، در حوزه خروجی‌های مغرضانه «کمی» از مدل پایه بهتر عمل کرده است.

طبق پست وبلاگ:

بیش از مدل به دست آمده، ما در مورد این فرآیند هیجان زده هستیم. ما معتقدیم که این ممکن است یکی از اولین مواردی باشد که در آن اعضای عمومی به عنوان یک گروه، عمداً رفتار یک مدل زبانی بزرگ را هدایت می‌کنند. ما امیدواریم که جوامع در سراسر جهان بر روی تکنیک هایی مانند این برای آموزش مدل های فرهنگی و زمینه خاص که نیازهای آنها را برآورده می کنند، استفاده کنند.

تمبر زمان:

بیشتر از Cointelegraph