مطالعه می گوید که LLM های برتر برای تولید اطلاعات حقوقی دقیق تلاش می کنند

مطالعه می گوید که LLM های برتر برای تولید اطلاعات حقوقی دقیق تلاش می کنند

تمبر زمان: 10 ژانویه 2024، ساعت 7:13 بعد از ظهر
بر اساس مطالعه «هوشمندی داده‌های PlatoBlockchain»، LLM‌های برتر برای تولید اطلاعات حقوقی دقیق تلاش می‌کنند. جستجوی عمودی Ai.

مصاحبه اگر فکر می کنید هوش مصنوعی مولد در دنیای قانون یک صندلی خودکار روی میز دارد، دوباره فکر کنید.

تحقیقات جدید نشان داده است که مدل‌های زبانی بزرگ معمولا اطلاعات حقوقی نادرستی تولید می‌کنند و نباید برای دادخواهی به آنها اعتماد کرد.

سال گذشته، زمانی که OpenAI نشان داد GPT-4 قادر به قبولی در آزمون وکالت بود، به عنوان یک پیشرفت در هوش مصنوعی اعلام شد و برخی افراد را به این سوال واداشت که آیا این فناوری به زودی می تواند جایگزین کردن وکلا برخی امیدوار بودند که این نوع مدل‌ها بتوانند افرادی را که نمی‌توانند وکلای گران قیمت را برای پیگیری عدالت قانونی توانمند کنند و دسترسی به کمک حقوقی را عادلانه‌تر کنند. با این حال، واقعیت این است که طبق یک مطالعه اخیر، LLM ها حتی نمی توانند به طور موثر به وکلای حرفه ای کمک کنند.

بزرگترین نگرانی این است که هوش مصنوعی اغلب اطلاعات نادرست را جعل می کند و مشکل بزرگی را به خصوص در صنعتی که بر شواهد واقعی متکی است ایجاد می کند. تیمی از محققان در دانشگاه ییل و استنفورد با تجزیه و تحلیل میزان توهم در مدل‌های رایج زبان بزرگ دریافتند که آنها اغلب اطلاعات حقوقی مرتبط را به‌طور دقیق بازیابی یا تولید نمی‌کنند، یا قوانین مختلف را درک و استدلال نمی‌کنند.

در واقع، GPT-3.5 OpenAI، که در حال حاضر نسخه رایگان ChatGPT را تامین می‌کند، در حدود 69 درصد مواقع هنگام آزمایش در کارهای مختلف دچار توهم می‌شود. نتایج برای PaLM-2، سیستمی که قبلا پشت ربات چت بارد گوگل قرار داشت، و Llama 2، مدل زبان بزرگ منتشر شده توسط متا بدتر بود که به ترتیب با نرخ های 72 و 88 درصد نادرست تولید می کرد.

جای تعجب نیست که مدل‌ها برای تکمیل وظایف پیچیده‌تر به جای کارهای ساده‌تر تلاش می‌کنند. درخواست از هوش مصنوعی برای مقایسه پرونده‌های مختلف و دیدن اینکه آیا مثلاً درباره یک موضوع موافق هستند یا خیر، چالش برانگیز است و به احتمال زیاد اطلاعات نادرستی را نسبت به زمانی که با کار ساده‌تری مواجه می‌شوید، مانند بررسی اینکه پرونده در کدام دادگاه تشکیل شده است، ایجاد می‌کند. 

اگرچه LLM ها در پردازش حجم زیادی از متن عالی هستند و می توانند در مورد حجم عظیمی از اسناد حقوقی آموزش ببینند - بیش از آنچه که هر وکیل انسانی در طول عمر خود می تواند بخواند - آنها قانون را درک نمی کنند و نمی توانند استدلال درستی ایجاد کنند.

دانیل هو، یکی از نویسندگان مقاله، «در حالی که ما شاهد این بوده ایم که این نوع مدل ها در اشکال استدلال قیاسی در کدنویسی یا مسائل ریاضی پیشرفت های بزرگی انجام می دهند، این مجموعه مهارتی نیست که مشخصه وکالت درجه یک باشد. مقاله ییل-استنفورد، می گوید ثبت نام.

هو، معاون دانشکده موسسه انسان محوری استنفورد، اضافه کرد: «آنچه که وکلا واقعاً در آن خوب هستند، و جایی که آنها برتری دارند، اغلب به عنوان نوعی استدلال قیاسی در یک سیستم حقوقی کامن لا، با استدلال مبتنی بر سوابق توصیف می‌شود. هوش مصنوعی.

ماشین‌ها اغلب در کارهای ساده نیز شکست می‌خورند. هنگامی که از شما خواسته می شود نام یا نقل قولی را بررسی کنید تا بررسی کنید که آیا یک مورد واقعی است، GPT-3.5، PaLM-2 و Llama 2 می توانند اطلاعات جعلی را در پاسخ ها ایجاد کنند.

«این مدل برای پاسخ صحیح به این سؤال نیازی به دانستن صادقانه چیزی در مورد قانون ندارد. متیو دال، دانشجوی دکترای حقوق در دانشگاه ییل، می‌گوید: فقط باید بداند که آیا موردی وجود دارد یا نه، و می‌تواند آن را در هر جایی از مجموعه آموزشی ببیند.

این نشان می‌دهد که هوش مصنوعی حتی نمی‌تواند اطلاعات را به‌طور دقیق بازیابی کند و محدودیتی اساسی برای قابلیت‌های این فناوری وجود دارد. این مدل‌ها معمولاً سازگار و مفید هستند. آنها معمولاً برای تصحیح مفروضات کاربران زحمتی نمی‌کشند و در عوض از آنها حمایت می‌کنند. برای مثال، اگر از چت‌بات‌ها خواسته شود که فهرستی از پرونده‌ها را برای حمایت از برخی استدلال‌های حقوقی ایجاد کنند، آن‌ها بیشتر مستعد طرح دعوا هستند تا اینکه بدون هیچ پاسخی پاسخ دهند. یک جفت وکیل زمانی که بودند این را به سختی یاد گرفتند تحریم شده برای استناد به مواردی که به طور کامل توسط ChatGPT OpenAI در پرونده دادگاه خود اختراع شده است.

محققان همچنین دریافتند که سه مدلی که آنها آزمایش کرده‌اند در مقایسه با رسیدگی‌های حقوقی محلی مربوط به دادگاه‌های کوچک‌تر و کم‌قدرت‌تر، به احتمال زیاد در دعاوی فدرال مرتبط با دیوان عالی ایالات متحده آگاه‌تر هستند. 

از آنجایی که GPT-3.5، PaLM-2، و Llama 2 بر روی متن خراشیده شده از اینترنت آموزش دیده اند، منطقی است که آنها با نظرات حقوقی دیوان عالی ایالات متحده که در مقایسه با اسناد حقوقی ثبت شده در انواع دیگر به صورت عمومی منتشر می شود، آشناتر باشند. دادگاه هایی که به راحتی قابل دسترسی نیستند. 

آنها همچنین در کارهایی که شامل یادآوری اطلاعات از موارد قدیمی و جدید است، بیشتر دچار مشکل بودند. 

طبق این مقاله، «توهمات در میان قدیمی‌ترین و جدیدترین پرونده‌های دیوان عالی، و در میان پرونده‌های دادگاه وارن پس از جنگ (1953-1969) کمتر رایج است». این نتیجه محدودیت مهم دیگری را در دانش حقوقی LLM نشان می دهد که کاربران باید از آن آگاه باشند: اوج عملکرد LLM ممکن است چندین سال از وضعیت فعلی دکترین عقب باشد و LLM ها ممکن است در درونی کردن رویه قضایی که بسیار قدیمی است اما هنوز قابل اجرا است شکست بخورند. و قانون مربوطه.»

هوش مصنوعی بیش از حد می تواند یک "تک فرهنگ" ایجاد کند

محققان همچنین نگران بودند که اتکای بیش از حد به این سیستم ها می تواند یک "تک فرهنگ" قانونی ایجاد کند. از آنجایی که هوش مصنوعی بر روی تعداد محدودی از داده ها آموزش دیده است، به موارد برجسته و شناخته شده تری مراجعه می کند که باعث می شود وکلا دیگر تفاسیر قانونی یا سوابق مرتبط را نادیده بگیرند. آنها ممکن است موارد دیگری را نادیده بگیرند که می تواند به آنها کمک کند دیدگاه ها یا استدلال های متفاوتی را ببینند، که می تواند در دعوای قضایی بسیار مهم باشد. 

دال می گوید: «قانون به خودی خود یکپارچه نیست. «تک کشت به ویژه در یک محیط قانونی خطرناک است. در ایالات متحده، ما یک سیستم حقوق مشترک فدرال داریم که در آن قوانین در ایالت های مختلف در حوزه های قضایی مختلف به طور متفاوتی توسعه می یابد. خطوط یا گرایش‌های مختلف فقهی وجود دارد که در طول زمان توسعه می‌یابد.»

هو می افزاید: «این می تواند منجر به نتایج نادرست و اتکای غیرموجه شود، به گونه ای که می تواند واقعاً به طرفین دعوی آسیب برساند». او توضیح داد که یک مدل می تواند پاسخ های نادرستی برای وکلا یا افرادی که به دنبال درک چیزی مانند قوانین تخلیه هستند ایجاد کند. 

او با ذکر مثالی می‌گوید: «وقتی از یک مدل زبان بزرگ کمک می‌گیرید، ممکن است دقیقاً پاسخ اشتباهی دریافت کنید که سررسید پرونده شما چه زمانی است یا نوع قانون تخلیه در این ایالت چیست. زیرا آنچه به شما می‌گوید، قانون نیویورک یا قانون کالیفرنیا است، برخلاف قانونی که در واقع برای شرایط خاص شما در حوزه قضایی شما اهمیت دارد.»

محققان نتیجه می‌گیرند که خطرات استفاده از این نوع مدل‌های محبوب برای وظایف حقوقی برای کسانی که مدارک را در دادگاه‌های پایین‌تر در ایالات کوچک‌تر ارسال می‌کنند، بالاتر است، به‌ویژه اگر تخصص کمتری داشته باشند و مدل‌ها را بر اساس فرضیات نادرست جویا شوند. این افراد به احتمال زیاد وکلا هستند که از شرکت های حقوقی کوچکتر با منابع کمتر قدرت کمتری دارند یا افرادی که به دنبال وکالت هستند.

این مقاله می‌گوید: «به طور خلاصه، ما متوجه می‌شویم که خطرات برای کسانی که بیشتر از LLM سود می‌برند، بالاتر است. ®

تمبر زمان:

بیشتر از ثبت نام