Найкращі магістри права намагаються створити точну юридичну інформацію

Найкращі магістри права намагаються створити точну юридичну інформацію

Мітка часу: 17 січня 2024 р. 3:16
Найкращі магістри права намагаються створити точну юридичну інформацію PlatoBlockchain Data Intelligence. Вертикальний пошук. Ai.

інтерв'ю Якщо ви думаєте, що генеративний ШІ автоматично займає місце за столом у світі права, подумайте ще раз.

Найпопулярніші великі мовні моделі, як правило, генерують неточну юридичну інформацію, і на них не варто покладатися в судових процесах, як показало нове дослідження.

Минулого року, коли показали OpenAI GPT-4 була здатна скласти адвокатський іспит, це було оголошено проривом у галузі ШІ, і деякі люди сумнівалися, що ця технологія незабаром замінювати юристи. Дехто сподівався, що такі моделі дозволять людям, які не можуть дозволити собі дорогих адвокатів, відстоювати юридичне правосуддя, роблячи доступ до правової допомоги більш справедливим. Однак реальність така, що, згідно з нещодавнім дослідженням, магістратури навіть не можуть ефективно допомогти професійним юристам.

Найбільше занепокоєння викликає те, що штучний інтелект часто фабрикує неправдиву інформацію, що створює величезну проблему, особливо в галузі, яка покладається на фактичні докази. Команда дослідників з Єльського та Стенфордського університетів, аналізуючи частоту галюцинацій у популярних великих мовних моделях, виявила, що вони часто не точно отримують або генерують відповідну юридичну інформацію, або розуміють і міркують про різні закони.

Насправді GPT-3.5 від OpenAI, який наразі підтримує безкоштовну версію ChatGPT, показує галюцинації приблизно в 69 відсотків часу під час тестування в різних завданнях. Результати були гіршими для PaLM-2, системи, яка раніше стояла за чат-ботом Google Bard, і Llama 2, великої мовної моделі, випущеної Meta, які генерували неправдиві дані на рівні 72 і 88 відсотків відповідно.

Не дивно, що моделям важко виконувати складніші завдання, ніж легші. Наприклад, попросити штучний інтелект порівняти різні випадки та перевірити, чи погоджуються вони з певним питанням, і, ймовірно, він створить неточну інформацію, ніж якщо зіткнутися з більш простим завданням, наприклад перевірити, в якому суді було подано справу. 

Незважаючи на те, що магістратури відмінно справляються з обробкою великої кількості тексту та можуть навчатися на величезній кількості юридичних документів – більше, ніж будь-який юрист-людина міг би прочитати за своє життя – вони не розуміють закон і не можуть сформувати обґрунтовані аргументи.

«Хоча ми бачили, як такі моделі досягають справді великих успіхів у формах дедуктивного мислення в кодуванні чи математичних проблемах, це не той набір навичок, який характеризує першокласну адвокатську діяльність», – Даніель Хо, співавтор книги документ Єльського й Стенфордського університетів, розповідає Реєстр.

«Те, у чому юристи справді вправні та в чому вони досягають успіху, часто описують як форму аналогічного міркування в системі загального права, тобто міркування на основі прецедентів», — додав Хо, який є заступником директора Стенфордського інституту людиноорієнтованих наук. Штучний інтелект.

Машини також часто дають збій у простих завданнях. На прохання перевірити ім’я чи цитату, щоб перевірити, чи справжня справа, GPT-3.5, PaLM-2 і Llama 2 можуть створити підроблену інформацію у відповідях.

«Моделі не потрібно чесно знати нічого про закон, щоб правильно відповісти на це питання. Їй просто потрібно знати, чи існує справа чи ні, і бачити це будь-де в навчальному корпусі», — каже Метью Дал, аспірант юридичного факультету Єльського університету.

Це показує, що штучний інтелект не може навіть отримати точну інформацію, і що існує фундаментальна межа можливостей технології. Ці моделі часто вважаються приємними та корисними. Зазвичай вони не намагаються виправити припущення користувачів і стають на їхній бік. Наприклад, якщо чат-ботів попросити сформувати список справ на підтримку якогось юридичного аргументу, вони більше схильні вигадувати позови, ніж нічого не відповідати. Пара адвокатів засвоїла це на важкому шляху, коли вони були санкціонованого за цитування випадків, які були повністю вигадані OpenAI’s ChatGPT у їхніх судових справах.

Дослідники також виявили, що три моделі, які вони протестували, мають більше знань у федеральних судових процесах, пов’язаних із Верховним судом США, порівняно з локалізованими судовими процесами, що стосуються менших і менш потужних судів. 

Оскільки GPT-3.5, PaLM-2 і Llama 2 навчалися на тексті, взятому з Інтернету, має сенс, що вони будуть краще знайомі з правовими висновками Верховного суду США, які публікуються публічно, порівняно з правовими документами, поданими в інших типах судів, до яких не так легко дістатися. 

Їм також було більше труднощів у завданнях, які включали пригадування інформації зі старих і нових випадків. 

«Галюцинації є найбільш поширеними серед найстаріших і найновіших справ Верховного суду, і найменш поширені серед післявоєнних справ Уоррен-суду (1953-1969)», - йдеться в статті. «Цей результат свідчить про ще одне важливе обмеження юридичних знань LLM, про яке користувачі повинні знати: максимальна продуктивність LLM може відставати на кілька років від поточного стану доктрини, а LLM може не засвоїти прецедентне право, яке є дуже старим, але все ще застосовним. та відповідний закон».

Забагато ШІ може створити «монокультуру»

Дослідники також були стурбовані тим, що надмірна залежність від цих систем може створити правову «монокультуру». Оскільки штучний інтелект навчається на обмеженій кількості даних, він звертатиметься до більш помітних, добре відомих справ, що змушує юристів ігнорувати інші тлумачення законодавства чи відповідні прецеденти. Вони можуть пропустити інші випадки, які можуть допомогти їм побачити інші точки зору чи аргументи, що може виявитися вирішальним у судовому процесі. 

«Закон сам по собі не є монолітним, — каже Даль. «Монокультура особливо небезпечна в законному середовищі. У Сполучених Штатах ми маємо федеральну систему загального права, де право розвивається по-різному в різних штатах і різних юрисдикціях. Існують різні напрямки або тенденції юриспруденції, які розвиваються з часом».

«Це може призвести до помилкових результатів і невиправданої довіри таким чином, що насправді може завдати шкоди сторонам судового процесу», – додає Хо. Він пояснив, що модель може генерувати неточні відповіді юристам або людям, які хочуть зрозуміти щось на зразок законів про виселення. 

«Коли ви звертаєтеся за допомогою до великої мовної моделі, ви можете отримати точну неправильну відповідь щодо того, коли потрібно подати заявку або яке правило виселення в цьому штаті», — каже він, наводячи приклад. «Тому що він говорить вам про закон Нью-Йорка чи закон Каліфорнії, на відміну від закону, який насправді має значення для ваших конкретних обставин у вашій юрисдикції».

Дослідники дійшли висновку, що ризики використання цих типів популярних моделей для юридичних завдань є найвищими для тих, хто подає документи в суди нижчої інстанції в невеликих штатах, особливо якщо вони мають менший досвід і запитують моделі на основі хибних припущень. Ці люди, швидше за все, будуть юристами, які менш впливові в порівнянні з меншими юридичними фірмами з меншими ресурсами, або людьми, які хочуть представляти себе.

«Коротше кажучи, ми бачимо, що ризики найвищі для тих, кому найбільше виграє LLM», — йдеться в документі. ®

Часова мітка:

Більше від Реєстр