інтерв'ю Якщо ви думаєте, що генеративний ШІ автоматично займає місце за столом у світі права, подумайте ще раз.
Найпопулярніші великі мовні моделі, як правило, генерують неточну юридичну інформацію, і на них не варто покладатися в судових процесах, як показало нове дослідження.
Минулого року, коли показали OpenAI GPT-4 була здатна скласти адвокатський іспит, це було оголошено проривом у галузі ШІ, і деякі люди сумнівалися, що ця технологія незабаром замінювати юристи. Дехто сподівався, що такі моделі дозволять людям, які не можуть дозволити собі дорогих адвокатів, відстоювати юридичне правосуддя, роблячи доступ до правової допомоги більш справедливим. Однак реальність така, що, згідно з нещодавнім дослідженням, магістратури навіть не можуть ефективно допомогти професійним юристам.
Найбільше занепокоєння викликає те, що штучний інтелект часто фабрикує неправдиву інформацію, що створює величезну проблему, особливо в галузі, яка покладається на фактичні докази. Команда дослідників з Єльського та Стенфордського університетів, аналізуючи частоту галюцинацій у популярних великих мовних моделях, виявила, що вони часто не точно отримують або генерують відповідну юридичну інформацію, або розуміють і міркують про різні закони.
Насправді GPT-3.5 від OpenAI, який наразі підтримує безкоштовну версію ChatGPT, показує галюцинації приблизно в 69 відсотків часу під час тестування в різних завданнях. Результати були гіршими для PaLM-2, системи, яка раніше стояла за чат-ботом Google Bard, і Llama 2, великої мовної моделі, випущеної Meta, які генерували неправдиві дані на рівні 72 і 88 відсотків відповідно.
Не дивно, що моделям важко виконувати складніші завдання, ніж легші. Наприклад, попросити штучний інтелект порівняти різні випадки та перевірити, чи погоджуються вони з певним питанням, і, ймовірно, він створить неточну інформацію, ніж якщо зіткнутися з більш простим завданням, наприклад перевірити, в якому суді було подано справу.
Незважаючи на те, що магістратури відмінно справляються з обробкою великої кількості тексту та можуть навчатися на величезній кількості юридичних документів – більше, ніж будь-який юрист-людина міг би прочитати за своє життя – вони не розуміють закон і не можуть сформувати обґрунтовані аргументи.
«Хоча ми бачили, як такі моделі досягають справді великих успіхів у формах дедуктивного мислення в кодуванні чи математичних проблемах, це не той набір навичок, який характеризує першокласну адвокатську діяльність», – Даніель Хо, співавтор книги документ Єльського й Стенфордського університетів, розповідає Реєстр.
«Те, у чому юристи справді вправні та в чому вони досягають успіху, часто описують як форму аналогічного міркування в системі загального права, тобто міркування на основі прецедентів», — додав Хо, який є заступником директора Стенфордського інституту людиноорієнтованих наук. Штучний інтелект.
Машини також часто дають збій у простих завданнях. На прохання перевірити ім’я чи цитату, щоб перевірити, чи справжня справа, GPT-3.5, PaLM-2 і Llama 2 можуть створити підроблену інформацію у відповідях.
«Моделі не потрібно чесно знати нічого про закон, щоб правильно відповісти на це питання. Їй просто потрібно знати, чи існує справа чи ні, і бачити це будь-де в навчальному корпусі», — каже Метью Дал, аспірант юридичного факультету Єльського університету.
Це показує, що штучний інтелект не може навіть отримати точну інформацію, і що існує фундаментальна межа можливостей технології. Ці моделі часто вважаються приємними та корисними. Зазвичай вони не намагаються виправити припущення користувачів і стають на їхній бік. Наприклад, якщо чат-ботів попросити сформувати список справ на підтримку якогось юридичного аргументу, вони більше схильні вигадувати позови, ніж нічого не відповідати. Пара адвокатів засвоїла це на важкому шляху, коли вони були санкціонованого за цитування випадків, які були повністю вигадані OpenAI’s ChatGPT у їхніх судових справах.
Дослідники також виявили, що три моделі, які вони протестували, мають більше знань у федеральних судових процесах, пов’язаних із Верховним судом США, порівняно з локалізованими судовими процесами, що стосуються менших і менш потужних судів.
Оскільки GPT-3.5, PaLM-2 і Llama 2 навчалися на тексті, взятому з Інтернету, має сенс, що вони будуть краще знайомі з правовими висновками Верховного суду США, які публікуються публічно, порівняно з правовими документами, поданими в інших типах судів, до яких не так легко дістатися.
Їм також було більше труднощів у завданнях, які включали пригадування інформації зі старих і нових випадків.
«Галюцинації є найбільш поширеними серед найстаріших і найновіших справ Верховного суду, і найменш поширені серед післявоєнних справ Уоррен-суду (1953-1969)», - йдеться в статті. «Цей результат свідчить про ще одне важливе обмеження юридичних знань LLM, про яке користувачі повинні знати: максимальна продуктивність LLM може відставати на кілька років від поточного стану доктрини, а LLM може не засвоїти прецедентне право, яке є дуже старим, але все ще застосовним. та відповідний закон».
Забагато ШІ може створити «монокультуру»
Дослідники також були стурбовані тим, що надмірна залежність від цих систем може створити правову «монокультуру». Оскільки штучний інтелект навчається на обмеженій кількості даних, він звертатиметься до більш помітних, добре відомих справ, що змушує юристів ігнорувати інші тлумачення законодавства чи відповідні прецеденти. Вони можуть пропустити інші випадки, які можуть допомогти їм побачити інші точки зору чи аргументи, що може виявитися вирішальним у судовому процесі.
«Закон сам по собі не є монолітним, — каже Даль. «Монокультура особливо небезпечна в законному середовищі. У Сполучених Штатах ми маємо федеральну систему загального права, де право розвивається по-різному в різних штатах і різних юрисдикціях. Існують різні напрямки або тенденції юриспруденції, які розвиваються з часом».
«Це може призвести до помилкових результатів і невиправданої довіри таким чином, що насправді може завдати шкоди сторонам судового процесу», – додає Хо. Він пояснив, що модель може генерувати неточні відповіді юристам або людям, які хочуть зрозуміти щось на зразок законів про виселення.
«Коли ви звертаєтеся за допомогою до великої мовної моделі, ви можете отримати точну неправильну відповідь щодо того, коли потрібно подати заявку або яке правило виселення в цьому штаті», — каже він, наводячи приклад. «Тому що він говорить вам про закон Нью-Йорка чи закон Каліфорнії, на відміну від закону, який насправді має значення для ваших конкретних обставин у вашій юрисдикції».
Дослідники дійшли висновку, що ризики використання цих типів популярних моделей для юридичних завдань є найвищими для тих, хто подає документи в суди нижчої інстанції в невеликих штатах, особливо якщо вони мають менший досвід і запитують моделі на основі хибних припущень. Ці люди, швидше за все, будуть юристами, які менш впливові в порівнянні з меншими юридичними фірмами з меншими ресурсами, або людьми, які хочуть представляти себе.
«Коротше кажучи, ми бачимо, що ризики найвищі для тих, кому найбільше виграє LLM», — йдеться в документі. ®
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://go.theregister.com/feed/www.theregister.com/2024/01/10/top_large_language_models_struggle/
- : має
- :є
- : ні
- :де
- $UP
- 7
- 72
- a
- МЕНЮ
- доступ
- доступною
- За
- точний
- точно
- через
- насправді
- доданий
- Додає
- знову
- AI
- Також
- серед
- кількість
- суми
- an
- Аналізуючи
- та
- Інший
- відповідь
- будь-який
- все
- де-небудь
- застосовно
- ЕСТЬ
- аргумент
- аргументація
- штучний
- штучний інтелект
- AS
- запитувач
- допомогу
- Юрист
- припущення
- At
- автоматичний
- знати
- бар
- заснований
- BE
- оскільки
- за
- користь
- найбільший
- турбуватися
- прорив
- але
- by
- Каліфорнія
- CAN
- не може
- можливості
- здатний
- випадок
- випадків
- складні
- характеризує
- Chatbot
- chatbots
- ChatGPT
- перевірка
- контроль
- обставин
- CO
- Співавтор
- Кодування
- загальний
- Загальне право
- порівняти
- порівняний
- повний
- повністю
- комплекс
- Занепокоєння
- стурбований
- щодо
- укладає
- правильно
- може
- Суд
- Судова заява
- Суди
- створювати
- вирішальне значення
- Поточний
- Поточний стан
- В даний час
- Небезпечний
- Данило
- дані
- описаний
- розвивати
- розвивається
- різний
- інакше
- Директор
- do
- документація
- байдуже
- Дон
- два
- легше
- легко
- фактично
- уповноважувати
- справедливим
- особливо
- Навіть
- докази
- іспит
- приклад
- перевершувати
- існує
- дорогий
- експертиза
- пояснені
- стикаються
- факт
- FAIL
- підроблений
- false
- неправди
- знайомий
- Федеральний
- менше
- подано
- Подача
- знайти
- фірми
- для
- форма
- форми
- знайдений
- Безкоштовна
- свіжий
- від
- фундаментальний
- породжувати
- генерується
- генеративний
- Генеративний ШІ
- отримання
- добре
- великий
- Жорсткий
- шкодити
- Мати
- he
- допомога
- корисний
- найвищий
- Чесно
- Однак
- HTTPS
- величезний
- людина
- if
- ігнорувати
- важливо
- in
- В інших
- неточні
- промисловість
- інформація
- інформація
- замість
- Інститут
- Інтелект
- інтернет
- Винайдений
- залучений
- питання
- IT
- ЙОГО
- сам
- JPG
- юрисдикція
- юрисдикції
- просто
- юстиція
- Дитина
- Знати
- знання
- етикетка
- мова
- великий
- закон
- юридичні фірми
- Законодавство
- судові процеси
- юрист
- адвокати
- вести
- провідний
- вчений
- найменш
- Led
- легальний
- судочинство
- менше
- термін
- як
- Ймовірно
- МЕЖА
- обмеження
- обмеженою
- ліній
- список
- Судова практика
- Лама
- шукати
- знизити
- зробити
- РОБОТИ
- Робить
- математики
- Питання
- Матвій
- Може..
- Meta
- може бути
- модель
- Моделі
- Монолітний
- більше
- найбільш
- багато
- ім'я
- Необхідність
- потреби
- Нові
- Нью-Йорк
- новітній
- нічого
- of
- часто
- Старий
- найстаріший
- on
- ті,
- OpenAI
- Думки
- протистояли
- or
- Інше
- Результати
- над
- пара
- Папір
- оформлення документів
- приватність
- особливо
- Проходження
- Peak
- Люди
- відсотків
- продуктивність
- перспективи
- Вчений ступінь
- plato
- Інформація про дані Платона
- PlatoData
- популярний
- потужний
- повноваження
- раніше
- Проблема
- проблеми
- Праці
- обробка
- виробляти
- професійний
- видатний
- Доведіть
- публічно
- опублікований
- переслідувати
- питання
- ставки
- Читати
- реальний
- Реальність
- насправді
- причина
- нагадуючи
- останній
- послатися
- пов'язаний
- випущений
- доречний
- опора
- представляти
- дослідження
- Дослідники
- ресурси
- відповідно
- Реагувати
- відповіді
- результат
- результати
- ризики
- Правило
- s
- говорить
- побачити
- Шукати
- бачив
- сенс
- комплект
- установка
- кілька
- Короткий
- Повинен
- показав
- показаний
- Шоу
- сторона
- простий
- з
- майстерність
- менше
- деякі
- що в сім'ї щось
- скоро
- Звучати
- Станфорд
- Стенфордський університет
- стан
- Штати
- Як і раніше
- успіхів
- боротьба
- студент
- Вивчення
- такі
- Запропонує
- підтримка
- Supreme
- Верховний суд
- система
- Systems
- таблиця
- Завдання
- завдання
- команда
- Технологія
- технології
- говорять
- розповідає
- як правило,
- перевірений
- текст
- ніж
- Що
- Команда
- закон
- світ
- їх
- Їх
- самі
- Там.
- Ці
- вони
- думати
- це
- ті
- три
- час
- до
- занадто
- топ
- навчений
- Навчання
- Тенденції
- Типи
- розуміти
- United
- Сполучені Штати
- університет
- необґрунтований
- на
- us
- користувачі
- використання
- зазвичай
- різний
- Ve
- версія
- дуже
- кролячий садок
- було
- шлях..
- we
- добре відомі
- були
- Що
- Що таке
- коли
- Чи
- який
- в той час як
- ВООЗ
- волі
- з
- Виграв
- світ
- гірше
- б
- Неправильно
- рік
- років
- йорк
- Ти
- вашу
- зефірнет