تقول الدراسة إن أفضل الحاصلين على ماجستير إدارة الأعمال يكافحون من أجل إنتاج معلومات قانونية دقيقة

المقابلة الشخصية إذا كنت تعتقد أن الذكاء الاصطناعي التوليدي له مقعد تلقائي على الطاولة في عالم القانون، فكر مرة أخرى.

أظهرت أبحاث جديدة أن النماذج اللغوية الكبيرة تميل إلى توليد معلومات قانونية غير دقيقة ولا ينبغي الاعتماد عليها في التقاضي.

في العام الماضي، عندما أظهر OpenAI GPT-4 كان قادرًا على اجتياز اختبار المحاماة، وقد تم الإعلان عنه باعتباره إنجازًا كبيرًا في مجال الذكاء الاصطناعي ودفع بعض الأشخاص إلى التساؤل عما إذا كانت التكنولوجيا قادرة على اجتياز اختبار المحاماة قريبًا يحل محل المحامون. ويأمل البعض أن تؤدي هذه الأنواع من النماذج إلى تمكين الأشخاص الذين لا يستطيعون تحمل تكاليف المحامين المكلفين من متابعة العدالة القانونية، مما يجعل الوصول إلى المساعدة القانونية أكثر إنصافًا. ومع ذلك، فإن الواقع هو أن حاملي شهادة الماجستير في القانون لا يمكنهم حتى مساعدة المحامين المحترفين بشكل فعال، وفقًا لدراسة حديثة.

مصدر القلق الأكبر هو أن الذكاء الاصطناعي غالبًا ما يختلق معلومات كاذبة، مما يشكل مشكلة كبيرة خاصة في الصناعة التي تعتمد على الأدلة الواقعية. وجد فريق من الباحثين في جامعة ييل وستانفورد، الذين قاموا بتحليل معدلات الهلوسة في نماذج اللغات الكبيرة الشائعة، أنهم في كثير من الأحيان لا يسترجعون أو يولدون المعلومات القانونية ذات الصلة بدقة، أو يفهمون القوانين المختلفة ويفكرون فيها.

في الواقع، فإن GPT-3.5 من OpenAI، والذي يشغل حاليًا الإصدار المجاني من ChatGPT، يهلوس حوالي 69 بالمائة من الوقت عند اختباره عبر مهام مختلفة. وكانت النتائج أسوأ بالنسبة لنظام PaLM-2، وهو النظام الذي كان في السابق وراء برنامج الدردشة Bard من Google، ونظام Llama 2، نموذج اللغة الكبير الذي أطلقته شركة Meta، والذي أنتج أكاذيب بمعدلات 72 و88% على التوالي.

ومن غير المستغرب أن تكافح النماذج لإكمال المهام الأكثر تعقيدًا بدلاً من المهام الأسهل. على سبيل المثال، يعد مطالبة الذكاء الاصطناعي بمقارنة الحالات المختلفة ومعرفة ما إذا كانوا متفقين على قضية ما أمرًا صعبًا، ومن المرجح أن يولد معلومات غير دقيقة مقارنةً بمهمة أسهل، مثل التحقق من المحكمة التي تم رفع القضية إليها. 

على الرغم من أن طلاب ماجستير القانون يتفوقون في معالجة كميات كبيرة من النصوص، ويمكن تدريبهم على كميات هائلة من الوثائق القانونية - أكثر مما يمكن لأي محام بشري أن يقرأه في حياته - إلا أنهم لا يفهمون القانون ولا يمكنهم تكوين حجج سليمة.

"على الرغم من أننا رأينا هذا النوع من النماذج يحقق خطوات كبيرة حقًا في أشكال التفكير الاستنتاجي في مسائل البرمجة أو الرياضيات، إلا أن هذا ليس نوع مجموعة المهارات التي تميز المحاماة من الدرجة الأولى،" دانييل هو، المؤلف المشارك لكتاب ورقة ييل-ستانفورد، يروي السجل.

وأضاف هو، وهو المدير المساعد لهيئة التدريس في معهد ستانفورد للعلوم المتمحورة حول الإنسان: "ما يجيده المحامون حقًا، وما يتفوقون فيه غالبًا ما يوصف بأنه شكل من أشكال الاستدلال التناظري في نظام القانون العام، للاستدلال المستند إلى السوابق". الذكاء الاصطناعي.

غالبًا ما تفشل الآلات في المهام البسيطة أيضًا. عندما يُطلب منك فحص اسم أو اقتباس للتحقق مما إذا كانت الحالة حقيقية، يمكن لـ GPT-3.5 وPaLM-2 وLlama 2 اختلاق معلومات مزيفة في الردود.

"لا تحتاج العارضة إلى معرفة أي شيء عن القانون بأمانة للإجابة على هذا السؤال بشكل صحيح. يقول ماثيو دال، طالب دكتوراه في القانون بجامعة ييل: “إن الأمر يحتاج فقط إلى معرفة ما إذا كانت القضية موجودة أم لا، ويمكن أن ترى ذلك في أي مكان في مجموعة التدريب”.

إنه يوضح أن الذكاء الاصطناعي لا يمكنه حتى استرجاع المعلومات بدقة، وأن هناك حدًا أساسيًا لقدرات التكنولوجيا. غالبًا ما يتم إعداد هذه النماذج لتكون مقبولة ومفيدة. وهم عادةً لا يكلفون أنفسهم عناء تصحيح افتراضات المستخدمين، وسيقفون معهم بدلاً من ذلك. إذا طُلب من روبوتات الدردشة إنشاء قائمة من القضايا لدعم بعض الحجج القانونية، على سبيل المثال، فإنها أكثر ميلاً إلى اختلاق الدعاوى القضائية بدلاً من الرد بلا شيء. تعلم اثنان من المحامين هذا الأمر بالطريقة الصعبة عندما كانا كذلك عقوبات لاستشهادهم بالقضايا التي اخترعها ChatGPT من OpenAI بالكامل في ملفاتهم القضائية.

ووجد الباحثون أيضًا أن النماذج الثلاثة التي اختبروها كانت على الأرجح أكثر دراية بالدعاوى الفيدرالية المتعلقة بالمحكمة العليا الأمريكية مقارنة بالإجراءات القانونية المحلية المتعلقة بالمحاكم الأصغر والأقل قوة. 

نظرًا لأنه تم تدريب GPT-3.5 وPaLM-2 وLlama 2 على النصوص المستخرجة من الإنترنت، فمن المنطقي أن يكونوا أكثر دراية بالآراء القانونية للمحكمة العليا الأمريكية، والتي يتم نشرها علنًا مقارنة بالوثائق القانونية المودعة في أنواع أخرى المحاكم التي لا يمكن الوصول إليها بسهولة. 

كما أنهم كانوا أكثر عرضة للنضال في المهام التي تنطوي على تذكر المعلومات من الحالات القديمة والجديدة. 

"الهلوسة هي الأكثر شيوعا بين أقدم وأحدث القضايا في المحكمة العليا، والأقل شيوعا بين قضايا محكمة وارن بعد الحرب (1953-1969)"، وفقا للصحيفة. "تشير هذه النتيجة إلى وجود قيد مهم آخر على المعرفة القانونية لـ LLMs والتي يجب على المستخدمين أن يكونوا على دراية بها: قد يتأخر أداء الذروة لـ LLMs عدة سنوات عن الوضع الحالي للعقيدة، وقد تفشل LLMs في استيعاب السوابق القضائية القديمة جدًا ولكنها لا تزال قابلة للتطبيق. والقانون ذو الصلة."

الكثير من الذكاء الاصطناعي يمكن أن يخلق "ثقافة أحادية"

وأعرب الباحثون أيضًا عن قلقهم من أن الاعتماد المفرط على هذه الأنظمة يمكن أن يخلق "ثقافة أحادية" قانونية. وبما أن الذكاء الاصطناعي مدرب على كمية محدودة من البيانات، فإنه سيشير إلى قضايا أكثر شهرة وشهرة تدفع المحامين إلى تجاهل التفسيرات القانونية الأخرى أو السوابق ذات الصلة. وقد يتجاهلون قضايا أخرى يمكن أن تساعدهم على رؤية وجهات نظر أو حجج مختلفة، والتي قد تكون حاسمة في التقاضي. 

يقول دال: "القانون في حد ذاته ليس متجانسًا". "إن الزراعة الأحادية خطيرة بشكل خاص في البيئة القانونية. في الولايات المتحدة، لدينا نظام قانون عام اتحادي حيث يتطور القانون بشكل مختلف في الولايات المختلفة وفي الولايات القضائية المختلفة. هناك نوع من الخطوط أو الاتجاهات الفقهية المختلفة التي تتطور مع مرور الوقت.

ويضيف هو: "قد يؤدي ذلك إلى نتائج خاطئة واعتماد غير مبرر بطريقة يمكن أن تلحق الضرر بالمتقاضين". وأوضح أن النموذج يمكن أن يولد ردودًا غير دقيقة للمحامين أو الأشخاص الذين يتطلعون إلى فهم شيء مثل قوانين الإخلاء. 

يقول، مستشهدًا بمثال: "عندما تطلب المساعدة من نموذج لغوي كبير، قد تحصل على إجابة خاطئة بالضبط فيما يتعلق بموعد استحقاق تقديم الطلب الخاص بك أو ما هو نوع قاعدة الإخلاء في هذه الولاية". "لأن ما يخبرك به هو القانون في نيويورك أو قانون كاليفورنيا، على عكس القانون الذي يهم في الواقع ظروفك الخاصة في نطاق ولايتك القضائية."

ويخلص الباحثون إلى أن مخاطر استخدام هذه الأنواع من النماذج الشائعة للمهام القانونية تكون أعلى بالنسبة لأولئك الذين يقدمون الأوراق في المحاكم الدنيا في الولايات الصغيرة، خاصة إذا كانت لديهم خبرة أقل ويستفسرون عن النماذج بناءً على افتراضات خاطئة. من المرجح أن يكون هؤلاء الأشخاص محامين، وهم أقل قوة من شركات المحاماة الأصغر ذات الموارد الأقل، أو الأشخاص الذين يتطلعون إلى تمثيل أنفسهم.

"باختصار، وجدنا أن المخاطر أعلى بالنسبة لأولئك الذين سيستفيدون أكثر من ماجستير إدارة الأعمال"، كما جاء في الورقة. ®

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://go.theregister.com/feed/www.theregister.com/2024/01/10/top_large_language_models_struggle/