শীর্ষস্থানীয় এলএলএম সঠিক আইনি তথ্য তৈরি করতে লড়াই করে, গবেষণা বলে

সাক্ষাত্কার আপনি যদি মনে করেন যে আইনের জগতে জেনারেটিভ এআই-এর টেবিলে একটি স্বয়ংক্রিয় আসন রয়েছে, আবার চিন্তা করুন।

শীর্ষস্থানীয় বৃহৎ ভাষার মডেলগুলি ভুল আইনি তথ্য তৈরি করে এবং মামলার জন্য নির্ভর করা উচিত নয়, তাজা গবেষণায় দেখানো হয়েছে।

গত বছর যখন ওপেনএআই দেখিয়েছিল GPT-4 বার পরীক্ষায় উত্তীর্ণ হতে সক্ষম ছিল, এটি AI-তে একটি অগ্রগতি হিসাবে প্রচারিত হয়েছিল এবং কিছু লোককে প্রশ্ন করতে পরিচালিত করেছিল যে প্রযুক্তি শীঘ্রই পারবে কিনা প্রতিস্থাপন করা আইনজীবী কেউ কেউ আশা করেছিলেন যে এই ধরণের মডেলগুলি এমন লোকদের ক্ষমতায়ন করতে পারে যারা আইনী বিচারের জন্য ব্যয়বহুল অ্যাটর্নিদের সামর্থ্য রাখে না, আইনি সহায়তার অ্যাক্সেসকে আরও ন্যায়সঙ্গত করে তোলে। বাস্তবতা, তবে, সাম্প্রতিক গবেষণা অনুসারে, এলএলএম পেশাদার আইনজীবীদের কার্যকরভাবে সহায়তা করতে পারে না।

সবচেয়ে বড় উদ্বেগের বিষয় হল যে AI প্রায়শই মিথ্যা তথ্য তৈরি করে, বিশেষ করে এমন একটি শিল্পে যা বাস্তব প্রমাণের উপর নির্ভর করে একটি বিশাল সমস্যা তৈরি করে। ইয়েল এবং স্ট্যানফোর্ড ইউনিভার্সিটির গবেষকদের একটি দল জনপ্রিয় বৃহৎ ভাষার মডেলগুলিতে হ্যালুসিনেশনের হার বিশ্লেষণ করে দেখেছে যে তারা প্রায়শই সঠিকভাবে প্রাসঙ্গিক আইনি তথ্য পুনরুদ্ধার বা উত্পন্ন করে না, বা বিভিন্ন আইন সম্পর্কে বোঝে এবং যুক্তি দেয় না।

প্রকৃতপক্ষে, OpenAI-এর GPT-3.5, যা বর্তমানে ChatGPT-এর বিনামূল্যের সংস্করণকে ক্ষমতা দেয়, বিভিন্ন কাজ জুড়ে পরীক্ষা করার সময় প্রায় 69 শতাংশ হ্যালুসিনেশন করে। PaLM-2-এর জন্য ফলাফল খারাপ ছিল, যে সিস্টেমটি আগে Google-এর Bard চ্যাটবটের পিছনে ছিল, এবং Llama 2, মেটা দ্বারা প্রকাশিত বৃহৎ ভাষা মডেল, যা যথাক্রমে 72 এবং 88 শতাংশ হারে মিথ্যা তৈরি করেছিল।

আশ্চর্যজনকভাবে, মডেলগুলি সহজের তুলনায় আরও জটিল কাজগুলি সম্পূর্ণ করতে লড়াই করে। এআই-কে বিভিন্ন মামলার তুলনা করতে বলা এবং তারা একটি বিষয়ে একমত কিনা তা দেখতে বলা, উদাহরণস্বরূপ, চ্যালেঞ্জিং, এবং এটি একটি সহজ কাজের মুখোমুখি হওয়ার চেয়ে ভুল তথ্য তৈরি করবে, যেমন কোন আদালতে মামলা দায়ের করা হয়েছে তা পরীক্ষা করা। 

যদিও এলএলএমগুলি প্রচুর পরিমাণে পাঠ্য প্রক্রিয়াকরণে দক্ষতা অর্জন করে, এবং বিপুল পরিমাণ আইনি নথিতে প্রশিক্ষিত হতে পারে - যে কোনও মানব আইনজীবী তাদের জীবদ্দশায় পড়তে পারে তার চেয়ে বেশি - তারা আইন বোঝে না এবং সঠিক যুক্তি তৈরি করতে পারে না।

"যদিও আমরা দেখেছি যে এই ধরণের মডেলগুলি কোডিং বা গণিতের সমস্যাগুলিতে অনুমানমূলক যুক্তির আকারে সত্যিই দুর্দান্ত অগ্রগতি করে, এটি এমন দক্ষতার সেট নয় যা শীর্ষস্থানীয় আইনজীবীকে চিহ্নিত করে," ড্যানিয়েল হো, সহ-লেখক ইয়েল-স্ট্যানফোর্ড কাগজ, বলে নিবন্ধনকর্মী.

"আইনজীবীরা আসলে কোন বিষয়ে ভাল, এবং যেখানে তারা উৎকর্ষ সাধন করে তাকে প্রায়শই একটি সাধারণ আইন ব্যবস্থায় সাদৃশ্যমূলক যুক্তি হিসাবে বর্ণনা করা হয়, নজিরগুলির উপর ভিত্তি করে যুক্তি," হো যোগ করেন, যিনি স্ট্যানফোর্ড ইনস্টিটিউট ফর হিউম্যান-সেন্টার এর ফ্যাকাল্টি অ্যাসোসিয়েট ডিরেক্টর। কৃত্রিম বুদ্ধিমত্তা.

মেশিনগুলি প্রায়শই সাধারণ কাজেও ব্যর্থ হয়। একটি কেস আসল কিনা তা পরীক্ষা করার জন্য একটি নাম বা উদ্ধৃতি পরীক্ষা করতে বলা হলে, GPT-3.5, PaLM-2, এবং Llama 2 প্রতিক্রিয়াগুলিতে জাল তথ্য তৈরি করতে পারে৷

"সেই প্রশ্নের সঠিক উত্তর দিতে মডেলটির সততার সাথে আইন সম্পর্কে কিছু জানার প্রয়োজন নেই। এটি কেবলমাত্র একটি কেস বিদ্যমান আছে কি না তা জানতে হবে এবং প্রশিক্ষণ সংস্থার যে কোনও জায়গায় তা দেখতে পারে,” ম্যাথিউ ডাহল, ইয়েল বিশ্ববিদ্যালয়ের পিএইচডি আইনের ছাত্র বলেছেন।

এটি দেখায় যে AI এমনকি সঠিকভাবে তথ্য পুনরুদ্ধার করতে পারে না এবং প্রযুক্তির ক্ষমতার একটি মৌলিক সীমা রয়েছে। এই মডেলগুলি প্রায়ই সম্মত এবং সহায়ক হতে প্রাইম করা হয়। তারা সাধারণত ব্যবহারকারীদের অনুমান সংশোধন করতে বিরক্ত করবে না এবং পরিবর্তে তাদের পাশে থাকবে। যদি চ্যাটবটগুলিকে কিছু আইনি যুক্তির সমর্থনে মামলাগুলির একটি তালিকা তৈরি করতে বলা হয়, উদাহরণস্বরূপ, তারা কিছুই ছাড়াই সাড়া না দেওয়ার চেয়ে মামলা করার প্রবণতা বেশি। একজোড়া অ্যাটর্নি যখন তারা ছিল তখন এটি কঠিনভাবে শিখেছিল অনুমোদিত ওপেনএআই-এর চ্যাটজিপিটি তাদের আদালতে ফাইলিংয়ে সম্পূর্ণভাবে উদ্ভাবিত মামলার উল্লেখ করার জন্য।

গবেষকরা আরও খুঁজে পেয়েছেন যে তারা যে তিনটি মডেল পরীক্ষা করেছেন তা ছোট এবং কম শক্তিশালী আদালত সম্পর্কিত স্থানীয় আইনি প্রক্রিয়ার তুলনায় মার্কিন সুপ্রিম কোর্টের সাথে সম্পর্কিত ফেডারেল মামলায় জ্ঞানী হওয়ার সম্ভাবনা বেশি। 

যেহেতু GPT-3.5, PaLM-2, এবং Llama 2 ইন্টারনেট থেকে স্ক্র্যাপ করা পাঠ্যের উপর প্রশিক্ষিত ছিল, তাই এটা বোঝায় যে তারা মার্কিন সুপ্রিম কোর্টের আইনি মতামতের সাথে আরও বেশি পরিচিত হবে, যা অন্যান্য ধরনের ফাইলের আইনি নথির তুলনায় প্রকাশ্যে প্রকাশিত হয়। আদালতের যেগুলি সহজে অ্যাক্সেসযোগ্য নয়। 

পুরানো এবং নতুন কেস থেকে তথ্য প্রত্যাহার করা জড়িত এমন কাজগুলিতে তাদের লড়াই করার সম্ভাবনা বেশি ছিল। 

"সুপ্রিম কোর্টের প্রাচীনতম এবং নতুন মামলাগুলির মধ্যে হ্যালুসিনেশনগুলি সবচেয়ে সাধারণ এবং এর যুদ্ধ-পরবর্তী ওয়ারেন কোর্টের মামলাগুলির মধ্যে (1953-1969) সবচেয়ে কম সাধারণ," কাগজ অনুসারে৷ "এই ফলাফলটি এলএলএম-এর আইনী জ্ঞানের উপর আরেকটি গুরুত্বপূর্ণ সীমাবদ্ধতার পরামর্শ দেয় যা ব্যবহারকারীদের সচেতন হওয়া উচিত: LLM-এর সর্বোচ্চ কর্মক্ষমতা বর্তমান মতবাদের থেকে বেশ কয়েক বছর পিছিয়ে থাকতে পারে, এবং LLMগুলি কেস ল অভ্যন্তরীণ করতে ব্যর্থ হতে পারে যা খুব পুরানো কিন্তু এখনও প্রযোজ্য। এবং প্রাসঙ্গিক আইন।"

অত্যধিক এআই একটি 'একক সংস্কৃতি' তৈরি করতে পারে

গবেষকরা উদ্বিগ্ন ছিলেন যে এই সিস্টেমগুলির উপর অত্যধিক নির্ভরতা একটি আইনি "একক সংস্কৃতি" তৈরি করতে পারে। যেহেতু AI একটি সীমিত পরিমাণ ডেটার উপর প্রশিক্ষিত, তাই এটি আরও বিশিষ্ট, সুপরিচিত মামলাগুলিকে নির্দেশ করবে যা আইনজীবীদের অন্যান্য আইনি ব্যাখ্যা বা প্রাসঙ্গিক নজির উপেক্ষা করে। তারা অন্যান্য ক্ষেত্রে উপেক্ষা করতে পারে যা তাদের বিভিন্ন দৃষ্টিকোণ বা যুক্তি দেখতে সাহায্য করতে পারে, যা মামলার ক্ষেত্রে গুরুত্বপূর্ণ প্রমাণিত হতে পারে। 

"আইন নিজেই একচেটিয়া নয়," ডাহল বলেছেন। "একটি মনোকালচার একটি আইনি সেটিংয়ে বিশেষভাবে বিপজ্জনক। মার্কিন যুক্তরাষ্ট্রে, আমাদের একটি ফেডারেল সাধারণ আইন ব্যবস্থা আছে যেখানে আইন বিভিন্ন রাজ্যে বিভিন্ন বিচারব্যবস্থায় ভিন্নভাবে বিকাশ লাভ করে। আইনশাস্ত্রের বিভিন্ন লাইন বা প্রবণতা রয়েছে যা সময়ের সাথে সাথে বিকাশ লাভ করে।"

"এটি ভুল ফলাফল এবং অযৌক্তিক নির্ভরতার দিকে নিয়ে যেতে পারে যা আসলে মামলাকারীদের ক্ষতি করতে পারে" হো যোগ করে। তিনি ব্যাখ্যা করেছিলেন যে একটি মডেল আইনজীবীদের বা উচ্ছেদ আইনের মতো কিছু বুঝতে চাওয়া লোকদের ভুল প্রতিক্রিয়া তৈরি করতে পারে। 

"যখন আপনি একটি বৃহৎ ভাষার মডেলের সাহায্য চান, তখন আপনার ফাইলিং কখন বা এই রাজ্যে উচ্ছেদের নিয়ম কী তা সম্পর্কে আপনি সঠিক ভুল উত্তর পেতে পারেন," তিনি একটি উদাহরণ উদ্ধৃত করে বলেছেন। "কারণ এটি আপনাকে যা বলছে তা হল নিউ ইয়র্কের আইন বা ক্যালিফোর্নিয়ার আইন, আইনের বিপরীতে যা আসলে আপনার এখতিয়ারে আপনার নির্দিষ্ট পরিস্থিতিতে গুরুত্বপূর্ণ।"

গবেষকরা উপসংহারে পৌঁছেছেন যে আইনী কাজগুলির জন্য এই ধরনের জনপ্রিয় মডেলগুলি ব্যবহার করার ঝুঁকিগুলি যারা ছোট রাজ্য জুড়ে নিম্ন আদালতে কাগজপত্র জমা দিচ্ছেন তাদের জন্য সবচেয়ে বেশি, বিশেষ করে যদি তাদের কম দক্ষতা থাকে এবং তারা মিথ্যা অনুমানের উপর ভিত্তি করে মডেলগুলি জিজ্ঞাসা করে। এই লোকেদের আইনজীবী হওয়ার সম্ভাবনা বেশি, যারা কম সংস্থান সহ ছোট আইন সংস্থা থেকে কম শক্তিশালী, বা যারা নিজেদের প্রতিনিধিত্ব করতে চায়।

"সংক্ষেপে, আমরা দেখতে পাই যে যারা এলএলএম থেকে সবচেয়ে বেশি উপকৃত হবেন তাদের জন্য ঝুঁকি সবচেয়ে বেশি," কাগজটি বলে। ®

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://go.theregister.com/feed/www.theregister.com/2024/01/10/top_large_language_models_struggle/