शीर्ष एलएलएम सटीक कानूनी जानकारी देने के लिए संघर्ष करते हैं

साक्षात्कार अगर आपको लगता है कि कानून की दुनिया में जेनेरिक एआई के पास स्वचालित सीट है, तो फिर से सोचें।

ताजा शोध से पता चला है कि शीर्ष बड़े भाषा मॉडल गलत कानूनी जानकारी उत्पन्न करते हैं और मुकदमेबाजी के लिए उन पर भरोसा नहीं किया जाना चाहिए।

पिछले साल, जब OpenAI ने दिखाया था GPT-4 बार परीक्षा उत्तीर्ण करने में सक्षम था, इसे एआई में एक सफलता के रूप में पेश किया गया और कुछ लोगों ने सवाल उठाया कि क्या प्रौद्योगिकी जल्द ही सफल हो सकती है की जगह वकील. कुछ लोगों को उम्मीद थी कि इस प्रकार के मॉडल उन लोगों को सशक्त बना सकते हैं जो कानूनी न्याय पाने के लिए महंगे वकील नहीं खरीद सकते, जिससे कानूनी सहायता तक पहुंच अधिक न्यायसंगत हो जाएगी। हालाँकि, वास्तविकता यह है कि हाल के एक अध्ययन के अनुसार, एलएलएम पेशेवर वकीलों की भी प्रभावी ढंग से सहायता नहीं कर सकते हैं।

सबसे बड़ी चिंता यह है कि एआई अक्सर गलत जानकारी गढ़ता है, जिससे विशेष रूप से ऐसे उद्योग में एक बड़ी समस्या पैदा होती है जो तथ्यात्मक साक्ष्य पर निर्भर करता है। येल और स्टैनफोर्ड विश्वविद्यालय के शोधकर्ताओं की एक टीम ने लोकप्रिय बड़े भाषा मॉडल में मतिभ्रम की दरों का विश्लेषण करते हुए पाया कि वे अक्सर प्रासंगिक कानूनी जानकारी को सटीक रूप से पुनर्प्राप्त या उत्पन्न नहीं करते हैं, या विभिन्न कानूनों के बारे में समझते और तर्क नहीं करते हैं।

वास्तव में, OpenAI का GPT-3.5, जो वर्तमान में ChatGPT के मुफ़्त संस्करण को संचालित करता है, विभिन्न कार्यों में परीक्षण किए जाने पर लगभग 69 प्रतिशत समय मतिभ्रम करता है। परिणाम PaLM-2 के लिए बदतर थे, वह प्रणाली जो पहले Google के बार्ड चैटबॉट के पीछे थी, और Llama 2, मेटा द्वारा जारी किया गया बड़ा भाषा मॉडल, जो क्रमशः 72 और 88 प्रतिशत की दर से झूठ उत्पन्न करता था।

आश्चर्य की बात नहीं है कि, मॉडल आसान कार्यों की तुलना में अधिक जटिल कार्यों को पूरा करने के लिए संघर्ष करते हैं। उदाहरण के लिए, एआई से विभिन्न मामलों की तुलना करने और यह देखने के लिए कहना कि क्या वे किसी मुद्दे पर सहमत हैं, चुनौतीपूर्ण है, और यह एक आसान काम का सामना करने की तुलना में गलत जानकारी उत्पन्न करने की अधिक संभावना है, जैसे कि यह जांचना कि किस अदालत में मामला दायर किया गया था। 

यद्यपि एलएलएम बड़ी मात्रा में पाठ को संसाधित करने में उत्कृष्टता प्राप्त करते हैं, और उन्हें बड़ी मात्रा में कानूनी दस्तावेजों पर प्रशिक्षित किया जा सकता है - किसी भी मानव वकील द्वारा अपने जीवनकाल में पढ़ने से अधिक - वे कानून को नहीं समझते हैं और ठोस तर्क नहीं बना सकते हैं।

"हालांकि हमने देखा है कि इस प्रकार के मॉडल कोडिंग या गणित की समस्याओं में निगमनात्मक तर्क के रूप में वास्तव में बड़ी प्रगति करते हैं, यह उस तरह का कौशल सेट नहीं है जो शीर्ष पायदान की वकालत की विशेषता बताता है," डैनियल हो, सह-लेखक येल-स्टैनफोर्ड पेपर, बताता है रजिस्टर.

स्टैनफोर्ड इंस्टीट्यूट फॉर ह्यूमन-सेंटर्ड के फैकल्टी एसोसिएट डायरेक्टर हो ने कहा, "वकील वास्तव में किसमें अच्छे हैं, और वे कहां उत्कृष्टता प्राप्त करते हैं, इसे अक्सर सामान्य कानून प्रणाली में उदाहरणों के आधार पर अनुरूप तर्क के रूप में वर्णित किया जाता है।" कृत्रिम होशियारी।

मशीनें अक्सर साधारण कामों में भी फेल हो जाती हैं। जब कोई मामला वास्तविक है या नहीं यह जांचने के लिए नाम या उद्धरण का निरीक्षण करने के लिए कहा जाता है, तो GPT-3.5, PaLM-2, और Llama 2 प्रतिक्रियाओं में नकली जानकारी बना सकते हैं।

“उस प्रश्न का सही उत्तर देने के लिए मॉडल को ईमानदारी से कानून के बारे में कुछ भी जानने की आवश्यकता नहीं है। इसे बस यह जानने की जरूरत है कि कोई मामला मौजूद है या नहीं, और इसे प्रशिक्षण कोष में कहीं भी देख सकते हैं, ”येल विश्वविद्यालय में पीएचडी कानून के छात्र मैथ्यू डाहल कहते हैं।

इससे पता चलता है कि AI जानकारी को सटीक रूप से पुनर्प्राप्त भी नहीं कर सकता है, और प्रौद्योगिकी की क्षमताओं की एक मौलिक सीमा है। इन मॉडलों को अक्सर सहमत और मददगार माना जाता है। वे आमतौर पर उपयोगकर्ताओं की धारणाओं को सही करने की जहमत नहीं उठाएंगे, और इसके बजाय उनका पक्ष लेंगे। उदाहरण के लिए, यदि चैटबॉट्स को किसी कानूनी तर्क के समर्थन में मामलों की एक सूची तैयार करने के लिए कहा जाता है, तो वे बिना कुछ कहे जवाब देने की तुलना में मुकदमे बनाने के लिए अधिक संवेदनशील होते हैं। वकीलों के एक जोड़े ने यह बात तब बहुत कठिन तरीके से सीखी जब वे थे स्वीकृत उन मामलों का हवाला देने के लिए जिनका पूरी तरह से आविष्कार ओपनएआई के चैटजीपीटी ने अपनी अदालती फाइलिंग में किया था।

शोधकर्ताओं ने यह भी पाया कि जिन तीन मॉडलों का उन्होंने परीक्षण किया, उनमें छोटी और कम शक्तिशाली अदालतों से संबंधित स्थानीय कानूनी कार्यवाही की तुलना में अमेरिकी सुप्रीम कोर्ट से संबंधित संघीय मुकदमेबाजी में अधिक जानकारी होने की संभावना थी। 

चूंकि GPT-3.5, PaLM-2, और Llama 2 को इंटरनेट से निकाले गए पाठ पर प्रशिक्षित किया गया था, इसलिए यह समझ में आता है कि वे अमेरिकी सुप्रीम कोर्ट की कानूनी राय से अधिक परिचित होंगे, जो अन्य प्रकारों में दायर कानूनी दस्तावेजों की तुलना में सार्वजनिक रूप से प्रकाशित होते हैं। ऐसी अदालतें जो इतनी आसानी से पहुंच योग्य नहीं हैं। 

उन्हें उन कार्यों में भी संघर्ष करने की अधिक संभावना थी जिनमें पुराने और नए मामलों से जानकारी वापस लेना शामिल था। 

पेपर के अनुसार, "सुप्रीम कोर्ट के सबसे पुराने और नवीनतम मामलों में मतिभ्रम सबसे आम है, और युद्ध के बाद के वॉरेन कोर्ट मामलों (1953-1969) में सबसे कम आम है।" "यह परिणाम एलएलएम के कानूनी ज्ञान पर एक और महत्वपूर्ण सीमा का सुझाव देता है जिसके बारे में उपयोगकर्ताओं को पता होना चाहिए: एलएलएम का चरम प्रदर्शन सिद्धांत की वर्तमान स्थिति से कई साल पीछे हो सकता है, और एलएलएम उस केस कानून को आंतरिक बनाने में विफल हो सकता है जो बहुत पुराना है लेकिन अभी भी लागू है और प्रासंगिक कानून।

बहुत अधिक AI एक 'मोनोकल्चर' बना सकता है

शोधकर्ता इस बात से भी चिंतित थे कि इन प्रणालियों पर अत्यधिक निर्भरता एक कानूनी "मोनोकल्चर" का निर्माण कर सकती है। चूंकि एआई को सीमित मात्रा में डेटा पर प्रशिक्षित किया जाता है, इसलिए यह अधिक प्रमुख, प्रसिद्ध मामलों को संदर्भित करेगा जिसके कारण वकील अन्य कानूनी व्याख्याओं या प्रासंगिक उदाहरणों को नजरअंदाज कर देंगे। वे अन्य मामलों को नज़रअंदाज कर सकते हैं जो उन्हें अलग-अलग दृष्टिकोण या तर्क देखने में मदद कर सकते हैं, जो मुकदमेबाजी में महत्वपूर्ण साबित हो सकते हैं। 

डाहल कहते हैं, ''कानून अपने आप में अखंड नहीं है।'' “कानूनी सेटिंग में एक मोनोकल्चर विशेष रूप से खतरनाक है। संयुक्त राज्य अमेरिका में, हमारे पास एक संघीय सामान्य कानून प्रणाली है जहां कानून अलग-अलग राज्यों में अलग-अलग न्यायक्षेत्रों में अलग-अलग तरीके से विकसित होता है। न्यायशास्त्र की विभिन्न पंक्तियाँ या प्रवृत्तियाँ समय के साथ विकसित होती हैं।

हो कहते हैं, "इससे गलत नतीजे आ सकते हैं और इस तरह से अनुचित निर्भरता हो सकती है जो वास्तव में वादियों को नुकसान पहुंचा सकती है।" उन्होंने बताया कि एक मॉडल वकीलों या बेदखली कानूनों जैसी किसी चीज़ को समझने के इच्छुक लोगों के लिए गलत प्रतिक्रियाएँ उत्पन्न कर सकता है। 

एक उदाहरण का हवाला देते हुए वह कहते हैं, "जब आप एक बड़े भाषा मॉडल की मदद लेते हैं, तो आपको बिल्कुल गलत जवाब मिल सकता है कि आपकी फाइलिंग कब देय है या इस राज्य में बेदखली का नियम किस तरह का है।" "क्योंकि यह आपको जो बता रहा है वह न्यूयॉर्क का कानून है या कैलिफोर्निया का कानून है, उस कानून के विपरीत जो वास्तव में आपके अधिकार क्षेत्र में आपकी विशेष परिस्थितियों के लिए मायने रखता है।"

शोधकर्ताओं ने निष्कर्ष निकाला है कि कानूनी कार्यों के लिए इस प्रकार के लोकप्रिय मॉडल का उपयोग करने का जोखिम छोटे राज्यों में निचली अदालतों में कागजी कार्रवाई जमा करने वालों के लिए सबसे अधिक है, खासकर यदि उनके पास कम विशेषज्ञता है और गलत धारणाओं के आधार पर मॉडल पर सवाल उठा रहे हैं। इन लोगों के वकील बनने की संभावना अधिक होती है, जो कम संसाधनों वाली छोटी कानून फर्मों से कम शक्तिशाली होते हैं, या ऐसे लोग जो अपना प्रतिनिधित्व करना चाहते हैं।

पेपर में कहा गया है, "संक्षेप में, हमने पाया है कि जोखिम उन लोगों के लिए सबसे अधिक है जो एलएलएम से सबसे अधिक लाभान्वित होंगे।" ®

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• स्रोत: https://go.theregister.com/feed/www.theregister.com/2024/01/10/top_large_language_models_struggle/