Οι κορυφαίοι LLM αγωνίζονται να παράγουν ακριβείς νομικές πληροφορίες

Οι κορυφαίοι LLM αγωνίζονται να παράγουν ακριβείς νομικές πληροφορίες

Χρονική σήμανση: 17 Ιανουαρίου 2024 3:16 μ.μ.
Οι κορυφαίοι LLM αγωνίζονται να παράγουν ακριβείς νομικές πληροφορίες PlatoBlockchain Data Intelligence. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται.

συνέντευξη Εάν πιστεύετε ότι η γενετική τεχνητή νοημοσύνη έχει μια αυτόματη θέση στο τραπέζι στον κόσμο του δικαίου, ξανασκεφτείτε το.

Τα κορυφαία μοντέλα μεγάλων γλωσσών τείνουν να παράγουν ανακριβείς νομικές πληροφορίες και δεν πρέπει να βασίζονται σε αυτά για δικαστικές διαφορές, σύμφωνα με νέα έρευνα.

Πέρυσι, όταν έδειξε το OpenAI GPT-4 ήταν ικανός να περάσει τις εξετάσεις δικηγόρων, προαναγγέλθηκε ως μια σημαντική ανακάλυψη στην τεχνητή νοημοσύνη και οδήγησε ορισμένους ανθρώπους να αναρωτηθούν εάν η τεχνολογία θα μπορούσε σύντομα αντικαθιστώ δικηγόροι. Κάποιοι ήλπιζαν ότι αυτά τα είδη μοντέλων θα μπορούσαν να ενδυναμώσουν τους ανθρώπους που δεν έχουν την οικονομική δυνατότητα να αντέξουν οικονομικά τους δικηγόρους να επιδιώξουν τη νομική δικαιοσύνη, καθιστώντας την πρόσβαση στη νομική βοήθεια πιο δίκαιη. Η πραγματικότητα, ωστόσο, είναι ότι τα LLM δεν μπορούν καν να βοηθήσουν αποτελεσματικά τους επαγγελματίες δικηγόρους, σύμφωνα με μια πρόσφατη μελέτη.

Η μεγαλύτερη ανησυχία είναι ότι η τεχνητή νοημοσύνη συχνά κατασκευάζει ψευδείς πληροφορίες, θέτοντας τεράστιο πρόβλημα ειδικά σε έναν κλάδο που βασίζεται σε τεκμηριωμένα στοιχεία. Μια ομάδα ερευνητών στο Γέιλ και το Πανεπιστήμιο του Στάνφορντ που αναλύουν τα ποσοστά παραισθήσεων σε δημοφιλή μοντέλα μεγάλων γλωσσών διαπίστωσαν ότι συχνά δεν ανακτούν ή δημιουργούν με ακρίβεια σχετικές νομικές πληροφορίες, ούτε κατανοούν και δεν αιτιολογούν διάφορους νόμους.

Στην πραγματικότητα, το GPT-3.5 του OpenAI, το οποίο αυτή τη στιγμή τροφοδοτεί τη δωρεάν έκδοση του ChatGPT, έχει ψευδαισθήσεις περίπου στο 69 τοις εκατό των περιπτώσεων όταν δοκιμάζεται σε διαφορετικές εργασίες. Τα αποτελέσματα ήταν χειρότερα για το PaLM-2, το σύστημα που προηγουμένως βρισκόταν πίσω από το Bard chatbot της Google, και το Llama 2, το μοντέλο μεγάλης γλώσσας που κυκλοφόρησε από τη Meta, το οποίο παρήγαγε ψεύδη σε ποσοστά 72 και 88 τοις εκατό, αντίστοιχα.

Δεν αποτελεί έκπληξη το γεγονός ότι τα μοντέλα δυσκολεύονται να ολοκληρώσουν πιο σύνθετες εργασίες σε αντίθεση με τις ευκολότερες. Το να ζητάς από την τεχνητή νοημοσύνη να συγκρίνει διαφορετικές υποθέσεις και να δει αν συμφωνούν σε ένα ζήτημα, για παράδειγμα, είναι πρόκληση και είναι πιο πιθανό να δημιουργήσει ανακριβείς πληροφορίες από ό,τι όταν αντιμετωπίζεις μια ευκολότερη εργασία, όπως ο έλεγχος σε ποιο δικαστήριο κατατέθηκε μια υπόθεση. 

Αν και οι LLM υπερέχουν στην επεξεργασία μεγάλων ποσοτήτων κειμένου και μπορούν να εκπαιδευτούν σε τεράστιες ποσότητες νομικών εγγράφων – περισσότερα από όσα θα μπορούσε να διαβάσει οποιοσδήποτε ανθρώπινος δικηγόρος στη διάρκεια της ζωής του – δεν καταλαβαίνουν τη νομοθεσία και δεν μπορούν να σχηματίσουν ορθά επιχειρήματα.

«Ενώ έχουμε δει αυτά τα είδη μοντέλων να κάνουν πραγματικά μεγάλα βήματα σε μορφές απαγωγικής συλλογιστικής σε προβλήματα κωδικοποίησης ή μαθηματικών, αυτό δεν είναι το είδος του συνόλου δεξιοτήτων που χαρακτηρίζει την κορυφαία δικηγορία», δήλωσε ο Daniel Ho, συν-συγγραφέας του η εφημερίδα Yale-Stanford, λέει Το μητρώο.

"Αυτό στο οποίο οι δικηγόροι είναι πραγματικά καλοί και όπου διαπρέπουν συχνά περιγράφεται ως μια μορφή αναλογικής συλλογιστικής σε ένα σύστημα κοινού δικαίου, με βάση προηγούμενα", πρόσθεσε ο Χο, ο οποίος είναι αναπληρωτής διευθυντής σχολής του Ινστιτούτου Stanford for Human-Cented. Τεχνητή νοημοσύνη.

Οι μηχανές συχνά αποτυγχάνουν και σε απλές εργασίες. Όταν σας ζητηθεί να ελέγξετε ένα όνομα ή μια αναφορά για να ελέγξετε εάν μια υπόθεση είναι πραγματική, οι GPT-3.5, PaLM-2 και Llama 2 μπορούν να δημιουργήσουν πλαστές πληροφορίες στις απαντήσεις.

«Το μοντέλο δεν χρειάζεται να γνωρίζει τίποτα για το νόμο με ειλικρίνεια για να απαντήσει σωστά σε αυτή την ερώτηση. Απλώς πρέπει να γνωρίζει εάν υπάρχει ή όχι μια υπόθεση ή όχι, και μπορεί να το δει οπουδήποτε στο εκπαιδευτικό σώμα», λέει ο Matthew Dahl, διδακτορικός φοιτητής νομικής στο Πανεπιστήμιο Yale.

Δείχνει ότι η τεχνητή νοημοσύνη δεν μπορεί καν να ανακτήσει πληροφορίες με ακρίβεια και ότι υπάρχει ένα θεμελιώδες όριο στις δυνατότητες της τεχνολογίας. Αυτά τα μοντέλα θεωρούνται συχνά ευχάριστα και χρήσιμα. Συνήθως δεν θα μπουν στον κόπο να διορθώσουν τις υποθέσεις των χρηστών και θα συμπαρασταθούν μαζί τους. Εάν ζητηθεί από τα chatbots να δημιουργήσουν μια λίστα υποθέσεων προς υποστήριξη κάποιου νομικού επιχειρήματος, για παράδειγμα, έχουν μεγαλύτερη προδιάθεση να κάνουν αγωγές παρά να απαντήσουν χωρίς τίποτα. Ένα ζευγάρι δικηγόρων το έμαθαν με τον δύσκολο τρόπο όταν ήταν καθιερωμένος για την αναφορά υποθέσεων που επινοήθηκαν εξ ολοκλήρου από το ChatGPT του OpenAI στη δικαστική κατάθεσή τους.

Οι ερευνητές διαπίστωσαν επίσης ότι τα τρία μοντέλα που δοκίμασαν ήταν πιο πιθανό να γνωρίζουν τις ομοσπονδιακές διαφορές που σχετίζονται με το Ανώτατο Δικαστήριο των ΗΠΑ σε σύγκριση με τις τοπικές νομικές διαδικασίες σχετικά με μικρότερα και λιγότερο ισχυρά δικαστήρια. 

Δεδομένου ότι οι GPT-3.5, PaLM-2 και Llama 2 εκπαιδεύτηκαν σε κείμενο αποκομμένο από το Διαδίκτυο, είναι λογικό να είναι περισσότερο εξοικειωμένοι με τις νομικές απόψεις του Ανώτατου Δικαστηρίου των ΗΠΑ, οι οποίες δημοσιεύονται δημόσια σε σύγκριση με νομικά έγγραφα που έχουν κατατεθεί σε άλλους τύπους δικαστηρίων που δεν είναι τόσο εύκολα προσβάσιμα. 

Ήταν επίσης πιο πιθανό να δυσκολευτούν σε εργασίες που περιελάμβαναν την ανάκληση πληροφοριών από παλιές και νέες περιπτώσεις. 

«Οι ψευδαισθήσεις είναι πιο συχνές μεταξύ των παλαιότερων και νεότερων υποθέσεων του Ανωτάτου Δικαστηρίου και λιγότερο συχνές στις μεταπολεμικές υποθέσεις του Warren Court (1953-1969)», σύμφωνα με την εφημερίδα. "Αυτό το αποτέλεσμα υποδηλώνει έναν άλλο σημαντικό περιορισμό στις νομικές γνώσεις των LLM που πρέπει να γνωρίζουν οι χρήστες: η κορυφαία απόδοση των LLM μπορεί να υστερεί αρκετά χρόνια από την τρέχουσα κατάσταση του δόγματος και τα LLM μπορεί να αποτύχουν να εσωτερικεύσουν τη νομολογία που είναι πολύ παλιά αλλά εξακολουθεί να ισχύει και σχετική νομοθεσία.»

Η υπερβολική τεχνητή νοημοσύνη θα μπορούσε να δημιουργήσει μια «μονοκαλλιέργεια»

Οι ερευνητές ανησυχούσαν επίσης ότι η υπερβολική εξάρτηση σε αυτά τα συστήματα θα μπορούσε να δημιουργήσει μια νομική «μονοκαλλιέργεια». Εφόσον η τεχνητή νοημοσύνη εκπαιδεύεται σε περιορισμένο αριθμό δεδομένων, θα αναφέρεται σε πιο εξέχουσες, γνωστές υποθέσεις που οδηγούν τους δικηγόρους να αγνοούν άλλες νομικές ερμηνείες ή σχετικά προηγούμενα. Ενδέχεται να παραβλέψουν άλλες υποθέσεις που θα μπορούσαν να τους βοηθήσουν να δουν διαφορετικές οπτικές γωνίες ή επιχειρήματα, τα οποία θα μπορούσαν να αποδειχθούν κρίσιμα στη δίκη. 

«Ο ίδιος ο νόμος δεν είναι μονολιθικός», λέει ο Dahl. «Μια μονοκαλλιέργεια είναι ιδιαίτερα επικίνδυνη σε νομικό πλαίσιο. Στις Ηνωμένες Πολιτείες, έχουμε ένα ομοσπονδιακό σύστημα κοινού δικαίου όπου το δίκαιο αναπτύσσεται διαφορετικά σε διαφορετικές πολιτείες σε διαφορετικές δικαιοδοσίες. Υπάρχουν κάποιες διαφορετικές γραμμές ή τάσεις της νομολογίας που αναπτύσσονται με την πάροδο του χρόνου».

«Θα μπορούσε να οδηγήσει σε λανθασμένα αποτελέσματα και αδικαιολόγητη εμπιστοσύνη με τρόπο που θα μπορούσε πραγματικά να βλάψει τους διαδίκους», προσθέτει ο Ho. Εξήγησε ότι ένα μοντέλο θα μπορούσε να δημιουργήσει ανακριβείς απαντήσεις σε δικηγόρους ή σε άτομα που θέλουν να κατανοήσουν κάτι σαν τους νόμους έξωσης. 

«Όταν ζητάτε τη βοήθεια ενός μεγάλου γλωσσικού μοντέλου, μπορεί να λαμβάνετε την ακριβή λανθασμένη απάντηση ως προς το πότε οφείλεται η κατάθεσή σας ή ποιος είναι ο κανόνας της έξωσης σε αυτήν την κατάσταση», λέει, αναφέροντας ένα παράδειγμα. «Επειδή αυτό που σας λέει είναι ο νόμος της Νέας Υόρκης ή ο νόμος της Καλιφόρνια, σε αντίθεση με τον νόμο που πραγματικά έχει σημασία για τις ιδιαίτερες περιστάσεις σας στη δικαιοδοσία σας».

Οι ερευνητές καταλήγουν στο συμπέρασμα ότι ο κίνδυνος χρήσης αυτών των τύπων δημοφιλών μοντέλων για νομικά καθήκοντα είναι υψηλότερος για όσους υποβάλλουν έγγραφα σε κατώτερα δικαστήρια σε μικρότερες πολιτείες, ιδιαίτερα εάν έχουν λιγότερη εξειδίκευση και αναζητούν τα μοντέλα που βασίζονται σε ψευδείς υποθέσεις. Αυτά τα άτομα είναι πιο πιθανό να είναι δικηγόροι, που είναι λιγότερο ισχυροί από μικρότερα δικηγορικά γραφεία με λιγότερους πόρους, ή άτομα που θέλουν να εκπροσωπήσουν τον εαυτό τους.

«Εν ολίγοις, διαπιστώνουμε ότι οι κίνδυνοι είναι υψηλότεροι για εκείνους που θα ωφεληθούν περισσότερο από το LLM», αναφέρει η εφημερίδα. ®

Σφραγίδα ώρας:

Περισσότερα από Το μητρώο