Οι ακαδημαϊκοί που επικεντρώνονται στην τεχνητή νοημοσύνη έχουν χρησιμοποιήσει τη γενετική τεχνητή νοημοσύνη για να τους βοηθήσουν να επανεξετάσουν το έργο της μηχανικής μάθησης των συνομηλίκων.
Μια ομάδα ερευνητών από το Πανεπιστήμιο του Στάνφορντ, το NEC Labs America και το UC Santa Barbara ανέλυσαν πρόσφατα τις αξιολογήσεις από ομοτίμους των εργασιών που υποβλήθηκαν σε κορυφαία συνέδρια τεχνητής νοημοσύνης, συμπεριλαμβανομένων των ICLR 2024, NeurIPS 2023, CoRL 2023 και EMNLP 2023.
Οι συγγραφείς – Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A McFarland και James Y Zou – ανέφεραν τα ευρήματά τους στο ένα χαρτί με τίτλο «Παρακολούθηση περιεχομένου τροποποιημένου με τεχνητή νοημοσύνη σε κλίμακα: Μελέτη περίπτωσης για τον αντίκτυπο του ChatGPT στις αξιολογήσεις ομοτίμων συνεδρίων AI».
Ανέλαβαν τη μελέτη με βάση το δημόσιο ενδιαφέρον και τη συζήτηση για μεγάλα γλωσσικά μοντέλα που κυριάρχησαν στον τεχνικό λόγο πέρυσι.
Οι συγγραφείς βρήκαν μια μικρή αλλά σταθερή αύξηση στη φαινομενική χρήση LLM για κριτικές που υποβλήθηκαν τρεις ημέρες ή λιγότερο πριν από τη λήξη της προθεσμίας
Η δυσκολία διάκρισης μεταξύ ανθρώπινου και μηχανικού κειμένου και η αναφερόμενη αύξηση Ιστοσελίδες ειδήσεων AI οδήγησε τους συγγραφείς να καταλήξουν στο συμπέρασμα ότι υπάρχει επείγουσα ανάγκη να αναπτυχθούν τρόποι για την αξιολόγηση συνόλων δεδομένων πραγματικού κόσμου που περιέχουν απροσδιόριστη ποσότητα περιεχομένου που έχει εγγραφεί από AI.
Μερικές φορές η συγγραφή AI ξεχωρίζει – όπως στο α χαρτί από Radiology Case Reports με τίτλο «Επιτυχής διαχείριση μιας ιατρογενούς πυλαίας φλέβας και βλάβης ηπατικής αρτηρίας σε μια γυναίκα ασθενή 4 μηνών: Αναφορά περιστατικού και βιβλιογραφική ανασκόπηση».
Αυτό το μπερδεμένο απόσπασμα είναι λίγο χαρισματικό: «Συνοπτικά, η διαχείριση του διμερούς ιατρογενούς λυπάμαι πολύ, αλλά δεν έχω πρόσβαση σε πληροφορίες σε πραγματικό χρόνο ή σε δεδομένα για τον ασθενή, καθώς είμαι μοντέλο γλώσσας AI .»
Αλλά η διάκριση δεν είναι πάντα προφανής και οι προηγούμενες προσπάθειες για την ανάπτυξη ενός αυτοματοποιημένου τρόπου ταξινόμησης κειμένων που γράφτηκε από ανθρώπους από ρομπο-πεζογραφία δεν πήγαν καλά. OpenAI, για παράδειγμα εισήγαγε ένα AI Text Classifier για αυτόν τον σκοπό τον Ιανουάριο του 2023, μόνο για να το κλείσει έξι μήνες αργότερα».λόγω του χαμηλού ποσοστού ακρίβειάς του. "
Ωστόσο, Liang et αϊ υποστηρίζουν ότι η εστίαση στη χρήση επιθέτων σε ένα κείμενο – αντί να προσπαθεί να αξιολογήσει ολόκληρα έγγραφα, παραγράφους ή προτάσεις – οδηγεί σε πιο αξιόπιστα αποτελέσματα.
Οι συγγραφείς πήραν δύο σετ δεδομένων, ή corpora – το ένα γράφτηκε από ανθρώπους και το άλλο γραμμένο από μηχανές. Και χρησιμοποίησαν αυτά τα δύο σώματα κειμένου για να αξιολογήσουν τις αξιολογήσεις –τις αξιολογήσεις από ομοτίμους των εργασιών τεχνητής νοημοσύνης συνεδρίων– για τη συχνότητα συγκεκριμένων επιθέτων.
«[Όλοι] οι υπολογισμοί μας εξαρτώνται μόνο από τα επίθετα που περιέχονται σε κάθε έγγραφο», εξήγησαν. «Βρήκαμε ότι αυτή η επιλογή λεξιλογίου παρουσιάζει μεγαλύτερη σταθερότητα από τη χρήση άλλων τμημάτων του λόγου, όπως επιρρήματα, ρήματα, ουσιαστικά ή όλα τα πιθανά διακριτικά».
Αποδεικνύεται ότι τα LLM τείνουν να χρησιμοποιούν επίθετα όπως "έπαινος", "καινοτόμος" και "περιεκτικός" πιο συχνά από τους ανθρώπινους συγγραφείς. Και τέτοιες στατιστικές διαφορές στη χρήση των λέξεων επέτρεψαν στους boffins να εντοπίσουν κριτικές εγγράφων όπου η βοήθεια LLM θεωρείται πιθανή.
Σύννεφο λέξεων με τα κορυφαία 100 επίθετα στα σχόλια του LLM, με το μέγεθος γραμματοσειράς που υποδεικνύει τη συχνότητα (κάντε κλικ για μεγέθυνση)
«Τα αποτελέσματά μας υποδηλώνουν ότι μεταξύ 6.5 τοις εκατό και 16.9 τοις εκατό του κειμένου που υποβλήθηκε ως αξιολογήσεις από ομοτίμους σε αυτά τα συνέδρια θα μπορούσε να έχει τροποποιηθεί σημαντικά από LLMs, δηλαδή πέρα από τον ορθογραφικό έλεγχο ή τις μικρές ενημερώσεις γραφής», υποστήριξαν οι συγγραφείς, σημειώνοντας ότι οι κριτικές της εργασίας στο επιστημονικό περιοδικό Nature δεν παρουσιάζουν σημάδια μηχανικής βοήθειας.
Αρκετοί παράγοντες φαίνεται να συσχετίζονται με μεγαλύτερη χρήση LLM. Το ένα είναι μια προθεσμία που πλησιάζει: Οι συγγραφείς διαπίστωσαν μια μικρή αλλά σταθερή αύξηση στη φαινομενική χρήση LLM για κριτικές που υποβλήθηκαν τρεις ημέρες ή λιγότερο πριν από τη λήξη της προθεσμίας.
Οι ερευνητές τόνισαν ότι πρόθεσή τους δεν ήταν να κρίνουν τη χρήση της βοήθειας γραφής τεχνητής νοημοσύνης, ούτε να ισχυριστούν ότι οποιαδήποτε από τα έγγραφα που αξιολόγησαν ήταν γραμμένα πλήρως από ένα μοντέλο AI. Ωστόσο, υποστήριξαν ότι η επιστημονική κοινότητα πρέπει να είναι πιο διαφανής σχετικά με τη χρήση των LLM.
Και υποστήριξαν ότι τέτοιες πρακτικές δυνητικά στερούν από εκείνους των οποίων το έργο εξετάζεται από ποικίλα σχόλια από ειδικούς. Επιπλέον, η ανάδραση της τεχνητής νοημοσύνης κινδυνεύει με ένα φαινόμενο ομογενοποίησης που στρέφεται προς τις προκαταλήψεις των μοντέλων τεχνητής νοημοσύνης και μακριά από ουσιαστική γνώση. ®
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://go.theregister.com/feed/www.theregister.com/2024/03/19/ai_researchers_reviewing_peers/
- :είναι
- :δεν
- :που
- 100
- 16
- 2023
- 2024
- 378
- 7
- 9
- a
- Σχετικα
- πρόσβαση
- AI
- Όλα
- επιτρέπεται
- πάντοτε
- am
- Αμερική
- ποσό
- an
- αναλύθηκε
- και
- κάθε
- εμφανής
- εμφανίζομαι
- προσεγγίζοντας
- υποστήριξε
- τεχνητός
- τεχνητή νοημοσύνη
- AS
- εκτιμώ
- Βοήθεια
- At
- Προσπάθειες
- συγγραφείς
- Συγγραφή
- Αυτοματοποιημένη
- μακριά
- βασίζονται
- BE
- ήταν
- πριν
- είναι
- μεταξύ
- Πέρα
- μεροληψίες
- Κομμάτι
- φορείς
- αλλά
- by
- υπολογισμοί
- cao
- περίπτωση
- μελέτη περίπτωσης
- ChatGPT
- Chen
- επιλογή
- ισχυρισμός
- κλικ
- Backup
- CO
- αξιέπαινος
- κοινότητα
- εντελώς
- περιεκτικός
- καταλήγω
- Διάσκεψη
- συνέδρια
- συνεπής
- περιέχουν
- που περιέχονται
- υποστηρίζω
- περιεχόμενο
- θα μπορούσε να
- Daniel
- ημερομηνία
- σύνολα δεδομένων
- Ημ.
- διορία
- θεωρείται
- εξαρτηθεί
- ανάπτυξη
- διαφορές
- Δυσκολία
- ομιλία
- συζήτηση
- διάκριση
- διάφορα
- do
- έγγραφο
- έγγραφα
- κυριαρχούσε
- Don
- e
- κάθε
- αποτέλεσμα
- τόνισε
- μεγέθυνση
- Ολόκληρος
- με τίτλο
- αξιολογήσει
- αξιολόγηση
- αξιολογήσεις
- παράδειγμα
- έκθεμα
- εμπειρογνώμονες
- εξήγησε
- παράγοντες
- ανατροφοδότηση
- θηλυκός
- ευρήματα
- επικεντρώθηκε
- εστιάζοντας
- Για
- Βρέθηκαν
- Συχνότητα
- συχνά
- από
- γενετική
- Παραγωγική τεχνητή νοημοσύνη
- giveaway
- φύγει
- μεγαλύτερη
- Group
- Έχω
- βοήθεια
- HTTPS
- huang
- ανθρώπινος
- Οι άνθρωποι
- i
- προσδιορίσει
- Επίπτωση
- in
- Συμπεριλαμβανομένου
- Αυξάνουν
- υποδεικνύοντας
- πληροφορίες
- βλάβη
- καινοτόμες
- διορατικότητα
- Νοημοσύνη
- Πρόθεση
- τόκος
- isn
- IT
- ΤΟΥ
- james
- Ιανουάριος
- ημερολόγιο
- jpg
- Labs
- Γλώσσα
- large
- Επίθετο
- Πέρυσι
- αργότερα
- που οδηγεί
- Οδηγεί
- μάθηση
- Led
- μείον
- Μου αρέσει
- Πιθανός
- λογοτεχνία
- LLM
- Χαμηλός
- μηχανή
- μάθηση μηχανής
- μηχανήματα
- διαχείριση
- νόημα
- ανήλικος
- μοντέλο
- μοντέλα
- τροποποιημένο
- παρακολούθηση
- μήνες
- περισσότερο
- Φύση
- Ανάγκη
- ανάγκες
- νέα
- σημειώνοντας
- ουσιαστικά
- τώρα
- Εμφανή
- of
- on
- ONE
- αποκλειστικά
- OpenAI
- or
- ΑΛΛΑ
- δικός μας
- έξω
- χαρτιά
- εξαρτήματα
- passieren
- πέρασμα
- Το παρελθόν
- ασθενής
- ομότιμων
- συνομηλίκους
- τοις εκατό
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- Πύλη
- δυνατός
- ενδεχομένως
- πρακτικές
- δημόσιο
- σκοπός
- Τιμή
- μάλλον
- πραγματικό κόσμο
- σε πραγματικό χρόνο
- πρόσφατα
- αξιόπιστος
- αναφέρουν
- αναφέρθηκαν
- Εκθέσεις
- ερευνητές
- Αποτελέσματα
- ανασκόπηση
- αξιολόγηση
- επανεξέταση
- Κριτικές
- Αύξηση
- κινδύνους
- s
- Σάντα
- Κλίμακα
- επιστημονικός
- Σέτς
- Σημάδια
- ΕΞΙ
- Έξι μήνες
- Μέγεθος
- small
- μερικοί
- συγκεκριμένες
- ομιλία
- σταθερότητα
- στέκεται
- stanford
- Πανεπιστήμιο του Stanford
- στατιστικός
- Μελέτη
- υποβάλλονται
- ουσιαστικά
- επιτυχής
- τέτοιος
- προτείνω
- ΠΕΡΙΛΗΨΗ
- λαμβάνεται
- Τεχνικός
- Τείνουν
- κείμενο
- από
- ότι
- Η
- τους
- Τους
- Εκεί.
- Αυτοί
- αυτοί
- αυτό
- εκείνοι
- τρία
- με τίτλο
- προς την
- κουπόνια
- πήρε
- κορυφή
- προς
- διαφανής
- προσπαθώντας
- μετατρέπει
- δύο
- ανέλαβε
- πανεπιστήμιο
- ενημερώσεις
- επείγων
- Χρήση
- χρήση
- μεταχειρισμένος
- χρησιμοποιώντας
- πολύ
- ήταν
- Τρόπος..
- τρόπους
- we
- ΛΟΙΠΌΝ
- ήταν
- Τι
- του οποίου
- με
- λέξη
- Εργασία
- γραφή
- γραπτή
- Ye
- έτος
- zephyrnet
- Τζάο