Μερικά νευρωνικά δίκτυα μαθαίνουν τη γλώσσα όπως οι άνθρωποι | Περιοδικό Quanta

Πώς μαθαίνουν οι εγκέφαλοι; Είναι ένα μυστήριο, ένα μυστήριο που ισχύει τόσο για τα σπογγώδη όργανα στο κρανίο μας όσο και για τα ψηφιακά αντίστοιχά τους στις μηχανές μας. Παρόλο που τα τεχνητά νευρωνικά δίκτυα (ANN) είναι κατασκευασμένα από περίτεχνους ιστούς τεχνητών νευρώνων, φαινομενικά μιμούμενοι τον τρόπο με τον οποίο ο εγκέφαλός μας επεξεργάζεται τις πληροφορίες, δεν γνωρίζουμε αν επεξεργάζονται τα δεδομένα με παρόμοιους τρόπους.   

«Υπάρχει μια μακροχρόνια συζήτηση για το αν τα νευρωνικά δίκτυα μαθαίνουν με τον ίδιο τρόπο που μαθαίνουν οι άνθρωποι», είπε. Βσεβολόντ Καπατσίνσκι, γλωσσολόγος στο Πανεπιστήμιο του Όρεγκον.

Τώρα, μια μελέτη δημοσιεύθηκε Ο περασμένος μήνας προτείνει ότι τα φυσικά και τεχνητά δίκτυα μαθαίνουν με παρόμοιους τρόπους, τουλάχιστον όσον αφορά τη γλώσσα. Οι ερευνητές — με επικεφαλής Gašper Beguš, ένας υπολογιστικός γλωσσολόγος στο Πανεπιστήμιο της Καλιφόρνια στο Μπέρκλεϋ — συνέκρινε τα εγκεφαλικά κύματα των ανθρώπων που ακούνε έναν απλό ήχο με το σήμα που παράγεται από ένα νευρωνικό δίκτυο που αναλύει τον ίδιο ήχο. Τα αποτελέσματα ήταν ασυνήθιστα παρόμοια. «Από όσο γνωρίζουμε», έγραψαν ο Beguš και οι συνεργάτες του, οι παρατηρούμενες αποκρίσεις στο ίδιο ερέθισμα «είναι τα πιο παρόμοια σήματα εγκεφάλου και ANN που έχουν αναφερθεί μέχρι στιγμής».

Το πιο σημαντικό είναι ότι οι ερευνητές εξέτασαν δίκτυα που αποτελούνται από νευρώνες γενικής χρήσης που είναι κατάλληλοι για μια ποικιλία εργασιών. «Δείχνουν ότι ακόμη και πολύ, πολύ γενικά δίκτυα, τα οποία δεν έχουν εξελιγμένες προκαταλήψεις για την ομιλία ή άλλους ήχους, δείχνουν ωστόσο μια αντιστοιχία με την ανθρώπινη νευρωνική κωδικοποίηση», είπε. Γκάρι Λούπιαν, ψυχολόγος στο Πανεπιστήμιο του Wisconsin, Madison που δεν συμμετείχε στην εργασία. Τα αποτελέσματα όχι μόνο βοηθούν στην απομυθοποίηση του τρόπου με τον οποίο μαθαίνουν τα ANN, αλλά υποδηλώνουν επίσης ότι ο ανθρώπινος εγκέφαλος μπορεί να μην είναι ήδη εξοπλισμένος με υλικό και λογισμικό ειδικά σχεδιασμένο για τη γλώσσα.

Για να καθορίσουν μια βασική γραμμή για την ανθρώπινη πλευρά της σύγκρισης, οι ερευνητές έπαιξαν επανειλημμένα μια συλλαβή - "bah" - σε δύο μπλοκ οκτάλεπτων για 14 αγγλόφωνους και 15 ισπανόφωνους. Ενώ έπαιζε, οι ερευνητές κατέγραψαν διακυμάνσεις στη μέση ηλεκτρική δραστηριότητα των νευρώνων στο εγκεφαλικό στέλεχος κάθε ακροατή - το μέρος του εγκεφάλου όπου οι ήχοι επεξεργάζονται για πρώτη φορά.

Επιπλέον, οι ερευνητές τροφοδότησαν τους ίδιους ήχους «μπα» σε δύο διαφορετικά σύνολα νευρωνικών δικτύων — το ένα εκπαιδευμένο σε αγγλικούς ήχους και το άλλο στα ισπανικά. Στη συνέχεια, οι ερευνητές κατέγραψαν τη δραστηριότητα επεξεργασίας του νευρωνικού δικτύου, εστιάζοντας στους τεχνητούς νευρώνες στο στρώμα του δικτύου όπου αναλύονται αρχικά οι ήχοι (για να αντικατοπτρίζουν τις μετρήσεις του εγκεφαλικού στελέχους). Ήταν αυτά τα σήματα που ταίριαζαν στενά με τα κύματα του ανθρώπινου εγκεφάλου.

Οι ερευνητές επέλεξαν ένα είδος αρχιτεκτονικής νευρωνικών δικτύων, γνωστό ως Generative Adversarial Network (GAN), που αρχικά εφευρέθηκε το 2014 για τη δημιουργία εικόνων. Ένα GAN αποτελείται από δύο νευρωνικά δίκτυα - έναν διαχωριστή και μια γεννήτρια - που ανταγωνίζονται το ένα το άλλο. Η γεννήτρια δημιουργεί ένα δείγμα, το οποίο θα μπορούσε να είναι μια εικόνα ή ένας ήχος. Ο διαχωριστής καθορίζει πόσο κοντά είναι σε ένα δείγμα εκπαίδευσης και προσφέρει ανατροφοδότηση, με αποτέλεσμα μια άλλη προσπάθεια από τη γεννήτρια και ούτω καθεξής έως ότου το GAN μπορέσει να παραδώσει την επιθυμητή έξοδο.

Σε αυτή τη μελέτη, ο διάκριτος αρχικά εκπαιδεύτηκε σε μια συλλογή είτε αγγλικών είτε ισπανικών ήχων. Τότε η γεννήτρια - που δεν άκουσε ποτέ αυτούς τους ήχους - έπρεπε να βρει έναν τρόπο να τους παράγει. Ξεκίνησε κάνοντας τυχαίους ήχους, αλλά μετά από περίπου 40,000 γύρους αλληλεπιδράσεων με τον διαχωριστή, η γεννήτρια βελτιώθηκε, δημιουργώντας τελικά τους κατάλληλους ήχους. Ως αποτέλεσμα αυτής της εκπαίδευσης, ο χρήστης που έκανε διάκριση έγινε επίσης καλύτερος στη διάκριση μεταξύ πραγματικών και παραγόμενων.

Σε αυτό το σημείο, μετά την πλήρη εκπαίδευση του ατόμου που έκανε διάκριση, οι ερευνητές έπαιξαν τους ήχους «μπα». Η ομάδα μέτρησε τις διακυμάνσεις στα μέσα επίπεδα δραστηριότητας των τεχνητών νευρώνων του διακριτή, οι οποίοι παρήγαγαν το σήμα τόσο παρόμοιο με τα κύματα του ανθρώπινου εγκεφάλου.

Αυτή η ομοιότητα μεταξύ των επιπέδων δραστηριότητας ανθρώπου και μηχανής υποδηλώνει ότι τα δύο συστήματα εμπλέκονται σε παρόμοιες δραστηριότητες. «Ακριβώς όπως η έρευνα έδειξε ότι η ανατροφοδότηση από τους φροντιστές διαμορφώνει τις βρεφικές παραγωγές ήχων, η ανατροφοδότηση από το δίκτυο διακρίσεων διαμορφώνει τις ηχητικές παραγωγές του δικτύου γεννητριών», είπε ο Καπατσίνσκι, ο οποίος δεν συμμετείχε στη μελέτη.

Το πείραμα αποκάλυψε επίσης έναν άλλο ενδιαφέρον παραλληλισμό μεταξύ ανθρώπων και μηχανών. Τα εγκεφαλικά κύματα έδειξαν ότι οι αγγλόφωνοι και ισπανόφωνοι συμμετέχοντες άκουσαν τον ήχο «bah» διαφορετικά (οι Ισπανοί άκουγαν περισσότερο «pah») και τα σήματα του GAN έδειξαν επίσης ότι το δίκτυο που είχε εκπαιδευτεί στα αγγλικά επεξεργαζόταν τους ήχους κάπως διαφορετικά από η εκπαιδευμένη στην Ισπανία.

«Και αυτές οι διαφορές λειτουργούν προς την ίδια κατεύθυνση», εξήγησε ο Beguš. Το εγκεφαλικό στέλεχος των αγγλόφωνων ανταποκρίνεται στον ήχο «μπα» ελαφρώς νωρίτερα από το εγκεφαλικό στέλεχος των ισπανόφωνων, και το εγκεφαλικό στέλεχος που εκπαιδεύτηκε στα αγγλικά ανταποκρίθηκε στον ίδιο ήχο λίγο νωρίτερα από το μοντέλο που εκπαιδεύτηκε στα Ισπανικά. Τόσο στους ανθρώπους όσο και στις μηχανές, η διαφορά στο χρόνο ήταν σχεδόν πανομοιότυπη, περίπου ένα χιλιοστό του δευτερολέπτου. Αυτό παρείχε πρόσθετα στοιχεία, είπε ο Beguš, ότι οι άνθρωποι και τα τεχνητά δίκτυα «πιθανότατα επεξεργάζονται τα πράγματα με παρόμοιο τρόπο».

Αν και δεν είναι ακόμη σαφές πώς ακριβώς επεξεργάζεται και μαθαίνει τη γλώσσα ο εγκέφαλος, ο γλωσσολόγος Noam Chomsky πρότεινε στη δεκαετία του 1950 ότι οι άνθρωποι γεννιούνται με μια έμφυτη και μοναδική ικανότητα να κατανοούν τη γλώσσα. Αυτή η ικανότητα, υποστήριξε ο Chomsky, είναι κυριολεκτικά ενσωματωμένη στον ανθρώπινο εγκέφαλο.

Το νέο έργο, το οποίο χρησιμοποιεί νευρώνες γενικής χρήσης που δεν έχουν σχεδιαστεί για τη γλώσσα, υποδηλώνει το αντίθετο. «Το έγγραφο παρέχει σίγουρα στοιχεία ενάντια στην ιδέα ότι η ομιλία απαιτεί ειδικά ενσωματωμένα μηχανήματα και άλλα διακριτικά χαρακτηριστικά», είπε ο Καπατσίνσκι.

Ο Beguš αναγνωρίζει ότι αυτή η συζήτηση δεν έχει ακόμη διευθετηθεί. Εν τω μεταξύ, διερευνά περαιτέρω τους παραλληλισμούς μεταξύ του ανθρώπινου εγκεφάλου και των νευρωνικών δικτύων δοκιμάζοντας, για παράδειγμα, εάν τα εγκεφαλικά κύματα που προέρχονται από τον εγκεφαλικό φλοιό (ο οποίος εκτελεί ακουστική επεξεργασία αφού το εγκεφαλικό στέλεχος έχει κάνει το καθήκον του) αντιστοιχούν στα σήματα που παράγονται από βαθύτερα στρώματα του GAN.

Τελικά, ο Beguš και η ομάδα του ελπίζουν να αναπτύξουν ένα αξιόπιστο μοντέλο απόκτησης γλώσσας που θα περιγράφει πώς τόσο οι μηχανές όσο και οι άνθρωποι μαθαίνουν γλώσσες, επιτρέποντας πειράματα που θα ήταν αδύνατα με ανθρώπινα θέματα. «Θα μπορούσαμε, για παράδειγμα, να δημιουργήσουμε ένα δυσμενές περιβάλλον [όπως αυτά που βλέπουμε με παραμελημένα βρέφη] και να δούμε αν αυτό οδηγεί σε κάτι που μοιάζει με γλωσσικές διαταραχές», είπε. Χριστίνα Ζάο, νευροεπιστήμονας στο Πανεπιστήμιο της Ουάσιγκτον που συνέγραψε τη νέα εργασία με τους Beguš και Άλαν Ζου, διδάκτορας στο Πανεπιστήμιο Johns Hopkins.

"Προσπαθούμε τώρα να δούμε πόσο μακριά μπορούμε να φτάσουμε, πόσο κοντά στην ανθρώπινη γλώσσα μπορούμε να φτάσουμε με νευρώνες γενικής χρήσης", είπε ο Beguš. «Μπορούμε να φτάσουμε σε ανθρώπινα επίπεδα απόδοσης με τις υπολογιστικές αρχιτεκτονικές που έχουμε — απλώς κάνοντας τα συστήματά μας μεγαλύτερα και ισχυρότερα — ή αυτό δεν θα είναι ποτέ δυνατό;» Αν και χρειάζεται περισσότερη δουλειά για να μπορέσουμε να γνωρίζουμε με βεβαιότητα, είπε, «είμαστε έκπληκτοι, ακόμη και σε αυτό το σχετικά πρώιμο στάδιο, από το πόσο παρόμοια φαίνεται να είναι η εσωτερική λειτουργία αυτών των συστημάτων - του ανθρώπου και του ANN».