Η κατανόηση του τρόπου με τον οποίο ο εγκέφαλος οργανώνει και έχει πρόσβαση στις χωρικές πληροφορίες - πού βρισκόμαστε, τι υπάρχει στη γωνία, πώς να φτάσετε εκεί - παραμένει μια εξαιρετική πρόκληση. Η διαδικασία περιλαμβάνει την ανάκληση ενός ολόκληρου δικτύου μνημών και αποθηκευμένων χωρικών δεδομένων από δεκάδες δισεκατομμύρια νευρώνες, ο καθένας συνδεδεμένος με χιλιάδες άλλους. Οι νευροεπιστήμονες έχουν εντοπίσει βασικά στοιχεία όπως κελιά πλέγματος, νευρώνες που χαρτογραφούν τοποθεσίες. Αλλά η εμβάθυνση θα αποδειχθεί δύσκολη: Δεν είναι σαν να μπορούν οι ερευνητές να αφαιρέσουν και να μελετήσουν φέτες ανθρώπινης φαιάς ουσίας για να παρακολουθήσουν πώς οι μνήμες εικόνων, ήχων και μυρωδιών που βασίζονται στην τοποθεσία ρέουν και συνδέονται μεταξύ τους.
Η τεχνητή νοημοσύνη προσφέρει έναν άλλο τρόπο εισόδου. Για χρόνια, οι νευροεπιστήμονες έχουν αξιοποιήσει πολλούς τύπους νευρωνικών δικτύων - τους κινητήρες που τροφοδοτούν τις περισσότερες εφαρμογές βαθιάς μάθησης - για να μοντελοποιήσουν την πυροδότηση νευρώνων στον εγκέφαλο. Σε πρόσφατη εργασία, οι ερευνητές έχουν δείξει ότι ο ιππόκαμπος, μια δομή του εγκεφάλου που είναι κρίσιμη για τη μνήμη, είναι βασικά ένα ειδικό είδος νευρωνικού δικτύου, γνωστό ως μετασχηματιστής, μεταμφιεσμένος. Το νέο τους μοντέλο παρακολουθεί τις χωρικές πληροφορίες με τρόπο που είναι παράλληλος με τις εσωτερικές λειτουργίες του εγκεφάλου. Έχουν δει αξιοσημείωτη επιτυχία.
«Το γεγονός ότι γνωρίζουμε ότι αυτά τα μοντέλα του εγκεφάλου είναι ισοδύναμα με τον μετασχηματιστή σημαίνει ότι τα μοντέλα μας αποδίδουν πολύ καλύτερα και είναι πιο εύκολο να εκπαιδεύονται», είπε. Τζέιμς Γουίτινγκτον, ένας γνωστικός νευροεπιστήμονας που μοιράζει το χρόνο του μεταξύ του Πανεπιστημίου του Στάνφορντ και του εργαστηρίου του Τιμ Μπέρενς στο Πανεπιστήμιο της Οξφόρδης.
Μελέτες από τον Whittington και άλλους υποδηλώνουν ότι οι μετασχηματιστές μπορούν να βελτιώσουν σημαντικά την ικανότητα των μοντέλων νευρωνικών δικτύων να μιμούνται τα είδη των υπολογισμών που πραγματοποιούνται από κύτταρα πλέγματος και άλλα μέρη του εγκεφάλου. Τέτοια μοντέλα θα μπορούσαν να ωθήσουν την κατανόησή μας για το πώς λειτουργούν τα τεχνητά νευρωνικά δίκτυα και, ακόμη πιο πιθανό, πώς γίνονται οι υπολογισμοί στον εγκέφαλο, είπε ο Whittington.
«Δεν προσπαθούμε να ξαναδημιουργήσουμε τον εγκέφαλο», είπε Ντέιβιντ Χα, επιστήμονας υπολογιστών στο Google Brain που εργάζεται επίσης σε μοντέλα μετασχηματιστών. «Μπορούμε όμως να δημιουργήσουμε έναν μηχανισμό που μπορεί να κάνει ό,τι κάνει ο εγκέφαλος;»
Οι μετασχηματιστές εμφανίστηκαν για πρώτη φορά πριν από πέντε χρόνια ως ένας νέος τρόπος για την τεχνητή νοημοσύνη να επεξεργάζεται τη γλώσσα. Είναι η μυστική σάλτσα σε αυτά τα προγράμματα συμπλήρωσης προτάσεων που τραβούν τίτλους όπως ΜΠΕΡΤ και GPT-3, που μπορούν να δημιουργήσουν πειστικούς στίχους τραγουδιών, να συνθέτουν σονέτα του Σαίξπηρ και να υποδύονται τους εκπροσώπους εξυπηρέτησης πελατών.
Οι μετασχηματιστές λειτουργούν χρησιμοποιώντας έναν μηχανισμό που ονομάζεται αυτοπροσοχή, στον οποίο κάθε είσοδος - μια λέξη, ένα pixel, ένας αριθμός σε μια ακολουθία - συνδέεται πάντα με κάθε άλλη είσοδο. (Άλλα νευρωνικά δίκτυα συνδέουν εισόδους μόνο σε ορισμένες άλλες εισόδους.) Αλλά ενώ οι μετασχηματιστές σχεδιάστηκαν για γλωσσικές εργασίες, έκτοτε έχουν διαπρέψει σε άλλες εργασίες, όπως η ταξινόμηση εικόνων - και τώρα, στη μοντελοποίηση του εγκεφάλου.
Το 2020, μια ομάδα με επικεφαλής τον Sepp Hochreiter, ένας επιστήμονας υπολογιστών στο Πανεπιστήμιο Johannes Kepler Linz στην Αυστρία, χρησιμοποίησε έναν μετασχηματιστή για να επανατοποθετήσει ένα ισχυρό, μακροχρόνιο μοντέλο ανάκτησης μνήμης που ονομάζεται δίκτυο Hopfield. Αυτά τα δίκτυα που εισήχθησαν για πρώτη φορά πριν από 40 χρόνια από τον φυσικό John Hopfield του Πρίνστον ακολουθούν έναν γενικό κανόνα: Οι νευρώνες που είναι ενεργοί ταυτόχρονα δημιουργούν ισχυρές συνδέσεις μεταξύ τους.
Ο Hochreiter και οι συνεργάτες του, σημειώνοντας ότι οι ερευνητές έψαχναν για καλύτερα μοντέλα ανάκτησης μνήμης, είδαν μια σύνδεση μεταξύ του τρόπου με τον οποίο τα δίκτυα Hopfield ανακτούν μνήμες και του τρόπου με τον οποίο οι μετασχηματιστές αποδίδουν την προσοχή. Αναβάθμισαν το δίκτυο Hopfield, μετατρέποντάς το ουσιαστικά σε μετασχηματιστή. Αυτή η αλλαγή επέτρεψε στο μοντέλο να αποθηκεύσει και να ανακτήσει περισσότερες μνήμες λόγω πιο αποτελεσματικών συνδέσεων, είπε ο Whittington. Ο ίδιος ο Hopfield, μαζί με τον Dmitry Krotov στο MIT-IBM Watson AI Lab, απέδειξε ότι ένα δίκτυο Hopfield που βασίζεται σε μετασχηματιστές ήταν βιολογικά εύλογο.
Στη συνέχεια, νωρίτερα φέτος, οι Whittington και Behrens βοήθησαν στην περαιτέρω προσαρμογή της προσέγγισης του Hochreiter, τροποποιώντας τον μετασχηματιστή έτσι ώστε αντί να αντιμετωπίζει τις μνήμες ως γραμμική ακολουθία - όπως μια σειρά λέξεων σε μια πρόταση - τις κωδικοποίησε ως συντεταγμένες σε χώρους υψηλότερων διαστάσεων. Αυτή η «συστροφή», όπως την ονόμασαν οι ερευνητές, βελτίωσε περαιτέρω την απόδοση του μοντέλου σε εργασίες νευροεπιστήμης. Έδειξαν επίσης ότι το μοντέλο ήταν μαθηματικά ισοδύναμο με μοντέλα των μοτίβων πυροδότησης κυψελών πλέγματος που βλέπουν οι νευροεπιστήμονες στις σαρώσεις fMRI.
«Τα κύτταρα πλέγματος έχουν αυτό το είδος συναρπαστικής, όμορφης, κανονικής δομής και με εντυπωσιακά μοτίβα που είναι απίθανο να εμφανιστούν τυχαία», δήλωσε ο Caswell Barry, νευροεπιστήμονας στο University College του Λονδίνου. Η νέα εργασία έδειξε πώς οι μετασχηματιστές αναπαράγουν ακριβώς εκείνα τα μοτίβα που παρατηρούνται στον ιππόκαμπο. «Αναγνώρισαν ότι ένας μετασχηματιστής μπορεί να καταλάβει πού βασίζεται σε προηγούμενες καταστάσεις και πώς μετακινείται, και με τρόπο που είναι συνδεδεμένος σε παραδοσιακά μοντέλα κυψελών πλέγματος».
Άλλες πρόσφατες εργασίες δείχνουν ότι οι μετασχηματιστές θα μπορούσαν να βελτιώσουν την κατανόησή μας και για άλλες λειτουργίες του εγκεφάλου. Πέρυσι, ο Martin Schrimpf, ένας υπολογιστικός νευροεπιστήμονας στο Ινστιτούτο Τεχνολογίας της Μασαχουσέτης, ανέλυσε 43 διαφορετικά μοντέλα νευρωνικών δικτύων για να δουν πόσο καλά προέβλεψαν τις μετρήσεις της ανθρώπινης νευρικής δραστηριότητας όπως αναφέρθηκε από το fMRI και την ηλεκτροκορτικογραφία. Οι μετασχηματιστές, βρήκε, είναι τα σημερινά κορυφαία, υπερσύγχρονα νευρωνικά δίκτυα, που προβλέπουν σχεδόν όλη την παραλλαγή που βρίσκεται στην απεικόνιση.
Και ο Χα, μαζί με έναν συνάδελφο επιστήμονα υπολογιστών Γιούτζιν Τανγκ, σχεδίασε πρόσφατα ένα μοντέλο που θα μπορούσε να στείλει σκόπιμα μεγάλες ποσότητες δεδομένων μέσω ενός μετασχηματιστή με τυχαίο, αδιάβλητο τρόπο, μιμούμενο τον τρόπο με τον οποίο το ανθρώπινο σώμα μεταδίδει αισθητηριακές παρατηρήσεις στον εγκέφαλο. Ο μετασχηματιστής τους, όπως και ο εγκέφαλός μας, θα μπορούσε να χειριστεί με επιτυχία μια διαταραγμένη ροή πληροφοριών.
«Τα νευρωνικά δίκτυα είναι σκληρά καλωδιωμένα για να δέχονται μια συγκεκριμένη είσοδο», είπε ο Tang. Αλλά στην πραγματική ζωή, τα σύνολα δεδομένων συχνά αλλάζουν γρήγορα και τα περισσότερα AI δεν έχουν κανένα τρόπο προσαρμογής. «Θέλαμε να πειραματιστούμε με μια αρχιτεκτονική που θα μπορούσε να προσαρμοστεί πολύ γρήγορα».
Παρά αυτά τα σημάδια προόδου, ο Behrens βλέπει τους μετασχηματιστές ως απλώς ένα βήμα προς ένα ακριβές μοντέλο του εγκεφάλου - όχι το τέλος της αναζήτησης. «Πρέπει να είμαι ένας σκεπτικιστής νευροεπιστήμονας εδώ», είπε. «Δεν νομίζω ότι οι μετασχηματιστές θα καταλήξουν να είναι το πώς σκεφτόμαστε τη γλώσσα στον εγκέφαλο, για παράδειγμα, παρόλο που έχουν το καλύτερο τρέχον μοντέλο προτάσεων».
«Είναι αυτή η πιο αποτελεσματική βάση για να κάνω προβλέψεις σχετικά με το πού βρίσκομαι και τι θα δω στη συνέχεια; Αν είμαι ειλικρινής, είναι πολύ νωρίς για να το πω», είπε ο Barry.
Ο Schrimpf, επίσης, σημείωσε ότι ακόμη και οι μετασχηματιστές με την καλύτερη απόδοση είναι περιορισμένοι, και λειτουργούν καλά για λέξεις και σύντομες φράσεις, για παράδειγμα, αλλά όχι για γλωσσικές εργασίες μεγαλύτερης κλίμακας, όπως η αφήγηση ιστοριών.
«Η αίσθηση μου είναι ότι αυτή η αρχιτεκτονική, αυτός ο μετασχηματιστής, σας βάζει στο σωστό χώρο για να κατανοήσετε τη δομή του εγκεφάλου και μπορεί να βελτιωθεί με την εκπαίδευση», είπε ο Schrimpf. «Αυτή είναι μια καλή σκηνοθεσία, αλλά το πεδίο είναι εξαιρετικά περίπλοκο».
