Οι ερευνητές ανακαλύπτουν μια πιο ευέλικτη προσέγγιση στη μηχανική μάθηση

Οι ερευνητές τεχνητής νοημοσύνης έχουν γιορτάσει μια σειρά από επιτυχίες με νευρωνικά δίκτυα, προγράμματα υπολογιστών που μιμούνται κατά προσέγγιση τον τρόπο οργάνωσης του εγκεφάλου μας. Όμως, παρά την ταχεία πρόοδο, τα νευρωνικά δίκτυα παραμένουν σχετικά άκαμπτα, με μικρή ικανότητα να αλλάζουν εν κινήσει ή να προσαρμοστούν σε άγνωστες συνθήκες.

Το 2020, δύο ερευνητές στο Ινστιτούτο Τεχνολογίας της Μασαχουσέτης ηγήθηκαν μιας ομάδας που εισήγαγε ένα νέο είδος νευρωνικού δικτύου με βάση την πραγματική νοημοσύνη — αλλά όχι τη δική μας. Αντίθετα, εμπνεύστηκαν από το μικροσκοπικό στρογγυλό σκουλήκι, Caenorhabditis elegans, για να παράγουν αυτό που αποκαλούσαν υγρά νευρωνικά δίκτυα. Μετά από μια σημαντική ανακάλυψη πέρυσι, τα νέα δίκτυα μπορεί τώρα να είναι αρκετά ευέλικτα ώστε να αντικαταστήσουν τα παραδοσιακά αντίστοιχα για ορισμένες εφαρμογές.

Τα υγρά νευρωνικά δίκτυα προσφέρουν «μια κομψή και συμπαγή εναλλακτική», είπε Κέν Γκόλντμπεργκ, ρομποτικός στο Πανεπιστήμιο της Καλιφόρνια στο Μπέρκλεϋ. Πρόσθεσε ότι τα πειράματα δείχνουν ήδη ότι αυτά τα δίκτυα μπορούν να λειτουργούν πιο γρήγορα και με μεγαλύτερη ακρίβεια από άλλα λεγόμενα νευρωνικά δίκτυα συνεχούς χρόνου, τα οποία μοντελοποιούν συστήματα που ποικίλλουν με την πάροδο του χρόνου.

Ραμίν Χασάνι και Ματίας Λέχνερ, οι κινητήριες δυνάμεις πίσω από τη νέα σχεδίαση, το συνειδητοποίησαν πριν από χρόνια Γ. Elegans θα μπορούσε να είναι ένας ιδανικός οργανισμός που θα μπορούσε να χρησιμοποιηθεί για να ανακαλύψει πώς να δημιουργήσει ανθεκτικά νευρωνικά δίκτυα που μπορούν να φιλοξενήσουν την έκπληξη. Ο πυθμένας μήκους χιλιοστού είναι από τα λίγα πλάσματα με πλήρως σχεδιασμένο νευρικό σύστημα και είναι ικανό για μια σειρά προηγμένων συμπεριφορών: κίνηση, εύρεση τροφής, ύπνος, ζευγάρωμα, ακόμη και εκμάθηση από την εμπειρία. «Ζει στον πραγματικό κόσμο, όπου η αλλαγή συμβαίνει πάντα, και μπορεί να αποδώσει καλά σχεδόν κάτω από οποιεσδήποτε συνθήκες που επιβάλλονται», είπε ο Lechner.

Ο σεβασμός για το ταπεινό σκουλήκι οδήγησε αυτόν και τον Hasani στα νέα υγρά δίκτυά τους, όπου κάθε νευρώνας διέπεται από μια εξίσωση που προβλέπει τη συμπεριφορά του με την πάροδο του χρόνου. Και όπως οι νευρώνες συνδέονται μεταξύ τους, αυτές οι εξισώσεις εξαρτώνται η μία από την άλλη. Το δίκτυο ουσιαστικά επιλύει ολόκληρο αυτό το σύνολο συνδεδεμένων εξισώσεων, επιτρέποντάς του να χαρακτηρίζει την κατάσταση του συστήματος σε κάθε δεδομένη στιγμή - μια απόκλιση από τα παραδοσιακά νευρωνικά δίκτυα, τα οποία δίνουν τα αποτελέσματα μόνο σε συγκεκριμένες χρονικές στιγμές.

«[Μπορούν] να σας πουν τι συμβαίνει μόνο σε ένα, δύο ή τρία δευτερόλεπτα», είπε ο Lechner. «Αλλά ένα μοντέλο συνεχούς χρόνου όπως το δικό μας μπορεί να περιγράψει τι συμβαίνει στα 0.53 δευτερόλεπτα ή 2.14 δευτερόλεπτα ή όποια άλλη φορά διαλέξετε».

Τα υγρά δίκτυα διαφέρουν επίσης στον τρόπο με τον οποίο αντιμετωπίζουν τις συνάψεις, τις συνδέσεις μεταξύ τεχνητών νευρώνων. Η ισχύς αυτών των συνδέσεων σε ένα τυπικό νευρωνικό δίκτυο μπορεί να εκφραστεί με έναν μόνο αριθμό, το βάρος του. Στα υγρά δίκτυα, η ανταλλαγή σημάτων μεταξύ νευρώνων είναι μια πιθανολογική διαδικασία που διέπεται από μια «μη γραμμική» συνάρτηση, που σημαίνει ότι οι αποκρίσεις στις εισόδους δεν είναι πάντα ανάλογες. Ένας διπλασιασμός της εισόδου, για παράδειγμα, θα μπορούσε να οδηγήσει σε πολύ μεγαλύτερη ή μικρότερη μετατόπιση στην έξοδο. Αυτή η ενσωματωμένη μεταβλητότητα είναι ο λόγος που τα δίκτυα ονομάζονται "υγρό". Ο τρόπος με τον οποίο αντιδρά ένας νευρώνας μπορεί να ποικίλλει ανάλογα με την είσοδο που λαμβάνει.

Ενώ οι αλγόριθμοι στην καρδιά των παραδοσιακών δικτύων ορίζονται κατά τη διάρκεια της εκπαίδευσης, όταν αυτά τα συστήματα τροφοδοτούνται με δέσμες δεδομένων για τη βαθμονόμηση των καλύτερων τιμών για τα βάρη τους, τα υγρά νευρωνικά δίκτυα είναι πιο προσαρμόσιμα. «Μπορούν να αλλάξουν τις υποκείμενες εξισώσεις τους με βάση τα δεδομένα που παρατηρούν», αλλάζοντας συγκεκριμένα το πόσο γρήγορα ανταποκρίνονται οι νευρώνες, είπε. Ντανιέλα Ρους, διευθυντής του Εργαστηρίου Επιστήμης Υπολογιστών και Τεχνητής Νοημοσύνης του MIT.

Ένα πρώιμο τεστ για την επίδειξη αυτής της ικανότητας περιλάμβανε την προσπάθεια να κατευθύνει ένα αυτόνομο αυτοκίνητο. Ένα συμβατικό νευρωνικό δίκτυο μπορούσε να αναλύσει οπτικά δεδομένα από την κάμερα του αυτοκινήτου μόνο σε σταθερά διαστήματα. Το υγρό δίκτυο — που αποτελείται από 19 νευρώνες και 253 συνάψεις (καθιστώντας το μικροσκοπικό σύμφωνα με τα πρότυπα της μηχανικής μάθησης) — θα μπορούσε να είναι πολύ πιο ανταποκρινόμενο. «Το μοντέλο μας μπορεί να κάνει δειγματοληψία πιο συχνά, για παράδειγμα όταν ο δρόμος είναι στριφογυρισμένος», είπε ο Rus, συν-συγγραφέας αυτού και πολλών άλλων εγγράφων για τα δίκτυα υγρών.

Το μοντέλο κράτησε με επιτυχία το αυτοκίνητο σε τροχιά, αλλά είχε ένα ελάττωμα, είπε ο Lechner: «Ήταν πολύ αργό». Το πρόβλημα προέκυψε από τις μη γραμμικές εξισώσεις που αντιπροσωπεύουν τις συνάψεις και τους νευρώνες - εξισώσεις που συνήθως δεν μπορούν να λυθούν χωρίς επαναλαμβανόμενους υπολογισμούς σε έναν υπολογιστή, ο οποίος περνάει από πολλαπλές επαναλήψεις πριν τελικά συγκλίνει σε μια λύση. Αυτή η εργασία συνήθως ανατίθεται σε αποκλειστικά πακέτα λογισμικού που ονομάζονται λύτες, τα οποία θα πρέπει να εφαρμοστούν χωριστά σε κάθε σύναψη και νευρώνα.

Σε χαρτί πέρυσι, η ομάδα αποκάλυψε ένα νέο υγρό νευρωνικό δίκτυο που ξεπέρασε αυτό το σημείο συμφόρησης. Αυτό το δίκτυο βασιζόταν στον ίδιο τύπο εξισώσεων, αλλά η βασική πρόοδος ήταν η ανακάλυψη του Hasani ότι αυτές οι εξισώσεις δεν χρειαζόταν να λυθούν μέσω επίπονων υπολογισμών σε υπολογιστή. Αντίθετα, το δίκτυο θα μπορούσε να λειτουργήσει χρησιμοποιώντας μια σχεδόν ακριβή, ή «κλειστής μορφής», λύση που θα μπορούσε, κατ' αρχήν, να επεξεργαστεί με μολύβι και χαρτί. Συνήθως, αυτές οι μη γραμμικές εξισώσεις δεν έχουν λύσεις κλειστής μορφής, αλλά ο Hasani πέτυχε μια κατά προσέγγιση λύση που ήταν αρκετά καλή για χρήση.

"Έχοντας μια λύση κλειστής μορφής σημαίνει ότι έχετε μια εξίσωση για την οποία μπορείτε να συνδέσετε τις τιμές για τις παραμέτρους της και να κάνετε τα βασικά μαθηματικά και θα λάβετε μια απάντηση", είπε ο Rus. «Παίρνεις μια απάντηση σε μια μόνο λήψη», αντί να αφήσεις έναν υπολογιστή να ξεκολλήσει μέχρι να αποφασίσει ότι είναι αρκετά κοντά. Αυτό μειώνει τον υπολογιστικό χρόνο και την ενέργεια, επιταχύνοντας σημαντικά τη διαδικασία.

«Η μέθοδός τους είναι να νικήσει τον ανταγωνισμό με πολλές τάξεις μεγέθους χωρίς να θυσιάζεται η ακρίβεια», είπε. Σαγιάν Μήτρα, επιστήμονας υπολογιστών στο Πανεπιστήμιο του Ιλινόις, Urbana-Champaign.

Εκτός από το ότι είναι ταχύτερα, είπε ο Hasani, τα νεότερα δίκτυά τους είναι επίσης ασυνήθιστα σταθερά, πράγμα που σημαίνει ότι το σύστημα μπορεί να χειριστεί τεράστιες εισροές χωρίς να χαλάσει. "Η κύρια συμβολή εδώ είναι ότι η σταθερότητα και άλλες ωραίες ιδιότητες φτιάχνονται σε αυτά τα συστήματα λόγω της καθαρής δομής τους", είπε. Sriram Sankaranarayanan, επιστήμονας υπολογιστών στο Πανεπιστήμιο του Κολοράντο, Boulder. Τα δίκτυα υγρών φαίνεται να λειτουργούν σε αυτό που αποκάλεσε «το γλυκό σημείο: Είναι αρκετά περίπλοκα ώστε να επιτρέπουν να συμβούν ενδιαφέροντα πράγματα, αλλά όχι τόσο πολύπλοκα ώστε να οδηγούν σε χαοτική συμπεριφορά».

Αυτή τη στιγμή, η ομάδα MIT δοκιμάζει το τελευταίο της δίκτυο σε ένα αυτόνομο εναέριο drone. Αν και το drone ήταν εκπαιδευμένο να πλοηγείται σε δάσος, το μετέφεραν στο αστικό περιβάλλον του Κέιμπριτζ για να δουν πώς χειρίζεται νέες συνθήκες. Ο Lechner χαρακτήρισε τα προκαταρκτικά αποτελέσματα ενθαρρυντικά.

Πέρα από τη βελτίωση του τρέχοντος μοντέλου, η ομάδα εργάζεται επίσης για τη βελτίωση της αρχιτεκτονικής του δικτύου της. Το επόμενο βήμα, είπε ο Lechner, «είναι να καταλάβουμε πόσους ή πόσους νευρώνες χρειαζόμαστε πραγματικά για να εκτελέσουμε μια δεδομένη εργασία». Η ομάδα θέλει επίσης να επινοήσει έναν βέλτιστο τρόπο σύνδεσης νευρώνων. Επί του παρόντος, κάθε νευρώνας συνδέεται με κάθε άλλο νευρώνα, αλλά δεν λειτουργεί έτσι Γ. Elegans, όπου οι συναπτικές συνδέσεις είναι πιο επιλεκτικές. Μέσω περαιτέρω μελετών του συστήματος καλωδίωσης του στρογγυλού σκουλήκι, ελπίζουν να προσδιορίσουν ποιοι νευρώνες στο σύστημά τους θα πρέπει να συνδεθούν μεταξύ τους.

Εκτός από εφαρμογές όπως η αυτόνομη οδήγηση και πτήση, τα δίκτυα υγρών φαίνονται κατάλληλα για την ανάλυση δικτύων ηλεκτρικής ενέργειας, οικονομικές συναλλαγές, καιρικές συνθήκες και άλλα φαινόμενα που παρουσιάζουν διακυμάνσεις με την πάροδο του χρόνου. Επιπλέον, είπε ο Hasani, η πιο πρόσφατη έκδοση των υγρών δικτύων μπορεί να χρησιμοποιηθεί «για την εκτέλεση προσομοιώσεων εγκεφαλικής δραστηριότητας σε κλίμακα που δεν ήταν δυνατή στο παρελθόν».

Ο Μίτρα ενδιαφέρεται ιδιαίτερα από αυτή την πιθανότητα. «Κατά κάποιο τρόπο, είναι κάπως ποιητικό, δείχνοντας ότι αυτή η έρευνα μπορεί να κάνει τον κύκλο της», είπε. «Τα νευρωνικά δίκτυα αναπτύσσονται σε σημείο που οι ίδιες οι ιδέες που αντλήσαμε από τη φύση μπορεί σύντομα να μας βοηθήσουν να κατανοήσουμε καλύτερα τη φύση».