Τα τεχνητά νευρωνικά δίκτυα μαθαίνουν καλύτερα όταν ξοδεύουν χρόνο χωρίς να μαθαίνουν καθόλου

«Ο εγκέφαλος είναι πολύ απασχολημένος όταν κοιμόμαστε, επαναλαμβάνοντας αυτά που μάθαμε κατά τη διάρκεια της ημέρας», είπε ο Maxim Bazhenov, PhD, καθηγητής ιατρικής και ερευνητής ύπνου στην Ιατρική Σχολή του Πανεπιστημίου της Καλιφόρνια στο Σαν Ντιέγκο. «Ο ύπνος βοηθά στην αναδιοργάνωση των αναμνήσεων και τις παρουσιάζει με τον πιο αποτελεσματικό τρόπο».

Σε προηγούμενες δημοσιευμένες εργασίες, ο Bazhenov και οι συνεργάτες του έχουν αναφέρει πώς ο ύπνος χτίζει ορθολογική μνήμη, την ικανότητα να θυμόμαστε αυθαίρετες ή έμμεσες συσχετίσεις μεταξύ αντικειμένων, ανθρώπων ή γεγονότων και προστατεύει από το να ξεχάσουμε παλιές αναμνήσεις.

Τα τεχνητά νευρωνικά δίκτυα αξιοποιούν την αρχιτεκτονική του ανθρώπινου εγκεφάλου για να βελτιώσουν πολλές τεχνολογίες και συστήματα, από τη βασική επιστήμη και την ιατρική μέχρι τη χρηματοδότηση και τα μέσα κοινωνικής δικτύωσης. Κατά κάποιο τρόπο, έχουν επιτύχει υπεράνθρωπες επιδόσεις, όπως η υπολογιστική ταχύτητα, αλλά αποτυγχάνουν σε μια βασική πτυχή: Όταν τα τεχνητά νευρωνικά δίκτυα μαθαίνουν διαδοχικά, οι νέες πληροφορίες αντικαθιστούν τις προηγούμενες πληροφορίες, ένα φαινόμενο που ονομάζεται καταστροφική λήθη.

«Αντίθετα, ο ανθρώπινος εγκέφαλος μαθαίνει συνεχώς και ενσωματώνει νέα δεδομένα στην υπάρχουσα γνώση», είπε ο Bazhenov, «και συνήθως μαθαίνει καλύτερα όταν η νέα προπόνηση παρεμβάλλεται με περιόδους ύπνου για εμπέδωση της μνήμης».

Γράφοντας στο τεύχος 18 Νοεμβρίου 2022 του PLOS Υπολογιστική Βιολογία, Ο ανώτερος συγγραφέας Bazhenov και οι συνεργάτες του συζητούν πώς τα βιολογικά μοντέλα μπορούν να βοηθήσουν στον μετριασμό της απειλής της καταστροφικής λήθης στα τεχνητά νευρωνικά δίκτυα, ενισχύοντας τη χρησιμότητά τους σε ένα φάσμα ερευνητικών ενδιαφερόντων.

Οι επιστήμονες χρησιμοποίησαν αιχμηρά νευρωνικά δίκτυα που μιμούνται τεχνητά τα φυσικά νευρωνικά συστήματα: Αντί οι πληροφορίες να μεταδίδονται συνεχώς, μεταδίδονται ως διακριτά συμβάντα (ακίδες) σε ορισμένα χρονικά σημεία.

Ανακάλυψαν ότι όταν τα δίκτυα αιχμής εκπαιδεύονταν σε μια νέα εργασία, αλλά με περιστασιακές περιόδους εκτός σύνδεσης που μιμούνταν τον ύπνο, η καταστροφική λήθη μετριάστηκε. Όπως και ο ανθρώπινος εγκέφαλος, είπαν οι συγγραφείς της μελέτης, «ο ύπνος» για τα δίκτυα τους επέτρεπε να αναπαράγουν παλιές αναμνήσεις χωρίς να χρησιμοποιούν ρητά παλιά δεδομένα εκπαίδευσης.

Οι μνήμες αντιπροσωπεύονται στον ανθρώπινο εγκέφαλο με μοτίβα συναπτικού βάρους - τη δύναμη ή το πλάτος μιας σύνδεσης μεταξύ δύο νευρώνων.

«Όταν μαθαίνουμε νέες πληροφορίες», είπε ο Bazhenov, «οι νευρώνες πυροδοτούνται με συγκεκριμένη σειρά και αυτό αυξάνει τις συνάψεις μεταξύ τους. Κατά τη διάρκεια του ύπνου, τα μοτίβα αιχμής που μαθαίνουμε κατά τη διάρκεια της εγρήγορσης επαναλαμβάνονται αυθόρμητα. Λέγεται επανενεργοποίηση ή επανάληψη.

«Η συναπτική πλαστικότητα, η ικανότητα να αλλοιώνεται ή να διαμορφώνεται, εξακολουθεί να υπάρχει κατά τη διάρκεια του ύπνου και μπορεί να ενισχύσει περαιτέρω τα συναπτικά μοτίβα βάρους που αντιπροσωπεύουν τη μνήμη, βοηθώντας στην αποφυγή της λήθης ή στη μεταφορά γνώσης από παλιές σε νέες εργασίες».

Όταν ο Bazhenov και οι συνεργάτες του εφάρμοσαν αυτή την προσέγγιση στα τεχνητά νευρωνικά δίκτυα, διαπίστωσαν ότι βοήθησε τα δίκτυα να αποφύγουν την καταστροφική λήθη.

«Σήμαινε ότι αυτά τα δίκτυα μπορούσαν να μαθαίνουν συνεχώς, όπως οι άνθρωποι ή τα ζώα. Η κατανόηση του τρόπου με τον οποίο ο ανθρώπινος εγκέφαλος επεξεργάζεται τις πληροφορίες κατά τη διάρκεια του ύπνου μπορεί να βοηθήσει στην αύξηση της μνήμης σε ανθρώπινα υποκείμενα. Η αύξηση των ρυθμών ύπνου μπορεί να οδηγήσει σε καλύτερη μνήμη.

«Σε άλλα έργα, χρησιμοποιούμε μοντέλα υπολογιστών για να αναπτύξουμε βέλτιστες στρατηγικές για την εφαρμογή διέγερσης κατά τη διάρκεια του ύπνου, όπως ακουστικούς τόνους, που ενισχύουν τους ρυθμούς ύπνου και βελτιώνουν τη μάθηση. Αυτό μπορεί να είναι ιδιαίτερα σημαντικό όταν η μνήμη δεν είναι βέλτιστη, όπως όταν η μνήμη μειώνεται κατά τη γήρανση ή σε ορισμένες καταστάσεις όπως η νόσος του Αλτσχάιμερ».

Οι συν-συγγραφείς περιλαμβάνουν: Ryan Golden και Jean Erik Delanois, και οι δύο στο UC San Diego. και Pavel Sanda, Ινστιτούτο Επιστήμης Υπολογιστών της Τσεχικής Ακαδημίας Επιστημών.