Εισαγωγή
Οι αλγόριθμοι τεχνητής νοημοσύνης δεν μπορούν να συνεχίσουν να αναπτύσσονται με τον τρέχοντα ρυθμό τους. Αλγόριθμοι όπως τα βαθιά νευρωνικά δίκτυα - τα οποία εμπνέονται χαλαρά από τον εγκέφαλο, με πολλαπλά στρώματα τεχνητών νευρώνων που συνδέονται μεταξύ τους μέσω αριθμητικών τιμών που ονομάζονται βάρη - μεγαλώνουν κάθε χρόνο. Αλλά αυτές τις μέρες, οι βελτιώσεις υλικού δεν συμβαδίζουν πλέον με τον τεράστιο όγκο μνήμης και ικανότητας επεξεργασίας που απαιτείται για την εκτέλεση αυτών των τεράστιων αλγορίθμων. Σύντομα, το μέγεθος των αλγορίθμων AI μπορεί να χτυπήσει έναν τοίχο.
Και ακόμα κι αν μπορούσαμε να συνεχίσουμε να κλιμακώνουμε το υλικό για να ανταποκριθούμε στις απαιτήσεις της τεχνητής νοημοσύνης, υπάρχει ένα άλλο πρόβλημα: η χρήση τους σε παραδοσιακούς υπολογιστές σπαταλά τεράστια ποσότητα ενέργειας. Οι υψηλές εκπομπές άνθρακα που παράγονται από την εκτέλεση μεγάλων αλγορίθμων τεχνητής νοημοσύνης είναι ήδη επιβλαβείς για το περιβάλλον και θα επιδεινωθούν όσο οι αλγόριθμοι γίνονται όλο και πιο γιγαντιαίοι.
Μια λύση, που ονομάζεται νευρομορφικός υπολογισμός, εμπνέεται από βιολογικούς εγκεφάλους για τη δημιουργία ενεργειακά αποδοτικών σχεδίων. Δυστυχώς, ενώ αυτά τα τσιπ μπορούν να ξεπεράσουν τους ψηφιακούς υπολογιστές όσον αφορά την εξοικονόμηση ενέργειας, δεν έχουν την υπολογιστική ισχύ που απαιτείται για τη λειτουργία ενός μεγάλου βαθιού νευρωνικού δικτύου. Αυτό τους έκανε εύκολο να τα παραβλέψουν οι ερευνητές της τεχνητής νοημοσύνης.
Αυτό άλλαξε τελικά τον Αύγουστο, όταν Weier Wan, H.-S. Φίλιπ Γουόνγκ, Gert Cauwenberghs και τους συναδέλφους τους αποκάλυψε ένα νέο νευρομορφικό τσιπ ονομάζεται NeuRRAM και περιλαμβάνει 3 εκατομμύρια κύτταρα μνήμης και χιλιάδες νευρώνες ενσωματωμένους στο υλικό του για την εκτέλεση αλγορίθμων. Χρησιμοποιεί έναν σχετικά νέο τύπο μνήμης που ονομάζεται resistive RAM ή RRAM. Σε αντίθεση με τα προηγούμενα τσιπ RRAM, το NeuRRAM είναι προγραμματισμένο να λειτουργεί με αναλογικό τρόπο για εξοικονόμηση ενέργειας και χώρου. Ενώ η ψηφιακή μνήμη είναι δυαδική — η αποθήκευση είτε ενός 1 είτε ενός 0, αναλογικών κυψελών μνήμης στο τσιπ NeuRRAM μπορεί το καθένα να αποθηκεύσει πολλαπλές τιμές σε ένα πλήρως συνεχές εύρος. Αυτό επιτρέπει στο τσιπ να αποθηκεύει περισσότερες πληροφορίες από τεράστιους αλγόριθμους τεχνητής νοημοσύνης στον ίδιο χώρο στο τσιπ.
Ως αποτέλεσμα, το νέο τσιπ μπορεί να λειτουργεί εξίσου καλά με τους ψηφιακούς υπολογιστές σε σύνθετες εργασίες τεχνητής νοημοσύνης, όπως η αναγνώριση εικόνας και ομιλίας, και οι συγγραφείς ισχυρίζονται ότι είναι έως και 1,000 φορές πιο ενεργειακά αποδοτικό, ανοίγοντας τη δυνατότητα για μικροσκοπικά τσιπ να εκτελούν όλο και πιο περίπλοκους αλγόριθμους σε μικρές συσκευές που προηγουμένως ήταν ακατάλληλες για τεχνητή νοημοσύνη, όπως έξυπνα ρολόγια και τηλέφωνα.
Οι ερευνητές που δεν συμμετείχαν στην εργασία έχουν εντυπωσιαστεί βαθιά από τα αποτελέσματα. «Αυτό το χαρτί είναι αρκετά μοναδικό», είπε Ζονγκρούι Γουάνγκ, μακροχρόνιος ερευνητής RRAM στο Πανεπιστήμιο του Χονγκ Κονγκ. "Κάνει συνεισφορές σε διαφορετικά επίπεδα — σε επίπεδο συσκευής, σε επίπεδο αρχιτεκτονικής κυκλώματος και σε επίπεδο αλγορίθμου."
Δημιουργία Νέων Αναμνήσεων
Στους ψηφιακούς υπολογιστές, οι τεράστιες ποσότητες ενέργειας που σπαταλούνται ενώ εκτελούν αλγόριθμους τεχνητής νοημοσύνης προκαλούνται από ένα απλό και πανταχού παρόν ελάττωμα σχεδιασμού που καθιστά κάθε μεμονωμένο υπολογισμό αναποτελεσματικό. Συνήθως, η μνήμη ενός υπολογιστή — η οποία κρατά τα δεδομένα και τις αριθμητικές τιμές που θρυμματίζει κατά τον υπολογισμό — τοποθετείται στη μητρική πλακέτα μακριά από τον επεξεργαστή, όπου λαμβάνει χώρα ο υπολογισμός.
Για τις πληροφορίες που διέρχονται από τον επεξεργαστή, «είναι σαν να περνάς οκτώ ώρες στη μετακίνηση, αλλά κάνεις δύο ώρες δουλειάς», είπε ο Wan, ένας επιστήμονας υπολογιστών στο Πανεπιστήμιο του Στάνφορντ, ο οποίος πρόσφατα μετακόμισε στην εκκίνηση AI Aizip.
Εισαγωγή
Η επίλυση αυτού του προβλήματος με νέα τσιπ all-in-one που τοποθετούν τη μνήμη και τον υπολογισμό στην ίδια θέση φαίνεται απλή. Είναι επίσης πιο κοντά στο πώς ο εγκέφαλός μας πιθανότατα επεξεργάζεται τις πληροφορίες, καθώς πολλοί νευροεπιστήμονες πιστεύουν ότι ο υπολογισμός γίνεται σε πληθυσμούς νευρώνων, ενώ οι μνήμες σχηματίζονται όταν οι συνάψεις μεταξύ των νευρώνων ενισχύουν ή αποδυναμώνουν τις συνδέσεις τους. Αλλά η δημιουργία τέτοιων συσκευών έχει αποδειχθεί δύσκολη, καθώς οι τρέχουσες μορφές μνήμης δεν είναι συμβατές με την τεχνολογία των επεξεργαστών.
Επιστήμονες υπολογιστών πριν από δεκαετίες ανέπτυξαν τα υλικά για να δημιουργήσουν νέα τσιπ που εκτελούν υπολογισμούς όπου αποθηκεύεται η μνήμη — μια τεχνολογία γνωστή ως υπολογισμός στη μνήμη. Αλλά με τους παραδοσιακούς ψηφιακούς υπολογιστές να έχουν τόσο καλή απόδοση, αυτές οι ιδέες αγνοήθηκαν για δεκαετίες.
«Αυτό το έργο, όπως και οι περισσότερες επιστημονικές εργασίες, ήταν κάπως ξεχασμένο», είπε ο Wong, καθηγητής στο Στάνφορντ.
Πράγματι, η πρώτη τέτοια συσκευή χρονολογείται τουλάχιστον από το 1964, όταν οι ηλεκτρολόγοι μηχανικοί στο Στάνφορντ ανακάλυψαν ότι μπορούσαν να χειριστούν ορισμένα υλικά, που ονομάζονται οξείδια μετάλλων, για να ενεργοποιήσουν και να απενεργοποιήσουν την ικανότητά τους να μεταφέρουν ηλεκτρισμό. Αυτό είναι σημαντικό επειδή η ικανότητα ενός υλικού να εναλλάσσεται μεταξύ δύο καταστάσεων παρέχει τη ραχοκοκαλιά για την παραδοσιακή αποθήκευση μνήμης. Συνήθως, στην ψηφιακή μνήμη, μια κατάσταση υψηλής τάσης αντιστοιχεί σε 1 και χαμηλή τάση σε 0.
Για να κάνετε μια συσκευή RRAM να αλλάζει καταστάσεις, εφαρμόζετε μια τάση στα μεταλλικά ηλεκτρόδια που είναι συνδεδεμένα με τα δύο άκρα του μεταλλικού οξειδίου. Κανονικά, τα οξείδια μετάλλων είναι μονωτές, πράγμα που σημαίνει ότι δεν μεταφέρουν ηλεκτρισμό. Αλλά με αρκετή τάση, το ρεύμα συσσωρεύεται, ωθώντας τελικά τα αδύναμα σημεία του υλικού και σχηματίζοντας μια διαδρομή προς το ηλεκτρόδιο στην άλλη πλευρά. Μόλις το ρεύμα διαρρεύσει, μπορεί να ρέει ελεύθερα κατά μήκος αυτής της διαδρομής.
Ο Wong παρομοιάζει αυτή τη διαδικασία με κεραυνό: Όταν συσσωρεύεται αρκετό φορτίο μέσα σε ένα σύννεφο, βρίσκει γρήγορα μια διαδρομή χαμηλής αντίστασης και χτυπάει κεραυνός. Αλλά σε αντίθεση με τον κεραυνό, του οποίου η διαδρομή εξαφανίζεται, η διαδρομή μέσα από το μεταλλικό οξείδιο παραμένει, που σημαίνει ότι παραμένει αγώγιμο επ' αόριστον. Και είναι δυνατό να διαγραφεί η αγώγιμη διαδρομή εφαρμόζοντας άλλη τάση στο υλικό. Έτσι, οι ερευνητές μπορούν να αλλάξουν ένα RRAM μεταξύ δύο καταστάσεων και να τις χρησιμοποιήσουν για την αποθήκευση της ψηφιακής μνήμης.
Οι ερευνητές του μεσαίου αιώνα δεν αναγνώρισαν τις δυνατότητες για ενεργειακά αποδοτικούς υπολογιστές, ούτε το χρειάζονταν ακόμη με τους μικρότερους αλγόριθμους με τους οποίους εργάζονταν. Χρειάστηκαν μέχρι τις αρχές της δεκαετίας του 2000, με την ανακάλυψη νέων οξειδίων μετάλλων, για να συνειδητοποιήσουν οι ερευνητές τις δυνατότητες.
Ο Wong, ο οποίος εργαζόταν στην IBM εκείνη την εποχή, θυμάται ότι ένας βραβευμένος συνάδελφος που εργαζόταν στο RRAM παραδέχτηκε ότι δεν καταλάβαινε πλήρως τη φυσική. «Αν δεν το καταλαβαίνει», θυμάται ο Wong να σκέφτεται, «ίσως δεν πρέπει να προσπαθήσω να το καταλάβω».
Αλλά το 2004, ερευνητές της Samsung Electronics ανακοίνωσαν ότι είχαν ενσωματώθηκε επιτυχώς η μνήμη RRAM χτισμένο πάνω σε ένα παραδοσιακό υπολογιστικό τσιπ, υποδηλώνοντας ότι ένα τσιπ υπολογισμού στη μνήμη μπορεί τελικά να είναι δυνατό. Ο Wong αποφάσισε να προσπαθήσει τουλάχιστον.
Υπολογιστικά τσιπ μνήμης για AI
Για περισσότερο από μια δεκαετία, ερευνητές όπως ο Wong εργάστηκαν για να αναπτύξουν την τεχνολογία RRAM σε σημείο που θα μπορούσε να χειριστεί αξιόπιστα εργασίες υπολογιστών υψηλής ισχύος. Γύρω στο 2015, οι επιστήμονες υπολογιστών άρχισαν να αναγνωρίζουν τις τεράστιες δυνατότητες αυτών των ενεργειακά αποδοτικών συσκευών για μεγάλους αλγόριθμους τεχνητής νοημοσύνης, οι οποίοι είχαν αρχίσει να απογειώνονται. Εκείνη τη χρονιά, επιστήμονες στο Πανεπιστήμιο της Καλιφόρνια στη Σάντα Μπάρμπαρα έδειξε ότι οι συσκευές RRAM θα μπορούσαν να κάνουν περισσότερα από την αποθήκευση της μνήμης με νέο τρόπο. Θα μπορούσαν να εκτελέσουν οι ίδιοι βασικές υπολογιστικές εργασίες — συμπεριλαμβανομένης της συντριπτικής πλειονότητας των υπολογισμών που λαμβάνουν χώρα στους τεχνητούς νευρώνες ενός νευρωνικού δικτύου, οι οποίοι είναι απλές εργασίες πολλαπλασιασμού μήτρας.
Στο τσιπ NeuRRAM, οι νευρώνες πυριτίου είναι ενσωματωμένοι στο υλικό και τα κύτταρα μνήμης RRAM αποθηκεύουν τα βάρη - τις τιμές που αντιπροσωπεύουν την ισχύ των συνδέσεων μεταξύ των νευρώνων. Και επειδή οι κυψέλες μνήμης NeuRRAM είναι αναλογικές, τα βάρη που αποθηκεύουν αντιπροσωπεύουν το πλήρες εύρος των καταστάσεων αντίστασης που εμφανίζονται ενώ η συσκευή αλλάζει από κατάσταση χαμηλής αντίστασης σε κατάσταση υψηλής αντίστασης. Αυτό επιτρέπει ακόμη υψηλότερη ενεργειακή απόδοση από ό,τι μπορεί να επιτύχει η ψηφιακή μνήμη RRAM, επειδή το τσιπ μπορεί να εκτελέσει πολλούς υπολογισμούς μήτρας παράλληλα — αντί σε lockstep ο ένας μετά τον άλλο, όπως στις εκδόσεις ψηφιακής επεξεργασίας.
Αλλά δεδομένου ότι η αναλογική επεξεργασία βρίσκεται ακόμη δεκαετίες πίσω από την ψηφιακή επεξεργασία, υπάρχουν ακόμα πολλά ζητήματα που πρέπει να επιλύσουμε. Το ένα είναι ότι τα αναλογικά τσιπ RRAM πρέπει να είναι ασυνήθιστα ακριβή, καθώς οι ατέλειες στο φυσικό τσιπ μπορούν να προκαλέσουν μεταβλητότητα και θόρυβο. (Για τα παραδοσιακά τσιπ, με μόνο δύο καταστάσεις, αυτές οι ατέλειες δεν έχουν τόσο μεγάλη σημασία.) Αυτό καθιστά πολύ πιο δύσκολο για τις αναλογικές συσκευές RRAM να εκτελούν αλγόριθμους AI, δεδομένου ότι η ακρίβεια, ας πούμε, της αναγνώρισης μιας εικόνας θα υποφέρει εάν Η αγώγιμη κατάσταση της συσκευής RRAM δεν είναι ακριβώς η ίδια κάθε φορά.
«Όταν κοιτάμε ένα μονοπάτι φωτισμού, κάθε φορά είναι διαφορετικό», είπε ο Wong. "Έτσι, ως αποτέλεσμα αυτού, το RRAM παρουσιάζει έναν ορισμένο βαθμό στοχαστικότητας - κάθε φορά που τα προγραμματίζετε είναι ελαφρώς διαφορετική." Ο Wong και οι συνάδελφοί του απέδειξαν ότι οι συσκευές RRAM μπορούν να αποθηκεύουν συνεχή βάρη AI και εξακολουθούν να είναι τόσο ακριβείς όσο οι ψηφιακοί υπολογιστές, εάν οι αλγόριθμοι είναι εκπαιδευμένοι να συνηθίζουν στο θόρυβο που συναντούν στο τσιπ, μια πρόοδος που τους επέτρεψε να παράγουν το τσιπ NeuRRAM.
Εισαγωγή
Ένα άλλο σημαντικό ζήτημα που έπρεπε να λύσουν αφορούσε την ευελιξία που απαιτείται για την υποστήριξη διαφόρων νευρωνικών δικτύων. Στο παρελθόν, οι σχεδιαστές τσιπ έπρεπε να παρατάξουν τις μικροσκοπικές συσκευές RRAM σε μια περιοχή δίπλα σε μεγαλύτερους νευρώνες πυριτίου. Οι συσκευές RRAM και οι νευρώνες ήταν καλωδιωμένες χωρίς δυνατότητα προγραμματισμού, επομένως ο υπολογισμός μπορούσε να πραγματοποιηθεί μόνο σε μία μόνο κατεύθυνση. Για την υποστήριξη νευρωνικών δικτύων με αμφίδρομους υπολογισμούς, ήταν απαραίτητα επιπλέον καλώδια και κυκλώματα, διογκώνοντας τις ανάγκες σε ενέργεια και χώρο.
Έτσι, η ομάδα του Wong σχεδίασε μια νέα αρχιτεκτονική τσιπ όπου οι συσκευές μνήμης RRAM και οι νευρώνες πυριτίου αναμειγνύονταν μεταξύ τους. Αυτή η μικρή αλλαγή στο σχέδιο μείωσε τη συνολική επιφάνεια και εξοικονόμησε ενέργεια.
«Νόμιζα ότι [η ρύθμιση] ήταν πραγματικά όμορφη», είπε Μελίκα Πάιβαντ, νευρομορφικός ερευνητής στο Ελβετικό Ομοσπονδιακό Ινστιτούτο Τεχνολογίας της Ζυρίχης. «Σίγουρα το θεωρώ πρωτοποριακό έργο».
Για αρκετά χρόνια, η ομάδα του Wong συνεργάστηκε με συνεργάτες για το σχεδιασμό, την κατασκευή, τη δοκιμή, τη βαθμονόμηση και την εκτέλεση αλγορίθμων AI στο τσιπ NeuRRAM. Σκέφτηκαν να χρησιμοποιήσουν άλλους αναδυόμενους τύπους μνήμης που μπορούν επίσης να χρησιμοποιηθούν σε ένα τσιπ υπολογιστικής μνήμης, αλλά το RRAM είχε ένα πλεονέκτημα λόγω των πλεονεκτημάτων του στον αναλογικό προγραμματισμό και επειδή ήταν σχετικά εύκολο να ενσωματωθεί με παραδοσιακά υλικά υπολογιστών.
Τα πρόσφατα αποτελέσματά τους αντιπροσωπεύουν το πρώτο τσιπ RRAM που μπορεί να τρέξει τόσο μεγάλους και πολύπλοκους αλγόριθμους τεχνητής νοημοσύνης — ένα κατόρθωμα που προηγουμένως ήταν δυνατό μόνο σε θεωρητικές προσομοιώσεις. «Όταν πρόκειται για πραγματικό πυρίτιο, αυτή η ικανότητα έλειπε», είπε Anup Das, επιστήμονας υπολογιστών στο Πανεπιστήμιο Drexel. «Αυτό το έργο είναι η πρώτη επίδειξη».
«Τα ψηφιακά συστήματα τεχνητής νοημοσύνης είναι ευέλικτα και ακριβή, αλλά τάξεις μεγέθους λιγότερο αποτελεσματικά», είπε ο Cauwenberghs. Τώρα, είπε ο Cauwenberghs, το ευέλικτο, ακριβές και ενεργειακά αποδοτικό αναλογικό τσιπ RRAM «γεφύρωσε το χάσμα για πρώτη φορά».
Κλιμάκωση
Η σχεδίαση της ομάδας διατηρεί το τσιπ NeuRRAM μικροσκοπικό — ακριβώς στο μέγεθος ενός νυχιού — ενώ συγκεντρώνει 3 εκατομμύρια συσκευές μνήμης RRAM που μπορούν να χρησιμεύσουν ως αναλογικοί επεξεργαστές. Και ενώ μπορεί να τρέξει νευρωνικά δίκτυα τουλάχιστον όσο καλά κάνουν οι ψηφιακοί υπολογιστές, το τσιπ μπορεί επίσης (και για πρώτη φορά) να εκτελέσει αλγόριθμους που εκτελούν υπολογισμούς σε διαφορετικές κατευθύνσεις. Το τσιπ τους μπορεί να εισάγει τάση στις σειρές της διάταξης RRAM και να διαβάζει εξόδους από τις στήλες, όπως είναι τυπικό για τα τσιπ RRAM, αλλά μπορεί επίσης να το κάνει προς τα πίσω από τις στήλες στις σειρές, ώστε να μπορεί να χρησιμοποιηθεί σε νευρωνικά δίκτυα που λειτουργούν με δεδομένα που ρέουν προς διαφορετικές κατευθύνσεις.
Όπως και με την ίδια την τεχνολογία RRAM, αυτό ήταν από καιρό εφικτό, αλλά κανείς δεν σκέφτηκε να το κάνει. «Γιατί δεν το σκεφτήκαμε πριν;» ρώτησε ο Payvand. «Εκ των υστέρων, δεν ξέρω».
«Αυτό στην πραγματικότητα ανοίγει πολλές άλλες ευκαιρίες», είπε ο Das. Ως παραδείγματα, ανέφερε την ικανότητα ενός απλού συστήματος να εκτελεί τους τεράστιους αλγόριθμους που απαιτούνται για πολυδιάστατες προσομοιώσεις φυσικής ή αυτοοδηγούμενα αυτοκίνητα.
Ωστόσο, το μέγεθος είναι ένα θέμα. Τα μεγαλύτερα νευρωνικά δίκτυα περιέχουν τώρα δισεκατομμύρια βάρη, όχι τα εκατομμύρια που περιέχονται στα νέα τσιπ. Ο Wong σχεδιάζει να αυξήσει την κλίμακα στοιβάζοντας πολλά τσιπ NeuRRAM το ένα πάνω στο άλλο.
Θα είναι εξίσου σημαντικό να διατηρήσετε το ενεργειακό κόστος σε χαμηλά επίπεδα σε μελλοντικές συσκευές ή να το μειώσετε ακόμη περισσότερο. Ένας τρόπος για να φτάσετε εκεί είναι με αντιγραφή του εγκεφάλου ακόμη πιο στενά να υιοθετήσει το σήμα επικοινωνίας που χρησιμοποιείται μεταξύ των πραγματικών νευρώνων: την ηλεκτρική ακίδα. Είναι ένα σήμα που εκπέμπεται από τον ένα νευρώνα στον άλλο όταν η διαφορά στην τάση μεταξύ του εσωτερικού και του εξωτερικού της κυψέλης φτάσει σε ένα κρίσιμο όριο.
«Υπάρχουν μεγάλες προκλήσεις εκεί», είπε Tony Kenyon, ερευνήτρια νανοτεχνολογίας στο University College του Λονδίνου. «Αλλά μπορεί ακόμα να θέλουμε να κινηθούμε προς αυτή την κατεύθυνση, γιατί… οι πιθανότητες είναι ότι θα έχετε μεγαλύτερη ενεργειακή απόδοση εάν χρησιμοποιείτε πολύ αραιές αιχμές». Ωστόσο, για την εκτέλεση αλγορίθμων που εκτινάσσονται στο τρέχον τσιπ NeuRRAM θα απαιτούσε μια εντελώς διαφορετική αρχιτεκτονική, ωστόσο, σημείωσε ο Kenyon.
Προς το παρόν, η ενεργειακή απόδοση που πέτυχε η ομάδα κατά την εκτέλεση μεγάλων αλγορίθμων AI στο τσιπ NeuRRAM έχει δημιουργήσει νέες ελπίδες ότι οι τεχνολογίες μνήμης μπορεί να αντιπροσωπεύουν το μέλλον των υπολογιστών με AI. Ίσως μια μέρα να είμαστε σε θέση να ταιριάξουμε τους 86 δισεκατομμύρια νευρώνες του ανθρώπινου εγκεφάλου και τα τρισεκατομμύρια συνάψεις που τους συνδέουν χωρίς να εξαντληθεί η ισχύς τους.
