Το τσιπ AI προσθέτει τεχνητούς νευρώνες σε αντίσταση RAM για χρήση σε wearables, drones

Μια πρόσφατα δημοσιευμένη ερευνητική εργασία περιγράφει ένα τσιπ υπολογισμού στη μνήμη (CIM) που συνδυάζει τεχνητούς νευρώνες με αντίσταση RAM (RRAM) έτσι ώστε τα βάρη του μοντέλου AI να μπορούν να αποθηκευτούν και να υποβληθούν σε επεξεργασία στο ίδιο τσιπ.

Οι ερευνητές πίσω από τη σχεδίαση ισχυρίζονται ότι θα ήταν πιο αποτελεσματικό για εφαρμογές άκρων, επειδή εξαλείφει την κίνηση δεδομένων μεταξύ ξεχωριστών μπλοκ υπολογιστών και μνήμης.

Οι υπολογιστές αιχμής και η τεχνητή νοημοσύνη βρίσκονται και οι δύο σε καλό δρόμο για μετεωρική ανάπτυξη στο εγγύς μέλλον, τουλάχιστον σύμφωνα με την αναλυτή IDC. Ορισμένα σενάρια τα συνδυάζουν μαζί, επειδή οι αναπτύξεις άκρων ενδέχεται να περιορίζονται στην ισχύ και τη συνδεσιμότητα, ωστόσο πρέπει να αναλύσουν σημαντικούς όγκους δεδομένων και να προσφέρουν σχεδόν σε πραγματικό χρόνο απόκριση στα γεγονότα, καθιστώντας ένα μοντέλο AI «ζωντανό» στη συσκευή την πιο βέλτιστη λύση .

Υπό το πρίσμα αυτό, μια ομάδα ερευνητών έχει αναπτύξει ένα τσιπ που ονομάζεται NeuRRAM, επειδή συνδυάζει τεχνητούς νευρώνες με RRAM σε μια νέα αρχιτεκτονική. Ο στόχος του έργου ήταν να παραδώσει ένα σχέδιο που μπορεί να προσφέρει ταυτόχρονα υψηλή ενεργειακή απόδοση καθώς και την ευελιξία στην υποστήριξη διαφόρων μοντέλων τεχνητής νοημοσύνης και συγκρίσιμη ακρίβεια με την εκτέλεση του ίδιου μοντέλου σε λογισμικό.

Το έργο ξεκίνησε αρχικά ως μέρος ενός έργου του Ιδρύματος Επιστήμης της Φύσης που ονομάζεται «Αποστολές στον Υπολογισμό». Αυτό το έργο συγκέντρωσε μια ομάδα ερευνητών από διαφορετικά ιδρύματα με διαφορετικό υπόβαθρο, συμπεριλαμβανομένων ορισμένων από το Stanford και το UCSD, καθώς και ερευνητές στο Πανεπιστήμιο Tsinghua στην Κίνα που είναι ειδικοί στην κατασκευή συσκευών RRAM.

Ενεργειακή απόδοση: Το συμπέρασμα AI έγινε στο gizmo που λειτουργεί με μπαταρία

Σύμφωνα με τον Weier Wan, πτυχιούχο ερευνητή στο Πανεπιστήμιο του Στάνφορντ και έναν από τους συγγραφείς της εργασίας, που δημοσιεύτηκε στο Nature χθες, το NeuRRAM έχει αναπτυχθεί ως ένα τσιπ AI που βελτιώνει σημαντικά την ενεργειακή απόδοση των συμπερασμάτων τεχνητής νοημοσύνης, επιτρέποντας έτσι την πραγματοποίηση πολύπλοκων λειτουργιών τεχνητής νοημοσύνης απευθείας σε συσκευές αιχμής που τροφοδοτούνται από μπαταρία, όπως έξυπνα wearables, drones και βιομηχανικοί αισθητήρες IoT .

«Στα σημερινά τσιπ τεχνητής νοημοσύνης, η επεξεργασία δεδομένων και η αποθήκευση δεδομένων γίνονται σε ξεχωριστούς χώρους – μονάδα υπολογιστών και μονάδα μνήμης. Η συχνή μετακίνηση δεδομένων μεταξύ αυτών των μονάδων καταναλώνει την περισσότερη ενέργεια και γίνεται το σημείο συμφόρησης για την υλοποίηση επεξεργαστών τεχνητής νοημοσύνης χαμηλής κατανάλωσης για συσκευές αιχμής», είπε.

Για να αντιμετωπιστεί αυτό, το τσιπ NeuRRAM εφαρμόζει ένα μοντέλο «υπολογισμού στη μνήμη», όπου η επεξεργασία πραγματοποιείται απευθείας στη μνήμη. Χρησιμοποιεί επίσης αντίσταση RAM (RRAM), έναν τύπο μνήμης που είναι τόσο γρήγορος όσο η στατική RAM αλλά είναι μη πτητικός, επιτρέποντάς του να αποθηκεύει βάρη μοντέλων AI. Ένα βασικό χαρακτηριστικό των κυττάρων RRAM είναι ότι τα νευρικά βάρη μπορούν να αποθηκευτούν σε κύτταρα μνήμης ως διαφορετικά επίπεδα αγωγιμότητας, να κωδικοποιηθούν μέσω μετατροπέων ψηφιακού σε αναλογικό (DAC) και να τροφοδοτηθούν στη συστοιχία μνήμης.

Αυτό δεν είναι προσομοίωση λογισμικού, είναι υλικό

Υπήρξαν προηγούμενες μελέτες για τις αρχιτεκτονικές CIM, αλλά αυτή είναι η πρώτη που επιδεικνύει ένα ευρύ φάσμα εφαρμογών τεχνητής νοημοσύνης σε υλικό και όχι σε προσομοίωση λογισμικού, ενώ είναι πιο ενεργειακά αποδοτική και ικανή να εκτελεί τους αλγόριθμους με ακρίβεια, κάτι που καμία από τις προηγούμενες μελέτες κατάφεραν να δείξουν ταυτόχρονα, σύμφωνα με τον Wan.

Το NeuRRAM αποτελείται από 48 πυρήνες CIM που περιλαμβάνουν συνολικά 3 εκατομμύρια κύτταρα RRAM. Κάθε πυρήνας περιγράφεται ως μετατιθέμενη νευροσυναπτική διάταξη (TNSA) που αποτελείται από ένα πλέγμα 256 × 256 κυψελών RRAM και 256 κυκλώματα τεχνητών νευρώνων CMOS που υλοποιούν μετατροπείς αναλογικού σε ψηφιακό (ADC) και λειτουργίες ενεργοποίησης.

Σύμφωνα με το έγγραφο, η αρχιτεκτονική TNSA έχει σχεδιαστεί για να προσφέρει ευέλικτο έλεγχο της κατεύθυνσης των ροών δεδομένων, κάτι που είναι ζωτικής σημασίας για την υποστήριξη μιας ποικιλίας μοντέλων τεχνητής νοημοσύνης με διαφορετικά μοτίβα ροής δεδομένων.

Για παράδειγμα, στα συνελικτικά νευρωνικά δίκτυα (CNN) που είναι κοινά σε εργασίες που σχετίζονται με την όραση, τα δεδομένα ρέουν προς μια ενιαία κατεύθυνση μέσω των επιπέδων για να δημιουργήσουν αναπαραστάσεις δεδομένων σε διαφορετικά επίπεδα αφαίρεσης, ενώ σε ορισμένα άλλα μοντέλα εκτελείται πιθανολογική δειγματοληψία μεταξύ των επιπέδων έως ότου το δίκτυο συγκλίνει σε κατάσταση υψηλής πιθανότητας.

Ωστόσο, άλλα σχέδια που συνδύασαν το CIM με το RRAM περιορίστηκαν στη λειτουργία σε μία μόνο κατεύθυνση, συνήθως με την καλωδίωση σειρών και στηλών της συστοιχίας εγκάρσιων ράβδων RRAM σε ειδικά κυκλώματα στην περιφέρεια για την κίνηση των εισόδων και τη μέτρηση των εξόδων, λέει η εφημερίδα.

Πώς λειτουργεί

Το μυστικό για την επαναδιαμόρφωση του NeuRRAM είναι ότι κατανέμει τα κυκλώματα νευρώνων CMOS μεταξύ των κυψελών RRAM και τα συνδέει κατά μήκος τόσο των γραμμών όσο και των στηλών.

Κάθε TNSA αναλύεται σε έναν αριθμό corelets, καθένα από τα οποία αποτελείται από 16 × 16 κύτταρα RRAM και ένα κύκλωμα νευρώνων. Τα corelets συνδέονται με κοινόχρηστες γραμμές δυαδικών ψηφίων (BLs) και γραμμές λέξεων (WL) κατά μήκος της οριζόντιας κατεύθυνσης και γραμμές πηγής (SLs) κατά μήκος της κάθετης κατεύθυνσης.

Το κύκλωμα νευρώνων συνδέεται μέσω διακοπτών σε ένα BL και ένα SL από τα 16 του καθενός που διέρχεται από το corelet και είναι υπεύθυνο για την ενσωμάτωση εισόδων από όλες τις 256 RRAM που συνδέονται στο ίδιο BL ή SL.

Κάθε κύκλωμα νευρώνων μπορεί να χρησιμοποιήσει τους διακόπτες BL και SL για είσοδο και έξοδο. Αυτό σημαίνει ότι μπορεί να λάβει τον πολλαπλασιασμό αναλογικού πίνακα-διανύσματος (MVM) από ένα κελί RRAM που προέρχεται είτε από το BL είτε από το SL μέσω των διακοπτών, αλλά μπορεί επίσης να στείλει τα μετατρεπόμενα ψηφιακά αποτελέσματα σε περιφερειακούς καταχωρητές μέσω των ίδιων διακοπτών.

Αυτή η διάταξη σημαίνει ότι διαφορετικές κατευθύνσεις ροής δεδομένων μπορούν να υλοποιηθούν ρυθμίζοντας ποιος διακόπτης θα χρησιμοποιηθεί κατά τη διάρκεια των σταδίων εισόδου και εξόδου κάθε κυκλώματος νευρώνων.

(Αυτή η αρχιτεκτονική μας βάζει επίσης στο μυαλό κάπως Τσιπ επεξεργαστή AI της SambaNova, το οποίο υλοποιείται ως ένα πλέγμα υπολογιστικών μονάδων και μονάδων μνήμης, που συνδέονται με ένα ύφασμα επικοινωνίας στο chip που ελέγχει τη ροή δεδομένων.)

Για να μεγιστοποιηθεί η απόδοση συμπερασμάτων AI χρησιμοποιώντας τους 48 πυρήνες CIM στο NeuRRAM, είναι δυνατό να εφαρμοστούν διάφορες στρατηγικές χαρτογράφησης βάρους που εκμεταλλεύονται τόσο τον παραλληλισμό μοντέλων όσο και τον παραλληλισμό δεδομένων, σύμφωνα με το έγγραφο.

Στην περίπτωση ενός CNN, η στρατηγική μπορεί να είναι η αντιγραφή των βαρών των πρώιμων, πιο εντατικών υπολογιστικών επιπέδων σε πολλαπλούς πυρήνες CIM για παράλληλη εξαγωγή συμπερασμάτων. Το έγγραφο παρέχει μια πιο λεπτομερή περιγραφή των διαθέσιμων στρατηγικών χαρτογράφησης βάρους.

Το έγγραφο αναφέρει αποτελέσματα συμπερασμάτων που μετρήθηκαν με υλικό χρησιμοποιώντας το τσιπ για μια σειρά εργασιών τεχνητής νοημοσύνης, συμπεριλαμβανομένων ταξινομήσεων εικόνων χρησιμοποιώντας σύνολα δεδομένων CIFAR-10 και MNIST, αναγνώριση εντολών ομιλίας Google και ανάκτηση εικόνας MNIST, που υλοποιούνται με διάφορα μοντέλα AI.

Υποστηρίζεται ότι επιτυγχάνει ακρίβεια συμπερασμάτων συγκρίσιμη με μοντέλα λογισμικού που έχουν εκπαιδευτεί με βάρη 4-bit σε όλες αυτές τις εργασίες αναφοράς. Για παράδειγμα, επιτυγχάνει ποσοστό σφάλματος 0.98 τοις εκατό στη χειρόγραφη αναγνώριση ψηφίων MNIST χρησιμοποιώντας ένα CNN 7 επιπέδων, ένα ποσοστό σφάλματος 14.34 τοις εκατό στην ταξινόμηση αντικειμένων CIFAR-10 χρησιμοποιώντας το ResNet-20 και ένα ποσοστό σφάλματος 15.34 τοις εκατό στην αναγνώριση ομιλίας της Google χρησιμοποιώντας μια 4-cell LSTM (μακροχρόνια βραχυπρόθεσμη μνήμη).

Το τσιπ NeuRRAM υποστηρίζεται επίσης ότι έχει ενεργειακή απόδοση που είναι δύο φορές καλύτερη από τα προηγούμενα σχέδια τσιπ CIM που χρησιμοποιούν RRAM, σε διάφορες υπολογιστικές ακριβείς bit. Ωστόσο, η κατανάλωση ενέργειας στο έγγραφο δεν αναφέρεται σε μορφή που να είναι εύκολο να συγκριθεί με εμπορικές συσκευές στην αγορά και το σχήμα που φαίνεται παρακάτω δείχνει την κατανάλωση ενέργειας ανά λειτουργία σε διαφορετικές ακριβείς bit μετρούμενες σε femtojoules (fJ).

Ωστόσο, ο Wan μας είπε ότι για μια τυπική εργασία εντοπισμού λέξεων-κλειδιών σε πραγματικό χρόνο που εκτελείται σε πολλές έξυπνες οικιακές συσκευές σήμερα (όπως πείτε σε ένα έξυπνο ηχείο να ανάψει το φως), το NeuRRAM εκτιμάται ότι καταναλώνει λιγότερα από 2 μικροβάτ.

«Αυτό σημαίνει ότι ακόμη και σε μια μικρή μπαταρία νομίσματος, θα μπορούσε να λειτουργήσει για περισσότερα από 10 χρόνια (χωρίς να ληφθεί υπόψη η ισχύς που καταναλώνεται από άλλα εξαρτήματα του συστήματος),» είπε.

Σύμφωνα με την εφημερίδα, το τσιπ κατασκευάζεται χρησιμοποιώντας τεχνολογία CMOS 130nm και αναμένεται ότι η ενεργειακή απόδοση θα βελτιωθεί με την κλιμάκωση της τεχνολογίας, όπως συμβαίνει με άλλα προϊόντα ημιαγωγών.

Η παραγωγή είναι ακόμη χρόνια μακριά

Θα δούμε λοιπόν μια εμπορική συσκευή αποστολής βασισμένη σε αυτή την τεχνολογία; Ο Wan λέει ότι έχει μεγάλες δυνατότητες να εμπορευματοποιηθεί και σκέφτεται προσωπικά να εργαστεί για την παραγωγή του ο ίδιος.

«Η πιο κατάλληλη περίπτωση αρχικής χρήσης είναι πολύ πιθανό σε ακραία αιχμή / IoT», μας είπε.

Ένα προϊόν που βασίζεται στο τσιπ NeuRRAM θα ​​μπορούσε να συνδυαστεί σε ένα σύστημα με CPU, όπως και με άλλους επιταχυντές, αλλά αυτό δεν είναι απαραίτητο για κάθε εφαρμογή.

«Πρόσφατα υπήρξε μια τάση δεδομένων από αισθητήρες που τροφοδοτούνται απευθείας σε επεξεργαστές τεχνητής νοημοσύνης χωρίς να περνούν από CPU ή επιπλέον μνήμη», είπε ο Wan, αλλά πρόσθεσε ότι για τις περισσότερες περιπτώσεις ανάπτυξης πραγματικού κόσμου, αυτοί οι επιταχυντές τεχνητής νοημοσύνης λειτουργούν ως συν-επεξεργαστής για μια CPU, όπου η CPU διαχειρίζεται άλλες εργασίες.

Το τσιπ NeuRRAM προορίζεται μόνο για εξαγωγή συμπερασμάτων, κυρίως επειδή η τεχνολογία RRAM στην τρέχουσα μορφή της δεν είναι πολύ κατάλληλη για εκπαίδευση επειδή η διαδικασία εκπαίδευσης απαιτεί συχνές ενημερώσεις στη μνήμη και αυτή είναι «μια πολύ δαπανηρή λειτουργία στο RRAM», είπε ο Wan.

«Επί του παρόντος, πολλά εμπορικά χυτήρια έχουν ήδη τη δυνατότητα να κατασκευάζουν συσκευές RRAM, αλλά κυρίως για χρήσεις ενσωματωμένης μνήμης και όχι για υπολογισμό στη μνήμη. Μόλις η διαδικασία RRAM γίνει ευρύτερα διαθέσιμη στους σχεδιαστές IC, θα μπορούσε να συμβεί ένα προϊόν NeuRRAM».

Το ακριβές χρονοδιάγραμμα για να συμβεί αυτό είναι δύσκολο να προβλεφθεί, ωστόσο, και ο Wan είπε ότι θα μπορούσε να είναι τα επόμενα δύο με τρία χρόνια ή πολύ περισσότερο. ®