13 τσιπ κλίμακας Wafer για έναν υπερυπολογιστή Exaflop AI

Η Cerebras Systems, η πρωτοπόρος στην επιτάχυνση των υπολογιστών τεχνητής νοημοσύνης (AI), παρουσίασε σήμερα την Andromeda, ένας υπερυπολογιστής τεχνητής νοημοσύνης 13.5 εκατομμυρίων πυρήνων, τώρα διαθέσιμος και χρησιμοποιείται για εμπορική και ακαδημαϊκή εργασία. Χτισμένο με ένα σύμπλεγμα 16 συστημάτων Cerebras CS-2 και αξιοποιώντας τις τεχνολογίες Cerebras MemoryX και SwarmX, η Andromeda προσφέρει περισσότερους από 1 Exaflop υπολογισμού AI και 120 Petaflops πυκνού υπολογισμού με μισή ακρίβεια 16 bit. Είναι ο μόνος υπερυπολογιστής τεχνητής νοημοσύνης που έχει ποτέ δείξει σχεδόν τέλεια γραμμική κλιμάκωση σε μεγάλους φόρτους εργασίας μοντέλων γλώσσας βασιζόμενος μόνο στον απλό παραλληλισμό δεδομένων.

Με 13.5 εκατομμύρια υπολογιστικούς πυρήνες βελτιστοποιημένους για τεχνητή νοημοσύνη και τροφοδοτούμενους από 18,176 επεξεργαστές 3ης γενιάς AMD EPYC™, η Andromeda διαθέτει περισσότερους πυρήνες από 1,953 Nvidia A100 GPU και 1.6 φορές περισσότερους πυρήνες από τον μεγαλύτερο υπερυπολογιστή στον κόσμο, τον Frontier, ο οποίος έχει 8.7 εκατομμύρια πυρήνες. Σε αντίθεση με οποιοδήποτε γνωστό σύμπλεγμα που βασίζεται σε GPU, το Andromeda προσφέρει σχεδόν τέλεια κλιμάκωση μέσω απλού παραλληλισμού δεδομένων σε μεγάλα μοντέλα γλωσσών κατηγορίας GPT, συμπεριλαμβανομένων των GPT-3, GPT-J και GPT-NeoX.

Σχεδόν τέλεια κλιμάκωση σημαίνει ότι καθώς χρησιμοποιούνται πρόσθετα CS-2, ο χρόνος εκπαίδευσης μειώνεται σχεδόν σε τέλεια αναλογία. Αυτό περιλαμβάνει μεγάλα μοντέλα γλώσσας με πολύ μεγάλα μήκη ακολουθίας, μια εργασία που είναι αδύνατο να επιτευχθεί σε GPU. Στην πραγματικότητα, η αδύνατη εργασία της GPU αποδείχθηκε από έναν από τους πρώτους χρήστες της Andromeda, ο οποίος πέτυχε σχεδόν τέλεια κλίμακα στο GPT-J στα 2.5 δισεκατομμύρια και 25 δισεκατομμύρια παραμέτρους με μεγάλα μήκη ακολουθίας — MSL 10,240. Οι χρήστες προσπάθησαν να κάνουν την ίδια δουλειά στο Polaris, ένα σύμπλεγμα 2,000 Nvidia A100, και οι GPU δεν μπόρεσαν να κάνουν τη δουλειά λόγω περιορισμών στη μνήμη GPU και στο εύρος ζώνης της μνήμης.

Το Wafer-Scale Engine (WSE-2), το οποίο τροφοδοτεί το σύστημα Cerebras CS-2, είναι το μεγαλύτερο τσιπ που έχει κατασκευαστεί ποτέ. Το WSE-2 είναι 56 φορές μεγαλύτερο από τη μεγαλύτερη GPU, έχει 123 φορές περισσότερους υπολογιστικούς πυρήνες και 1000 φορές περισσότερη μνήμη στο τσιπ υψηλής απόδοσης. Ο μόνος επεξεργαστής κλίμακας wafer που έχει κατασκευαστεί ποτέ, περιέχει 2.6 τρισεκατομμύρια τρανζίστορ, 850,000 πυρήνες βελτιστοποιημένους για τεχνητή νοημοσύνη και 40 gigabytes υψηλής απόδοσης on-wafer μνήμης, όλα αυτά για την επιτάχυνση της εργασίας σας με τεχνητή νοημοσύνη.

Cluster-Scale σε ένα ενιαίο τσιπ

Σε αντίθεση με τις παραδοσιακές συσκευές με μικροσκοπικές ποσότητες μνήμης cache στο τσιπ και περιορισμένο εύρος ζώνης επικοινωνίας, το WSE-2 διαθέτει 40 GB on-chip SRAM, κατανεμημένη ομοιόμορφα σε ολόκληρη την επιφάνεια του τσιπ, παρέχοντας σε κάθε πυρήνα πρόσβαση ενός κύκλου ρολογιού σε γρήγορη μνήμη σε εξαιρετικά υψηλό εύρος ζώνης 20 PB/s. Αυτό είναι 1,000 φορές μεγαλύτερη χωρητικότητα και 9,800 φορές μεγαλύτερο εύρος ζώνης από την κορυφαία GPU.

Υψηλό εύρος ζώνης, χαμηλή καθυστέρηση
Η διασύνδεση WSE-2 on-wafer εξαλείφει την επιβράδυνση της επικοινωνίας και την αναποτελεσματικότητα της σύνδεσης εκατοντάδων μικρών συσκευών μέσω καλωδίων και καλωδίων. Παρέχει ένα εκπληκτικό εύρος ζώνης διασύνδεσης 220 Pb/s μεταξύ των πυρήνων. Αυτό είναι περισσότερο από 45,000 φορές το εύρος ζώνης που παρέχεται μεταξύ των επεξεργαστών γραφικών. Το αποτέλεσμα είναι ταχύτερη και πιο αποτελεσματική εκτέλεση για την εργασία βαθιάς εκμάθησης σε ένα κλάσμα της κατανάλωσης ισχύος των παραδοσιακών συμπλεγμάτων GPU.