Για το μέσο κατάστημα τεχνητής νοημοσύνης, τα αραιά μοντέλα και η φθηνή μνήμη θα κερδίσουν

Όσο συναρπαστικά κι αν είναι τα κορυφαία γλωσσικά μοντέλα μεγάλης κλίμακας, το γεγονός παραμένει ότι μόνο οι μεγαλύτερες εταιρείες έχουν τους πόρους για να τις αναπτύξουν και να τις εκπαιδεύσουν σε ουσιαστική κλίμακα.

Για τις επιχειρήσεις που επιθυμούν να αξιοποιήσουν την τεχνητή νοημοσύνη σε ανταγωνιστικό πλεονέκτημα, μια φθηνότερη εναλλακτική λύση μπορεί να είναι καλύτερη, ειδικά εάν μπορεί να προσαρμοστεί σε συγκεκριμένους κλάδους ή τομείς.

Εκεί είναι όπου ένα αναδυόμενο σύνολο νεοφυών επιχειρήσεων τεχνητής νοημοσύνης που ελπίζουν να δημιουργήσουν μια θέση: δημιουργώντας αραιά, προσαρμοσμένα μοντέλα που, ίσως όχι τόσο ισχυρά όσο GPT-3, είναι αρκετά καλά για περιπτώσεις εταιρικής χρήσης και λειτουργούν με υλικό που αφαιρεί την ακριβή μνήμη υψηλού εύρους ζώνης (HBM) για DDR εμπορευμάτων.

Η γερμανική startup τεχνητής νοημοσύνης Aleph Alpha είναι ένα τέτοιο παράδειγμα. Ιδρύθηκε το 2019, η εταιρεία με έδρα τη Χαϊδελβέργη, στη Γερμανία Φωτεινός Το μοντέλο φυσικής γλώσσας μπορεί να υπερηφανεύεται για πολλές από τις ίδιες δυνατότητες αφαίρεσης επικεφαλίδων με το GPT-3 του OpenAI: συγγραφή κειμένων, ταξινόμηση, περίληψη και μετάφραση, για να αναφέρουμε μερικά.

Το μοντέλο startup συνεργάστηκε με την Graphcore για να εξερευνήσει και να αναπτύξει μοντέλα αραιής γλώσσας στους Βρετανούς υλικό κατασκευής τσιπ.

«Οι IPU της Graphcore παρέχουν μια ευκαιρία να αξιολογηθούν οι προηγμένες τεχνολογικές προσεγγίσεις, όπως η υπό όρους αραιότητα», δήλωσε ο διευθύνων σύμβουλος της Aleph Alpha, Jonas Andrulius. δήλωση. «Αυτές οι αρχιτεκτονικές θα παίξουν αναμφίβολα ρόλο στη μελλοντική έρευνα του Aleph Alpha».

Το μεγάλο στοίχημα του Graphcore για την αραιότητα

Τα υπό όρους αραιά μοντέλα — που μερικές φορές ονομάζονται μείγμα ειδικών ή δρομολογημένα μοντέλα — επεξεργάζονται δεδομένα μόνο με βάση τις ισχύουσες παραμέτρους, κάτι που μπορεί να μειώσει σημαντικά τους υπολογιστικούς πόρους που απαιτούνται για την εκτέλεσή τους.

Για παράδειγμα, εάν ένα μοντέλο γλώσσας εκπαιδεύτηκε σε όλες τις γλώσσες στο διαδίκτυο και στη συνέχεια τεθεί μια ερώτηση στα Ρωσικά, δεν θα είχε νόημα να εκτελεστούν αυτά τα δεδομένα σε ολόκληρο το μοντέλο, μόνο στις παραμέτρους που σχετίζονται με τη ρωσική γλώσσα, εξήγησε ο CTO της Graphcore Simon Knowles, σε μια συνέντευξη με Το μητρώο.

«Είναι εντελώς προφανές. Έτσι λειτουργεί ο εγκέφαλός σας και έτσι πρέπει να λειτουργεί και μια τεχνητή νοημοσύνη», είπε. «Το έχω πει πολλές φορές, αλλά αν μια τεχνητή νοημοσύνη μπορεί να κάνει πολλά πράγματα, δεν χρειάζεται να έχει πρόσβαση σε όλες τις γνώσεις της για να κάνει ένα πράγμα».

Ο Knowles, του οποίου η εταιρεία κατασκευάζει επιταχυντές προσαρμοσμένους για τέτοιου είδους μοντέλα, πιστεύει χωρίς έκπληξη ότι είναι το μέλλον της AI. «Θα εκπλαγώ αν, μέχρι το επόμενο έτος, κάποιος κατασκευάζει μοντέλα με πυκνή γλώσσα», πρόσθεσε.

HBM-2 ακριβό; Αντ' αυτού, πραγματοποιήστε προσωρινή αποθήκευση σε DDR

Τα μοντέλα αραιής γλώσσας δεν είναι χωρίς προκλήσεις. Ένα από τα πιο πιεστικά, σύμφωνα με τον Knowles, έχει να κάνει με τη μνήμη. Το HBM που χρησιμοποιείται σε GPU υψηλής τεχνολογίας για την επίτευξη του απαραίτητου εύρους ζώνης και χωρητικοτήτων που απαιτούνται από αυτά τα μοντέλα είναι ακριβό και συνδέεται με έναν ακόμη πιο ακριβό επιταχυντή.

Αυτό δεν είναι ένα ζήτημα για μοντέλα με πυκνή γλώσσα όπου μπορεί να χρειαστείτε όλο αυτόν τον υπολογισμό και τη μνήμη, αλλά δημιουργεί πρόβλημα για τα αραιά μοντέλα, τα οποία ευνοούν τη μνήμη έναντι του υπολογισμού, εξήγησε.

Η τεχνολογία διασύνδεσης, όπως το NVLink της Nvidia, μπορεί να χρησιμοποιηθεί για τη συγκέντρωση μνήμης σε πολλαπλές GPU, αλλά εάν το μοντέλο δεν απαιτεί όλο αυτό τον υπολογισμό, οι GPU θα μπορούσαν να μείνουν σε αδράνεια. «Είναι ένας πολύ ακριβός τρόπος να αγοράσεις μνήμη», είπε ο Knowles.

Οι επιταχυντές του Graphcore προσπαθούν να παρακάμψουν αυτήν την πρόκληση δανειζόμενοι μια τεχνική τόσο παλιά όσο και ο ίδιος ο υπολογισμός: η προσωρινή αποθήκευση. Κάθε IPU διαθέτει σχετικά μεγάλη κρυφή μνήμη SRAM — 1 GB — για την ικανοποίηση των απαιτήσεων εύρους ζώνης αυτών των μοντέλων, ενώ η ακατέργαστη χωρητικότητα επιτυγχάνεται χρησιμοποιώντας μεγάλες δεξαμενές φθηνής μνήμης DDR4.

"Όσο περισσότερη SRAM έχετε, τόσο λιγότερο εύρος ζώνης DRAM χρειάζεστε, και αυτό είναι που μας επιτρέπει να μην χρησιμοποιούμε HBM", είπε ο Knowles.

Με την αποσύνδεση της μνήμης από τον επιταχυντή, είναι πολύ λιγότερο ακριβό - το κόστος μερικών μονάδων DDR βασικών προϊόντων - για τις επιχειρήσεις να υποστηρίζουν μεγαλύτερα μοντέλα τεχνητής νοημοσύνης.

Εκτός από την υποστήριξη φθηνότερης μνήμης, η Knowles ισχυρίζεται ότι οι IPU της εταιρείας έχουν επίσης ένα αρχιτεκτονικό πλεονέκτημα έναντι των GPU, τουλάχιστον όταν πρόκειται για αραιά μοντέλα.

Αντί να εκτελούνται σε έναν μικρό αριθμό μεγάλων πολλαπλασιαστών μήτρας - όπως βρίσκετε σε μια μονάδα επεξεργασίας τανυστή - τα τσιπ του Graphcore διαθέτουν μεγάλο αριθμό μικρότερων μαθηματικών μονάδων μήτρας που μπορούν να αντιμετωπίσουν τη μνήμη ανεξάρτητα.

Αυτό παρέχει μεγαλύτερη ευαισθησία για τα αραιά μοντέλα, όπου «χρειάζεστε την ελευθερία να φέρετε σχετικά υποσύνολα και όσο μικρότερη είναι η μονάδα που είστε υποχρεωμένοι να φέρετε, τόσο περισσότερη ελευθερία έχετε», εξήγησε.

Η ετυμηγορία είναι ακόμη εκδοθείσα

Συνολικά, η Knowles υποστηρίζει ότι αυτή η προσέγγιση επιτρέπει στις IPU της να εκπαιδεύουν μεγάλα μοντέλα AI/ML με εκατοντάδες δισεκατομμύρια ή και τρισεκατομμύρια παραμέτρους, με σημαντικά χαμηλότερο κόστος σε σύγκριση με τις GPU.

Ωστόσο, η αγορά της επιχειρηματικής τεχνητής νοημοσύνης είναι ακόμα στα σπάργανα και η Graphcore αντιμετωπίζει σκληρό ανταγωνισμό σε αυτόν τον τομέα από μεγαλύτερους, πιο καθιερωμένους αντιπάλους.

Έτσι, ενώ η ανάπτυξη μοντέλων γλώσσας εξαιρετικά αραιής και μειωμένου ρυθμού για την τεχνητή νοημοσύνη είναι απίθανο να υποχωρήσει σύντομα, μένει να δούμε αν θα είναι οι IPU του Graphcore ή ο επιταχυντής κάποιου άλλου που θα τροφοδοτήσει τους φόρτους εργασίας της επιχειρηματικής τεχνητής νοημοσύνης. ®