Γιατί το OpenAI μπορεί να αντισταθμίζει τα στοιχήματά του στην κβαντική τεχνητή νοημοσύνη

Γιατί το OpenAI μπορεί να αντισταθμίζει τα στοιχήματά του στην κβαντική τεχνητή νοημοσύνη

Χρονική σήμανση: 13 Μαρτίου 2024 8:24 μ.μ.
Γιατί το OpenAI μπορεί να αντισταθμίζει τα στοιχήματά του στην κβαντική τεχνητή νοημοσύνη PlatoBlockchain Data Intelligence. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται.

Ανάλυση Ο κβαντικός υπολογιστής έχει παραμείνει μια δεκαετία μακριά για πάνω από μια δεκαετία τώρα, αλλά σύμφωνα με ειδικούς του κλάδου μπορεί να κρύβει το μυστικό για τον περιορισμό της ακόρεστης όρεξης της τεχνητής νοημοσύνης.

Κάθε μήνας που περνά, εμφανίζονται μεγαλύτερα μοντέλα με μεγαλύτερη πυκνότητα παραμέτρων και η κλίμακα των αναπτύξεων τεχνητής νοημοσύνης διευρύνεται παράλληλα. Μόνο φέτος υπερκλιμακωτές όπως η Meta, σκοπεύουν να το κάνουν παρατάσσω εκατοντάδες χιλιάδες επιταχυντές. Ακόμη και ο ιδρυτής του OpenAI, Sam Altman, εξακολουθεί να είναι πεπεισμένος θα χρειαστούμε εκθετικά περισσότερους υπολογισμούς αν θέλουμε να αναπτύξουμε περαιτέρω την τεχνητή νοημοσύνη.

Ως εκ τούτου, δεν πρέπει να προκαλεί έκπληξη το γεγονός ότι με την τελευταία πρόσληψη του, το OpenAI θα να αντισταθμίσει τα στοιχήματά της στον κβαντικό υπολογισμό όποτε μπορεί. Την περασμένη εβδομάδα, ο τεχνητής τεχνητής νοημοσύνης πρόσθεσε στις τάξεις του τον Ben Bartlett, έναν πρώην αρχιτέκτονα κβαντικών συστημάτων στο PsiQuantum.

Απευθυνθήκαμε στο Open AI για να μάθουμε περισσότερα σχετικά με το τι θα κάνει ο Bartlett στο trendsetter της τεχνητής νοημοσύνης και δεν έχουμε ξανακούσει. Ωστόσο δικό του βιο προσφέρει μερικές υποδείξεις καθώς μεγάλο μέρος της έρευνάς του έχει επικεντρωθεί στη διασταύρωση μεταξύ της κβαντικής φυσικής, της μηχανικής μάθησης και της νανοφωτονικής και «βασικά συνίσταται στο να σχεδιάζω μικρές πίστες αγώνων για φωτόνια που τους ξεγελούν να κάνουν χρήσιμους υπολογισμούς».

Τι ακριβώς θα μπορούσε λοιπόν να θέλει το OpenAI με έναν κβαντικό φυσικό; Λοιπόν, υπάρχουν μερικές δυνατότητες που κυμαίνονται από τη χρήση κβαντικής βελτιστοποίησης έως τον εξορθολογισμό των συνόλων δεδομένων εκπαίδευσης ή τη χρήση κβαντικών μονάδων επεξεργασίας (QPUs) για την εκφόρτωση πολύπλοκων βάσεων δεδομένων γραφημάτων, έως τη χρήση οπτικών για κλίμακα πέρα ​​από τα όρια της σύγχρονης συσκευασίας ημιαγωγών.

Τα νευρωνικά δίκτυα είναι απλώς ένα άλλο πρόβλημα βελτιστοποίησης

Ο κβαντικός υπολογιστής έχει τη δυνατότητα να βελτιώσει δραστικά την αποτελεσματικότητα της εκπαίδευσης μεγάλων μοντέλων τεχνητής νοημοσύνης, επιτρέποντάς τους να αντλούν ακριβέστερες απαντήσεις από μοντέλα με λιγότερες παραμέτρους, λέει ο Murray Thom του D-Wave. Το μητρώο.

Με το GPT-4 που φημολογείται ότι υπερβαίνει το ένα τρισεκατομμύριο παραμέτρους, δεν είναι δύσκολο να καταλάβει κανείς γιατί αυτό μπορεί να είναι ελκυστικό. Χωρίς να καταφεύγουν σε κβαντοποίηση και άλλες στρατηγικές συμπίεσης, τα μοντέλα τεχνητής νοημοσύνης χρειάζονται περίπου 1 GB μνήμης για κάθε δισεκατομμύριο παραμέτρους όταν εκτελούνται με ακρίβεια FP8 ή Int8 και σε υψηλότερες ακρίβεια, πολύ περισσότερο από αυτό.

Τα τρισεκατομμύρια μοντέλα παραμέτρων πλησιάζουν τα όρια αυτού που μπορεί να φιλοξενήσει αποτελεσματικά ένας διακομιστής τεχνητής νοημοσύνης. Πολλοί διακομιστές μπορούν να συνδεθούν μεταξύ τους για να υποστηρίξουν μεγαλύτερα μοντέλα, αλλά η αποχώρηση από το κουτί επιφέρει ποινή απόδοσης.

Και αυτό είναι σήμερα. Και αν ο Altman έχει δίκιο, αυτά τα μοντέλα θα γίνουν μεγαλύτερα και πιο διαδεδομένα. Ως εκ τούτου, οποιαδήποτε τεχνολογία που θα μπορούσε να επιτρέψει στο OpenAI να αυξήσει τις δυνατότητες των μοντέλων του χωρίς να αυξήσει επίσης σημαντικά τον αριθμό των παραμέτρων θα μπορούσε να το κάνει να το κάνει.

«Καθώς εκπαιδεύετε ένα μοντέλο, ο αριθμός των παραμέτρων που περιλαμβάνονται στο μοντέλο καθορίζει πραγματικά το κόστος και την πολυπλοκότητα της εκπαίδευσης του μοντέλου», λέει ο Trevor Lanting, αντιπρόεδρος λογισμικού και αλγορίθμων της D-Wave. Το μητρώο.

Για να ξεπεραστεί αυτό, εξηγεί, οι προγραμματιστές συχνά υποεπιλέγουν χαρακτηριστικά που πιστεύουν ότι θα είναι τα πιο σημαντικά για την εκπαίδευση του συγκεκριμένου μοντέλου, γεγονός που με τη σειρά του μειώνει τον αριθμό των απαιτούμενων παραμέτρων.

Αλλά αντί να προσπαθεί να το κάνει αυτό χρησιμοποιώντας συμβατικά συστήματα, το D-Wave υποστηρίζει ότι οι αλγόριθμοι κβαντικής βελτιστοποίησης μπορεί να είναι πιο αποτελεσματικοί στον προσδιορισμό των χαρακτηριστικών που θα αφήσουν μέσα ή έξω.

Εάν δεν είστε εξοικειωμένοι, τα προβλήματα βελτιστοποίησης, όπως αυτά που παρατηρούνται συνήθως στην εύρεση διαδρομής ή στην εφοδιαστική έχουν αποδειχθεί μία από τις πιο υποσχόμενες εφαρμογές του κβαντικού υπολογισμού μέχρι στιγμής.

«Αυτό στο οποίο είναι πραγματικά καλοί οι κβαντικοί υπολογιστές μας είναι να βελτιστοποιούν πράγματα όπου πράγματα είτε συμβαίνουν είτε δεν συμβαίνουν: όπως σε κάποιον που του ανατίθεται ένα συγκεκριμένο πρόγραμμα ή του ανατίθεται μια συγκεκριμένη παράδοση», είπε ο Thom. «Εάν αυτές οι αποφάσεις ήταν ανεξάρτητες, θα ήταν εντάξει, και θα ήταν εύκολο για έναν κλασικό υπολογιστή να το κάνει, αλλά στην πραγματικότητα επηρεάζουν τους άλλους πόρους στη δεξαμενή και υπάρχει ένα είδος δικτύου».

Με άλλα λόγια, ο πραγματικός κόσμος είναι ακατάστατος. Μπορεί να υπάρχουν πολλά οχήματα στο δρόμο, κλειστοί δρόμοι, καιρικά φαινόμενα και ούτω καθεξής και ούτω καθεξής. Σε σύγκριση με τους κλασσικούς υπολογιστές, τα μοναδικά χαρακτηριστικά που είναι εγγενή στους κβαντικούς υπολογιστές τους επιτρέπουν να εξερευνήσουν αυτούς τους παράγοντες ταυτόχρονα για να εντοπίσουν την καλύτερη διαδρομή.

Αυτό, «είναι εντελώς ανάλογο με ένα νευρωνικό δίκτυο όπου οι νευρώνες είτε πυροδοτούν είτε δεν πυροδοτούν, και αυτοί και αυτοί έχουν συναπτικές συνδέσεις με τους άλλους νευρώνες, οι οποίοι είτε διεγείρουν είτε εμποδίζουν τους άλλους νευρώνες να πυροδοτηθούν», εξηγεί ο Thom.

Και αυτό σημαίνει ότι οι κβαντικοί αλγόριθμοι μπορούν να χρησιμοποιηθούν για τη βελτιστοποίηση των συνόλων δεδομένων εκπαίδευσης τεχνητής νοημοσύνης για συγκεκριμένες απαιτήσεις, τα οποία όταν εκπαιδεύονται, καταλήγουν σε ένα πιο λιτό και ακριβές μοντέλο, ισχυρίστηκε ο Lanting.

Κβαντική δειγματοληψία και εκφόρτωση

Μακροπρόθεσμα, η D-Wave και άλλοι αναζητούν τρόπους για να εφαρμόσουν QPU βαθύτερα στη διαδικασία εκπαίδευσης.

Μία από αυτές τις περιπτώσεις χρήσης περιλαμβάνει την εφαρμογή κβαντικών υπολογιστών στη δειγματοληψία. Η δειγματοληψία αναφέρεται στον τρόπο με τον οποίο τα μοντέλα τεχνητής νοημοσύνης, όπως τα LLM, καθορίζουν ποια θα πρέπει να βασίζεται η επόμενη λέξη, ή πιο συγκεκριμένα το διακριτικό, με βάση μια κατανομή πιθανοτήτων. Αυτός είναι ο λόγος για τον οποίο συχνά αστειεύεται ότι τα LLM συμπληρώνονται μόνο αυτόματα στα στεροειδή.

«Το υλικό είναι πολύ καλό στην παραγωγή δειγμάτων και μπορείτε να συντονίσετε τη διανομή, ώστε να μπορείτε να συντονίσετε τη στάθμιση αυτών των δειγμάτων. Και αυτό που διερευνούμε είναι: είναι αυτός ένας καλός τρόπος για να εισαγάγετε πραγματικά την ανόπτηση κβαντικών υπολογιστών σκληρά και πιο άμεσα στον φόρτο εργασίας της εκπαίδευσης», εξήγησε ο Λάντινγκ.

Η γαλλική startup κβαντικών υπολογιστών Pasqal έχει επίσης παίξει με την εφαρμογή κβαντικών υπολογιστών για τη μεταφόρτωση δομημένων συνόλων δεδομένων γραφημάτων που βρίσκονται συνήθως στα νευρωνικά δίκτυα.

«Στη μηχανική μάθηση δεν υπάρχει πραγματικά απλός τρόπος να αναπαραστήσουμε τα δεδομένα κλασικά, επειδή το γράφημα είναι ένα σύνθετο αντικείμενο», εξήγησε ο συν-CEO του Pasqal, Loïc Henriet σε μια συνέντευξη με Το μητρώο. "Μπορείτε να ενσωματώσετε δομημένα δεδομένα γραφημάτων στην κβαντική δυναμική σχετικά φυσικά, γεγονός που οδηγεί σε μερικούς νέους τρόπους επεξεργασίας αυτών των τμημάτων δεδομένων."

Ωστόσο, για να επιτευχθεί αυτό, τα κβαντικά συστήματα θα πρέπει να γίνουν πολύ μεγαλύτερα και πολύ πιο γρήγορα, εξήγησε ο Henriet.

«Τα μεγάλα σύνολα δεδομένων δεν είναι πρακτικά προς το παρόν», είπε. «Γι' αυτό πιέζουμε τον αριθμό των qubits. το ποσοστό επανάληψης. Επειδή με περισσότερα qubits μπορείτε να ενσωματώσετε περισσότερα δεδομένα."

Πόσο καιρό θα πρέπει να περιμένουμε μέχρι να γίνουν βιώσιμα τα νευρωνικά δίκτυα κβαντικών γραφημάτων, είναι δύσκολο να πούμε. Το Pasqal έχει ήδη ένα σύστημα 10,000 qubit στα έργα. Δυστυχώς, η έρευνα δείχνει ότι ακόμη και ένα σύστημα με 10,000 qubits διόρθωσης σφαλμάτων, ή περίπου ένα εκατομμύριο φυσικά qubits, μπορεί να μην είναι αρκετό για να ανταγωνίζονται με σύγχρονες GPU.

Ένα παιχνίδι φωτονικής πυριτίου;

Εκτός από τις περιπτώσεις χρήσης εξωτικής κβαντικής τεχνητής νοημοσύνης, υπάρχουν και άλλες τεχνολογίες που θα μπορούσε να επιδιώκει το OpenAI για τις οποίες ο Bartlett τυχαίνει να είναι ειδικός.

Πιο συγκεκριμένα, ο πρώην εργοδότης του Bartlett, PsiQuantum, ανέπτυξε συστήματα βασισμένα στη φωτονική του πυριτίου. Αυτό υποδηλώνει ότι η πρόσληψή του θα μπορούσε να σχετίζεται με το OpenAI αναφερθεί εργαστείτε σε έναν προσαρμοσμένο επιταχυντή AI.

Αρκετές νεοφυείς εταιρείες φωτονικής πυριτίου, συμπεριλαμβανομένων των Ayar Labs, Lightmatter και Celestial AI, έχουν προωθήσει την τεχνολογία ως μέσο για την υπέρβαση των ορίων εύρους ζώνης, γεγονός που έχει γίνει ένας περιοριστικός παράγοντας κλιμάκωσης της απόδοσης μηχανικής εκμάθησης.

Η ιδέα εδώ είναι ότι μπορείτε να προωθήσετε πολύ περισσότερα δεδομένα σε πολύ μεγαλύτερη απόσταση με το φως από ό,τι μπορείτε με ένα αμιγώς ηλεκτρικό σήμα. Σε πολλά από αυτά τα σχέδια, το φως μεταφέρεται στην πραγματικότητα από κυματοδηγούς χαραγμένους στο πυρίτιο, κάτι που ακούγεται απαίσια σαν «σχεδιασμός μικρών ιπποδρομιών για φωτόνια».

Λάμπα φωτός πιστεύει Αυτή η τεχνολογία θα επιτρέψει σε πολλούς επιταχυντές να λειτουργούν ως ένας χωρίς να επιβαρύνονται με ποινή εύρους ζώνης για δεδομένα που εξέρχονται από το τσιπ. Εν τω μεταξύ ο Ουράνιος βλέπει ένα Ευκαιρία να αυξήσει κατά πολύ την ποσότητα της μνήμης υψηλού εύρους ζώνης που είναι διαθέσιμη στις GPU εξαλείφοντας την ανάγκη από κοινού συσκευασίας των μονάδων που βρίσκονται ακριβώς δίπλα στο καλούπι του επιταχυντή. Και οι δύο αυτές δυνατότητες θα ήταν ελκυστικές για μια εταιρεία που εργάζεται με συστήματα τεχνητής νοημοσύνης σε τεράστια κλίμακα.

Το αν η OpenAI θα ακολουθήσει τελικά την κβαντική τεχνητή νοημοσύνη ή τη φωτονική πυριτίου μένει να φανεί, αλλά για μια εταιρεία της οποίας ο ιδρυτής δεν είναι άγνωστος στο να κάνει μεγάλες επενδύσεις, δεν θα ήταν το πιο περίεργο πράγμα που έχει υποστηρίξει ο Altman. ®

Σφραγίδα ώρας:

Περισσότερα από Το μητρώο