Pourquoi OpenAI pourrait parier sur l’IA quantique

Pourquoi OpenAI pourrait parier sur l’IA quantique

Horodatage: 13 mars 2024 8h24
Pourquoi OpenAI pourrait-il parier sur l'IA quantique PlatoBlockchain Data Intelligence. Recherche verticale. Aï.

Analyse L'informatique quantique est restée à une décennie d'avance depuis plus d'une décennie maintenant, mais selon les experts du secteur, elle pourrait détenir le secret pour freiner l'appétit insatiable de l'IA.

Chaque mois qui passe, des modèles plus grands et plus denses en paramètres apparaissent et l’échelle des déploiements d’IA augmente en tandem. Rien que cette année, les hyperscalers comme Meta prévoient de déployer des centaines de milliers d'accélérateurs. Même le fondateur d'OpenAI, Sam Altman, est toujours convaincu nous aurons besoin de façon exponentielle de plus de calculs si nous voulons poursuivre le développement de l'IA.

Il n’est donc pas surprenant qu’avec sa dernière embauche, OpenAI pourra couvrir ses paris sur l’informatique quantique si cela est possible. La semaine dernière, le géant de l’IA a ajouté à ses rangs Ben Bartlett, ancien architecte de systèmes quantiques chez PsiQuantum.

Nous avons contacté Open AI pour en savoir plus sur ce que Bartlett fera chez le pionnier de l'IA, et nous n'avons pas eu de réponse. Cependant son bio donne quelques indices, car une grande partie de ses recherches se sont concentrées sur l'intersection entre la physique quantique, l'apprentissage automatique et la nanophotonique, et "consiste essentiellement à concevoir de petites pistes de course pour les photons qui les incitent à effectuer des calculs utiles".

Alors, que pourrait vouloir exactement OpenAI avec un physicien quantique ? Eh bien, il existe plusieurs possibilités, allant de l'utilisation de l'optimisation quantique pour rationaliser les ensembles de données de formation ou de l'utilisation d'unités de traitement quantique (QPU) pour décharger des bases de données graphiques complexes, à l'utilisation de l'optique pour dépasser les limites du conditionnement moderne des semi-conducteurs.

Les réseaux de neurones ne sont qu'un autre problème d'optimisation

L'informatique quantique a le potentiel d'améliorer considérablement l'efficacité de la formation de grands modèles d'IA, leur permettant de dériver des réponses plus précises à partir de modèles comportant moins de paramètres, explique Murray Thom de D-Wave. Le registre.

Avec la rumeur selon laquelle GPT-4 dépasse un billion de paramètres, il n'est pas difficile de comprendre pourquoi cela pourrait être attrayant. Sans recourir à la quantification et à d’autres stratégies de compression, les modèles d’IA ont besoin d’environ 1 Go de mémoire pour chaque milliard de paramètres lorsqu’ils fonctionnent avec une précision FP8 ou Int8 et avec des précisions plus élevées, bien plus que cela.

Des milliards de modèles de paramètres approchent des limites de ce qu’un seul serveur d’IA peut gérer efficacement. Plusieurs serveurs peuvent être regroupés pour prendre en charge des modèles plus grands, mais quitter la boîte entraîne une pénalité en termes de performances.

Et c'est aujourd'hui. Et si Altman a raison, ces modèles ne feront que devenir plus grands et plus répandus. En tant que telle, toute technologie permettant à OpenAI d’augmenter les capacités de ses modèles sans augmenter de manière significative le nombre de paramètres pourrait lui donner un avantage.

"Lorsque vous entraînez un modèle, le nombre de paramètres entrant dans le modèle détermine réellement le coût et la complexité de l'entraînement du modèle", explique Trevor Lanting, vice-président des logiciels et des algorithmes de D-Wave. Le registre.

Pour contourner ce problème, explique-t-il, les développeurs sous-sélectionnent souvent les fonctionnalités qu'ils pensent être les plus importantes pour la formation de ce modèle particulier, ce qui réduit le nombre de paramètres requis.

Mais plutôt que d’essayer de le faire en utilisant des systèmes conventionnels, D-Wave fait valoir que les algorithmes d’optimisation quantique pourraient être plus efficaces pour déterminer quelles fonctionnalités laisser de côté ou non.

Si vous n'êtes pas familier, les problèmes d'optimisation, comme ceux couramment rencontrés dans la recherche de chemin ou la logistique, se sont révélés être jusqu'à présent l'une des applications les plus prometteuses de l'informatique quantique.

"Ce pour quoi nos ordinateurs quantiques sont vraiment bons, c'est d'optimiser les choses là où les choses se produisent ou ne se produisent pas : comme par exemple, quelqu'un se voit attribuer un horaire particulier ou se voit attribuer une livraison particulière", a déclaré Thom. "Si ces décisions étaient indépendantes, ce serait bien, et ce serait facile à faire pour un ordinateur classique, mais elles affectent en réalité les autres ressources du pool et il y a une sorte d'effet de réseau."

En d’autres termes, le monde réel est désordonné. Il peut y avoir plusieurs véhicules sur la route, des fermetures de routes, des événements météorologiques, etc. Par rapport aux ordinateurs classiques, les attributs uniques inhérents aux ordinateurs quantiques leur permettent d’explorer ces facteurs simultanément pour identifier la meilleure voie.

Ceci "est tout à fait analogue à un réseau neuronal dans lequel les neurones se déclenchent ou ne se déclenchent pas, et eux et eux ont des connexions synaptiques avec les autres neurones, qui excitent ou empêchent les autres neurones de se déclencher", explique Thom.

Et cela signifie que les algorithmes quantiques peuvent être utilisés pour optimiser les ensembles de données de formation de l'IA pour des exigences spécifiques, ce qui, une fois formés, aboutit à un modèle plus simple et plus précis, a affirmé Lanting.

Échantillonnage et déchargement quantiques

À plus long terme, D-Wave et d’autres recherchent des moyens d’implémenter les QPU plus profondément dans le processus de formation.

L'un de ces cas d'utilisation consiste à appliquer l'informatique quantique à l'échantillonnage. L'échantillonnage fait référence à la façon dont les modèles d'IA, comme les LLM, déterminent quel devrait être le mot suivant, ou plus précisément le jeton, en fonction d'une distribution de probabilités. C'est pourquoi on plaisante souvent en disant que les LLM ne sont qu'une saisie semi-automatique sous stéroïdes.

« Le matériel est très efficace pour produire des échantillons, et vous pouvez ajuster la distribution, de sorte que vous puissiez ajuster la pondération de ces échantillons. Et ce que nous explorons est la suivante : est-ce un bon moyen d’insérer réellement l’informatique quantique de recuit de manière plus dure et plus directe dans la charge de travail de formation », a expliqué Lanting.

La startup française d'informatique quantique Pasqal a également envisagé d'appliquer l'informatique quantique pour décharger des ensembles de données structurés en graphiques que l'on trouve couramment dans les réseaux de neurones.

"En apprentissage automatique, il n'existe pas de manière vraiment simple de représenter les données de manière classique, car le graphique est un objet complexe", a expliqué Loïc Henriet, co-PDG de Pasqal, dans une interview avec Le registre. "Vous pouvez intégrer des données structurées sous forme de graphiques dans la dynamique quantique de manière relativement naturelle, ce qui donne naissance à de nouvelles façons de traiter ces éléments de données."

Cependant, avant de pouvoir y parvenir, les systèmes quantiques devront devenir beaucoup plus grands et beaucoup plus rapides, a expliqué Henriet.

« Les grands ensembles de données ne sont pas pratiques pour le moment », a-t-il déclaré. « C'est pourquoi nous augmentons le nombre de qubits ; le taux de redoublement. Parce qu’avec plus de qubits, vous pouvez intégrer plus de données.

Il est difficile de dire combien de temps il faudra attendre avant que les réseaux neuronaux à graphes quantiques deviennent viables. Pasqal dispose déjà d'un système à 10,000 XNUMX qubits dans les travaux. Malheureusement, les recherches suggèrent que même un système doté de 10,000 XNUMX qubits de correction d'erreurs, soit environ un million de qubits physiques, pourrait ne pas suffire à résoudre les problèmes. rivaliser avec des GPU modernes.

Un jeu de photonique sur silicium ?

Mis à part les cas d’utilisation exotiques de l’IA quantique, il existe d’autres technologies qu’OpenAI pourrait exploiter pour lesquelles Bartlett se trouve être un expert.

Plus particulièrement, l'ancien employeur de Bartlett, PsiQuantum, a développé des systèmes basés sur la photonique sur silicium. Cela suggère que son embauche pourrait être liée à celle d'OpenAI. rapporté travailler sur un accélérateur d'IA personnalisé.

Plusieurs startups de photonique sur silicium, notamment Ayar Labs, Lightmatter et Celestial AI, ont poussé cette technologie comme un moyen de surmonter les limites de bande passante, qui sont devenues un facteur limitant pour la performance de l'apprentissage automatique.

L’idée ici est que vous pouvez transmettre beaucoup plus de données sur une distance beaucoup plus longue avec la lumière qu’avec un signal purement électrique. Dans bon nombre de ces conceptions, la lumière est en fait transportée par des guides d’ondes gravés dans le silicium, ce qui ressemble énormément à « concevoir de petites pistes de course pour les photons ».

Matière lumineuse croit cette technologie permettra à plusieurs accélérateurs de fonctionner comme un seul sans encourir de pénalité de bande passante pour les données sortant de la puce. Pendant ce temps, Céleste voit un Occasion pour augmenter considérablement la quantité de mémoire à large bande passante disponible pour les GPU en éliminant le besoin de co-packager les modules directement adjacents à la puce accélératrice. Ces deux capacités seraient intéressantes pour une entreprise travaillant avec des systèmes d’IA à grande échelle.

Reste à savoir si OpenAI poursuivra finalement l'IA quantique ou la photonique sur silicium, mais pour une entreprise dont le fondateur n'est pas étranger aux investissements à long terme, ce ne serait pas la chose la plus étrange qu'Altman ait soutenue. ®

Horodatage:

Plus de Le registre