Le protocole Gensyn entraîne en toute confiance les réseaux de neurones à hyper-échelle avec un ordre de grandeur inférieur…

Republié par Platon

Suiveurs: 0

Le protocole Gensyn entraîne en toute confiance des réseaux de neurones à très grande échelle avec un ordre de grandeur de coût inférieur

Liens: Site Web Gensyn, Litepaper, Portefeuille CoinFund, Article TechCrunch Lien

Résumé de la thèse d'investissement

Effet de levier séculaire sur la complexité et la valeur croissantes du ML : La complexité de calcul des systèmes d'IA de pointe double tous les 3 mois, tandis que la valeur de ces modèles continue d'augmenter rapidement, tandis que l'ancienne nature de boîte noire de ces algorithmes est désormais de plus en plus capable de s'adapter à une plus grande illuminateurs compréhensibles par l'homme.
Conception d'un nouveau système de coordination et de vérification: Gensyn construit un système de vérification (testnet v1 sera déployé plus tard cette année) qui résout efficacement le problème de dépendance d'état dans la formation des réseaux de neurones à n'importe quelle échelle. Le système combine des points de contrôle de formation de modèle avec des contrôles probabilistes qui se terminent en chaîne. Il fait tout cela en toute confiance et les frais généraux évoluent de manière linéaire avec la taille du modèle (en maintenant les coûts de vérification constants).
Focus thématique sur la décentralisation de l'IA: La plupart des exemples bien connus d'applications d'apprentissage automatique (voitures autonomes Tesla, Google DeepMind) sont produits par le même ensemble d'entreprises, c'est parce que l'industrie de l'apprentissage profond ressemble actuellement à un jeu de monopole entre les entreprises Big Tech, comme ainsi que des États comme la Chine et les États-Unis. Ces forces se traduisent par d'énormes forces de centralisation qui vont à l'encontre du web3 et même des origines historiques du web1.

Le protocole Gensyn entraîne en toute confiance des réseaux de neurones à hyper-échelle avec un ordre de grandeur inférieur… PlatoBlockchain Data Intelligence. Recherche verticale. Aï.

CoinFund est fier de soutenir la récente collecte de fonds de Gensyn Protocol et la vision de l'équipe pour permettre la formation en toute confiance de réseaux de neurones à très grande échelle et à faible coût grâce à leur nouveau système de vérification. Utilisation de vérifications probabilistes qui se terminent en chaîne tout en puisant dans des sources de calcul sous-utilisées et sous-utilisées allant des GPU de jeu actuellement sous-utilisés aux pools de minage ETH1 sophistiqués sur le point de se détacher du réseau Ethereum alors que ce réseau passe à la preuve de participation, le protocole Gensyn ne nécessite aucun superviseur administratif ni application de la loi, facilitant plutôt la distribution des tâches et les paiements par programmation via contrats intelligents. Mieux encore, la nature décentralisée du protocole signifie qu'il sera finalement gouverné par la communauté majoritaire et ne pourra pas être « désactivé » sans le consentement de la communauté ; cela le rend résistant à la censure, contrairement à ses homologues web2. En fin de compte, nous pensons que Gensyn joue pour devenir la couche fondamentale du calcul ML natif web3, car les participants tiers finissent par créer des expériences utilisateur riches et des fonctionnalités spécifiques dans de nombreuses niches.

Partie 1 : Introduction à la croissance séculaire de plusieurs décennies de Deep Learning

Chaque visage que vous voyez lors d'un appel vidéo et tout le son que vous entendez sont manipulés. Pour améliorer la qualité des appels, les réseaux de neurones sélectivement régler la résolution dans Zoom et supprimer le bruit de fond dans les équipes Microsoft. Des avancées plus récentes voient même une vidéo de résolution inférieure 'rêvé' dans une résolution plus élevée. Les réseaux de neurones sont les modèles utilisés dans la branche d'apprentissage en profondeur de l'intelligence artificielle. Ils sont vaguement basés sur la structure du cerveau humain et ont une myriade d'applications, créant peut-être finalement une intelligence artificielle au niveau humain. Les modèles plus grands donnent généralement de meilleurs résultats, et le matériel requis pour un développement de pointe double chaque trois mois. Cette explosion du développement a fait de l'apprentissage en profondeur un élément fondamental de l'expérience humaine moderne. En 2020, un réseau de neurones actionné le radar sur un avion espion américain, les modèles de langage écrivent maintenant meilleurs e-mails frauduleux que les humains, et les algorithmes des voitures autonomes surpasser humains dans de nombreux environnements.

GPT-3 175B, le plus grand modèle GPT-3 proposé par OpenAI en Brown et al. (2020) a utilisé un cluster de 1,000 100 GPU NVIDIA Tesla V355 pour la formation, ce qui équivaut à peu près à XNUMX ans de formation sur un seul appareil. DALL-E de Ramesh et coll. (2021), un autre modèle Transformer d'OpenAI, compte 12 milliards de paramètres et a été formé sur plus de 400 millions d'images sous-titrées. OpenAI a supporté le coût de la formation DALL-E mais a refusé de façon controversée d'ouvrir le modèle, ce qui signifie que peut-être l'un des modèles d'apprentissage en profondeur multimodaux les plus importants reste inaccessible à tous, sauf à quelques privilégiés. Les énormes besoins en ressources pour construire ces modèles de fondation créer des obstacles importants à l'accès et, sans méthode pour mettre en commun les ressources tout en capturant la valeur, entraînera probablement une stagnation des progrès de l'IA. Beaucoup pensent que ces modèles généralisés sont la clé pour débloquer l'Intelligence Générale Artificielle (AGI), ce qui rend absurde la méthode actuelle de formation dans des silos artificiels isolés.

Les solutions actuelles qui donnent accès à l'offre de calcul sont soit oligopolistiques et coûteuses, soit simplement impraticable étant donné la complexité du calcul requis pour l'IA à grande échelle. Répondre à la demande croissante nécessite un système qui exploite de manière rentable TOUTE calcul disponible (par opposition à l'utilisation mondiale actuelle des processeurs d'environ 40 %). Ce problème est actuellement aggravé par le fait que l'offre de calcul elle-même est paralysée par asymptotique avancées dans les performances des microprocesseurs - aux côtés chaîne d'approvisionnement ainsi que géopolitique pénurie de puces.

Partie 2 : Pourquoi la coordination de Gensyn est-elle nécessaire ?

Le défi fondamental dans la construction de ce réseau est la vérification du travail de ML terminé. Il s'agit d'un problème très complexe qui se situe à l'intersection de la théorie de la complexité, de la théorie des jeux, de la cryptographie et de l'optimisation. Outre les connaissances humaines dans la conception de modèles, trois problèmes fondamentaux ralentissent les progrès du ML appliqué : 1) l'accès à la puissance de calcul ; 2) accès aux données ; et 3) l'accès aux connaissances (étiquetage de la vérité sur le terrain). Gensyn résout le premier problème en fournissant un accès à la demande à un calcul évolutif à l'échelle mondiale à son juste prix du marché, tandis que la Fondation Gensyn cherchera à encourager les solutions aux deux et trois grâce à la recherche, au financement et aux collaborations avec d'autres protocoles.

Plus précisément, l'accès à des processeurs supérieurs permet de former des modèles de plus en plus grands/complexes. Au cours de la dernière décennie, les gains de densité de transistors et les progrès de la vitesse d'accès à la mémoire/de la parallélisation ont considérablement réduit les temps de formation pour les grands modèles. L'accès virtuel à ce matériel, via des géants du cloud comme AWS et Alibaba, a simultanément élargi l'adoption. En conséquence, il y a un fort intérêt de l'État à acquérir les moyens de produire des processeurs à la pointe de la technologie. La Chine continentale n'a pas encore la capacité de bout en bout de produire des semi-conducteurs de pointe (à savoir des tranches de silicium), un composant essentiel des processeurs. Ils doivent les importer, notamment de TSMC (Taiwan Semiconductor Manufacturing Company). Les vendeurs de puces tentent également d'empêcher d'autres clients d'accéder aux fabricants de puces en achetant de l'approvisionnement. Au niveau des États, les États-Unis ont été blocage agressif toute tentative d'entreprises chinoises d'acquérir cette technologie. Plus haut dans la pile technologique, certaines entreprises sont allées jusqu'à créer leur propre matériel spécifique d'apprentissage en profondeur, comme les clusters TPU de Google. Ceux-ci surpassent les GPU standard en apprentissage en profondeur et ne sont pas disponibles à la vente, uniquement à la location.

Augmenter considérablement l'échelle du calcul accessible, tout en réduisant simultanément son coût unitaire, ouvre la porte à un tout nouveau paradigme d'apprentissage en profondeur pour les communautés de la recherche et de l'industrie. Les améliorations d'échelle et de coût permettent au protocole de créer un ensemble de modèles de base déjà éprouvés et pré-formés, également appelés Modèles de fondation– d'une manière similaire à la zoos modèles de cadres populaires. Cela permet aux chercheurs et aux ingénieurs de rechercher et de former ouvertement des modèles supérieurs sur d'énormes ensembles de données ouvertes, de la même manière que le Éleuther projet. Ces modèles résoudront certains des problèmes fondamentaux de l'humanité sans propriété centralisée ni censure. La cryptographie, en particulier le chiffrement fonctionnel, permettra au protocole d'être exploité sur des données privées à la demande. D'énormes modèles de base peuvent ensuite être affinés par toute personne utilisant un ensemble de données propriétaire, en préservant la valeur/la confidentialité de ces données tout en partageant les connaissances collectives dans la conception et la recherche de modèles.

Partie 3 : Gensyn Drives Web3-Native Data Centralization

Internet est peut-être né du gouvernement américain dans les années 1960, mais dans les années 1990, il s'agissait d'un réseau anarchique de créativité, d'individualisme et d'opportunités. Bien avant que Google ne stocke des TPU, des projets comme SETI@home ont tenté de découvrir la vie extraterrestre en externalisant la puissance de calcul décentralisée. En 2000, SETI@home avait un taux de traitement de Téraflops 17, soit plus du double des performances du meilleur supercalculateur de l'époque, l'IBM ASCI White. Cette période de temps est généralement nommée « web1 », un moment avant l'hégémonie des grandes plates-formes comme Google ou Amazon (web2), mais le calcul décentralisé a échoué à évoluer pour répondre aux besoins initiaux d'Internet, en raison de plusieurs problèmes à l'époque.

Cependant, la centralisation actuelle de l'infrastructure Web dans d'énormes plates-formes Web2 crée ses propres problèmes, tels que le coût (la marge brute d'AWS est estimée 61%, ce qui représente une compression des marges pour la plupart des chercheurs de sous-échelle et des entreprises axées sur les données. Dans le même temps, les instances de calcul centralisées sacrifient également le contrôle - AWS a désactivé l'infrastructure de la plate-forme de médias sociaux populaire de droite Parler avec préavis d'un jour suite à l'émeute du Capitole du 6 janvier 2021. Beaucoup étaient d'accord avec cette décision, mais le précédent est dangereux quand AWS héberge 42% des 10,000 XNUMX meilleurs sites sur Internet. Cependant, la formation de modèles d'apprentissage en profondeur sur du matériel décentralisé est difficile en raison du problème de vérification, que le protocole Gensyn aide à résoudre.

Construire le marché en tant que protocole Web3 supprime les frais généraux centralisés liés à la mise à l'échelle et réduit les barrières à l'entrée pour les nouveaux participants à l'offre, permettant au réseau d'englober potentiellement tous les appareils informatiques du monde. La connexion de tous les appareils via un seul réseau décentralisé offre un niveau d'évolutivité qui est actuellement impossible à atteindre par l'intermédiaire d'un fournisseur existant, offrant un accès à la demande sans précédent à l'intégralité de l'offre informatique mondiale. Pour les utilisateurs finaux, cela élimine complètement le dilemme coût/échelle et fournit un calcul de formation ML transparent et à faible coût pour une évolutivité potentiellement infinie (jusqu'aux limites matérielles physiques mondiales) et pour que les prix unitaires soient déterminés par la dynamique du marché. Cela évite les douves habituelles dont bénéficient les grands fournisseurs, fait baisser considérablement les prix et facilite une concurrence véritablement mondiale au niveau des ressources, et envisage même un cas où les fournisseurs de services cloud existants considèrent également le protocole Gensyn comme une voie de distribution qui complète une première partie plus centralisée. offres groupées.

En conclusion :

L'IA étant un mot à la mode presque aussi populaire que la crypto-monnaie et les chaînes de blocs, notre thèse d'investissement dans Gensyn telle qu'elle est présentée ici doit passer les tests pour être facile à comprendre et étayée par des preuves, tout en étant aussi ambitieuse pour éclaircir l'opportunité offerte par la capacité du protocole à valoriser un réseau de ressources initialement ciblé mais généralisable natif du web3. Avec le protocole Gensyn, nous pensons que nous assistons aux prémices d'un réseau de coordination hyper-évolutif et rentable qui ouvre la voie à des informations encore plus précieuses qui jettent les bases d'une myriade d'applications à l'avenir.

À propos de CoinFund

CoinFund est une société d'investissement diversifiée et de premier plan axée sur la blockchain, fondée en 2015, basée aux États-Unis. Collectivement, nous avons une vaste expérience et une vaste expérience dans la crypto-monnaie, les actions traditionnelles, le crédit, le capital-investissement et l'investissement en capital-risque. Les stratégies CoinFund couvrent à la fois les marchés liquides et de capital-risque et bénéficient de notre approche multidisciplinaire qui synchronise les aptitudes techniques cryptonatives avec l'expérience de la finance traditionnelle. Avec une approche « les fondateurs d'abord », CoinFund s'associe étroitement avec les sociétés de son portefeuille pour stimuler l'innovation dans l'espace des actifs numériques.

Clause de non-responsabilité 

Le contenu fourni sur ce site est uniquement à des fins d'information et de discussion et ne doit pas être invoqué dans le cadre d'une décision d'investissement particulière ou être interprété comme une offre, une recommandation ou une sollicitation concernant un investissement. L'auteur n'approuve aucune entreprise, projet ou jeton discuté dans cet article. Toutes les informations sont présentées ici « telles quelles », sans garantie d'aucune sorte, expresse ou implicite, et toute déclaration prospective peut s'avérer fausse. CoinFund Management LLC et ses sociétés affiliées peuvent avoir des positions longues ou courtes dans les jetons ou les projets discutés dans cet article.

Le protocole Gensyn forme en toute confiance des réseaux de neurones à hyperéchelle avec un ordre de grandeur inférieur… A été publié à l'origine dans Le blog CoinFund Sur Medium, où les gens continuent la conversation en soulignant et en répondant à cette histoire.

Horodatage: 21 mars 2022