El protocolo Gensyn entrena sin confianza redes neuronales a hiperescala con un orden de magnitud inferior...

El protocolo Gensyn entrena sin confianza redes neuronales a hiperescala con menor orden de magnitud de costo

enlaces: Sitio web de Gensyn, Litepaper, Cartera de CoinFund, Artículo de TechCrunch Enlace

Resumen de tesis de inversión

• Apalancamiento secular para la complejidad y el valor crecientes de ML: La complejidad computacional de los sistemas de IA de última generación se duplica cada 3 meses, mientras que el valor de estos modelos continúa aumentando rápidamente, mientras que la antigua naturaleza de caja negra de estos algoritmos ahora es cada vez más capaz de adaptarse a una mayor iluminadores comprensibles para los humanos.
• Novedoso Diseño de Sistema de Coordinación y Verificación: Gensyn está construyendo un sistema de verificación (testnet v1 se implementará a finales de este año) que resuelve de manera eficiente el problema de la dependencia del estado en el entrenamiento de redes neuronales a cualquier escala. El sistema combina puntos de control de entrenamiento modelo con controles probabilísticos que terminan en cadena. Hace todo esto sin confianza y los gastos generales escalan linealmente con el tamaño del modelo (manteniendo constantes los costos de verificación).
• Enfoque temático sobre la descentralización de la IA: La mayoría de los ejemplos conocidos de aplicaciones de aprendizaje automático (coches autónomos de Tesla, Google DeepMind) son producidos por el mismo grupo de empresas, eso se debe a que la industria del aprendizaje profundo actualmente parece un juego de monopolio entre las grandes empresas tecnológicas, como así como estados como China y Estados Unidos. Estas fuerzas están dando como resultado enormes fuerzas de centralización que van en contra de web3 e incluso de los orígenes históricos de web1.

CoinFund se enorgullece de apoyar la reciente recaudación de fondos de Gensyn Protocol y la visión del equipo para permitir el entrenamiento sin confianza de redes neuronales a hiperescala y bajo costo a través de su novedoso sistema de verificación. Utilizando verificaciones probabilísticas que terminan en cadena mientras toca Fuentes de cómputo infrautilizadas e infrautilizadas que van desde GPU para juegos actualmente infrautilizadas hasta grupos de minería ETH1 sofisticados a punto de separarse de la red Ethereum a medida que la red pasa a la prueba de participación, el protocolo Gensyn no requiere un supervisor administrativo o cumplimiento legal, sino que facilita la distribución de tareas y los pagos mediante programación a través de contratos inteligentes. Mejor aún, la naturaleza descentralizada del protocolo significa que, en última instancia, estará gobernado por la comunidad mayoritaria y no se puede 'apagar' sin el consentimiento de la comunidad; esto lo hace resistente a la censura, a diferencia de sus contrapartes web2. En última instancia, creemos que Gensyn está jugando para convertirse en la capa fundamental para el cómputo de ML nativo de web3, ya que los participantes de terceros eventualmente crean experiencias de usuario ricas y funcionalidades específicas en numerosos nichos.

Parte 1: Introducción al crecimiento secular de varias décadas del aprendizaje profundo

Cada cara que ves en una videollamada y todo el audio que escuchas está manipulado. Para mejorar la calidad de las llamadas, las redes neuronales selectivamente ajustar la resolución en Zoom y suprimir el ruido de fondo en equipos de Microsoft. Los avances más recientes incluso ven videos de menor resolución 'soñado' en una resolución más alta. Las redes neuronales son los modelos utilizados en la rama de aprendizaje profundo de la inteligencia artificial. Se basan libremente en la estructura de la cerebro humano y tienen una miríada de aplicaciones, quizás en última instancia creando inteligencia artificial a nivel humano. Los modelos más grandes generalmente producen mejores resultados y el hardware necesario para el desarrollo de última generación se está duplicando. cada tres meses. Esta explosión en el desarrollo ha hecho del aprendizaje profundo una parte fundamental de la experiencia humana moderna. En 2020, una red neuronal operó el radar en un avión espía estadounidense, los modelos de lenguaje ahora escriben mejores correos electrónicos de estafa que los humanos, y algoritmos de autos sin conductor Superar humanos en muchos ambientes.

GPT-3 175B, el modelo GPT-3 más grande propuesto por OpenAI en Brown et al. (2020) usó un grupo de 1,000 GPU NVIDIA Tesla V100 para el entrenamiento, lo que equivale aproximadamente a 355 años de entrenamiento en un solo dispositivo. DALL-E desde Ramesh y cols. (2021), otro modelo de Transformer de OpenAI, tiene 12 mil millones de parámetros y se entrenó en más de 400 millones de imágenes con subtítulos. OpenAI asumió el costo de la capacitación de DALL-E, pero se negó de manera controvertida a abrir el modelo, lo que significa que quizás uno de los modelos de aprendizaje profundo multimodal de última generación más importantes sigue siendo inaccesible para todos, excepto para unos pocos elegidos. Los enormes requisitos de recursos para construir estos modelos de cimientos crear barreras significativas para el acceso y, sin un método para agrupar recursos mientras se sigue capturando valor, es probable que provoque un estancamiento en el avance de la IA. Muchos creen que estos modelos generalizados son la clave para desbloquear la Inteligencia General Artificial (AGI), lo que hace que el método actual de entrenamiento en silos artificiales aislados parezca absurdo.

Las soluciones actuales que brindan acceso al suministro de cómputo son oligopólicas y costosas o simplemente impracticable dada la complejidad de la computación requerida para la IA a gran escala. Satisfacer la creciente demanda requiere un sistema que aproveche de manera rentable todos cómputo disponible (a diferencia de la utilización global del procesador del ~40 % actual). Lo que agrava este problema en este momento es el hecho de que el suministro de cómputo en sí mismo está paralizado por asintótico avances en el rendimiento del microprocesador, junto con cadena de suministro y geopolítica escasez de chips.

Parte 2: ¿Por qué se necesita la coordinación de Gensyn?

El desafío fundamental en la construcción de esta red es la verificación del trabajo de ML completado. Este es un problema muy complejo que se encuentra en la intersección de la teoría de la complejidad, la teoría de juegos, la criptografía y la optimización. Además del conocimiento humano en el diseño de modelos, existen tres problemas fundamentales que ralentizan el progreso del aprendizaje automático aplicado: 1) el acceso a la potencia informática; 2) acceso a los datos; y 3) acceso al conocimiento (etiquetado de verdad en el terreno). Gensyn resuelve el primer problema al proporcionar acceso bajo demanda a computación escalable globalmente a su precio justo de mercado, mientras que la Fundación Gensyn buscará fomentar soluciones para dos y tres a través de investigación, financiamiento y colaboraciones con otros protocolos.

Específicamente, el acceso a procesadores superiores permite entrenar modelos cada vez más grandes/complejos. En la última década, las ganancias de densidad de transistores y los avances en la velocidad de acceso a la memoria/paralelización han reducido drásticamente los tiempos de entrenamiento para modelos grandes. El acceso virtual a este hardware, a través de gigantes de la nube como AWS y Alibaba, ha ampliado simultáneamente la adopción. En consecuencia, existe un fuerte interés estatal en adquirir los medios para producir procesadores de última generación. China continental aún no tiene la capacidad de extremo a extremo para producir semiconductores de última generación (es decir, obleas de silicio), un componente esencial en los procesadores. Necesitan importarlos, particularmente de TSMC (Taiwan Semiconductor Manufacturing Company). Los proveedores de chips también intentan impedir que otros clientes accedan a los fabricantes de chips. comprando la oferta. A nivel estatal, EE.UU. ha sido bloqueando agresivamente cualquier movimiento de las empresas chinas para adquirir esta tecnología. Más arriba en la pila tecnológica, algunas empresas han ido tan lejos como para crear su propio hardware específico de aprendizaje profundo, como los clústeres de TPU de Google. Estos superan a las GPU estándar en aprendizaje profundo y no están disponibles para la venta, solo para alquiler.

Aumentar enormemente la escala de la computación accesible, al mismo tiempo que reduce su costo unitario, abre la puerta a un paradigma completamente nuevo para el aprendizaje profundo tanto para la investigación como para las comunidades industriales. Las mejoras en la escala y el costo permiten que el protocolo construya un conjunto de modelos base ya probados y preentrenados, también conocidos como Modelos de cimientos–de manera similar a la zoológicos modelo de marcos populares. Esto permite a los investigadores e ingenieros investigar abiertamente y entrenar modelos superiores sobre enormes conjuntos de datos abiertos, de manera similar a la Eleuther proyecto. Estos modelos resolverán algunos de los problemas fundamentales de la humanidad sin propiedad centralizada ni censura. La criptografía, en particular el cifrado funcional, permitirá que el protocolo se aproveche sobre los datos privados bajo demanda. Cualquiera que use un conjunto de datos patentado puede ajustar con precisión los modelos básicos enormes, manteniendo el valor/la privacidad de esos datos pero compartiendo el conocimiento colectivo en el diseño y la investigación del modelo.

Parte 3: Gensyn impulsa la centralización de datos nativos de Web3

Internet podría haber nacido del gobierno de los EE. UU. en la década de 1960, pero en la década de 1990 era una red anárquica de creatividad, individualismo y oportunidades. Mucho antes de que Google almacenara TPU, proyectos como SETI@home intentaron descubrir vida extraterrestre mediante el crowdsourcing de potencia informática descentralizada. Para el año 2000, SETI@home tenía una tasa de procesamiento de Teraflops 17, que es más del doble del rendimiento de la mejor supercomputadora en ese momento, la IBM ASCI White. Este período de tiempo generalmente se denomina 'web1', un momento antes de la hegemonía de grandes plataformas como Google o Amazon (web2), pero la computación descentralizada falló en escalar para satisfacer las necesidades iniciales de Internet, debido a varios problemas en ese momento.

Sin embargo, la centralización actual de la infraestructura web en enormes plataformas web2 crea sus propios problemas, como el costo (el margen bruto de AWS es una estimación 61%, lo que representa una compresión de márgenes para la mayoría de los investigadores de subescala y las empresas basadas en datos. Al mismo tiempo, las instancias informáticas centralizadas también sacrifican el control: AWS apagó la infraestructura de la popular plataforma de redes sociales de derecha Parler con aviso de un día después del motín del Capitolio del 6 de enero de 2021. Muchos estuvieron de acuerdo con esta decisión, pero el precedente es peligroso cuando AWS anfitriones 42% de los 10,000 mejores sitios en Internet. Sin embargo, entrenar modelos de aprendizaje profundo en hardware descentralizado es difícil debido al problema de verificación, que el protocolo Gensyn ayuda a resolver.

Construir el mercado como un protocolo Web3 elimina los gastos generales centralizados de escalado y reduce las barreras de entrada para los nuevos participantes del suministro, lo que permite que la red abarque potencialmente todos los dispositivos informáticos del mundo. La conexión de todos los dispositivos a través de una única red descentralizada proporciona un nivel de escalabilidad que actualmente es imposible de lograr a través de cualquier proveedor existente, brindando un acceso bajo demanda sin precedentes a la totalidad del suministro de cómputo del mundo. Para los usuarios finales, esto elimina por completo el dilema de costo versus escala y proporciona un cómputo de entrenamiento de ML transparente y de bajo costo para una escalabilidad potencialmente infinita (hasta los límites mundiales de hardware físico) y para que los precios unitarios sean determinados por la dinámica del mercado. Esto evita los fosos habituales de los que disfrutan los grandes proveedores, reduce significativamente los precios y facilita una competencia verdaderamente global a nivel de recursos, e incluso considera un caso en el que los proveedores de servicios en la nube existentes también ven el protocolo Gensyn como una vía de distribución que complementa los servicios propios más centralizados. ofertas agrupadas.

Conclusión:

Con AI casi tan popular como palabra de moda como criptomoneda y blockchains, nuestra tesis para invertir en Gensyn como se muestra aquí debe pasar las pruebas de ser fácil de entender y respaldada por evidencia, al tiempo que es tan ambiciosa en reducir la oportunidad establecida para la capacidad del protocolo para agregue valor una red de recursos inicialmente dirigida pero generalizable nativa de web3. Con el protocolo Gensyn, creemos que estamos viendo los comienzos de una red de coordinación hiperescalable y rentable que allana el camino para obtener conocimientos aún más valiosos que sientan las bases para una miríada de aplicaciones en el futuro.

Sobre CoinFund

CoinFund es una firma de inversión diversa y líder centrada en blockchain fundada en 2015, con sede en los EE. UU. Colectivamente, tenemos un amplio historial y experiencia en criptomonedas, capital tradicional, crédito, capital privado e inversión de riesgo. Las estrategias de CoinFund abarcan tanto los mercados líquidos como los de riesgo y se benefician de nuestro enfoque multidisciplinario que sincroniza la aptitud técnica criptonativa con la experiencia financiera tradicional. Con un enfoque de "fundadores primero", CoinFund se asocia estrechamente con las empresas de su cartera para impulsar la innovación en el espacio de activos digitales.

Observación

El contenido proporcionado en este sitio es solo para fines informativos y de discusión y no debe confiarse en él en relación con una decisión de inversión en particular o interpretarse como una oferta, recomendación o solicitud con respecto a cualquier inversión. El autor no respalda ninguna empresa, proyecto o token mencionado en este artículo. Toda la información se presenta aquí "tal cual", sin garantía de ningún tipo, ya sea expresa o implícita, y cualquier declaración prospectiva puede resultar incorrecta. CoinFund Management LLC y sus afiliados pueden tener posiciones largas o cortas en los tokens o proyectos discutidos en este artículo.

---

El protocolo Gensyn entrena sin confianza redes neuronales a hiperescala con un orden de magnitud inferior... Fue publicado originalmente en El blog de CoinFund En Medio, donde la gente continúa la conversación destacando y respondiendo a esta historia.

• Coinsmart. El mejor intercambio de Bitcoin y criptografía de Europa.
• Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. ACCESO LIBRE.
• CriptoHawk. Radar de altcoins. Prueba gratis.
• Source: https://blog.coinfund.io/the-gensyn-protocol-trustlessly-trains-neural-networks-at-hyperscale-with-lower-order-of-magnitude-227fe968fabf?source=rss—-f5f136d48fc3—4