Gensyn-protokolla kouluttaa hermoverkkoja luotettavasti hyperskaalassa alemmalla suuruusluokalla…

Julkaissut Platon

seuraajia: 0

Gensyn-protokolla kouluttaa hermoverkkoja luotettavasti hypermittakaavassa pienemmillä kustannuksilla

Linkit: Gensynin verkkosivusto, Litepaper, CoinFund-salku, TechCrunch-artikkeli Linkki

Sijoitustyön yhteenveto

Maallinen vipuvaikutus ML:n monimutkaisuuden ja arvon kasvattamiseen: Uusimpien tekoälyjärjestelmien laskennallinen monimutkaisuus kaksinkertaistuu kolmen kuukauden välein, samalla kun näiden mallien arvo jatkaa nopeaa kasvuaan, kun taas näiden algoritmien entinen musta laatikko -luonne soveltuu nyt entistä paremmin ihmisen ymmärrettäviä valaisimia.
Uusi koordinointi- ja todentamisjärjestelmän suunnittelu: Gensyn rakentaa varmennusjärjestelmää (testnet v1 otetaan käyttöön myöhemmin tänä vuonna), joka ratkaisee tehokkaasti tilariippuvuusongelman hermoverkkokoulutuksessa missä tahansa mittakaavassa. Järjestelmä yhdistää mallikoulutuksen tarkistuspisteet todennäköisyystarkistuksiin, jotka päättävät ketjun. Se tekee kaiken tämän luottamuksellisesti, ja yleiskustannukset skaalautuvat lineaarisesti mallin koon mukaan (pitäen varmennuskustannukset vakioina).
Temaattinen keskittyminen tekoälyn hajauttamiseen: Suurin osa tunnetuista koneoppimissovelluksista (Teslan itseohjautuvat autot, Google DeepMind) on tuottanut samat yritykset, koska syväoppimisteollisuus näyttää tällä hetkellä Big Tech -yritysten väliseltä monopolipeliltä. sekä osavaltiot kuten Kiina ja Yhdysvallat. Nämä voimat johtavat valtaviin keskittämisvoimiin, jotka ovat ristiriidassa web3:n ja jopa web1:n historiallisen alkuperän kanssa.

Gensyn-protokolla kouluttaa luotettavasti hermoverkkoja hyperskaalassa alemmalla suuruusluokalla… PlatoBlockchain-tietoälykkyys. Pystysuuntainen haku. Ai.

CoinFund tukee ylpeänä Gensyn Protocolin äskettäistä varainkeruuta ja tiimin visio mahdollistaa hermoverkkojen luottamaton kouluttaminen hypermittakaavassa ja alhaisin kustannuksin uuden varmennusjärjestelmän avulla. Hyödyntämällä todennäköisyystarkistuksia, jotka päättävät ketjun napauttamalla sisään vajaakäytetyt ja vajaakäytetyt laskentalähteet, jotka vaihtelevat tällä hetkellä vajaakäytössä olevista pelin GPU:ista kehittyneisiin ETH1-kaivospooleihin, jotka ovat pian irtautumassa Ethereum-verkosta, koska verkko siirtyy Proof of Stakeen, Gensyn-protokolla ei vaadi hallinnollista valvojaa tai laillista valvontaa, vaan helpottaa tehtävien jakamista ja maksuja ohjelmallisesti. älykkäitä sopimuksia. Vielä parempi, pöytäkirjan hajautettu luonne tarkoittaa, että se on viime kädessä enemmistöyhteisön hallinnassa, eikä sitä voida "sammuttaa" ilman yhteisön suostumusta. Tämä tekee siitä sensuurin kestävän, toisin kuin sen web2-vastineet. Viime kädessä uskomme, että Gensyn pyrkii tulemaan web3:n alkuperäisen ML-laskennan perustaksi, kun kolmannen osapuolen osallistujat rakentavat lopulta monipuolisia käyttökokemuksia ja erityisiä toimintoja useissa markkinarakoissa.

Osa 1: Johdatus Deep Learningin monivuotiseen maalliseen kasvuun

Kaikki videopuhelussa näkemäsi kasvot ja kaikki kuulemasi ääni manipuloidaan. Parantaa puhelun laatua, neuroverkot selektiivisesti säädä resoluutiota Zoomissa ja vaimentaa taustamelua Microsoft Teamsissa. Uusimmat edistysaskeleet voivat nähdä jopa alhaisemman resoluution videoita 'uneksin' korkeampaan resoluutioon. Neuroverkot ovat tekoälyn syväoppimishaaroissa käytettyjä malleja. Ne perustuvat löyhästi sen rakenteeseen ihmisaivot ja niillä on lukemattomia sovelluksia, kenties lopulta luoden ihmistason tekoälyä. Suuremmat mallit tuottavat yleensä parempia tuloksia, ja huippuluokan kehittämiseen tarvittava laitteisto kaksinkertaistuu kolmen kuukauden välein. Tämä räjähdysmäinen kehitys on tehnyt syvästä oppimisesta perustavanlaatuisen osan modernin ihmisen kokemusta. Vuonna 2020 neuroverkko käytti tutkaa Yhdysvaltain vakoilukoneessa kielimallit kirjoittavat nyt parempia huijausviestejä kuin ihmiset, ja itseajavien autojen algoritmit suoriutua paremmin kuin ihmiset monissa ympäristöissä.

GPT-3 175B, suurin OpenAI:n vuonna ehdottama GPT-3-malli Brown et ai. (2020) käytti koulutukseen 1,000 100 NVIDIA Tesla V355 -grafiikkasuorittimen klusteria – mikä vastaa suunnilleen XNUMX vuoden koulutusta yhdellä laitteella. DALL-E alkaen Ramesh et ai. (2021), toinen OpenAI:n Transformer-malli, jolla on 12 miljardia parametria ja se on koulutettu yli 400 miljoonan kuvatekstikuvan suhteen. OpenAI kantoi DALL-E:n koulutuksen kustannuksista, mutta kiistanalainen kieltäytyi avoimen lähdekoodin mallista, mikä tarkoittaa, että ehkä yksi tärkeimmistä huippumoderneista multimodaalisista syväoppimismalleista on kaikkien paitsi muutamien valittujen ulottumattomissa. Valtavat resurssivaatimukset näiden rakentamiseen perusmallit luo merkittäviä esteitä pääsylle, ja ilman menetelmää resurssien yhdistämiseksi samalla, kun samalla kerätään arvoa, se aiheuttaa todennäköisesti tekoälyn kehityksen pysähtymistä. Monet uskovat, että nämä yleiset mallit ovat avain keinotekoisen yleisen älykkyyden (AGI) avaamiseen, mikä tekee nykyisestä harjoittelumenetelmästä eristetyissä, keinotekoisissa siiloissa absurdilta.

Nykyiset ratkaisut, jotka tarjoavat pääsyn laskentaan, ovat joko oligopolistisia ja kalliita tai yksinkertaisesti mahdoton toteuttaa suuren mittakaavan tekoälyn vaatiman laskennan monimutkaisuuden vuoksi. Ilmapallokysynnän täyttäminen vaatii kustannustehokkaasti hyödyntävän järjestelmän kaikki käytettävissä oleva laskenta (toisin kuin nykypäivän noin 40 %:n globaali prosessorin käyttöaste). Tätä ongelmaa pahentaa juuri nyt se, että itse laskentatarjonta on häiriintynyt asymptoottinen edistyminen mikroprosessorin suorituskyvyssä - rinnalla toimitusketju ja geopoliittinen sirupulaa.

Osa 2: Miksi Gensynin koordinaatiota tarvitaan?

Perushaasteena tämän verkoston rakentamisessa on suoritetun ML-työn todentaminen. Tämä on erittäin monimutkainen ongelma, joka sijaitsee monimutkaisuusteorian, peliteorian, kryptografian ja optimoinnin risteyksessä. Inhimillisen tietämyksen lisäksi mallin suunnittelussa on kolme perusongelmaa, jotka hidastavat sovelletun ML:n etenemistä: 1) pääsy laskentatehoon; 2) pääsy tietoihin; ja 3) tiedon saatavuus (totuusmerkintä). Gensyn ratkaisee ensimmäisen ongelman tarjoamalla on-demand pääsyn maailmanlaajuisesti skaalautuvaan laskentaan sen käypään markkinahintaan, kun taas Gensyn Foundation pyrkii rohkaisemaan ratkaisuja kahteen ja kolmeen tutkimuksen, rahoituksen ja yhteistyön avulla muiden protokollien kanssa.

Erityisesti pääsy ylivertaisiin prosessoreihin mahdollistaa yhä suurempien/monimutkaisempien mallien koulutuksen. Kuluneen vuosikymmenen aikana transistorin tiheyden lisääntyminen ja muistin käyttönopeuden/rinnakkaistoiminnan edistyminen ovat lyhentäneet dramaattisesti suurten mallien harjoitusaikoja. Virtuaalinen pääsy tähän laitteistoon pilvijättiläisten, kuten AWS:n ja Alibaban, kautta on samanaikaisesti laajentanut käyttöä. Näin ollen valtiolla on vahva kiinnostus hankkia keinoja tuottaa huippuluokan prosessoreja. Manner-Kiinalla ei vielä ole täydellistä kykyä tuottaa huippuluokan puolijohteita (eli piikiekkoja), jotka ovat olennainen osa prosessoreissa. Heidän on tuotava nämä, erityisesti TSMC:ltä (Taiwan Semiconductor Manufacturing Company). Sirujen myyjät yrittävät myös estää muita asiakkaita saamasta siruvalmistajia ostamalla tarjontaa. Osavaltiotasolla Yhdysvallat on ollut aggressiivisesti estämällä kaikki kiinalaiset yritykset hankkiakseen tämän teknologian. Tekniikkapinon edetessä jotkin yritykset ovat edenneet niin pitkälle kuin luoneet omia syväoppimiseen liittyviä laitteistoja, kuten Googlen TPU-klusterit. Nämä ovat tehokkaampia kuin tavalliset grafiikkasuorittimet syväoppimisessa, eivätkä ne ole myynnissä, vaan vain vuokrattavissa.

Esteettömän laskennan laajuuden tuntuva kasvattaminen ja samalla sen yksikkökustannusten alentaminen avaa oven täysin uudelle paradigmalle syvälliseen oppimiseen sekä tutkimus- että teollisuusyhteisöille. Mittakaavan ja kustannusten parannukset mahdollistavat sen, että protokolla voi rakentaa joukon jo todistettuja, esikoulutettuja perusmalleja – tunnetaan myös nimellä Perustusmallit-samalla tavalla kuin malli eläintarhat suosituista kehyksistä. Tämä antaa tutkijoille ja insinööreille mahdollisuuden avoimesti tutkia ja kouluttaa ylivoimaisia malleja valtavien avoimien tietokokonaisuuksien yli samalla tavalla kuin Eleuther hanke. Nämä mallit ratkaisevat osan ihmiskunnan perusongelmista ilman keskitettyä omistusta tai sensuuria. Kryptografia, erityisesti toiminnallinen salaus, mahdollistaa protokollan hyödyntämisen yksityisten tietojen yli pyynnöstä. Valtavia perusmalleja voi sitten hienosäätää kuka tahansa omaa tietojoukkoa käyttävä, säilyttäen datan arvon/yksityisyyden, mutta silti jakaa kollektiivista tietoa mallien suunnittelussa ja tutkimuksessa.

Osa 3: Gensyn Drives Web3-Native Data Centralization

Internet saattoi syntyä Yhdysvaltain hallitukselta 1960-luvulla, mutta 1990-luvulla se oli luovuuden, individualismin ja mahdollisuuksien anarkkinen verkko. Ennen kuin Google oli varastoinut TPU:ita, SETI@homen kaltaiset projektit yrittivät löytää avaruusolentoja joukkoistamalla hajautettua laskentatehoa. Vuoteen 2000 mennessä SETI@homen käsittelynopeus oli 17 teraflops, joka on yli kaksinkertainen suorituskykyyn verrattuna tuolloin parhaan supertietokoneen, IBM ASCI Whiten, suorituskykyyn. Tätä ajanjaksoa kutsutaan yleisesti nimellä "web1", hetki ennen suurten alustojen, kuten Googlen tai Amazonin (web2) hegemoniaa, mutta hajautettu laskenta horjui skaalautuksessa vastaamaan Internetin alkuperäisiin tarpeisiin useiden silloisten ongelmien vuoksi.

Nykyinen verkkoinfrastruktuurin keskittäminen valtaviin web2-alustoihin aiheuttaa kuitenkin omia ongelmia, kuten kustannuksia (AWS:n bruttokate on arvio 61%, edustaa marginaalin supistumista useimmille alamittakaavan tutkijoille ja tietopohjaisille yrityksille. Samaan aikaan keskitetyt laskenta-instanssit uhraavat myös hallinnan – AWS sulki suositun oikeistolaisen sosiaalisen median Parlerin infrastruktuurin yhden päivän varoitusajalla 6. tammikuuta 2021 Capitol Riot -tapahtuman jälkeen. Monet olivat samaa mieltä tästä päätöksestä, mutta ennakkotapaus on vaarallinen AWS:ssä isännät 42 % Internetin 10,000 XNUMX parhaan sivuston joukossa. Syvien oppimismallien kouluttaminen hajautettujen laitteistojen välillä on kuitenkin vaikeaa todennusongelman vuoksi, jonka Gensyn-protokolla auttaa ratkaisemaan.

Markkinapaikan rakentaminen Web3-protokollaksi poistaa keskitetyt yleiskustannukset skaalauksesta ja vähentää uusien toimittajien pääsyn esteitä, jolloin verkko voi mahdollisesti kattaa kaikki maailman tietokonelaitteet. Kaikkien laitteiden yhdistäminen yhden hajautetun verkon kautta tarjoaa sellaisen skaalautuvuuden tason, jota ei tällä hetkellä voida saavuttaa minkään olemassa olevan palveluntarjoajan kautta, mikä antaa ennennäkemättömän tilauskäytön koko maailman laskentatarjontaan. Loppukäyttäjille tämä poistaa kustannus-mittakaava-dilemman ja tarjoaa läpinäkyvän ja edullisen ML-koulutuslaskelman, joka mahdollistaa loputtoman skaalautuvuuden (maailmanlaajuisiin fyysisiin laitteistorajoihin asti) ja yksikköhintojen määrittämisen markkinadynamiikan mukaan. Tämä sivuuttaa tavanomaiset vallihautat, joista suuret palveluntarjoajat nauttivat, laskee hintoja merkittävästi ja helpottaa aidosti globaalia kilpailua resurssien tasolla ja ottaa jopa huomioon tapauksen, jossa nykyiset pilvipalvelujen tarjoajat näkevät myös Gensyn-protokollan jakelukanavana, joka täydentää keskitetympää ensimmäisen osapuolen toimintaa. niputettuja tarjouksia.

Johtopäätös:

Koska tekoäly on lähes yhtä suosittu muotisana kuin kryptovaluutta ja lohkoketjut, Gensyniin sijoittamista koskevan opinnäytetyömme on läpäistävä testit siitä, että se on helppo ymmärtää ja todistella, ja samalla on yhtä kunnianhimoinen harventaa protokollan kyvylle asetettuja mahdollisuuksia. tuo lisäarvoa alun perin kohdistettuun mutta yleistettävään resurssiverkostoon, joka on kotoisin web3:sta. Gensyn-protokollan avulla uskomme näkevämme alun hyperskaalautuvalle, kustannustehokkaalle koordinointiverkostolle, joka tasoittaa tietä entistä arvokkaammille oivalluksille, jotka luovat pohjan lukemattomille sovelluksille tulevaisuudessa.

Tietoja CoinFundista

CoinFund on monipuolinen, johtava vuonna 2015 perustettu lohkoketjuihin keskittyvä sijoituspalveluyritys, jonka kotipaikka on Yhdysvalloissa. Meillä on kollektiivisesti laaja kokemus ja kokemus kryptovaluutoista, perinteisestä osakepääomasta, luotoista, pääomasijoituksista ja pääomasijoittamisesta. CoinFund-strategiat kattavat sekä likvidit että riskimarkkinat, ja ne hyötyvät monitieteisestä lähestymistavastamme, joka synkronoi tekniset kryptonsoinnit perinteisen rahoituskokemuksen kanssa. "Founders first" -lähestymistavan avulla CoinFund tekee tiivistä yhteistyötä portfolioyhtiöidensä kanssa edistääkseen innovaatioita digitaalisessa omaisuustilassa.

Vastuun kieltäminen

Tällä sivustolla oleva sisältö on tarkoitettu vain tiedotus- ja keskustelutarkoituksiin, eikä siihen tule luottaa tietyn sijoituspäätöksen yhteydessä tai sitä ei pidä tulkita tarjoukseksi, suositukseksi tai kehotukseksi mistään sijoituksesta. Kirjoittaja ei tue mitään tässä artikkelissa käsiteltyä yritystä, projektia tai tunnusta. Kaikki tiedot esitetään tässä "sellaisenaan" ilman minkäänlaista nimenomaista tai oletettua takuuta, ja kaikki tulevaisuutta koskevat lausumat voivat osoittautua vääriksi. CoinFund Management LLC:llä ja sen tytäryhtiöillä voi olla pitkiä tai lyhyitä positioita tässä artikkelissa käsitellyissä tokeneissa tai projekteissa.

Gensyn-protokolla kouluttaa hermoverkkoja luotettavasti hyperskaalassa alemmalla suuruusluokalla… julkaistiin alun perin CoinFund-blogi Mediumissa, jossa ihmiset jatkavat keskustelua korostamalla tarinaa ja vastaamalla siihen.

Aikaleima: Maaliskuussa 21, 2022