Gensyn-protokollen trener tillitsløst nevrale nettverk i hyperskala med lavere størrelsesorden ...

Gensyn-protokollen trener tillitsløst nevrale nettverk i hyperskala med lavere kostnadsstørrelse

lenker: Gensyn nettside, Papir, CoinFund-portefølje, TechCrunch-artikkel link

Sammendrag av investeringsoppgaven

• Sekulær utnyttelse til ML voksende kompleksitet og verdi: Beregningskompleksiteten til toppmoderne AI-systemer dobles hver tredje måned, mens verdien av disse modellene fortsetter å øke raskt, mens den tidligere black-box-naturen til disse algoritmene nå i økende grad kan tilpasses med større menneskeforståelige illuminatorer.
• Ny design for koordinering og verifikasjonssystem: Gensyn bygger et verifiseringssystem (testnet v1 vil bli distribuert senere i år) som effektivt løser tilstandsavhengighetsproblemet i nevrale nettverkstrening i alle skalaer. Systemet kombinerer modelltreningssjekkpunkter med sannsynlighetssjekker som avsluttes i kjeden. Den gjør alt dette tillitsløst, og overhead skaleres lineært med modellstørrelse (holder bekreftelseskostnadene konstante).
• Tematisk fokus på AI desentralisering: De fleste av de velkjente eksemplene på maskinlæringsapplikasjoner (Tesla selvkjørende biler, Google DeepMind) er produsert av samme sett med selskaper, det er fordi dyplæringsindustrien for tiden ser ut som et monopolspill mellom Big Tech-selskaper, som samt stater som Kina og USA. Disse kreftene resulterer i enorme sentraliseringskrefter som strider mot web3 og til og med den historiske opprinnelsen til web1.

CoinFund er stolte av å støtte Gensyn Protocols nylige innsamling og teamets visjon om å muliggjøre tillitsløst opplæring av nevrale nettverk i hyperskala og lave kostnader gjennom deres nye verifiseringssystem. Bruker sannsynlighetssjekker som avsluttes i kjeden mens du trykker på underutnyttede og underbrukte datakilder som spenner fra for tiden underutnyttede spill-GPUer til sofistikerte ETH1-gruvebassenger som er i ferd med å løsrive seg fra Ethereum-nettverket ettersom nettverket går over til Proof of Stake, Gensyn-protokollen krever ingen administrativ tilsynsmann eller rettshåndhevelse, snarere forenkler oppgavedistribusjon og betalinger programmatisk gjennom smarte kontrakter. Enda bedre, protokollens desentraliserte natur betyr at den til syvende og sist vil bli styrt av majoritetssamfunn og ikke kan "slå av" uten samfunnets samtykke; dette gjør den motstandsdyktig mot sensur, i motsetning til web2-motpartene. Til syvende og sist tror vi Gensyn spiller for å bli det grunnleggende laget for web3-native ML-databehandling, ettersom tredjepartsdeltakere til slutt bygger rike brukeropplevelser og spesifikk funksjonalitet i en rekke nisjer.

Del 1: Introduksjon til dyp lærings flertiårige sekulære vekst

Hvert ansikt du ser på en videosamtale og all lyden du hører blir manipulert. For å forbedre samtalekvaliteten, nevrale nettverk selektivt juster oppløsningen i Zoom og undertrykke bakgrunnsstøy i Microsoft Teams. Nyere fremskritt ser til og med video med lavere oppløsning 'drømte' til en høyere oppløsning. Nevrale nettverk er modellene som brukes i dyplæringsgrenen av kunstig intelligens. De er løst basert på strukturen til Menneskehjerne og har utallige applikasjoner, kanskje til slutt skaper kunstig intelligens på menneskelig nivå. Større modeller gir generelt bedre resultater, og maskinvaren som kreves for state-of-the-art utvikling dobles hver tredje måned. Denne eksplosjonen i utvikling har gjort dyp læring til en grunnleggende del av den moderne menneskelige opplevelsen. I 2020, et nevralt nettverk opererte radaren på et amerikansk spionfly, skriver nå språkmodeller bedre svindel-e-poster enn mennesker, og selvkjørende bilalgoritmer utkonkurrere mennesker i mange miljøer.

GPT-3 175B, den største GPT-3-modellen foreslått av OpenAI i Brown et al. (2020) brukte en klynge med 1,000 NVIDIA Tesla V100 GPUer til trening – omtrent tilsvarende 355 års trening på en enkelt enhet. DALL-E fra Ramesh et al. (2021), en annen Transformer-modell fra OpenAI, har 12 milliarder parametere og ble trent på over 400 millioner bildetekster. OpenAI bar kostnadene ved å trene DALL-E, men nektet kontroversielt å åpne kildekode-modellen, noe som betyr at kanskje en av de viktigste toppmoderne multimodale dyplæringsmodellene fortsatt er utilgjengelig for alle bortsett fra noen få utvalgte. Det enorme ressursbehovet for å bygge disse grunnmodeller skape betydelige barrierer for tilgang, og uten en metode for å samle ressurser mens den fortsatt fanger verdi, vil det sannsynligvis føre til stagnasjon i AI-fremgangen. Mange tror at disse generaliserte modellene er nøkkelen til å låse opp Artificial General Intelligence (AGI), noe som gjør at dagens treningsmetode i isolerte, kunstige siloer virker absurd.

Nåværende løsninger som gir tilgang til dataforsyning er enten oligopolistiske og dyre eller ganske enkelt ubrukelig gitt kompleksiteten i beregningen som kreves for storskala AI. Å møte ballongbehovet krever et system som kostnadseffektivt utnytter alle tilgjengelig databehandling (i motsetning til dagens ~40 % globale prosessorutnyttelse). Det som forsterker dette problemet akkurat nå, er det faktum at selve dataforsyningen er hemmet av asymptotisk fremskritt i mikroprosessorytelse — ved siden av forsyningskjeden og geopolitiske chip mangel.

Del 2: Hvorfor er Gensyns koordinering nødvendig?

Den grunnleggende utfordringen med å bygge dette nettverket er verifiseringen av fullført ML-arbeid. Dette er et svært komplekst problem som befinner seg i skjæringspunktet mellom kompleksitetsteori, spillteori, kryptografi og optimalisering. Foruten menneskelig kunnskap innen modelldesign, er det tre grunnleggende problemer som bremser fremdriften av anvendt ML, 1) tilgang til datakraft; 2) tilgang til data; og 3) tilgang til kunnskap (grunnsannhetsmerking). Gensyn løser det første problemet ved å gi on-demand tilgang til globalt skalerbar databehandling til sin rettferdige markedspris, mens Gensyn Foundation vil søke å oppmuntre til løsninger på to og tre gjennom forskning, finansiering og samarbeid med andre protokoller.

Nærmere bestemt gjør tilgang til overlegne prosessorer det mulig å trene stadig mer store/komplekse modeller. I det siste tiåret har transistortetthetsgevinster og fremskritt i minnetilgangshastighet/parallellisering dramatisk redusert treningstiden for store modeller. Virtuell tilgang til denne maskinvaren, via skygiganter som AWS og Alibaba, har samtidig utvidet adopsjonen. Følgelig er det stor statlig interesse for å skaffe midler til å produsere toppmoderne prosessorer. Fastlands-Kina har ennå ikke ende-til-ende-evnen til å produsere toppmoderne halvledere (nemlig silisiumskiver), en viktig komponent i prosessorer. De må importere disse, spesielt fra TSMC (Taiwan Semiconductor Manufacturing Company). Chipleverandører forsøker også å blokkere andre kunder fra å få tilgang til chipprodusenter ved å kjøpe opp tilbud. På delstatsnivå har USA vært aggressivt blokkerende ethvert trekk fra kinesiske selskaper for å anskaffe denne teknologien. Lenger opp i teknologistabelen har noen selskaper gått så langt som å lage sin egen spesifikke maskinvare for dyp læring, som Googles TPU-klynger. Disse utkonkurrerer standard GPU-er ved dyp læring og er ikke tilgjengelig for salg, kun for utleie.

En kraftig økning av omfanget av tilgjengelig databehandling, samtidig som enhetskostnadene reduseres, åpner døren til et helt nytt paradigme for dyp læring for både forsknings- og industrimiljøer. Forbedringer i skala og kostnader gjør at protokollen kan bygge opp et sett med allerede utprøvde, forhåndstrente basismodeller – også kjent som Grunnleggende modeller– på lignende måte som modell dyreparker av populære rammer. Dette lar forskere og ingeniører åpent forske og trene overlegne modeller over store åpne datasett, på en lignende måte som Eleuther prosjekt. Disse modellene vil løse noen av menneskehetens grunnleggende problemer uten sentralisert eierskap eller sensur. Kryptografi, spesielt funksjonell kryptering, vil tillate protokollen å bli utnyttet over private data på forespørsel. Enorme grunnmodeller kan deretter finjusteres av alle som bruker et proprietært datasett, og opprettholder verdien/personvernet i disse dataene, men fortsatt deler kollektiv kunnskap innen modelldesign og forskning.

Del 3: Gensyn driver Web3-native datasentralisering

Internett kan ha blitt født av den amerikanske regjeringen på 1960-tallet, men på 1990-tallet var det et anarkisk nett av kreativitet, individualisme og muligheter. I god tid før Google lagret TPU-er, forsøkte prosjekter som SETI@home å oppdage fremmedliv ved å crowdsourcing desentralisert datakraft. Innen år 2000 hadde SETI@home en behandlingshastighet på 17 Teraflops, som er over det dobbelte av ytelsen til den beste superdatamaskinen på den tiden, IBM ASCI White. Denne tidsperioden kalles vanligvis 'web1', et øyeblikk før hegemoniet til store plattformer som Google eller Amazon (web2), men desentralisert databehandling vaklet i skalering for å møte de første behovene til internett, på grunn av flere problemer på den tiden.

Den nåværende sentraliseringen av nettinfrastruktur til enorme web2-plattformer skaper imidlertid sine egne problemer, for eksempel kostnader (AWS' bruttomargin er anslått 61%, som representerer marginkomprimering for de fleste underskalaforskere og datadrevne virksomheter. Samtidig ofrer sentraliserte dataforekomster også kontroll – AWS slo av infrastrukturen til den populære høyreorienterte sosiale medieplattformen Parler med en dags varsel etter Capitol-opprøret 6. januar 2021. Mange var enige i denne avgjørelsen, men presedensen er farlig når AWS vert 42 % av de 10,000 XNUMX beste nettstedene på internett. Trening av dyplæringsmodeller på tvers av desentralisert maskinvare er imidlertid vanskelig på grunn av verifikasjonsproblemet, som Gensyn-protokollen hjelper til med å løse.

Å bygge markedsplassen som en Web3-protokoll fjerner de sentraliserte overheadutgiftene ved skalering, og reduserer inngangsbarrierene for nye leverandørdeltakere, slik at nettverket potensielt kan omfatte alle dataenheter i verden. Å koble alle enheter gjennom et enkelt desentralisert nettverk gir et skalerbarhetsnivå som for øyeblikket er umulig å oppnå gjennom noen eksisterende leverandør, og gir enestående on-demand-tilgang til hele verdens dataforsyning. For sluttbrukere demonterer dette fullstendig dilemmaet mellom kostnad og skala og gir en transparent og rimelig ML-treningsberegning for potensielt uendelig skalerbarhet (opp til verdensomspennende fysiske maskinvaregrenser) og for enhetspriser som bestemmes av markedsdynamikken. Dette omgår de vanlige vollgravene som store leverandører nyter godt av, reduserer prisene betydelig og legger til rette for virkelig global konkurranse på ressursnivå, og vurderer til og med et tilfelle der eksisterende skytjenesteleverandører også ser på Gensyn-protokollen som en distribusjonsvei som komplementerer mer sentralisert førstepartsleverandør. pakketilbud.

Konklusjon:

Med AI som er et nesten like populært moteord som kryptovaluta og blokkjeder, må avhandlingen vår for investering i Gensyn som forhåndsvises her bestå testene av å være enkel å forstå og bevisstøtte, samtidig som den er like ambisiøs i å tynne ut mulighetene som er satt for protokollens evne til å legge til verdi et i utgangspunktet målrettet men generaliserbart ressursnettverk hjemmehørende i web3. Med Gensyn-protokollen tror vi at vi ser begynnelsen på et hyperskalerbart, kostnadseffektivt koordineringsnettverk som baner vei for enda mer verdifull innsikt som legger grunnlaget for utallige applikasjoner i fremtiden.

Om CoinFund

CoinFund er et mangfoldig, ledende blockchain-fokusert investeringsselskap grunnlagt i 2015, basert i USA. Til sammen har vi en omfattende merittliste og erfaring innen kryptovaluta, tradisjonell aksje, kreditt, private equity og ventureinvesteringer. CoinFund-strategiene spenner over både likvide markeder og venturemarkeder og drar nytte av vår tverrfaglige tilnærming som synkroniserer teknisk kryptonativ evne med tradisjonell finanserfaring. Med en "founders first"-tilnærming, samarbeider CoinFund tett med sine porteføljeselskaper for å drive innovasjon på tvers av det digitale aktivaområdet.

Ansvarsfraskrivelse

Innholdet som tilbys på dette nettstedet er kun for informasjons- og diskusjonsformål og skal ikke stoles på i forbindelse med en bestemt investeringsbeslutning eller tolkes som et tilbud, anbefaling eller oppfordring angående noen investering. Forfatteren støtter ikke noe selskap, prosjekt eller token som er omtalt i denne artikkelen. All informasjon presenteres her «som den er», uten noen form for garanti, enten det er uttrykkelig eller underforstått, og eventuelle fremtidsrettede utsagn kan vise seg å være feil. CoinFund Management LLC og dets tilknyttede selskaper kan ha lange eller korte posisjoner i tokens eller prosjekter som er omtalt i denne artikkelen.

---

Gensyn-protokollen trener tillitsløst nevrale nettverk i hyperskala med lavere størrelsesorden ... ble opprinnelig publisert i CoinFund-bloggen på Medium, der folk fortsetter samtalen ved å markere og svare på denne historien.

• Myntsmart. Europas beste Bitcoin og Crypto Exchange.
• Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. FRI TILGANG.
• CryptoHawk. Altcoin Radar. Gratis prøveperiode.
• Source: https://blog.coinfund.io/the-gensyn-protocol-trustlessly-trains-neural-networks-at-hyperscale-with-lower-order-of-magnitude-227fe968fabf?source=rss—-f5f136d48fc3—4