Kako zgraditi svoj jezikovni model Bitcoin

To je uvodnik mnenj Aleksandra Svetskega, avtorja »The UnCommunist Manifesto« in ustanovitelja jezikovnega modela Spirit of Satoshi, osredotočenega na Bitcoin.

Jezikovni modeli so v modi in mnogi ljudje samo vzamejo temeljne modele (najpogosteje ChatGPT ali kaj podobnega) in jih nato povežejo z vektorsko zbirko podatkov, tako da ko ljudje svojemu "modelu" postavijo vprašanje, ta odgovori na odgovor s kontekstom iz te vektorske baze podatkov.

Kaj je vektorska baza podatkov? To bom podrobneje razložil v prihodnjem eseju, a preprost način za razumevanje je kot zbirka informacij, shranjenih kot kosi podatkov, ki jih jezikovni model lahko poizveduje in uporabi za ustvarjanje boljših odgovorov. Predstavljajte si »Bitcoin standard«, razdeljen na odstavke in shranjen v tej vektorski bazi podatkov. Temu novemu "modelu" postavite vprašanje o zgodovini denarja. Osnovni model bo dejansko izvedel poizvedbo po zbirki podatkov, izbral najustreznejši del konteksta (nek odstavek iz »Standarda Bitcoin«) in ga nato vnesel v poziv osnovnega modela (v mnogih primerih ChatGPT). Model bi se moral nato odzvati z več pomembno odgovor. To je kul in v nekaterih primerih deluje dobro, vendar ne reši temeljnih težav z glavnim šumom in pristranskostjo, ki so ji podvrženi osnovni modeli med svojim usposabljanjem.

To poskušamo narediti pri Spirit of Satoshi. Pred približno šestimi meseci smo izdelali model, podoben zgoraj opisanemu, ki ga lahko preizkusite tukaj. Opazili boste, da z nekaterimi odgovori ni slab, vendar ne more zadržati pogovora in se zelo slabo obnese, ko gre za sranje in stvari, ki bi jih poznal pravi Bitcoiner.

Zato smo spremenili naš pristop in iz nič gradimo celoten jezikovni model. V tem eseju bom nekaj govoril o tem, da boste razumeli, kaj to pomeni.

Bolj 'osnovan' jezikovni model Bitcoin

Misija za izgradnjo bolj »temeljenega« jezikovnega modela se nadaljuje. Izkazalo se je, da je bolj vpleten, kot sem celo mislil, ne od a “tehnično zapleteno” stališča, ampak bolj z a "Prekleto, to je dolgočasno" stališče.

Vse se vrti okoli podatkov. Pa ne kvantiteta podatkov, ampak kvaliteta in oblika podatkov. Verjetno ste že slišali, da piflarji govorijo o tem, in tega ne cenite zares, dokler stvari dejansko ne začnete podajati modelu in dobite rezultat ... kar ni nujno tisto, kar ste želeli.

Podatkovni cevovod je tam, kjer je vse delo. Moraš zbiranje in kurati podatke, potem morate ekstrakt to. Potem morate programsko čiščenje to (nemogoče je izvesti prvo čiščenje ročno).

Potem vzamete te programsko očiščene, neobdelane podatke in morate preoblikovanje v več podatkov Oblike (pomislite na pare vprašanj in odgovorov ali pomensko koherentne dele in odstavke). To morate storiti tudi programsko, če imate opravka s kopico podatkov — kar velja za jezikovni model. Smešno, drugi jezikovni modeli so pravzaprav dobri za to nalogo! Jezikovne modele uporabljate za gradnjo novih jezikovnih modelov.

Potem, ker bo tam verjetno ostalo veliko smeti in nepomembnih smeti, ki jih ustvari kateri koli jezikovni model, ki ste ga uporabili za programsko pretvorbo podatkov, morate narediti bolj intenzivno čiščenje.

Ta kjer potrebujete človeško pomoč, ker se na tej stopnji zdi, da so ljudje še vedno edina bitja na planetu, ki imajo potrebna sredstva za razlikovanje in določanje kakovost. Algoritmi lahko nekako to naredijo, vendar še ne tako dobro z jezikom - še posebej v bolj niansiranih, primerjalnih kontekstih - kjer je bitkoin nepogrešljiv.

V vsakem primeru je to narediti v velikem obsegu neverjetno težko, razen če nimate vojske ljudi, ki vam lahko pomagajo. Ta vojska ljudi so lahko plačanci, ki jih nekdo plača, na primer OpenAI, ki ima več denarja kot Bog, ali pa so lahko misijonarji, kar skupnost bitcoinov na splošno je (pri Spirit of Satoshi smo zelo srečni in hvaležni za to). Posamezniki pregledajo postavke podatkov in enega za drugim izberejo, ali bodo podatke obdržali, zavrgli ali spremenili.

Ko gredo podatki skozi ta postopek, imate na drugem koncu nekaj čistega. Seveda je tukaj vpletenih več zapletov. Zagotoviti morate na primer, da so slabi akterji, ki poskušajo pokvariti vaš proces čiščenja, izločeni ali da so njihovi vložki zavrženi. To lahko storite na več načinov in vsak to počne nekoliko drugače. Lahko pregledate ljudi na poti, lahko zgradite nekakšen model soglasja o notranjem čiščenju, tako da je treba doseči pragove, da se podatkovne postavke obdržijo ali zavržejo, itd. Pri Spirit of Satoshi delamo mešanico obojega in predvidevam, da bomo videli, kako učinkovit je v prihodnjih mesecih.

Zdaj ... ko boste dobili te čudovite čiste podatke, konec tega "cevovod,” potem morate format spet v pripravah na "trening"model.

V tej zadnji fazi pridejo v poštev grafične procesne enote (GPE) in je pravzaprav tisto, na kar večina ljudi pomisli, ko slišijo za gradnjo jezikovnih modelov. Vse druge stvari, ki sem jih obravnaval, so na splošno prezrte.

Ta stopnja domačega raztezanja vključuje usposabljanje serije modelov in igranje s parametri, mešanicami podatkov, količino podatkov, tipi modelov itd. To lahko hitro postane drago, zato je najbolje, da imate nekaj prekleto dobrih podatkov in bolje je, da začnete z manjšimi modeli in nadaljujete svojo pot navzgor.

Vse je eksperimentalno in tisto, kar dobite na drugi strani, je ... rezultat…

Neverjetno je, kakšne stvari si ljudje pričaramo. Kakorkoli…

Pri Spirit of Satoshi je naš rezultat še vedno v nastajanju in na njem delamo na več načinov:

1. Prosimo prostovoljce, da nam pomagajo zbrati in kurirati najbolj relevantne podatke za model. To počnemo pri Repozitorij Nakamoto. To je repozitorij vseh knjig, esejev, člankov, blogov, videoposnetkov in podcastov na YouTubu o Bitcoinu in povezanih z njim ter perifernimi napravami, kot so dela Friedricha Nietzscheja, Oswalda Spenglerja, Jordana Petersona, Hans-Hermanna Hoppeja, Murrayja Rothbarda, Carla Junga, sveto pismo itd.

   Tam lahko iščete karkoli in dostopate do URL-ja, besedilne datoteke ali PDF-ja. Če prostovoljec nečesa ne najde ali meni, da je treba to vključiti, lahko »doda« zapis. Če pa dodajo smeti, ne bodo sprejeti. V idealnem primeru bodo prostovoljci predložili podatke kot datoteko .txt skupaj s povezavo.

2. Lahko tudi člani skupnosti dejansko nam pomagajo očistiti podatke in zaslužiti sats. Se spomnite tiste misijonarske stopnje, ki sem jo omenil? No, to je to. Kot del tega uvajamo celotno zbirko orodij in udeleženci bodo lahko igrali »FUD buster« in »rank replies« ter vse vrste drugih stvari. Za zdaj je kot Tinderjeva izkušnja ohranjanja/zavrženja/komentiranja podatkovnega vmesnika za čiščenje tega, kar je v pripravi.

   To je način za ljudi, ki so se leta učili in razumeli Bitcoin, da to "delo" spremenijo v sats. Ne, ne bodo obogateli, lahko pa prispevajo k nečemu, kar se jim zdi vreden projekt, in ob tem nekaj zaslužijo.

Verjetnostni programi, ne AI

V nekaj prejšnjih esejih sem trdil, da je »umetna inteligenca« napačen izraz, ker is umetno, je ne inteligenten — poleg tega pa je bila pornografija strahu, ki obdaja umetno splošno inteligenco (AGI), popolnoma neutemeljena, ker dobesedno ni nevarnosti, da bi ta stvar postala spontano čuteča in nas vse ubila. Nekaj ​​mesecev kasneje sem v to še bolj prepričan.

Pomislim na odličen članek Johna Carterja "Generativa AI mi je že dolgčas" in bil je tako na mestu.

Pravzaprav ni nič čarobnega ali inteligentnega v zvezi s temi AI stvarmi. Bolj ko se igramo z njim, več časa porabimo za dejansko ustvarjanje svojega, bolj se zavedamo, da tu ni občutka. Ne dogaja se nobeno dejansko razmišljanje ali sklepanje. Agencije ni. To so samo "programi verjetnosti".

Način, kako so označeni, in izrazi, ki se uporabljajo, ne glede na to, ali gre za »AI« ali »stroj učenje” ali “agenti,” je pravzaprav največ strahu, negotovosti in dvomov.

Te oznake so samo poskus opisa nabora procesov, ki so resnično drugačni od česar koli, kar počne človek. Težava jezika je, da ga takoj začnemo antropomorfizirati, da bi ga razumeli. In pri tem je občinstvo oziroma poslušalec tisti, ki Frankensteinovi pošasti vdahne življenje.

AI je št življenje, ki ni tisto, kar mu daš s svojo lastno domišljijo. To je približno enako z vsako drugo namišljeno, eshatološko grožnjo.

(Vstavite primere glede podnebnih sprememb, nezemljanov ali česar koli drugega, kar se dogaja na Twitterju/X.)

To je seveda zelo uporabno za globo-homo birokrate, ki želijo vsako takšno orodje/program/stroj uporabiti za lastne namene. Predejo zgodbe in pripovedi, še preden so lahko shodili, in tale je šele zadnja, ki se vrti. In ker je večina ljudi lemingov in bodo verjeli vsemu, kar ima povedati nekdo, ki se sliši za nekaj točk IQ pametnejši od njih, bodo to uporabili sebi v prid.

Spomnim se, da sem govoril o regulaciji, ki prihaja po plinovodu. Opazil sem, da prejšnji teden ali prejšnji teden zdaj obstajajo "uradne smernice" ali nekaj podobnega za generativno umetno inteligenco - z dovoljenjem naših birokratskih gospodarjev. Kaj to pomeni, pravzaprav nihče ne ve. Zamaskiran je v isti nesmiselni jezik, kot so vsi drugi njihovi predpisi. Končni rezultat je še enkrat: "Mi napišemo pravila, uporabljamo orodja tako, kot želimo, vi jih morate uporabljati tako, kot vam rečemo, drugače."

Najbolj smešno pa je, da je kup ljudi navijal za to, misleč, da so nekako bolj varni pred namišljeno pošastjo, ki je nikoli ni bilo. Pravzaprav bodo tem agencijam verjetno pripisali zasluge, da so nas "rešile pred AGI", ker se to nikoli ni uresničilo.

Spominja me na tole:

Ko sem objavil zgornjo sliko na Twitterju, mi je število idiotov, ki so se odzvali z resničnim prepričanjem, da je bilo izogibanje tem katastrofam posledica povečanega birokratskega posredovanja, povedalo vse, kar sem moral vedeti o stopnji kolektivne inteligence na tej platformi.

Kljub temu smo tukaj. Ponovno. Ista zgodba, novi liki.

Žal – glede tega lahko res malo storimo, razen da se osredotočimo na lastne stvari. Nadaljevali bomo, kar smo si zadali.

Postal sem manj navdušen nad "GenAI" na splošno in imam občutek, da veliko navdušenja izzveni, ko se pozornost ljudi spet preusmeri na nezemljane in politiko. Prav tako sem manj prepričan, da je tukaj nekaj bistveno transformativnega - vsaj do stopnje, kot sem mislil pred šestimi meseci. Morda se bo izkazalo, da se motim. Mislim, da imajo ta orodja latenten, neizkoriščen potencial, vendar je ravno to: latenten.

Mislim, da moramo biti bolj realistični glede tega, kaj so (namesto umetna inteligenca jih je bolje imenovati "programi verjetnosti") in to bi dejansko lahko pomenilo, da porabimo manj časa in energije za puste sanje in se bolj osredotočimo na izdelavo uporabnih aplikacij. V tem smislu ostajam radoveden in previdno optimističen, da se bo nekaj uresničilo, in verjamem, da se bo nekje v povezavi med Bitcoinom, verjetnostnimi programi in protokoli, kot je Nostr, pojavilo nekaj zelo uporabnega.

Upam, da bomo lahko sodelovali pri tem, in vesel bi bil, da bi tudi vi sodelovali, če vas zanima. V ta namen vas bom vse prepustil vašemu dnevu in upam, da je bil to koristen 10-minutni vpogled v to, kaj je potrebno za izgradnjo jezikovnega modela.

To je gostujoča objava Aleksandra Svetskega. Izražena mnenja so v celoti njihova lastna in ne odražajo nujno mnenj BTC Inc ali Bitcoin Magazine.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Avtomobili/EV, Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• ChartPrime. Izboljšajte svojo igro trgovanja s ChartPrime. Dostopite tukaj.
• BlockOffsets. Posodobitev okoljskega offset lastništva. Dostopite tukaj.
• vir: https://bitcoinmagazine.com/culture/how-to-build-your-own-bitcoin-language-model