Come costruire il tuo modello di linguaggio Bitcoin

Come costruire il tuo modello di linguaggio Bitcoin

Timestamp: 9 agosto 2023 8:00

Questo è un editoriale di opinione di Aleksandar Svetski, autore di "The UnCommunist Manifesto" e fondatore del modello di linguaggio incentrato su Bitcoin Spirit of Satoshi.

I modelli linguistici sono di gran moda e molte persone prendono solo modelli di base (il più delle volte ChatGPT o qualcosa di simile) e poi li collegano a un database vettoriale in modo che quando le persone fanno una domanda al loro "modello", risponda alla risposta con il contesto da questo database vettoriale.

Che cosa è un banca dati vettoriale? Lo spiegherò più dettagliatamente in un saggio futuro, ma un modo semplice per comprenderlo è come una raccolta di informazioni archiviate come blocchi di dati, che un modello linguistico può interrogare e utilizzare per produrre risposte migliori. Immagina "The Bitcoin Standard", suddiviso in paragrafi e archiviato in questo database vettoriale. Fai a questo nuovo “modello” una domanda sulla storia del denaro. Il modello sottostante interrogherà effettivamente il database, selezionerà la parte di contesto più rilevante (qualche paragrafo da "The Bitcoin Standard") e quindi lo inserirà nel prompt del modello sottostante (in molti casi, ChatGPT). Il modello dovrebbe quindi rispondere con un more pertinente risposta. Questo è interessante e funziona bene in alcuni casi, ma non risolve i problemi di fondo del rumore e dei pregiudizi tradizionali a cui sono soggetti i modelli sottostanti durante la loro formazione.

Questo è ciò che stiamo cercando di fare a Spirit of Satoshi. Abbiamo costruito un modello come quello descritto sopra circa sei mesi fa, che puoi provare qui. Noterai che non è male con alcune risposte, ma non può sostenere una conversazione e funziona davvero male quando si tratta di merda e cose che un vero Bitcoiner saprebbe.

Questo è il motivo per cui abbiamo cambiato il nostro approccio e stiamo costruendo un modello linguistico completo da zero. In questo saggio ne parlerò un po', per darvi un'idea di cosa comporta.

Un modello di linguaggio Bitcoin più "basato".

La missione di costruire un modello linguistico più “basato” continua. Ha dimostrato di essere più coinvolto di quanto pensassi, non da a “tecnicamente complicato” punto di vista, ma più da a "dannazione questo è noioso" punto di vista.

Si tratta di dati. E non la quantità di dati, ma la qualità e il formato dei dati. Probabilmente hai sentito nerd parlare di questo, e non lo apprezzi davvero fino a quando non inizi effettivamente a dare da mangiare a un modello e ottieni un risultato ... che non era necessariamente quello che volevi.

La pipeline di dati è dove si trova tutto il lavoro. Si deve raccogliere ed curato i dati, allora devi estratto Esso. Quindi devi programmaticamente cavedano it (è impossibile eseguire manualmente una pulizia di prima esecuzione).

Quindi prendi questi dati grezzi puliti a livello di programmazione e devi trasformare in più dati formati (si pensi a coppie di domande e risposte, o a blocchi e paragrafi semanticamente coerenti). Questo è necessario anche a livello di codice, se hai a che fare con un sacco di dati, come nel caso di un modello di linguaggio. Abbastanza divertente, altri modelli linguistici sono effettivamente utili per questo compito! I modelli linguistici vengono utilizzati per creare nuovi modelli linguistici.

Nella missione di costruire un modello linguistico più “basato”.

Poi, poiché probabilmente ci saranno un sacco di spazzatura rimasta lì dentro e spazzatura irrilevante generata da qualsiasi modello di linguaggio che hai usato per trasformare i dati a livello di programmazione, devi fare un lavoro più intenso cavedano.

La sezione è dove è necessario ottenere l'aiuto umano, perché in questa fase sembra che gli umani siano ancora le uniche creature sul pianeta con l'agenzia necessaria per differenziare e determinare qualità. Gli algoritmi possono in qualche modo farlo, ma non ancora così bene con il linguaggio, specialmente in contesti comparativi più sfumati, che è dove si trova esattamente Bitcoin.

In ogni caso, farlo su larga scala è incredibilmente difficile a meno che tu non abbia un esercito di persone che ti aiutano. Quell'esercito di persone può essere mercenario pagato da qualcuno, come OpenAI which ha più soldi di Dio, oppure possono essere missionari, che è ciò che in generale è la comunità Bitcoin (siamo molto fortunati e grati per questo a Spirit of Satoshi). Gli individui esaminano gli elementi di dati e uno per uno selezionano se conservare, eliminare o modificare i dati.

Una volta che i dati passano attraverso questo processo, ti ritroverai con qualcosa di pulito dall'altra parte. Naturalmente, ci sono più complessità coinvolte qui. Ad esempio, devi assicurarti che i malintenzionati che stanno cercando di rovinare il tuo processo di pulizia vengano eliminati o che i loro input vengano scartati. Puoi farlo in una serie di modi e ognuno lo fa in modo leggermente diverso. Puoi selezionare le persone che entrano, puoi costruire una sorta di modello di consenso per la pulizia interna in modo che le soglie debbano essere raggiunte per gli elementi di dati da conservare o scartare, ecc. A Spirit of Satoshi, stiamo facendo una fusione di entrambi, e immagino che vedremo quanto sarà efficace nei prossimi mesi.

Ora... una volta che hai questi bellissimi dati puliti alla fine di questo "tubatura,” è quindi necessario formato ancora una volta in preparazione per “formazione" un modello.

Questa fase finale è dove entrano in gioco le unità di elaborazione grafica (GPU), ed è davvero ciò a cui la maggior parte delle persone pensa quando sente parlare di costruzione di modelli linguistici. Tutte le altre cose che ho trattato sono generalmente ignorate.

Questa fase di home-stretch prevede l'addestramento di una serie di modelli e il gioco con i parametri, le miscele di dati, il quantum di dati, i tipi di modello, ecc. Questo può diventare rapidamente costoso, quindi è meglio avere dei dati dannatamente buoni e tu' È meglio iniziare con modelli più piccoli e farsi strada.

È tutto sperimentale, e quello che ottieni dall'altra parte è... un risultato…

È incredibile ciò che noi esseri umani evochiamo. Comunque…

In Spirit of Satoshi, il nostro risultato è ancora in preparazione e ci stiamo lavorando in un paio di modi:

  1. Chiediamo ai volontari di aiutarci a raccogliere e curare i dati più rilevanti per il modello. Lo stiamo facendo a Il deposito di Nakamoto. Questo è un archivio di ogni libro, saggio, articolo, blog, video di YouTube e podcast su e correlato a Bitcoin e accessori come le opere di Friedrich Nietzsche, Oswald Spengler, Jordan Peterson, Hans-Hermann Hoppe, Murray Rothbard, Carl Jung, la Bibbia, ecc.

    Puoi cercare qualsiasi cosa lì e accedere all'URL, al file di testo o al PDF. Se un volontario non riesce a trovare qualcosa, o ritiene che debba essere incluso, può "aggiungere" un record. Se aggiungono spazzatura, però, non saranno accettati. Idealmente, i volontari invieranno i dati come file .txt insieme a un collegamento.

  2. Anche i membri della comunità possono aiutaci effettivamente a pulire i dati e a guadagnare satelliti. Ricordi quella fase missionaria di cui ho parlato? Bene, questo è tutto. Stiamo lanciando un'intera cassetta degli attrezzi come parte di questo, e i partecipanti potranno giocare a "FUD buster" e "classifica risposte" e ogni sorta di altre cose. Per ora, è come un'esperienza di conservazione/eliminazione/commento in stile Tinder sull'interfaccia dati per ripulire ciò che è in cantiere.

    Questo è un modo per le persone che hanno passato anni a conoscere e comprendere Bitcoin per trasformare quel "lavoro" in sats. No, non diventeranno ricchi, ma possono aiutare a contribuire a qualcosa che potrebbero considerare un progetto degno e guadagnare qualcosa lungo la strada.

Programmi di probabilità, non AI

In alcuni saggi precedenti, ho sostenuto che "intelligenza artificiale" è un termine imperfetto, perché mentre is artificiale, è non intelligente - e inoltre, il porno della paura che circonda l'intelligenza artificiale generale (AGI) è stato completamente infondato perché non c'è letteralmente alcun rischio che questa cosa diventi spontaneamente senziente e ci uccida tutti. Pochi mesi dopo e ne sono ancora più convinto.

Ripenso all'eccellente articolo di John Carter "Sono già annoiato dall'intelligenza artificiale generativa" ed era così perfetto.

Non c'è davvero nulla di magico, o intelligente per quella materia, in nessuna di queste cose dell'IA. Più ci giochiamo, più tempo passiamo a costruire il nostro, più ci rendiamo conto che qui non c'è sensibilità. Non c'è alcun vero pensiero o ragionamento in corso. Non c'è agenzia. Questi sono solo "programmi di probabilità".

Il modo in cui sono etichettati e i termini usati, che si tratti di "IA" o "macchina". apprendimento"o" agenti ", è in realtà dove risiede la maggior parte della paura, dell'incertezza e del dubbio.

Queste etichette sono solo un tentativo di descrivere una serie di processi, che sono davvero diversi da qualsiasi cosa faccia un essere umano. Il problema con il linguaggio è che iniziamo immediatamente ad antropomorfizzarlo per dargli un senso. E nel farlo, è il pubblico o l'ascoltatore che dà vita al mostro di Frankenstein.

L'intelligenza artificiale ha no vita diversa da quella che le dai con la tua immaginazione. Questo è più o meno lo stesso con qualsiasi altra minaccia immaginaria ed escatologica.

(Inserisci esempi su cambiamenti climatici, alieni o qualsiasi altra cosa stia succedendo su Twitter/X.)

Questo è, ovviamente, molto utile per i burocrati globo-homo che vogliono utilizzare qualsiasi strumento/programma/macchina di questo tipo per i propri scopi. Girano storie e narrazioni da prima che potessero camminare, e questa è solo l'ultima a girare. E poiché la maggior parte delle persone sono lemming e crederanno a qualunque cosa abbia da dire qualcuno che suona alcuni punti QI più intelligenti di loro, lo useranno a proprio vantaggio.

Ricordo di aver parlato della regolamentazione in arrivo. Ho notato che la scorsa settimana o la settimana prima ora ci sono "linee guida ufficiali" o qualcosa del genere per l'IA generativa, per gentile concessione dei nostri signori burocratici. Cosa significhi, nessuno lo sa davvero. È mascherato nello stesso linguaggio senza senso di tutti gli altri loro regolamenti. Il risultato netto è, ancora una volta, "Scriviamo le regole, possiamo usare gli strumenti nel modo che vogliamo, devi usarli nel modo in cui ti diciamo noi, altrimenti".

La parte più ridicola è che un gruppo di persone ha esultato per questo, pensando di essere in qualche modo più al sicuro dal mostro immaginario che non è mai esistito. Anzi, probabilmente attribuiranno a queste agenzie il merito di “salvarci dall'AGI” perché non si è mai concretizzato.

Mi ricorda questo:

Nella missione di costruire un modello linguistico più “basato”.

Quando ho pubblicato la foto sopra su Twitter, la quantità di idioti che hanno risposto con la sincera convinzione che l'evitamento di queste catastrofi fosse il risultato di un maggiore intervento burocratico mi ha detto tutto ciò che dovevo sapere sul livello di intelligenza collettiva su quella piattaforma.

Tuttavia, eccoci qui. Di nuovo. Stessa storia, nuovi personaggi.

Ahimè, c'è davvero poco che possiamo fare al riguardo, se non concentrarci sulle nostre cose. Continueremo a fare quello che ci siamo prefissati di fare.

Sono diventato meno entusiasta della "GenAI" in generale, e ho la sensazione che gran parte dell'hype stia svanendo mentre l'attenzione della gente si sposta di nuovo sugli alieni e sulla politica. Sono anche meno convinto che qui ci sia qualcosa di sostanzialmente trasformativo, almeno nella misura in cui pensavo sei mesi fa. Forse sarò smentito. Penso che questi strumenti abbiano un potenziale latente e non sfruttato, ma è solo questo: latente.

Penso che dobbiamo essere più realistici su ciò che sono (invece di intelligenza artificiale, è meglio chiamarli "programmi di probabilità") e ciò potrebbe effettivamente significare che dedichiamo meno tempo ed energia a sogni irrealizzabili e ci concentriamo maggiormente sulla creazione di applicazioni utili. In tal senso, rimango curioso e cautamente ottimista sul fatto che qualcosa si materializzi e credo che da qualche parte nel nesso tra Bitcoin, programmi di probabilità e protocolli come Nostr, emergerà qualcosa di molto utile.

Spero che potremo prenderne parte e mi piacerebbe che anche tu ne prendessi parte se sei interessato. A tal fine, vi lascerò tutti alla vostra giornata e spero che questa sia stata un'utile panoramica di 10 minuti su ciò che serve per costruire un modello linguistico.

Questo è un guest post di Aleksander Svetski. Le opinioni espresse sono interamente proprie e non riflettono necessariamente quelle di BTC Inc o Bitcoin Magazine.

Timestamp:

Di più da Bitcoin Magazine