So erstellen Sie Ihr eigenes Bitcoin-Sprachmodell

So erstellen Sie Ihr eigenes Bitcoin-Sprachmodell

Zeitstempel: 9. August 2023, 8:00 Uhr

Dies ist ein Leitartikel von Aleksandar Svetski, Autor von „The UnCommunist Manifesto“ und Gründer des Bitcoin-fokussierten Sprachmodells Spirit of Satoshi.

Sprachmodelle liegen voll im Trend, und viele Leute nehmen einfach Basismodelle (meistens ChatGPT oder etwas Ähnliches) und verbinden sie dann mit einer Vektordatenbank, sodass, wenn Leute ihrem „Modell“ eine Frage stellen, dieses mit Kontext auf die Antwort antwortet aus dieser Vektordatenbank.

Was ist ein Vektordatenbank? Ich werde das in einem späteren Aufsatz ausführlicher erklären, aber eine einfache Möglichkeit, es zu verstehen, besteht darin, dass es sich um eine Sammlung von Informationen handelt, die als Datenblöcke gespeichert sind und die ein Sprachmodell abfragen und verwenden kann, um bessere Antworten zu erzeugen. Stellen Sie sich den „Bitcoin-Standard“ vor, aufgeteilt in Absätze und gespeichert in dieser Vektordatenbank. Sie stellen diesem neuen „Modell“ eine Frage zur Geschichte des Geldes. Das zugrunde liegende Modell fragt tatsächlich die Datenbank ab, wählt den relevantesten Kontext aus (einen Absatz aus „Der Bitcoin-Standard“) und gibt ihn dann in die Eingabeaufforderung des zugrunde liegenden Modells (in vielen Fällen ChatGPT) ein. Das Modell sollte dann mit einem Mehr antworten relevant antworten. Das ist cool und funktioniert in manchen Fällen gut, löst aber nicht die zugrunde liegenden Probleme des Mainstream-Rauschens und der Voreingenommenheit, denen die zugrunde liegenden Modelle während ihres Trainings ausgesetzt sind.

Das ist es, was wir bei Spirit of Satoshi versuchen. Wir haben vor etwa sechs Monaten ein Modell wie oben beschrieben gebaut, das Sie ausprobieren können hier. Sie werden feststellen, dass es bei einigen Antworten nicht schlecht ist, aber es kann kein Gespräch führen und es schneidet wirklich schlecht ab, wenn es um Shitcoinery und Dinge geht, die ein echter Bitcoiner wissen würde.

Aus diesem Grund haben wir unseren Ansatz geändert und erstellen ein vollständiges Sprachmodell von Grund auf. In diesem Aufsatz werde ich ein wenig darüber sprechen, um Ihnen eine Vorstellung davon zu geben, was es bedeutet.

Ein „basierteres“ Bitcoin-Sprachmodell

Die Mission, ein „basierteres“ Sprachmodell zu entwickeln, geht weiter. Es hat sich herausgestellt, dass es komplizierter ist, als ich gedacht hätte, nicht von einem „technisch kompliziert“ Standpunkt, aber mehr aus a „Verdammt, das ist langweilig“ Standpunkt.

Es geht um Daten. Und nicht die Menge der Daten, sondern die Qualität und das Format der Daten. Wahrscheinlich haben Sie Nerds darüber reden hören, und Sie wissen es erst dann wirklich zu schätzen, wenn Sie tatsächlich damit beginnen, ein Model mit dem Zeug zu füttern, und Sie ein Ergebnis erhalten ... das nicht unbedingt das war, was Sie wollten.

In der Datenpipeline steckt die ganze Arbeit. Sie müssen sammeln und kuratieren die Daten, dann müssen Sie Extrakt Es. Dann müssen Sie programmgesteuert vorgehen reinigen es (es ist unmöglich, eine Erstreinigung manuell durchzuführen).

Dann nehmen Sie diese programmgesteuert bereinigten Rohdaten und müssen es tun transformieren es in mehrere Daten umwandeln Formate (Denken Sie an Frage-Antwort-Paare oder semantisch kohärente Abschnitte und Absätze.) Dies müssen Sie auch programmgesteuert tun, wenn Sie mit großen Datenmengen arbeiten – was bei einem Sprachmodell der Fall ist. Lustigerweise eignen sich andere Sprachmodelle tatsächlich gut für diese Aufgabe! Sie verwenden Sprachmodelle, um neue Sprachmodelle zu erstellen.

Auf der Mission, ein „basierteres“ Sprachmodell zu entwickeln.

Dann, da dort wahrscheinlich jede Menge Müll zurückbleibt und irrelevanter Müll entsteht, der von dem Sprachmodell erzeugt wird, das Sie zur programmgesteuerten Transformation der Daten verwendet haben, müssen Sie eine intensivere Vorgehensweise durchführen reinigen.

Dieser Hier brauchen Sie menschliche Hilfe, denn zu diesem Zeitpunkt scheint der Mensch immer noch das einzige Lebewesen auf dem Planeten zu sein, das über die Fähigkeit verfügt, zu differenzieren und zu bestimmen Qualität. Algorithmen können dies in gewisser Weise tun, aber noch nicht so gut mit der Sprache – insbesondere in differenzierteren, vergleichenden Kontexten – wo Bitcoin genau das Richtige ist.

Auf jeden Fall ist es unglaublich schwierig, dies in großem Maßstab umzusetzen, es sei denn, Sie haben eine Armee von Menschen, die Ihnen helfen. Diese Armee von Menschen kann aus Söldnern bestehen, die von jemandem bezahlt werden, wie zum Beispiel OpenAI hat mehr Geld als Gott, oder sie können Missionare sein, was die Bitcoin-Community im Allgemeinen ist (wir bei Spirit of Satoshi sind sehr glücklich und dankbar dafür). Einzelpersonen gehen Datenelemente durch und entscheiden nacheinander, ob sie die Daten behalten, verwerfen oder ändern möchten.

Sobald die Daten diesen Prozess durchlaufen, erhalten Sie am anderen Ende etwas Sauberes. Natürlich gibt es hier noch mehr Feinheiten. Sie müssen beispielsweise sicherstellen, dass böswillige Akteure, die versuchen, Ihren Aufräumprozess zu vermasseln, aussortiert werden oder dass ihre Eingaben verworfen werden. Das kann man auf verschiedene Arten machen, und jeder macht es ein bisschen anders. Sie können Personen auf dem Weg dorthin überprüfen, Sie können eine Art internes Konsensmodell für die Bereinigung erstellen, sodass Schwellenwerte für das Aufbewahren oder Verwerfen von Datenelementen usw. eingehalten werden müssen. Bei Spirit of Satoshi machen wir eine Mischung von beidem, und ich denke, wir werden in den kommenden Monaten sehen, wie effektiv es ist.

Nun... sobald Sie diese schönen, sauberen Daten am Ende dieses Buches haben.Pipeline,„Dann müssen Sie Format es noch einmal in Vorbereitung auf „TAUCHERAUSBILDUNG" ein Model.

In dieser letzten Phase kommen die grafischen Verarbeitungseinheiten (GPUs) ins Spiel und daran denken die meisten Menschen, wenn sie von der Erstellung von Sprachmodellen hören. Alle anderen Dinge, die ich behandelt habe, werden im Allgemeinen ignoriert.

In dieser Endphase geht es darum, eine Reihe von Modellen zu trainieren und mit den Parametern, den Datenmischungen, der Datenmenge, den Modelltypen usw. zu spielen. Das kann schnell teuer werden, also haben Sie am besten ein paar verdammt gute Daten und können Es ist besser, mit kleineren Modellen anzufangen und sich nach oben zu entwickeln.

Es ist alles experimentell und was man am anderen Ende herausbekommt, ist … ein Ergebnis…

Es ist unglaublich, was wir Menschen alles hervorzaubern. Ohnehin…

Bei Spirit of Satoshi ist unser Ergebnis noch in der Entwicklung und wir arbeiten auf verschiedene Weise daran:

  1. Wir bitten Freiwillige, uns bei der Sammlung und Kuratierung der relevantesten Daten für das Modell zu helfen. Das machen wir bei Das Nakamoto-Repository. Dies ist eine Sammlung aller Bücher, Essays, Artikel, Blogs, YouTube-Videos und Podcasts über und im Zusammenhang mit Bitcoin sowie Peripheriegeräten wie den Werken von Friedrich Nietzsche, Oswald Spengler, Jordan Peterson, Hans-Hermann Hoppe, Murray Rothbard, Carl Jung, die Bibel usw.

    Sie können dort nach allem suchen und auf die URL, Textdatei oder PDF zugreifen. Wenn ein Freiwilliger etwas nicht finden kann oder der Meinung ist, dass es aufgenommen werden muss, kann er einen Datensatz „hinzufügen“. Wenn sie jedoch Junk hinzufügen, wird dieser nicht akzeptiert. Idealerweise übermitteln Freiwillige die Daten als TXT-Datei zusammen mit einem Link.

  2. Community-Mitglieder können dies auch tun Helfen Sie uns tatsächlich, die Daten zu bereinigen und Sats zu verdienen. Erinnern Sie sich an die Missionsphase, die ich erwähnt habe? Nun, das ist es. Im Rahmen dessen stellen wir eine ganze Toolbox vor, und die Teilnehmer können „FUD-Buster“, „Rangantworten“ und viele andere Dinge spielen. Im Moment ist es wie ein Tinder-artiges Behalten/Verwerfen/Kommentieren auf der Datenschnittstelle, um zu bereinigen, was in der Pipeline ist.

    Dies ist eine Möglichkeit für Menschen, die jahrelang etwas über Bitcoin gelernt und verstanden haben, diese „Arbeit“ in Sats umzuwandeln. Nein, sie werden nicht reich, aber sie können zu einem Projekt beitragen, das ihrer Meinung nach ein lohnenswertes Projekt ist, und dabei etwas verdienen.

Wahrscheinlichkeitsprogramme, keine KI

In einigen früheren Aufsätzen habe ich argumentiert, dass „künstliche Intelligenz“ ein fehlerhafter Begriff ist, weil es zwar so ist is künstlich, das ist nicht intelligent – ​​und darüber hinaus ist der Angstporno rund um die künstliche allgemeine Intelligenz (AGI) völlig unbegründet, da buchstäblich keine Gefahr besteht, dass dieses Ding spontan empfindungsfähig wird und uns alle tötet. Ein paar Monate später bin ich noch mehr davon überzeugt.

Ich denke an John Carters hervorragenden Artikel zurück „Ich bin schon gelangweilt von generativer KI“ und er war genau richtig.

An all diesen KI-Sachen ist wirklich nichts Magisches oder Intelligentes. Je mehr wir damit spielen, je mehr Zeit wir damit verbringen, tatsächlich unsere eigenen zu bauen, desto klarer wird uns, dass es hier kein Empfindungsvermögen gibt. Es findet kein wirkliches Denken oder Argumentieren statt. Es gibt keine Agentur. Dies sind nur „Wahrscheinlichkeitsprogramme“.

Die Art und Weise, wie sie gekennzeichnet sind, und die Begriffe, die herumgeworfen werden, sei es „KI“ oder „Maschine“. lernen„“ oder „Agenten“ ist tatsächlich der Ort, an dem die meiste Angst, Unsicherheit und Zweifel liegen.

Diese Bezeichnungen sind lediglich ein Versuch, eine Reihe von Prozessen zu beschreiben, die sich wirklich von allem unterscheiden, was ein Mensch tut. Das Problem mit der Sprache besteht darin, dass wir sofort beginnen, sie zu anthropomorphisieren, um ihr einen Sinn zu geben. Und dabei ist es das Publikum bzw. der Zuhörer, der Frankensteins Monster Leben einhaucht.

AI hat nicht Leben anders als das, was du ihm mit deiner eigenen Fantasie gibst. Dies gilt auch für jede andere imaginäre, eschatologische Bedrohung.

(Fügen Sie Beispiele zum Klimawandel, zu Außerirdischen oder was sonst noch auf Twitter/X passiert.)

Dies ist natürlich sehr nützlich für Globo-Homo-Bürokraten, die solche Tools/Programme/Maschinen für ihre eigenen Zwecke nutzen möchten. Sie haben Geschichten und Erzählungen erzählt, bevor sie laufen konnten, und dies ist nur die neueste Geschichte, die es zu erzählen gibt. Und weil die meisten Menschen Lemminge sind und alles glauben, was jemand zu sagen hat, der ein paar IQ-Punkte schlauer klingt als sie, werden sie das zu ihrem Vorteil nutzen.

Ich erinnere mich, dass ich darüber gesprochen habe, dass eine Regulierung bevorsteht. Mir ist aufgefallen, dass es letzte oder vorige Woche mittlerweile „offizielle Richtlinien“ oder ähnliches für generative KI gibt – mit freundlicher Genehmigung unserer bürokratischen Oberherren. Was das bedeutet, weiß niemand wirklich. Es ist in der gleichen unsinnigen Sprache versteckt wie alle anderen Vorschriften. Das Endergebnis ist wieder einmal: „Wir schreiben die Regeln, wir können die Werkzeuge so verwenden, wie wir es wollen, Sie müssen sie so verwenden, wie wir es Ihnen sagen, sonst.“

Das Lächerlichste daran ist, dass eine Menge Leute darüber gejubelt haben, weil sie dachten, sie seien irgendwie sicherer vor dem imaginären Monster, das es nie gab. Tatsächlich werden sie diesen Agenturen wahrscheinlich zuschreiben, dass sie „uns vor AGI gerettet haben“, weil es nie dazu gekommen ist.

Es erinnert mich daran:

Auf der Mission, ein „basierteres“ Sprachmodell zu entwickeln.

Als ich das obige Bild auf Twitter postete, verriet mir die Menge an Idioten, die mit der aufrichtigen Überzeugung antworteten, dass die Vermeidung dieser Katastrophen das Ergebnis verstärkter bürokratischer Eingriffe sei, alles, was ich über den Grad der kollektiven Intelligenz auf dieser Plattform wissen musste.

Dennoch sind wir hier. Noch einmal. Gleiche Geschichte, neue Charaktere.

Leider können wir dagegen kaum etwas tun, außer uns auf unsere eigenen Dinge zu konzentrieren. Wir werden weiterhin das tun, was wir uns vorgenommen haben.

Ich bin von „GenAI“ im Allgemeinen weniger begeistert und habe das Gefühl, dass ein Großteil des Hypes nachlässt, da sich die Aufmerksamkeit der Leute wieder auf Außerirdische und Politik richtet. Ich bin auch weniger davon überzeugt, dass hier etwas wesentlich Transformierendes geschieht – zumindest in dem Maße, wie ich vor sechs Monaten dachte. Vielleicht wird mir das Gegenteil bewiesen. Ich denke zwar, dass diese Tools ein latentes, ungenutztes Potenzial haben, aber es ist nur das: latent.

Ich denke, wir müssen realistischer sein, was sie sind (Statt künstlicher Intelligenz sollte man sie besser „Wahrscheinlichkeitsprogramme“ nennen) und das könnte tatsächlich bedeuten, dass wir weniger Zeit und Energie für Wunschträume aufwenden und uns mehr auf die Entwicklung nützlicher Anwendungen konzentrieren. In diesem Sinne bleibe ich neugierig und vorsichtig optimistisch, dass etwas zustande kommt, und glaube, dass irgendwo in der Verbindung von Bitcoin, Wahrscheinlichkeitsprogrammen und Protokollen wie Nostr etwas sehr Nützliches entstehen wird.

Ich hoffe, dass wir daran teilnehmen können, und würde mich freuen, wenn auch Sie daran teilnehmen würden, wenn Sie Interesse daran haben. Zu diesem Zweck überlasse ich Sie ganz Ihrem Tag und hoffe, dass dies ein nützlicher 10-minütiger Einblick in die Anforderungen zum Aufbau eines Sprachmodells war.

Dies ist ein Gastbeitrag von Aleksander Svetski. Die geäußerten Meinungen sind ausschließlich ihre eigenen und spiegeln nicht unbedingt die von BTC Inc oder Bitcoin Magazine wider.

Zeitstempel:

Mehr von Bitcoin Magazin