Jak zbudować własny model języka Bitcoin

Jak zbudować własny model języka Bitcoin

Znacznik czasu: 9 sierpnia 2023 8:00

Jest to opinia redakcyjna autorstwa Aleksandara Svetskiego, autora „Manifestu Unkomunistycznego” i założyciela modelu językowego Spirit of Satoshi skupionego na Bitcoinie.

Modele językowe są w modzie, a wiele osób po prostu bierze podstawowe modele (najczęściej ChatGPT lub coś podobnego), a następnie łączy je z wektorową bazą danych, aby gdy ludzie zadają swojemu „modelowi” pytanie, odpowiadał on na odpowiedź wraz z kontekstem z tej bazy danych wektorów.

Czym są sterowniki baza danych wektorowych? Wyjaśnię to bardziej szczegółowo w przyszłym eseju, ale prostym sposobem zrozumienia tego jest zbiór informacji przechowywanych w postaci fragmentów danych, które model językowy może odpytywać i wykorzystywać w celu uzyskania lepszych odpowiedzi. Wyobraź sobie „Standard Bitcoin” podzielony na akapity i zapisany w tej wektorowej bazie danych. Zadajesz temu nowemu „modelowi” pytanie dotyczące historii pieniądza. Model bazowy faktycznie prześle zapytanie do bazy danych, wybierze najbardziej odpowiedni fragment kontekstu (jakiś akapit ze „Standardu Bitcoin”), a następnie wprowadzi go do zachęty modelu bazowego (w wielu przypadkach ChatGPT). Model powinien wówczas odpowiedzieć „więcej”. odpowiedź. To jest fajne i działa dobrze w niektórych przypadkach, ale nie rozwiązuje podstawowych problemów związanych z szumem głównego nurtu i uprzedzeniami, którym podlegają modele bazowe podczas ich szkolenia.

To właśnie staramy się robić w Spirit of Satoshi. Około sześć miesięcy temu zbudowaliśmy model podobny do opisanego powyżej, który możesz wypróbować tutaj. Zauważysz, że z niektórymi odpowiedziami nie jest źle, ale nie może prowadzić rozmowy i radzi sobie naprawdę słabo, jeśli chodzi o shitcoinery i rzeczy, o których wiedziałby prawdziwy Bitcoiner.

Dlatego zmieniliśmy nasze podejście i budujemy od podstaw pełny model językowy. W tym eseju opowiem trochę o tym, aby dać ci wyobrażenie, z czym to się wiąże.

Bardziej „oparty” model języka Bitcoin

Misja zbudowania bardziej „opartego” modelu językowego trwa. Udowodniono, że jest bardziej zaangażowany, niż nawet myślałem, nie od „technicznie skomplikowany” punktu widzenia, ale bardziej z punktu widzenia A „Cholera, to jest nudne” punkt widzenia.

Chodzi o dane. I to nie ilość danych, ale jakość i format danych. Prawdopodobnie słyszałeś, jak nerdy o tym rozmawiają, i tak naprawdę nie doceniasz tego, dopóki nie zaczniesz karmić modelki i nie uzyskasz rezultatu… który niekoniecznie był tym, czego chciałeś.

Potok danych to miejsce, w którym odbywa się cała praca. Musisz zbierać i wyleczyć dane, to musisz wyciąg To. Następnie musisz programowo kleń (nie jest możliwe ręczne wyczyszczenie przy pierwszym uruchomieniu).

Następnie bierzesz te wyczyszczone programowo, surowe dane i musisz przekształcać to na wiele danych Formaty (pomyśl o parach pytań i odpowiedzi lub semantycznie spójnych fragmentach i akapitach). Musisz to również zrobić programowo, jeśli masz do czynienia z mnóstwem danych — co ma miejsce w przypadku modelu językowego. Co zabawne, inne modele językowe są naprawdę dobre do tego zadania! Używasz modeli językowych do tworzenia nowych modeli językowych.

Z misją zbudowania bardziej „opartego” modelu językowego.

Następnie, ponieważ prawdopodobnie pozostanie tam mnóstwo śmieci i nieistotnych śmieci generowanych przez dowolny model językowy użyty do programowego przekształcenia danych, musisz wykonać bardziej intensywne kleń.

To zdjęcie to miejsce, w którym musisz uzyskać pomoc człowieka, ponieważ na tym etapie wydaje się, że ludzie są nadal jedynymi stworzeniami na planecie posiadającymi agencję niezbędną do różnicowania i określania jakość. Algorytmy mogą to zrobić, ale na razie nie tak dobrze z językiem — zwłaszcza w bardziej zniuansowanych, porównawczych kontekstach — gdzie właśnie znajduje się Bitcoin.

W każdym razie zrobienie tego na dużą skalę jest niezwykle trudne, chyba że masz armię ludzi do pomocy. Ta armia ludzi może być najemnikami opłacanymi przez kogoś, na przykład OpenAI ma więcej pieniędzy niż Bóglub mogą być misjonarzami, czyli tym, czym ogólnie jest społeczność Bitcoin (jesteśmy bardzo szczęśliwi i wdzięczni za to w Spirit of Satoshi). Poszczególne osoby przeglądają elementy danych i jeden po drugim decydują, czy zachować, odrzucić, czy zmodyfikować dane.

Gdy dane przejdą przez ten proces, po drugiej stronie masz coś czystego. Oczywiście zawiłości jest tu więcej. Na przykład musisz upewnić się, że źli aktorzy, którzy próbują spartaczyć proces czyszczenia, zostaną wyeliminowani lub ich dane wejściowe zostaną odrzucone. Możesz to zrobić na wiele sposobów, a każdy robi to trochę inaczej. Możesz sprawdzać ludzi w drodze do wejścia, możesz zbudować jakiś wewnętrzny model konsensusu dotyczący porządków, tak aby progi musiały zostać spełnione, aby elementy danych zostały zachowane lub odrzucone itp. W Spirit of Satoshi robimy mieszankę obu i myślę, że w nadchodzących miesiącach przekonamy się, na ile jest to skuteczne.

Teraz… kiedy już uzyskasz te piękne, czyste dane, koniec tego „rurociąg,” w takim razie musisz format jeszcze raz w ramach przygotowań do „trening" wzór.

Na tym ostatnim etapie do gry wchodzą procesory graficzne (GPU) i tak naprawdę większość ludzi myśli o budowaniu modeli językowych. Wszystkie inne rzeczy, które omówiłem, są ogólnie ignorowane.

Ten etap rozciągania w domu obejmuje trenowanie serii modeli i zabawę z parametrami, mieszankami danych, ilością danych, typami modeli itp. To może szybko stać się kosztowne, więc najlepiej mieć cholernie dobre dane i lepiej zacząć od mniejszych modeli i rozwijać się.

To wszystko jest eksperymentalne, a to, co dostajesz na drugim końcu, to… wynik…

To niewiarygodne, jakie rzeczy my, ludzie, potrafimy wyczarować. W każdym razie…

W Spirit of Satoshi nasz wynik wciąż jest w fazie tworzenia i pracujemy nad nim na kilka sposobów:

  1. Prosimy wolontariuszy, aby pomogli nam w gromadzeniu i selekcjonowaniu najodpowiedniejszych danych dla modelu. Robimy to o godz Repozytorium Nakamoto. To jest repozytorium każdej książki, eseju, artykułu, bloga, filmu na YouTube i podcastu na temat Bitcoina i z nim związanych, a także urządzeń peryferyjnych, takich jak dzieła Friedricha Nietzschego, Oswalda Spenglera, Jordana Petersona, Hansa-Hernanna Hoppe, Murraya Rothbarda, Carla Junga, Biblia itp.

    Możesz tam wyszukać wszystko i uzyskać dostęp do adresu URL, pliku tekstowego lub PDF. Jeśli wolontariusz nie może czegoś znaleźć lub uważa, że ​​należy to uwzględnić, może „dodać” wpis. Jeśli jednak dodadzą śmieci, nie zostaną zaakceptowane. Najlepiej, jeśli ochotnicy prześlą dane jako plik .txt wraz z linkiem.

  2. Członkowie społeczności również mogą faktycznie pomóż nam oczyścić dane i zarobić saty. Pamiętacie ten etap misyjny, o którym wspomniałem? Cóż, to jest to. W ramach tego udostępniamy cały zestaw narzędzi, a uczestnicy będą mogli grać w „pogromcę FUD”, „odpowiedzi na rankingi” i wiele innych rzeczy. Na razie przypomina to funkcję zachowywania/odrzucania/komentowania w stylu Tindera w interfejsie danych, aby uporządkować to, co jest w przygotowaniu.

    Jest to sposób dla ludzi, którzy spędzili lata na nauce i zrozumieniu Bitcoina, aby przekształcić tę „pracę” w sats. Nie, nie staną się bogaci, ale mogą przyczynić się do czegoś, co mogą uznać za wartościowy projekt, i zarobić coś po drodze.

Programy prawdopodobieństwa, nie sztuczna inteligencja

W kilku poprzednich esejach dowodziłem, że „sztuczna inteligencja” jest terminem błędnym, ponieważ chociaż is sztuczne, to nie inteligentny — a ponadto pornografia strachu otaczająca sztuczną inteligencję ogólną (AGI) była całkowicie bezpodstawna, ponieważ dosłownie nie ma ryzyka, że ​​ta rzecz stanie się spontanicznie świadoma i zabije nas wszystkich. Minęło kilka miesięcy i jestem o tym jeszcze bardziej przekonany.

Wracam myślami do doskonałego artykułu Johna Cartera „Jestem już znudzony generatywną sztuczną inteligencją” i był taki na miejscu.

Naprawdę nie ma nic magicznego ani inteligentnego w żadnej z tych sztuczek AI. Im więcej się z tym bawimy, im więcej czasu spędzamy na budowaniu własnego, tym bardziej zdajemy sobie sprawę, że nie ma tu żadnej wrażliwości. Nie ma rzeczywistego myślenia ani rozumowania. Nie ma agencji. To tylko „programy prawdopodobieństwa”.

Sposób, w jaki są oznaczane i używane terminy, niezależnie od tego, czy jest to „AI”, czy „maszyna”. nauka” lub „agentów” jest właściwie miejscem, w którym leży większość strachu, niepewności i wątpliwości.

Te etykiety są tylko próbą opisania zestawu procesów, które są naprawdę niepodobne do niczego, co robi człowiek. Problem z językiem polega na tym, że natychmiast zaczynamy go antropomorfizować, aby nadać mu sens. A w trakcie robienia tego, to publiczność lub słuchacz tchnie życie w potwora Frankensteina.

AI ma Nie życie inne niż to, które dajesz mu własną wyobraźnią. Tak samo jest z każdym innym wyimaginowanym, eschatologicznym zagrożeniem.

(Wstaw przykłady dotyczące zmian klimatu, kosmitów lub czegokolwiek innego, co dzieje się na Twitterze/X.)

Jest to oczywiście bardzo przydatne dla globo-homo biurokratów, którzy chcą wykorzystać takie narzędzie/program/maszynę do własnych celów. Kręcili historie i narracje, zanim jeszcze nauczyli się chodzić, a to jest dopiero najnowsze. A ponieważ większość ludzi to lemingi i uwierzą we wszystko, co powie ktoś, kto wydaje się być o kilka punktów inteligentniejszy od nich, wykorzystają to na swoją korzyść.

Pamiętam, jak mówiłem o nadchodzących regulacjach. Zauważyłem, że w zeszłym tygodniu lub tydzień wcześniej istnieją teraz „oficjalne wytyczne” lub coś w tym rodzaju dla generatywnej sztucznej inteligencji — dzięki uprzejmości naszych biurokratycznych zwierzchników. Co to oznacza, tak naprawdę nikt nie wie. Jest zamaskowany tym samym bezsensownym językiem, co wszystkie inne przepisy. Końcowy wynik ponownie brzmi: „My piszemy zasady, możemy używać narzędzi tak, jak chcemy, musisz używać ich tak, jak ci mówimy, albo inaczej”.

Najbardziej absurdalne jest to, że grupa ludzi wiwatowała z tego powodu, myśląc, że są w jakiś sposób bezpieczniejsi od wyimaginowanego potwora, którego nigdy nie było. W rzeczywistości prawdopodobnie przypisują tym agencjom „uratowanie nas przed AGI”, ponieważ nigdy się to nie zmaterializowało.

Przypomina mi to:

Z misją zbudowania bardziej „opartego” modelu językowego.

Kiedy zamieściłem powyższe zdjęcie na Twitterze, ilość idiotów, którzy odpowiedzieli z autentyczną wiarą, że uniknięcie owych katastrof było wynikiem wzmożonej interwencji biurokratycznej, powiedziała mi wszystko co potrzebowałem wiedzieć o poziomie inteligencji zbiorowej na owej platformie.

Niemniej jednak, oto jesteśmy. Jeszcze raz. Ta sama historia, nowi bohaterowie.

Niestety — niewiele możemy z tym zrobić, poza skupieniem się na własnych rzeczach. Będziemy nadal robić to, co sobie założyliśmy.

Ogólnie jestem mniej podekscytowany „GenAI” i mam wrażenie, że wiele szumu mija, gdy uwaga ludzi ponownie przenosi się na kosmitów i politykę. Jestem też mniej przekonany, że jest tu coś istotnie transformującego — przynajmniej w takim stopniu, w jakim myślałem sześć miesięcy temu. Być może udowodnię, że się myliłem. Myślę, że te narzędzia mają ukryty, niewykorzystany potencjał, ale po prostu: ukryty.

Myślę, że musimy bardziej realistycznie podejść do tego, czym one są (zamiast sztucznej inteligencji lepiej nazwać je „programami prawdopodobieństwa”) a to może faktycznie oznaczać, że poświęcamy mniej czasu i energii na mrzonki, a bardziej skupiamy się na tworzeniu użytecznych aplikacji. W tym sensie pozostaję ciekawy i ostrożny optymista, że ​​coś się zmaterializuje i wierzę, że gdzieś w sieci Bitcoin, programów prawdopodobieństwa i protokołów, takich jak Nostr, pojawi się coś bardzo przydatnego.

Mam nadzieję, że będziemy mogli wziąć w tym udział i chciałbym, abyś ty również wziął w tym udział, jeśli jesteś zainteresowany. W tym celu zostawię was wszystkich do Waszego dnia i mam nadzieję, że było to przydatne 10-minutowe spojrzenie na to, co jest potrzebne do zbudowania modelu językowego.

To jest gościnny post Aleksandra Svetskiego. Wyrażone opinie są całkowicie ich własnymi i niekoniecznie odzwierciedlają opinie BTC Inc lub Bitcoin Magazine.

Znak czasu:

Więcej z Magazyn Bitcoin