Cách xây dựng mô hình ngôn ngữ bitcoin của riêng bạn

Cách xây dựng mô hình ngôn ngữ bitcoin của riêng bạn

Dấu thời gian: 9:2023 sáng ngày 8 tháng 00 năm XNUMX

Đây là bài xã luận quan điểm của Aleksandar Svetski, tác giả cuốn “Tuyên ngôn không cộng sản” và là người sáng lập mô hình ngôn ngữ tập trung vào Bitcoin Spirit of Satoshi.

Các mô hình ngôn ngữ đang là xu hướng thịnh hành và nhiều người chỉ sử dụng các mô hình nền tảng (thường là ChatGPT hoặc thứ gì đó tương tự) rồi kết nối chúng với cơ sở dữ liệu vectơ để khi mọi người đặt câu hỏi cho “mô hình” của họ, nó sẽ trả lời câu trả lời bằng ngữ cảnh. từ cơ sở dữ liệu vector này.

Một cơ sở dữ liệu véc tơ? Tôi sẽ giải thích điều đó chi tiết hơn trong một bài luận sau, nhưng cách hiểu đơn giản nhất là tập hợp thông tin được lưu trữ dưới dạng khối dữ liệu mà mô hình ngôn ngữ có thể truy vấn và sử dụng để tạo ra phản hồi tốt hơn. Hãy tưởng tượng “Tiêu chuẩn Bitcoin”, được chia thành các đoạn văn và được lưu trữ trong cơ sở dữ liệu vectơ này. Bạn hỏi “mô hình” mới này một câu hỏi về lịch sử của tiền tệ. Mô hình cơ bản sẽ thực sự truy vấn cơ sở dữ liệu, chọn phần ngữ cảnh phù hợp nhất (một số đoạn trong “Tiêu chuẩn Bitcoin”) và sau đó đưa nó vào lời nhắc của mô hình cơ bản (trong nhiều trường hợp là ChatGPT). Sau đó, mô hình sẽ phản hồi nhiều hơn có liên quan trả lời. Điều này thật tuyệt và hoạt động tốt trong một số trường hợp, nhưng không giải quyết được các vấn đề cơ bản về nhiễu và sai lệch chính thống mà các mô hình cơ bản phải chịu trong quá trình đào tạo.

Đây là những gì chúng tôi đang cố gắng thực hiện tại Spirit of Satoshi. Chúng tôi đã xây dựng một mô hình giống như những gì được mô tả ở trên khoảng sáu tháng trước, bạn có thể dùng thử tại đây. Bạn sẽ nhận thấy nó không tệ với một số câu trả lời nhưng nó không thể tổ chức một cuộc trò chuyện và nó hoạt động thực sự kém khi nói đến shitcoinery và những điều mà một Bitcoiner thực sự sẽ biết.

Đây là lý do tại sao chúng tôi đã thay đổi cách tiếp cận của mình và đang xây dựng mô hình ngôn ngữ đầy đủ từ đầu. Trong bài luận này, tôi sẽ nói một chút về điều đó, để cho bạn biết ý nghĩa của nó.

Mô hình ngôn ngữ Bitcoin 'dựa trên' hơn

Sứ mệnh xây dựng một mô hình ngôn ngữ “dựa trên” nhiều hơn vẫn tiếp tục. Nó đã được chứng minh là có liên quan nhiều hơn tôi nghĩ, không phải từ một “phức tạp về mặt kỹ thuật” quan điểm, nhưng nhiều hơn từ một “Chết tiệt, điều này thật tẻ nhạt” quan điểm.

Đó là tất cả về dữ liệu. Và không phải số lượng dữ liệu mà là chất lượng và định dạng của dữ liệu. Bạn có thể đã nghe những người mọt sách nói về điều này và bạn không thực sự đánh giá cao nó cho đến khi bạn thực sự bắt đầu cung cấp nội dung cho một người mẫu và bạn nhận được kết quả… vốn không nhất thiết là điều bạn mong muốn.

Đường ống dữ liệu là nơi thực hiện tất cả công việc. Bạn phải thu thập và cai trị dữ liệu thì bạn phải trích xuất Nó. Sau đó, bạn phải lập trình giống cá lăng nó (không thể thực hiện làm sạch bằng tay trong lần chạy đầu tiên).

Sau đó, bạn lấy dữ liệu thô được làm sạch bằng chương trình này và bạn phải biến đổi nó thành nhiều dữ liệu định dạng (hãy nghĩ đến các cặp câu hỏi và câu trả lời hoặc các đoạn và đoạn văn mạch lạc về mặt ngữ nghĩa). Bạn cũng cần thực hiện việc này theo chương trình, nếu bạn đang xử lý vô số dữ liệu - đó là trường hợp của mô hình ngôn ngữ. Buồn cười thay, các mô hình ngôn ngữ khác thực sự phù hợp cho nhiệm vụ này! Bạn sử dụng các mô hình ngôn ngữ để xây dựng các mô hình ngôn ngữ mới.

Với sứ mệnh xây dựng một mô hình ngôn ngữ “dựa” hơn.

Sau đó, bởi vì có thể sẽ còn rất nhiều rác trong đó và rác không liên quan được tạo ra bởi bất kỳ mô hình ngôn ngữ nào bạn đã sử dụng để chuyển đổi dữ liệu theo chương trình, bạn cần phải thực hiện một nỗ lực mạnh mẽ hơn giống cá lăng.

T là nơi bạn cần sự giúp đỡ của con người, bởi vì ở giai đoạn này, có vẻ như con người vẫn là sinh vật duy nhất trên hành tinh có cơ quan cần thiết để phân biệt và xác định chất lượng. Các thuật toán có thể thực hiện được điều này, nhưng vẫn chưa tốt bằng ngôn ngữ - đặc biệt là trong các bối cảnh so sánh, nhiều sắc thái hơn - đó là nơi Bitcoin phù hợp.

Trong mọi trường hợp, thực hiện việc này trên quy mô lớn là cực kỳ khó trừ khi bạn có cả một đội quân trợ giúp. Đội quân đó có thể là lính đánh thuê được ai đó trả tiền, như OpenAI có nhiều tiền hơn Chúahoặc họ có thể là những nhà truyền giáo, đó là đặc điểm chung của cộng đồng Bitcoin (chúng tôi rất may mắn và biết ơn vì điều này tại Spirit of Satoshi). Các cá nhân xem qua các mục dữ liệu và từng người một chọn xem nên giữ, loại bỏ hay sửa đổi dữ liệu.

Khi dữ liệu trải qua quá trình này, bạn sẽ có được thứ gì đó sạch sẽ ở đầu bên kia. Tất nhiên, ở đây còn nhiều điều phức tạp hơn nữa. Ví dụ: bạn cần đảm bảo rằng những tác nhân xấu đang cố gắng làm hỏng quá trình dọn dẹp của bạn sẽ bị loại bỏ hoặc đầu vào của chúng sẽ bị loại bỏ. Bạn có thể làm điều đó theo nhiều cách và mỗi người thực hiện hơi khác một chút. Bạn có thể sàng lọc những người đang truy cập, bạn có thể xây dựng một số loại mô hình đồng thuận làm sạch nội bộ để các ngưỡng cần được đáp ứng đối với các mục dữ liệu được lưu giữ hoặc loại bỏ, v.v. Tại Spirit of Satoshi, chúng tôi đang thực hiện một sự kết hợp của cả hai và tôi đoán chúng ta sẽ thấy nó hiệu quả như thế nào trong những tháng tới.

Bây giờ… khi bạn đã có được dữ liệu sạch tuyệt đẹp này ở cuối phần này “đường ống,” sau đó bạn cần phải định dạng nó một lần nữa để chuẩn bị cho “đào tạo" một mô hình.

Giai đoạn cuối cùng này là lúc các đơn vị xử lý đồ họa (GPU) phát huy tác dụng và thực sự là điều mà hầu hết mọi người nghĩ đến khi nghe về việc xây dựng mô hình ngôn ngữ. Tất cả những thứ khác mà tôi đề cập thường bị bỏ qua.

Giai đoạn kéo dài tại nhà này bao gồm việc đào tạo một loạt mô hình và thử nghiệm với các tham số, sự kết hợp dữ liệu, lượng dữ liệu, loại mô hình, v.v. Điều này có thể nhanh chóng trở nên tốn kém, vì vậy tốt nhất bạn nên có một số dữ liệu tốt và bạn' tốt hơn hết bạn nên bắt đầu với những mô hình nhỏ hơn và phát triển theo cách của mình.

Tất cả đều là thử nghiệm và những gì bạn nhận được ở đầu bên kia là… một kết quả…

Thật đáng kinh ngạc về những điều con người chúng ta có thể tưởng tượng ra. Dù sao…

Tại Spirit of Satoshi, kết quả của chúng tôi vẫn đang trong quá trình hoàn thiện và chúng tôi đang nghiên cứu nó theo một số cách:

  1. Chúng tôi yêu cầu các tình nguyện viên giúp chúng tôi thu thập và quản lý dữ liệu phù hợp nhất cho mô hình. Chúng tôi đang làm điều đó tại Kho lưu trữ Nakamoto. Đây là kho lưu trữ mọi cuốn sách, bài luận, bài viết, blog, video YouTube và podcast về và liên quan đến Bitcoin cũng như các thiết bị ngoại vi như tác phẩm của Friedrich Nietzsche, Oswald Spengler, Jordan Peterson, Hans-Hermann Hoppe, Murray Rothbard, Carl Jung, Kinh Thánh, v.v.

    Bạn có thể tìm kiếm bất cứ thứ gì ở đó và truy cập URL, tệp văn bản hoặc PDF. Nếu một tình nguyện viên không thể tìm thấy thứ gì đó hoặc cảm thấy cần phải đưa nó vào, họ có thể “thêm” một bản ghi. Tuy nhiên, nếu họ thêm rác, nó sẽ không được chấp nhận. Lý tưởng nhất là các tình nguyện viên sẽ gửi dữ liệu dưới dạng tệp .txt cùng với một liên kết.

  2. Các thành viên cộng đồng cũng có thể thực sự giúp chúng tôi làm sạch dữ liệu và kiếm sats. Bạn có nhớ giai đoạn truyền giáo mà tôi đã đề cập không? Vâng, đây là nó. Chúng tôi sẽ triển khai toàn bộ hộp công cụ như một phần của việc này và những người tham gia sẽ có thể chơi “FUD buster” và “xếp hạng trả lời” cũng như tất cả những thứ khác. Hiện tại, nó giống như trải nghiệm giữ/loại bỏ/nhận xét trên giao diện dữ liệu để dọn dẹp những gì đang diễn ra.

    Đây là cách để những người đã dành nhiều năm tìm hiểu và hiểu về Bitcoin có thể biến “công việc” đó thành sats. Không, họ sẽ không trở nên giàu có, nhưng họ có thể giúp đóng góp vào một dự án nào đó mà họ cho là xứng đáng và kiếm được thứ gì đó trong quá trình thực hiện.

Chương trình xác suất, không phải AI

Trong một số bài viết trước đây, tôi đã lập luận rằng “trí tuệ nhân tạo” là một thuật ngữ thiếu sót, bởi vì mặc dù nó is nhân tạo đấy không thông minh - và hơn nữa, nội dung khiêu dâm gây sợ hãi xung quanh trí tuệ nhân tạo nói chung (AGI) hoàn toàn không có cơ sở vì thực sự không có nguy cơ thứ này trở nên có tri giác một cách tự nhiên và giết chết tất cả chúng ta. Một vài tháng trôi qua và tôi càng tin chắc hơn về điều này.

Tôi nghĩ lại bài viết xuất sắc của John Carter “Tôi đã chán với Generative AI” và anh ấy đã rất chú ý.

Thực sự không có gì kỳ diệu hay thông minh về vấn đề đó về bất kỳ công cụ AI nào. Càng chơi với nó, chúng ta càng dành nhiều thời gian để xây dựng cái riêng của mình, chúng ta càng nhận ra rằng chẳng có tri giác nào ở đây cả. Không có suy nghĩ hoặc lý luận thực tế xảy ra. Không có cơ quan. Đây chỉ là “chương trình xác suất”.

Cách chúng được gắn nhãn và các thuật ngữ xung quanh, cho dù đó là “AI” hay “máy móc” học tập” hay “các tác nhân” thực sự là nơi chứa đựng phần lớn nỗi sợ hãi, sự không chắc chắn và nghi ngờ.

Những nhãn này chỉ là một nỗ lực để mô tả một tập hợp các quy trình, thực sự không giống bất cứ điều gì mà con người làm. Vấn đề với ngôn ngữ là chúng ta ngay lập tức bắt đầu nhân cách hóa nó để hiểu nó. Và trong quá trình làm điều đó, chính khán giả hay người nghe là người thổi sức sống vào con quái vật Frankenstein.

AI có Không cuộc sống khác với những gì bạn mang lại cho nó bằng trí tưởng tượng của riêng bạn. Điều này cũng giống như bất kỳ mối đe dọa cánh chung, tưởng tượng nào khác.

(Chèn các ví dụ xung quanh vấn đề biến đổi khí hậu, người ngoài hành tinh hoặc bất kỳ điều gì khác đang diễn ra trên Twitter/X.)

Tất nhiên, điều này rất hữu ích cho các quan chức toàn cầu muốn sử dụng bất kỳ công cụ/chương trình/máy móc nào như vậy cho mục đích riêng của họ. Họ đã quay những câu chuyện và câu chuyện kể từ trước khi họ biết đi, và đây chỉ là câu chuyện mới nhất được quay. Và bởi vì hầu hết mọi người đều là những kẻ lem luốc và sẽ tin bất cứ điều gì ai đó có vẻ thông minh hơn họ vài điểm IQ nói, nên họ sẽ sử dụng điều đó để làm lợi thế cho mình.

Tôi nhớ đã nói về các quy định đang được triển khai. Tôi nhận thấy rằng tuần trước hoặc tuần trước đó, hiện đã có “hướng dẫn chính thức” hoặc thứ gì đó tương tự như AI có thể tạo ra - nhờ sự giúp đỡ của các lãnh chúa quan liêu của chúng ta. Điều này có nghĩa là gì, không ai thực sự biết. Nó được che đậy bằng ngôn ngữ vô nghĩa giống như tất cả các quy định khác của họ. Kết quả cuối cùng một lần nữa là “Chúng tôi viết ra các quy tắc, chúng tôi sử dụng các công cụ theo cách chúng tôi muốn, bạn phải sử dụng nó theo cách chúng tôi bảo bạn, nếu không”.

Điều nực cười nhất là rất nhiều người đã cổ vũ về điều này, nghĩ rằng bằng cách nào đó họ sẽ an toàn hơn trước con quái vật tưởng tượng chưa từng có. Trên thực tế, họ có thể sẽ ghi công những cơ quan này vì đã “cứu chúng tôi khỏi AGI” vì điều đó chưa bao giờ thành hiện thực.

Nó làm tôi nhớ đến điều này:

Với sứ mệnh xây dựng một mô hình ngôn ngữ “dựa” hơn.

Khi tôi đăng bức ảnh trên lên Twitter, số lượng kẻ ngốc phản ứng với niềm tin thực sự rằng việc tránh được những thảm họa này là kết quả của sự can thiệp ngày càng quan liêu đã nói với tôi tất cả những gì tôi cần biết về mức độ trí tuệ tập thể trên nền tảng đó.

Tuy nhiên, chúng ta đang ở đây. Một lần nữa. Câu chuyện tương tự, nhân vật mới.

Than ôi - chúng ta thực sự không thể làm được gì nhiều về điều đó, ngoài việc tập trung vào công việc của riêng mình. Chúng tôi sẽ tiếp tục làm những gì chúng tôi đã đặt ra.

Nói chung, tôi trở nên ít hào hứng hơn với “GenAI” và tôi có cảm giác rằng phần lớn sự cường điệu đang giảm dần khi sự chú ý của mọi người lại chuyển sang người ngoài hành tinh và chính trị. Tôi cũng ít bị thuyết phục hơn rằng có điều gì đó mang tính biến đổi đáng kể ở đây - ít nhất là ở mức độ mà tôi đã nghĩ cách đây sáu tháng. Có lẽ tôi sẽ được chứng minh là sai. Tôi thực sự nghĩ rằng những công cụ này có tiềm năng tiềm ẩn, chưa được khai thác, nhưng nó chỉ có thế: tiềm ẩn.

Tôi nghĩ chúng ta phải thực tế hơn về những gì họ đang có (thay vì trí tuệ nhân tạo, tốt hơn nên gọi chúng là “chương trình xác suất”) và điều đó thực sự có thể có nghĩa là chúng ta dành ít thời gian và năng lượng hơn cho những giấc mơ viển vông và tập trung nhiều hơn vào việc xây dựng các ứng dụng hữu ích. Theo nghĩa đó, tôi vẫn tò mò và lạc quan một cách thận trọng rằng điều gì đó sẽ thành hiện thực và tin rằng ở đâu đó trong mối quan hệ giữa Bitcoin, các chương trình và giao thức xác suất như Nostr, một điều gì đó rất hữu ích sẽ xuất hiện.

Tôi hy vọng rằng chúng ta có thể tham gia vào việc đó và tôi rất mong bạn cũng có thể tham gia nếu bạn quan tâm. Vì mục đích đó, tôi sẽ để lại tất cả công việc trong ngày của bạn và hy vọng đây là thông tin chi tiết hữu ích trong 10 phút về những gì cần thiết để xây dựng một mô hình ngôn ngữ.

Đây là bài viết của khách bởi Aleksander Svetski. Các ý kiến ​​được bày tỏ hoàn toàn là của riêng họ và không nhất thiết phản ánh quan điểm của BTC Inc hoặc Bitcoin Magazine.

Dấu thời gian:

Thêm từ Tạp chí Bitcoin