بناء منصة زراعة الشيا بسعة 200 تيرابايت

مراجعة كاملة بدءًا من اختيار المكونات وحتى تكوين البرامج لنظام زراعة (تعدين) العملة المشفرة Chia.

شيا هي عملة مشفرة جديدة تهدف إلى تحقيق إجماع لامركزي مع استهلاك أقل للطاقة لكل معاملة مقارنة بنظيراتها. ويتم تحقيق ذلك من خلال أ إثبات خوارزمية الفضاء بدلا من إثبات العمل.

بينما يعتمد إثبات العمل على الحوسبة المستمرة لمسألة رياضية (عادةً تجزئة مثل SHA256) في محاولة للعثور على نتائج تطابق النمط المطلوب، تعتمد Chia بدلاً من ذلك على التحقق من وجود خصائص معينة في ملفات فريدة تم إنشاؤها مسبقًا تسمى المؤامرات.

ويتم ذلك في عملية من خطوتين تسمى زراعة تتكون من:

1. التآمر حيث يتم إنشاء ملفات فريدة كبيرة الحجم (عادةً 101.6 جيجابايت).
2. و حصاد حيث يتم فحص الملفات التي تم إنشاؤها مسبقًا للحصول على فرصة للفوز بمكافأة تلك الكتلة (حاليًا 2 Chia).

كلما زاد عدد القطع (مساحة تخزين أكبر مستخدمة) في العقدة، زادت فرصة الفوز بمكافأة تلك الكتلة. هناك 4608 فرصة للفوز يوميًا، ويعتمد احتمال الفوز بمكافأة تلك الكتلة بشكل أساسي على عدد قطع الأراضي التي يمتلكها الشخص بما يتناسب مع إجمالي حجم الشبكة. يتم توفير حاسبة الأرباح هنا.

ولذلك، لتحقيق أقصى قدر من المكافآت، نريد الحصول على أكبر قدر ممكن من مساحة التخزين وموارد حاسوبية كافية لملء مساحة التخزين المذكورة بالمؤامرات.

كما هو الحال مع معظم مشكلات التصميم، هناك عدد لا نهائي من الحلول الصالحة لمجموعة الأجهزة التي يمكن استخدامها لزراعة الشيا. للمساعدة في تضييق الخيارات، بدأت بتحديد بعض القيود والأولويات:

1. يجب تقليل التكلفة بالدولار الأمريكي لكل تيرابايت على الرغم من التعقيد الإضافي (في حدود المعقول).
2. نظرًا للوقت المحدود المتاح لي لتكريسه لهذا المشروع، يجب أن يتكون النظام في الغالب من أجزاء جاهزة (بدون مركبات ثنائي الفينيل متعدد الكلور مخصصة، هيكل مخصص، إلخ).

التخطيط – المعالجة

اعتمادًا على إعداد الأجهزة، يمكن أن يستغرق إنشاء قطعة أرض واحدة ما بين 4 إلى 20 ساعة. ولذلك، فإن اختيار أجهزة التخطيط المناسبة يمكن أن يشكل الفارق بين ملء مزرعتك بأكملها في أيام مقابل أشهر.

من المهم أن نأخذ في الاعتبار ليس فقط السرعة التي يتم بها إنشاء كل قطعة أرض، ولكن أيضًا عدد القطع المتزامنة التي يمكن إنشاؤها. على سبيل المثال، سيؤدي الإعداد الذي ينشئ 10 قطع أرض متزامنة كل 12 ساعة إلى إنتاج 20 قطعة أرض (حوالي 2 تيرابايت/يوم) في حين أن الإعداد الذي يرسم قطعة أرض واحدة متزامنة كل 1 ساعات سينتج 4 قطع أرض فقط في اليوم (6 تيرابايت/يوم).

لتقليل التكلفة، قررت البحث عن الخوادم التي تم إيقاف تشغيلها. تتمتع هذه الخوادم ببعض الخصائص المثيرة للاهتمام التي قد تجعلها راسمات قوية، بما في ذلك:

1. يمكن لعدد كبير من النوى أن يسمح بعدة قطع بالتوازي. المرحلة 1 (حوالي نصف وقت الرسم) متعددة الخيوط (يتم تكوينها عادةً لتكون بين 2 و4 خيوط)، ولكن المراحل المتبقية تكون ذات ترابط واحد.
2. عادةً ما تكون ذاكرة الوصول العشوائي المتوفرة أكبر من تلك المطلوبة للرسم (حوالي 4 جيجابايت/مخطط متزامن).
3. مصممة للعمل تحت حمولة عالية لفترات طويلة من الزمن.

بعد مراجعة العشرات من الخيارات والتكوينات الممكنة، استقريت على HP ProLiant DL380p Gen8 مع 2x Intel E5–2670 و192 جيجابايت من ذاكرة الوصول العشوائي DDR3. مع تمكين الترابط الفائق، يمكن لهذا الخادم افتراضيًا أن يدعم التخطيط المتزامن لما يصل إلى 16 قطعة أرض في المرحلة 1 بأقل من 400 دولار.

التآمر - التخزين المؤقت

نظرًا لارتفاع حمل الكتابة أثناء إنشاء قطعة الأرض (حوالي 1.6 تيرابايت مكتوبة لـ ak=32 قطعة أرض)، يمكن أن يكون لاختيار وسيط التخزين المؤقت تأثير كبير على وقت الرسم وتكلفته. بعض النقاط التي يجب مراعاتها:

1. كلما كان التخزين أسرع، كان من الممكن إنشاء قطع أرض بشكل أسرع. هذا الموضوع يناقش أوقات الرسم لمدة 4 ساعات باستخدام RAMDISK (قم بتحميل مجلد على ذاكرة الوصول العشوائي).
2. نظرًا لحجم الكتابة الكبير، من المهم مراعاة قدرة تحمل الوسيط. عادةً ما يتمتع محرك أقراص NVMe SSD سعة 1 تيرابايت من الفئة الاستهلاكية بحوالي 600 تيرابايت (تيرابايت مكتوب) من القدرة على التحمل قبل أن يُتوقع فشله مما يعني أنه يمكنه إنشاء حوالي 375 قطعة أرض.

انتهى بي الأمر باختيار شراء HP StorageWorks D12 بسعة 2600 حاوية مع محركات أقراص SAS بسعة 15 كيلو بايت وسعة 450 جيجابايت. باستخدام هذا الإعداد، يمكنني التخطيط لكل محرك أقراص في نفس الوقت دون المخاطرة بمنافسة الإدخال/الإخراج على مستوى محرك الأقراص. كانت محركات أقراص JBOD + أرخص بكثير من الإعداد المكافئ مع محركات أقراص NVMe (دون احتساب تكلفة الاستبدال بعد الوصول إلى TBW).

المزرعة — تخزين طويل الأمد

على عكس تخزين الرسم، لا يتطلب تخزين الحصاد إنتاجية عالية أو عمليات IOP. ولهذا السبب، كان تقليل التكلفة هو الأولوية القصوى.

هناك العديد من الإعدادات الممكنة والتي تمت مناقشة بعضها هنا. ومع ذلك، بعد البحث على موقع eBay عن خيارات مستعملة، أصبحت بعض الأمور واضحة:

1. تميل محركات الأقراص الثابتة الأكبر مقاس 3.5 بوصة إلى الحصول على أقل تكلفة. وهذا أمر منطقي نظرًا لأن معظم الأجهزة في الوقت الحاضر انتقلت إلى أحجام أصغر تبلغ 2.5 بوصة أو 1.8 بوصة.
2. يبدو أن محركات الأقراص الصلبة SAS (وليس محركات الأقراص ذات الحالة الثابتة) تتمتع بأقل تكلفة لكل تيرابايت، حيث تصل بعض الدفعات إلى 10 دولارات لكل تيرابايت (اعتبارًا من مايو 2021). لا تتوافق محركات الأقراص SAS هذه مع لوحات SATA (المستهلكة) ويتم بيعها عادةً على موقع eBay بعد إيقاف تشغيلها من مركز بيانات الشركة.

بمجرد أن ضيقت نطاق استخدام محركات الأقراص الثابتة SAS مقاس 3.5 بوصة، كنت بحاجة إلى إيجاد طريقة لتوصيلها فعليًا بجهاز الحصاد/الراسم الخاص بي. مع التمسك بالقيد المتمثل في عدم بناء العلبة/اللوحة الإلكترونية المعززة، بدأت في البحث عن العبوات المستخدمة التي يمكنها إيواء محركات الأقراص هذه مع الحفاظ على أقل تكلفة لكل حاوية.

لقد صادفت العديد من الخيارات على موقع eBay وانتهى بي الأمر بشراء عدد قليل من الطرز المختلفة بما في ذلك HP 24PAR ذو 3 حاوية واثنين من طراز IBM DS12 ذو 3512 حاوية.

القائمة الكاملة

القائمة النهائية للمكونات مبينة أدناه. وهو يتضمن المكونات الرئيسية التي تمت مناقشتها أعلاه ولكن أيضًا الأجزاء الإضافية المطلوبة لتجميع النظام معًا.

ومن الجدير بالذكر بطاقة HBA. إنها بطاقة PCIe التي تعرض موصلات SAS الخارجية التي ستتصل بها الكابلات من JBODs. عند شرائها، تأكد من حصولك على بطاقة وضع الهدف البادئ (IT) بحيث تظهر محركات الأقراص مباشرة إلى نظام التشغيل بدلاً من بطاقة وضع IR. من الجميل أن يكون لديك، قد ترغب في الحصول على بطاقة تومض بنظام تشغيل أحدث (الإصدار 20).

الإعداد بديهي في الغالب. تتصل الكابلات بالفتحات التي تناسبها. ومع ذلك، فإن كابلات SAS التي تربط JBODs وآلة التخطيط/الحصاد قابلة للتسلسل التعاقبي.

في حالتي، لدي كبلان يغادران الخادم (واحد على كل منفذ من HBA). يتصل أحد الكابلات بإدخال مصفوفة التخزين المؤقتة (HP D2600) ويتصل إخراج تلك المصفوفة بمصفوفة HP 3PAR. يتصل الكبل الآخر بمصفوفة IBM الأولى ويتصل مخرج ذلك بمصفوفة IBM الثانية. عادةً ما تحتوي أجهزة JBOD على منفذ إدخال (أساسي) ومنفذ إخراج (يُسمى عادةً بسهم خارجي).

أنا ركبت أوبونتو LTS 20.04 على الخادم نظرًا لأنه توزيع Linux مستخدم على نطاق واسع، مما يعني أنه سيكون من الأسهل العثور على منتديات استكشاف الأخطاء وإصلاحها في حالة ظهور أي مشكلات. توضح الخطوات أدناه التكوين المتبقي.

الخطوة 1: التأكد من توفر كافة محركات الأقراص

الخطوة الأولى هي التحقق من محركات الأقراص التي اكتشفها نظام التشغيل. ويمكن تحقيق ذلك عن طريق تشغيل lsscsi يأمر. الإخراج الذي يظهر أدناه.

لاحظ أن الأمر أعلاه لا يوفر معلومات حول نظام الملفات أو حجم محركات الأقراص. من أجل ذلك، قم بتشغيل lsblk أمر.

هام: لاحظ أنه لا تظهر كافة محركات الأقراص تحت كلا الأمرين! محركات الأقراص التي تظهر تحت lsscsi ولكن ليس lsblk قد يكون هناك بعض عدم التوافق الذي يتسبب في عدم إتاحة نظام التشغيل للتثبيت، وما إلى ذلك. مثال على ذلك /dev/sdaw.

في حالتي، كان سبب هذه المشكلة هو أن حجم القطاع هو 520 وهو غير مدعوم من خلال Linux kernel المثبت لدي (يمكن العثور على مناقشة حول هذا الموضوع هنا و هنا). يمكنك تحديد ما إذا كانت هذه هي حالتك من خلال النظر في dmesg سجل الأمر لرسالة خطأ مثل [sdaw] Unsupported sector size 520.

لحل هذه المشكلة، قمت بإعادة تهيئة محركات الأقراص باستخدام كتلة بحجم 512 باستخدام الأمر sg_format -v --format --size=512 /dev/sdX. يمكن أن يستغرق تشغيل هذا الأمر وقتًا طويلاً (عدة ساعات) ويتم عرض الإخراج أدناه.

عند الانتهاء، يجب أن يظهر محرك الأقراص في ملف lsblk الناتج.

الخطوة 2: إنشاء نظام الملفات على محركات الأقراص

لتهيئة محركات الأقراص باستخدام ext4 نظام الملفات، قمت بتشغيل الأمر التالي: sudo mkfs -t ext4 — verbose /dev/sda.

الخطوة 3: تركيب محركات الأقراص

الآن بعد أن أصبح بإمكاننا الوصول إلى محركات الأقراص وقد تمت تهيئتها باستخدام نظام الملفات المطلوب، يمكننا ذلك جبل محركات الأقراص هذه.

1. قم بإنشاء المجلدات حيث سنقوم بتركيب محركات الأقراص. على سبيل المثال: /mnt/farm/00 إلى /mnt/farm/23 لمحركات الأقراص التي ستخزن قطع الأراضي النهائية، و /mnt/plot-tmp/00 إلى /mnt/plot-tmp/11 لمواقع التخطيط المؤقتة.
2. يجري sudo blkid للحصول على المعرفات الفريدة لمحركات الأقراص (أو الأقسام). سيتم إخراج عدة أسطر مثل /dev/sdae: UUID=”29494f44–2f75–4c01-a766–18755eb583d7" TYPE=”ext4".
3. قم بتحرير ملف fstab باستخدام sudo vim /etc/fstab وربط كل من محركات الأقراص بما يقابلها /mnt/... مجلد. يكون حذر عدم تحرير الأسطر الأولى من الملف نظرًا لأنها مطلوبة لتركيب محرك الأقراص الجذر لنظام التشغيل. يظهر ملفي النهائي أدناه.
4. يجري sudo mount -a لتركيب كافة محركات الأقراص المحددة في ملف fstab. سوف يقوم فقط بتثبيت محركات الأقراص غير المثبتة بالفعل، لذا فهو آمن للتشغيل عدة مرات.
5. تأكد من أن المستخدمين لديهم حق الوصول إلى محركات الأقراص وملفاتها عن طريق تشغيل Sudo chmod -R 777 /mnt/farm/00.

الخطوة 4: تشغيل برنامج Chia Blockchain

1. اتبع التعليمات الرسمية المحددة هنا لتثبيت Chia blockchain (لم أقم بتثبيت واجهة المستخدم الرسومية).
2. يجري chia start farmer لبدء شياطين المحفظة والحصادة وما إلى ذلك.

الخطوة 5: إعداد Plotman (اختياري)

بلوتمان هو مدير التخطيط الذي سيتولى إنشاء وظائف التخطيط الجديدة. إنها أداة مريحة (غير مطلوبة).

1. قم بتثبيت Plotman باتباع التعليمات هنا.
2. تعديل plotman.yaml لمواصفات الراسمة الخاصة بك. يظهر ملفي النهائي أدناه.

واجهة المستخدم:
use_stty_size: صحيح
الدلائل:
السجل: /home/plotter/plotman-logs
تمب:
- /mnt/plot-tmp/f00
- /mnt/plot-tmp/f01
- /mnt/plot-tmp/f02
- /mnt/plot-tmp/f03
- /mnt/plot-tmp/f04
- /mnt/plot-tmp/f05
- /mnt/plot-tmp/f06
- /mnt/plot-tmp/f07
- /mnt/plot-tmp/f08
- /mnt/plot-tmp/f09
- /mnt/plot-tmp/f10
- /mnt/plot-tmp/f11
التوقيت الصيفي:
#- /mnt/farm/00 كامل
#- /mnt/farm/01 كامل
#- /mnt/farm/02 كامل
#- /mnt/farm/03 كامل
#- /mnt/farm/04 كامل
#- /mnt/farm/05 كامل
#- /mnt/farm/06 كامل
#- /mnt/farm/07 كامل
#- /mnt/farm/08 كامل
#- /mnt/farm/09 كامل
#- /mnt/farm/10 كامل
#- /mnt/farm/11 كامل
- /mnt/farm/12
- /mnt/farm/13
- /mnt/farm/14
- /mnt/farm/15
- /mnt/farm/16
- /mnt/farm/17
- /mnt/farm/18
- /mnt/farm/19
- /mnt/farm/20
- /mnt/farm/21
- /mnt/farm/22
- /mnt/farm/23
الجدولة:
tmpdir_stagger_phase_major: 2
tmpdir_stagger_phase_minor: 1
tmpdir_stagger_phase_limit: 1
tmpdir_max_jobs: 1
global_max_jobs: 20
global_stagger_m: 40
وقت_الاقتراع: 30
التخطيط:
ك: 32
e: خطأ # استخدم خيار الرسم -e
n_threads: 2 # موضوع لكل مهمة
n_buckets: 128 # عدد المجموعات المراد تقسيم البيانات إليها
job_buffer: 8096 # لكل ذاكرة مهمة

بعض النقاط الجديرة بالذكر:

1. لا يتوقف Plotman عن الجدولة لمحركات الأقراص الزراعية (اعتبارًا من وقت كتابة هذه السطور) عندما يكون محرك الأقراص ممتلئًا. ولذلك، تحتاج إلى إزالتها (أو التعليق عليها كما هو مذكور أعلاه).
2. سيقوم Plotman تلقائيًا بإضافة محركات الأقراص الزراعية إلى حصادة الشيا.
3. أنا أستعمل tmpdir_max_jobs يساوي 1 لأنني أقوم بالتخطيط على الأقراص الصلبة التي لا تتمتع بأداء بحث جيد مقارنة بمحركات أقراص الحالة الصلبة.

الخطوة 6: تشغيل الراسمة

في هذه المرحلة، كل ما هو مطلوب لبدء التخطيط هو الجري plotman interactive.

ملاحظة: التخطيط للمهمة طويلة الأمد /dev/farm/usb2 هي عملية تصحيح أخطاء لا يُقصد تشغيلها حتى الاكتمال.

آمل أن يكون هذا مفيدًا في إعطائك فكرة عما هو مطلوب لزراعة الشيا!

اعتبارًا من الآن، أصبحت مزرعتي ممتلئة بنسبة 1/3 وأخطط لنشر التحديثات عند امتلائها وعندما أبدأ في إعادة التخطيط للمجمعات.

شكر خاص ل كاتي جاندومي للمساعدة في التنمية.

زراعة سعيدة!

Source: https://levelup.gitconnected.com/building-a-200tb-chia-farming-rig-c9478ed7b92f?source=rss——-8—————–cryptocurrency