בניית מתקן חקלאי צ'יה בנפח 200TB

סקירה מלאה מבחירת רכיבים ועד תצורת תוכנה עבור מערכת חקלאות (כרייה) קריפטוגרפית של Chia.

Chia הוא מטבע קריפטוגרפי חדש שמטרתו להשיג קונצנזוס מבוזר עם צריכת אנרגיה נמוכה יותר לכל עסקה מאשר עמיתיו. זה מושג באמצעות א הוכחה לאלגוריתם החלל במקום הוכחת עבודה.

בעוד שהוכחת עבודה מסתמכת על מחשוב רציף של בעיה מתמטית (בדרך כלל hashes כגון SHA256) בניסיון למצוא תוצאות התואמות את הדפוס הרצוי, Chia מסתמך במקום זאת על בדיקת קיומם של מאפיינים מסוימים בקבצים ייחודיים שנוצרו מראש הנקראים plots.

זה נעשה בתהליך דו-שלבי הנקרא חקלאות מורכב מ:

1. מזימה שבו נוצרים קבצים ייחודיים גדולים (בדרך כלל 101.6GB).
2. ו קציר שבו הקבצים שנוצרו בעבר נבדקים אם יש סיכוי לזכות בתגמול של הבלוק הזה (כרגע 2 Chia).

ככל שיש לצומת יותר חלקות (נעשה שימוש גדול יותר באחסון), כך הסיכוי לזכות בתגמול של הבלוק גבוה יותר. יש 4608 סיכויים לזכות מדי יום וההסתברות לזכות בתגמול של הבלוק הזה מבוססת בעיקר על מספר החלקות שבבעלותך ביחס לגודל הרשת הכולל. מחשבון רווחים מסופק כאן.

לכן, כדי למקסם את התגמולים אנחנו רוצים לקבל את כמות האחסון הגדולה ביותר האפשרית ומספיק משאבי מחשוב כדי למלא את האחסון האמור במגרשים.

כמו ברוב בעיות העיצוב, יש אינסוף פתרונות תקפים לשילוב של מכשירים שניתן להשתמש בהם לגידול צ'יה. כדי לעזור לצמצם את האפשרויות התחלתי על ידי החלטה על כמה אילוצים וסדרי עדיפויות:

1. יש למזער את העלות ב-$/TB למרות מורכבות נוספת (באופן סביר).
2. בשל הזמן המצומצם הזמין שלי להקדיש לפרויקט זה, המערכת צריכה להיות מורכבת ברובה מחלקי מדף (ללא PCB מותאמים אישית, מארז מותאם אישית וכו').

תכנון - עיבוד

בהתאם להגדרת החומרה, יצירת עלילה בודדת עשויה להימשך בין 4 ל-20 שעות. לכן, בחירת חומרת התכנון הנכונה יכולה להיות ההבדל בין מילוי כל החווה שלך בימים לעומת חודשים.

חשוב לקחת בחשבון לא רק את המהירות שבה כל חלקה נעשית אלא גם את מספר החלקות במקביל שניתן ליצור. לדוגמה, התקנה שיוצרת 10 חלקות במקביל ב-12 שעות כל אחת תייצר 20 חלקות (~2TB/יום) ואילו מערך שיצר מגרש בו-זמני אחד כל 1 שעות ייצור רק 4 חלקות ביום (6TB/יום).

כדי למזער את העלות, החלטתי לחפש שרתים שהושבתו. לשרתים אלה יש כמה מאפיינים מעניינים שיכולים להפוך אותם לפלטרים רבי עוצמה, כולל:

1. מספר גדול של ליבות יכול לאפשר מספר חלקות במקביל. שלב 1 (בסביבות מחצית מזמן העלילה) הוא ריבוי-הברגה (בדרך כלל מוגדר להיות בין 2 ל-4 פתילים), אך השלבים הנותרים הם פתילים בודדים.
2. זיכרון RAM זמין בדרך כלל עולה על זה שנדרש לתכנון (~4GB/עלילה במקביל).
3. נועד לפעול בעומס גבוה לפרקי זמן ממושכים.

לאחר שעברתי על עשרות אפשרויות ותצורות אפשריות, הסתפקתי ב-HP ProLiant DL380p Gen8 עם 2x Intel E5–2670 ו-192GB של DDR3 RAM. כאשר היפר-שרשור מופעל, שרת זה יכול לתמוך באופן היפותטי בהתווה של עד 16 חלקים בשלב 1 תמורת פחות מ-400 דולר.

מגרש - אחסון זמני

בשל עומס הכתיבה הגבוה במהלך יצירת העלילה (בסביבות 1.6TB נכתב עבור ak=32 עלילה), לבחירת מדיית האחסון הזמני יכולה להיות השפעה משמעותית על זמן התכנון ועל העלות. כמה נקודות שכדאי לקחת בחשבון:

1. ככל שהאחסון מהיר יותר, כך ניתן ליצור עלילות מהר יותר. חוט זה דן בזמני עלילה של 4 שעות באמצעות RAMDISK (הרכב תיקיה ל-RAM).
2. בהתחשב בנפח הכתיבה הגדול, חשוב לקחת בחשבון את הסיבולת של המדיום. לצרכן 1TB NVMe SSD יש בדרך כלל סיבולת של כ-600 TBW (טרה-בייט כתובה) לפני שהוא צפוי להיכשל, מה שאומר שהוא יכול לעשות כ-375 מגרשים.

בסופו של דבר בחרתי לקנות HP StorageWorks D12 עם 2600 מפרצים עם כונני SAS של 15K 450GB. עם ההגדרה הזו, אני יכול בו-זמנית להתוות על כל כונן מבלי להסתכן במחלוקת IO ברמת הכונן. כונני JBOD + היו זולים משמעותית מהגדרה מקבילה עם כונני NVMe (בלי להתייחס אפילו לעלות ההחלפה לאחר שהושגה TBW).

חווה - אחסון לטווח ארוך

שלא כמו אחסון התוויות, אחסון הקטיף אינו דורש תפוקה גבוהה או IOPs. מסיבה זו, מזעור העלות היה בראש סדר העדיפויות.

ישנן מספר הגדרות אפשריות שחלקן נידונות כאן. עם זאת, לאחר חיפוש ב-eBay אחר אפשרויות יד שנייה, התבררו כמה דברים:

1. הכוננים הקשיחים הגדולים יותר בגודל 3.5 אינץ' נוטים להיות בעלי העלות הנמוכה ביותר. זה הגיוני מכיוון שרוב המכשירים בימינו עברו לגדלים הקטנים יותר של 2.5 אינץ' או 1.8 אינץ'.
2. לכוננים קשיחים של SAS (לא כונני SSD) נראה היה שהעלות הנמוכה ביותר ל-TB עם חלקים נמוכים עד $10/TB (נכון למאי 2021). כונני SAS אלה אינם תואמים ללוחות SATA (צרכנים) והם נמכרים בדרך כלל ב-eBay לאחר ביטול משימוש ממרכז הנתונים של החברה.

לאחר שהצטמצמתי בשימוש בכוננים קשיחים בגודל 3.5 אינץ' SAS, הייתי צריך למצוא דרך למעשה לחבר אותם לקציר/פלוטר שלי. דבקתי באילוץ של אי בניית המתחם/המטוס האחורי התחלתי לחפש מארזים משומשים שיכולים לאכלס את הכוננים הללו תוך שמירה על העלות הנמוכה ביותר לכל מפרץ.

נתקלתי במספר אפשרויות באיביי ובסופו של דבר רכשתי כמה דגמים שונים כולל HP 24PAR עם 3 מפרצים ושני IBM DS12 עם 3512 מפרצים.

רשימה מלאה

הרשימה הסופית של הרכיבים מוצגת להלן. הוא כולל את הרכיבים העיקריים שנדונו לעיל אך גם חלקים נלווים הנדרשים להרכבת המערכת.

אזכור ראוי הוא כרטיס HBA. כרטיס ה-PCIe הוא זה שחושף את המחברים החיצוניים של SAS שאליהם יתחברו הכבלים מה-JBODs. בעת רכישתו, ודא שאתה מקבל כרטיס מצב יוזם יעד (IT) כך שהכוננים יופיעו ישירות למערכת ההפעלה בניגוד לכרטיס מצב IR. בתור נחמד שיש, אולי תרצה לקבל כרטיס הבזק עם מערכת הפעלה חדשה יותר (גרסה 20).

ההגדרה היא לרוב אינטואיטיבית. כבלים מתחברים לחורים שבהם הם נכנסים. עם זאת, כבלי ה-SAS שמחברים את ה-JBODs ואת מכונת ההזימה/קציר ניתנים לשרשרת דייזי.

במקרה שלי, יש לי שני כבלים שיוצאים מהשרת (אחד בכל יציאה מה-HBA). אחד הכבלים מתחבר לכניסה של מערך האחסון הזמני (HP D2600) והפלט של אותו מערך מתחבר למערך HP 3PAR. הכבל השני מתחבר למערך IBM הראשון והפלט של זה מתחבר למערך IBM השני. ל-JBODs יש בדרך כלל יציאת כניסה (ראשית) ויציאת פלט (בדרך כלל מסומנת בחץ החוצה).

התקנתי אובונטו LTS 20.04 בשרת מכיוון שזו הפצת לינוקס בשימוש נרחב, מה שאומר שיהיה קל יותר למצוא פורומים לפתרון בעיות אם יתעוררו בעיות. השלבים שלהלן מתארים את התצורה הנותרת.

שלב 1: ודא שכל הכוננים זמינים

הצעד הראשון הוא לבדוק אילו כוננים מזוהים על ידי מערכת ההפעלה. ניתן להשיג זאת על ידי הפעלת ה lsscsi פקודה. הפלט שלו מוצג להלן.

שים לב שהפקודה לעיל אינה מספקת מידע על מערכת הקבצים או גודל הכוננים. בשביל זה, הפעל את lsblk פקודה.

חשוב: שימו לב שלא כל הכוננים מופיעים תחת שתי הפקודות! הכוננים שמופיעים מתחת lsscsi אך לא lsblk עשוי להיות חוסר תאימות שגורם למערכת ההפעלה לא להפוך אותם לזמינים להרכבה וכו'. דוגמה לכך היא /dev/sdaw.

במקרה שלי, בעיה זו נגרמה בגלל שגודל המגזר הוא 520 שאינו נתמך על ידי ליבת לינוקס המותקנת שלי (ניתן למצוא דיון בנושא זה כאן ו כאן). אתה יכול לקבוע אם זה המקרה שלך על ידי הסתכלות על dmesg יומן הפקודה להודעת שגיאה כמו [sdaw] Unsupported sector size 520.

כדי לפתור את זה פירמטתי מחדש את הכוננים באמצעות גודל בלוק של 512 עם הפקודה sg_format -v --format --size=512 /dev/sdX. פקודה זו עשויה להימשך פרק זמן משמעותי (מספר שעות) והפלט מוצג להלן.

בסיום, הכונן אמור להופיע ב- lsblk פלט.

שלב 2: צור מערכת קבצים בכוננים

כדי לאתחל את הכוננים עם ext4 מערכת הקבצים, הרצתי את הפקודה הבאה: sudo mkfs -t ext4 — verbose /dev/sda.

שלב 3: התקן כוננים

כעת, לאחר שאנו יכולים לגשת לכוננים והם עוצבו עם מערכת הקבצים הרצויה, אנו יכולים הר הכוננים האלה.

1. צור את התיקיות שבהן נעלה את הכוננים. לדוגמה: /mnt/farm/00 ל /mnt/farm/23 עבור הכוננים שיאחסנו את החלקות הסופיות, ו /mnt/plot-tmp/00 ל /mnt/plot-tmp/11 עבור מקומות התכנון הזמניים.
2. הפעלה sudo blkid כדי לקבל את המזהים הייחודיים של הכוננים (או המחיצות) שלך. זה יוציא מספר שורות כגון /dev/sdae: UUID=”29494f44–2f75–4c01-a766–18755eb583d7" TYPE=”ext4".
3. ערוך את קובץ fstab עם sudo vim /etc/fstab ולשייך כל אחד מהכוננים למתאים להם /mnt/... תיקייה. לִהיוֹת זהיר לא לערוך את השורות הראשונות של הקובץ מכיוון שאלו נדרשות לטעינת כונן השורש של מערכת ההפעלה. הקובץ הסופי שלי מוצג למטה.
4. הפעלה sudo mount -a לטעינת כל הכוננים המצוינים בקובץ fstab. זה יתקין רק כוננים שעוד לא הורכבו כך שהוא בטוח לפעול מספר פעמים.
5. ודא שלמשתמשים תהיה גישה לכוננים ולקבצים שלהם על ידי הפעלת sudo chmod -R 777 /mnt/farm/00.

שלב 4: הפעל את תוכנת Chia Blockchain

1. פעל לפי ההוראות הרשמיות שצוינו כאן להתקין את ה-Chia blockchain (לא התקנתי את ה-GUI).
2. הפעלה chia start farmer כדי להפעיל את הדמונים עבור הארנק, הקוצר וכו'.

שלב 5: הגדרת Plotman (אופציונלי)

פלוטמן הוא מנהל תכנון שייקח לידיו את יצירת מקומות העבודה החדשים. זהו כלי נוחות (לא חובה).

1. התקן את פלוטמן לפי ההוראות כאן.
2. ערוך plotman.yaml לפי המפרט של הקושר שלך. הקובץ הסופי שלי מוצג למטה.

ממשק משתמש:
use_stty_size: נכון
ספריות:
log: /home/plotter/plotman-logs
tmp:
- /mnt/plot-tmp/f00
- /mnt/plot-tmp/f01
- /mnt/plot-tmp/f02
- /mnt/plot-tmp/f03
- /mnt/plot-tmp/f04
- /mnt/plot-tmp/f05
- /mnt/plot-tmp/f06
- /mnt/plot-tmp/f07
- /mnt/plot-tmp/f08
- /mnt/plot-tmp/f09
- /mnt/plot-tmp/f10
- /mnt/plot-tmp/f11
dst:
#- /mnt/farm/00 מלא
#- /mnt/farm/01 מלא
#- /mnt/farm/02 מלא
#- /mnt/farm/03 מלא
#- /mnt/farm/04 מלא
#- /mnt/farm/05 מלא
#- /mnt/farm/06 מלא
#- /mnt/farm/07 מלא
#- /mnt/farm/08 מלא
#- /mnt/farm/09 מלא
#- /mnt/farm/10 מלא
#- /mnt/farm/11 מלא
- /mnt/farm/12
- /mnt/farm/13
- /mnt/farm/14
- /mnt/farm/15
- /mnt/farm/16
- /mnt/farm/17
- /mnt/farm/18
- /mnt/farm/19
- /mnt/farm/20
- /mnt/farm/21
- /mnt/farm/22
- /mnt/farm/23
תזמון:
tmpdir_stagger_phase_major: 2
tmpdir_stagger_phase_minor: 1
tmpdir_stagger_phase_limit: 1
tmpdir_max_jobs: 1
הגלובלי_מקסימום_משרות: 20
global_stagger_m: 40
זמני_סקר: 30
הִתנַכְּלוּת:
ק: 32
e: False # השתמש באפשרות ציור -e
n_threads: 2 # שרשורים לכל עבודה
n_buckets: 128 # מספר דליים לפצל נתונים
job_buffer: 8096 # לכל זיכרון עבודה

כמה נקודות ששווה להזכיר:

1. פלוטמן לא מפסיק לתזמן לנסיעות חקלאיות (נכון למועד כתיבת שורות אלו) כאשר הכונן מלא. לכן, עליך להסיר אותם (או להגיב עליהם כמתואר למעלה).
2. פלוטמן יוסיף אוטומטית כוננים חקלאיים לקוצר הצ'יה.
3. אני משתמש tmpdir_max_jobs שווה ל-1 מכיוון שאני מתווה לדיסקים קשיחים שאין להם ביצועי חיפוש טובים בהשוואה לכונני SSD.

שלב 6: הפעל את הפלוטר

בשלב זה, כל מה שצריך כדי להתחיל לתכנן הוא לרוץ plotman interactive.

הערה: העבודה הארוכה מאוד מתכננת /dev/farm/usb2 היא ריצת ניפוי באגים שלא אמורה לפעול עד סופה.

מקווה שזה היה מועיל כדי לתת לך מושג מה נדרש כדי חקלאות צ'יה!

נכון לעכשיו, החווה שלי מלאה ב-1/3 מהדרך ואני מתכנן לפרסם עדכונים כשהיא מתמלאת וכשאני מתחיל לתכנן בריכות מחדש.

תודה מיוחדת ל קייטי גנדומי לעזרה בפיתוח.

חקלאות שמחה!

Source: https://levelup.gitconnected.com/building-a-200tb-chia-farming-rig-c9478ed7b92f?source=rss——-8—————–cryptocurrency