200 Tt: n Chia-maanviljelylaitteen rakentaminen

Täydellinen katsaus komponenttien valinnasta ohjelmiston konfigurointiin Chia kryptovaluutan viljely (kaivos) järjestelmään.

Chia on uusi kryptovaluutta, jonka tavoitteena on saavuttaa hajautettu konsensus pienemmällä energiankulutuksella tapahtumaa kohden kuin sen vertaisvaluutta. Tämä saavutetaan a todiste avaruusalgoritmista sijasta todiste työstä.

Vaikka todiste työnteosta perustuu jatkuvaan matemaattisen ongelman (yleensä hajautusten, kuten SHA256) laskemiseen pyrkiessään löytämään tuloksia, jotka vastaavat haluttua kaavaa, Chia sen sijaan luottaa tiettyjen ominaisuuksien tarkistamiseen ainutlaatuisissa esiluoduissa tiedostoissa, joita kutsutaan plotiksi.

Tämä tehdään kaksivaiheisessa prosessissa nimeltä maanviljely koostuvat:

1. salavehkeily jossa luodaan suuria yksilöllisiä tiedostoja (yleensä 101.6 Gt).
2. Ja korjuu jossa aiemmin luoduista tiedostoista tarkistetaan mahdollisuus voittaa kyseisen lohkon palkinto (tällä hetkellä 2 Chiaa).

Mitä enemmän tontteja (suurempaa tallennustilaa käytetään) solmulla on, sitä suurempi on mahdollisuus voittaa kyseisen lohkon palkinto. Päivittäin on 4608 voittomahdollisuutta ja todennäköisyys voittaa kyseisen korttelin palkinto perustuu ensisijaisesti omistamiensa tonttien lukumäärään suhteessa verkon kokonaiskokoon. Tuloslaskuri tarjotaan tätä.

Näin ollen, maksimoidaksemme palkinnot haluamme suurimman mahdollisen tallennustilan ja riittävästi laskentaresursseja mainitun varaston täyttämiseksi tontteilla.

Kuten useimpien suunnitteluongelmien kohdalla, Chian viljelemiseen käytettävien laitteiden yhdistelmälle on olemassa loputtomasti kelvollisia ratkaisuja. Auttaakseni vaihtoehtojen rajaamista aloitin päättämällä joistakin rajoituksista ja prioriteeteista:

1. Kustannukset dollareina/TB tulisi minimoida lisämonimutkaisuudesta huolimatta (järjestyksen rajoissa).
2. Koska minulla on rajallinen aika, jonka voin omistaa tälle projektille, järjestelmän pitäisi koostua enimmäkseen valmiista osista (ei mukautettuja piirilevyjä, mukautettua alustaa jne.).

Piirustus — käsittely

Laitteiston asetuksista riippuen yhden juonen luominen voi kestää 4–20 tuntia. Siksi oikean piirustuslaitteiston valitseminen voi olla ero koko tilasi täyttämisessä päivissä vai kuukausissa.

On tärkeää ottaa huomioon kunkin kaavion luomisnopeuden lisäksi myös luotavien samanaikaisten kuvaajien lukumäärä. Esimerkiksi kokoonpano, joka luo 10 samanaikaista kuvaajaa 12 tunnin välein, tuottaa 20 kuvaajaa (~2 Tt/päivä), kun taas kokoonpano, joka piirtää yhden samanaikaisen kaavion 1 tunnin välein, tuottaa vain 4 kuvaajaa päivässä (6 Tt/päivä).

Kustannusten minimoimiseksi päätin etsiä käytöstä poistettuja palvelimia. Näillä palvelimilla on mielenkiintoisia ominaisuuksia, jotka voivat tehdä niistä tehokkaita piirtureita, mukaan lukien:

1. Suuri määrä ytimiä voi mahdollistaa useamman tontin rinnakkain. Vaihe 1 (noin puolet kuvaajan ajasta) on monisäikeinen (määritetty yleensä 2-4 säikeeksi), mutta loput vaiheet ovat yksisäikeisiä.
2. Käytettävissä oleva RAM-muisti on yleensä enemmän kuin mitä tarvitaan piirtämiseen (~ 4 Gt / samanaikainen kuva).
3. Suunniteltu toimimaan suurella kuormituksella pitkiä aikoja.

Käytyäni läpi kymmeniä vaihtoehtoja ja mahdollisia kokoonpanoja, päädyin HP ProLiant DL380p Gen8:aan, jossa oli 2x Intel E5–2670 ja 192 Gt DDR3 RAM -muistia. Kun hypersäikeistys on käytössä, tämä palvelin voisi hypoteettisesti tukea jopa 16 kaavion samanaikaista piirtämistä vaiheessa 1 alle 400 dollarilla.

Piirustus — Väliaikainen varastointi

Suuresta kirjoituskuormasta johtuen juonen luomisen aikana (noin 1.6 Tt kirjoitettuna ak=32 tontille), väliaikaisen tallennusvälineen valinnalla voi olla merkittävä vaikutus piirtämisaikaan ja -kustannuksiin. Muutama huomioitava seikka:

1. Mitä nopeampi tallennus, sitä nopeammin voidaan luoda tontteja. Tämä kierre käsittelee 4 tunnin juoniaikoja käyttämällä RAMDISKia (liitä kansio RAM-muistiin).
2. Suuren kirjoitusmäärän vuoksi on tärkeää ottaa huomioon tietovälineen kestävyys. Kuluttajatason 1 Tt:n NVMe SSD -levy kestää yleensä noin 600 TBW (kirjoitettua teratavua) ennen kuin sen odotetaan epäonnistuvan, mikä tarkoittaisi, että se voisi tehdä noin 375 juontaa.

Päädyin ostamaan 12-paikkaisen HP StorageWorks D2600:n, jossa on 15K 450 Gt SAS-asemia. Tällä asetuksella voin piirtää samanaikaisesti jokaiselle asemalle vaarantamatta IO-kilpailua asematasolla. JBOD + -asemat olivat huomattavasti halvempia kuin vastaavat NVMe-asemien asennukset (ilman edes huomioimatta vaihtokustannuksia TBW:n saavuttamisen jälkeen).

Maatila – Pitkäaikainen varastointi

Toisin kuin piirrosvarasto, sadonkorjuuvarasto ei vaadi suurta suorituskykyä tai IOP:ia. Tästä syystä kustannusten minimoiminen oli tärkeintä.

On olemassa useita mahdollisia asetuksia, joista joistakin keskustellaan tätä. Kuitenkin, kun etsin eBaysta käytettyjä vaihtoehtoja, muutama asia tuli selväksi:

1. Suuremmilla 3.5 tuuman kiintolevyillä on yleensä alhaisimmat kustannukset. Tämä on järkevää, koska useimmat laitteet ovat nykyään siirtyneet pienempiin 2.5" tai 1.8" kokoihin.
2. SAS-kiintolevyt (ei SSD-levyt) näyttivät olevan alhaisimmat TB-hinnat, joidenkin erien hinta oli jopa 10 dollaria/TB (toukokuusta 2021). Nämä SAS-asemat eivät ole yhteensopivia SATA (kuluttaja) -korttien kanssa, ja ne myydään yleensä eBayssa sen jälkeen, kun ne on poistettu käytöstä yrityksen datakeskuksesta.

Kun ryhdyin käyttämään 3.5 tuuman SAS-kiintolevyjä, minun piti löytää tapa yhdistää ne harvesteriin/plotteriin. Pitäen kiinni rajoituksesta olla rakentamatta koteloa/taustalevyä aloin etsiä käytettyjä koteloita, joihin nämä asemat mahtuisivat säilyttäen samalla alhaisimmat kustannukset paikkakohtaisesti.

Törmäsin useisiin vaihtoehtoihin eBayssa ja päädyin ostamaan muutamia eri malleja, mukaan lukien 24-paikkainen HP 3PAR ja kaksi 12-paikkaista IBM DS3512:ta.

Täysi luettelo

Lopullinen luettelo komponenteista näkyy alla. Se sisältää yllä mainitut pääkomponentit, mutta myös apuosat, joita tarvitaan järjestelmän kokoamiseen.

Mainitsemisen arvoinen on HBA-kortti. PCIe-kortti paljastaa ulkoiset SAS-liittimet, joihin JBOD:iden kaapelit liitetään. Kun ostat sen, varmista, että hankit Initiator target (IT) -tilan kortin, jotta asemat näkyvät suoraan käyttöjärjestelmässä IR-tilan kortin sijaan. Mukavaa on, että saatat haluta hankkia kortin, jossa on uudempi käyttöjärjestelmä (versio 20).

Asennus on enimmäkseen intuitiivinen. Kaapelit liitetään reikiin, joihin ne sopivat. Kuitenkin SAS-kaapelointi, joka yhdistää JBOD:t ja piirtämis-/korjuukoneen, ovat ketjutettavissa.

Minun tapauksessani minulla on kaksi kaapelia, jotka lähtevät palvelimelta (yksi kummassakin HBA:n portissa). Yksi kaapeleista liitetään väliaikaisen tallennusjärjestelmän (HP D2600) tuloon ja kyseisen ryhmän lähtö kytketään HP 3PAR -ryhmään. Toinen kaapeli liitetään ensimmäiseen IBM-ryhmään ja sen lähtö toiseen IBM-ryhmään. JBOD:issa on yleensä tuloportti (ensisijainen) ja lähtöportti (yleensä merkitty ulospäin osoittavalla nuolella).

Asensin 20.04 Ubuntu LTS palvelimella, koska se on laajalti käytetty Linux-jakelu, mikä tarkoittaa, että vianmääritysfoorumien löytäminen olisi helpompaa, jos ongelmia ilmenee. Alla olevat vaiheet kuvaavat jäljellä olevat kokoonpanot.

Vaihe 1: Varmista, että kaikki asemat ovat saatavilla

Ensimmäinen vaihe on tarkistaa, mitkä asemat käyttöjärjestelmä tunnistaa. Tämä voidaan suorittaa suorittamalla lsscsi komento. jonka tulos on esitetty alla.

Huomaa, että yllä oleva komento ei anna tietoja asemien tiedostojärjestelmästä tai koosta. Suorita sitä varten lsblk komento.

Tärkeää: Huomaa, että kaikki asemat eivät näy kummankin komennon alla! Asemat, jotka näkyvät alla lsscsi mutta ei lsblk saattaa sisältää yhteensopimattomuutta, jonka vuoksi käyttöjärjestelmä ei tarjoa niitä asennettavaksi jne. Esimerkki tästä on /dev/sdaw.

Minun tapauksessani tämä ongelma johtui sektorin koosta 520, jota asennettu Linux-ydin ei tue (keskustelu tästä aiheesta löytyy tätä ja tätä). Voit selvittää, onko tämä sinun tapauksesi tarkastelemalla dmesg komennon lokiin virheilmoitukselle, kuten [sdaw] Unsupported sector size 520.

Tämän ratkaisemiseksi alustain asemat uudelleen käyttämällä lohkokokoa 512 komennolla sg_format -v --format --size=512 /dev/sdX. Tämän komennon suorittamiseen voi kulua paljon aikaa (useita tunteja), ja tulos näkyy alla.

Kun asema on valmis, aseman pitäisi näkyä lsblk tuotos.

Vaihe 2: Luo tiedostojärjestelmä asemiin

Asemien alustaminen ext4 tiedostojärjestelmä, suoritin seuraavan komennon: sudo mkfs -t ext4 — verbose /dev/sda.

Vaihe 3: Asenna asemat

Nyt kun voimme käyttää asemia ja ne on alustettu halutulla tiedostojärjestelmällä, voimme Kiinnitä nämä asemat.

1. Luo kansiot, joihin asennamme asemat. Esimerkiksi: /mnt/farm/00 että /mnt/farm/23 asemille, jotka tallentavat lopulliset kaaviot, ja /mnt/plot-tmp/00 että /mnt/plot-tmp/11 väliaikaisia ​​piirustuspaikkoja varten.
2. ajaa sudo blkid saadaksesi asemiesi (tai osioiden) yksilölliset tunnukset. Se tulostaa useita rivejä, kuten /dev/sdae: UUID=”29494f44–2f75–4c01-a766–18755eb583d7" TYPE=”ext4".
3. Muokkaa fstab-tiedostoa komennolla sudo vim /etc/fstab ja liitä jokainen asema vastaaviin /mnt/... kansio. Olla varovainen Älä muokkaa tiedoston ensimmäisiä rivejä, koska niitä tarvitaan käyttöjärjestelmän juuriaseman liittämiseen. Lopullinen tiedostoni näkyy alla.
4. ajaa sudo mount -a liittääksesi kaikki fstab-tiedostossa määritetyt asemat. Se asentaa vain asemat, joita ei ole vielä asennettu, joten se on turvallista käyttää useita kertoja.
5. Varmista, että käyttäjillä on pääsy asemiin ja niiden tiedostoihin suorittamalla sudo chmod -R 777 /mnt/farm/00.

Vaihe 4: Suorita Chia Blockchain Software

1. Noudata annettuja virallisia ohjeita tätä asentaaksesi Chia-lohkoketjun (en asentanut graafista käyttöliittymää).
2. ajaa chia start farmer käynnistää demonit lompakolle, harvesterille jne.

Vaihe 5: Asenna Plotman (valinnainen)

Plotman on piirustuspäällikkö, joka ottaa vastuulleen uusien piirustustyöpaikkojen luomisen. Se on kätevä työkalu (ei pakollinen).

1. Asenna Plotman ohjeiden mukaan tätä.
2. muokata plotman.yaml piirturisi ohjeiden mukaan. Lopullinen tiedostoni näkyy alla.

käyttöliittymä:
use_stty_size: Totta
hakemistot:
loki: /home/plotter/plotman-logs
tmp:
- /mnt/plot-tmp/f00
- /mnt/plot-tmp/f01
- /mnt/plot-tmp/f02
- /mnt/plot-tmp/f03
- /mnt/plot-tmp/f04
- /mnt/plot-tmp/f05
- /mnt/plot-tmp/f06
- /mnt/plot-tmp/f07
- /mnt/plot-tmp/f08
- /mnt/plot-tmp/f09
- /mnt/plot-tmp/f10
- /mnt/plot-tmp/f11
dst:
#- /mnt/farm/00 TÄYNNÄ
#- /mnt/farm/01 TÄYNNÄ
#- /mnt/farm/02 TÄYNNÄ
#- /mnt/farm/03 TÄYNNÄ
#- /mnt/farm/04 TÄYNNÄ
#- /mnt/farm/05 TÄYNNÄ
#- /mnt/farm/06 TÄYNNÄ
#- /mnt/farm/07 TÄYNNÄ
#- /mnt/farm/08 TÄYNNÄ
#- /mnt/farm/09 TÄYNNÄ
#- /mnt/farm/10 TÄYNNÄ
#- /mnt/farm/11 TÄYNNÄ
- /mnt/farm/12
- /mnt/farm/13
- /mnt/farm/14
- /mnt/farm/15
- /mnt/farm/16
- /mnt/farm/17
- /mnt/farm/18
- /mnt/farm/19
- /mnt/farm/20
- /mnt/farm/21
- /mnt/farm/22
- /mnt/farm/23
aikataulutus:
tmpdir_stagger_phase_major: 2
tmpdir_stagger_phase_minor: 1
tmpdir_stagger_phase_limit: 1
tmpdir_max_jobs: 1
global_max_jobs: 20
global_stagger_m: 40
äänestysaika_s: 30
piirtäminen:
k: 32
e: False # Käytä -e piirtovaihtoehtoa
n_threads: 2 # säiettä työtä kohti
n_buckets: 128 # Säilöiden lukumäärä, joihin tiedot jaetaan
job_buffer: 8096 # Työmuistia kohti

Muutamia mainitsemisen arvoisia kohtia:

1. Plotman ei lopeta ajastamista maatilakäyttöön (tämän kirjoituksen ajankohtana), kun asema on täynnä. Siksi sinun on poistettava ne (tai kommentoitava ne edellä).
2. Plotman lisää automaattisesti maatilakäytöt chia-harvesteriin.
3. käytän tmpdir_max_jobs yhtä suuri kuin 1, koska piirrän kiintolevyille, joilla ei ole hyvää hakusuorituskykyä verrattuna SSD-levyihin.

Vaihe 6: Suorita piirturi

Tässä vaiheessa piirtämisen aloittamiseksi tarvitsee vain juosta plotman interactive.

Huomautus: Hyvin pitkäaikainen työn suunnittelu /dev/farm/usb2 on virheenkorjausajo, jota ei ole tarkoitus suorittaa loppuun.

Toivottavasti tämä tölkki auttoi antamaan sinulle käsityksen Chian viljelystä!

Tällä hetkellä tilani on 1/3 täynnä, ja aion julkaista päivityksiä sitä mukaa, kun se täyttyy ja kun aloitan uudelleen piirtämisen uima-altaita varten.

Erityiset kiitokset Katie Gandomi kehitysapua varten.

Hyvää viljelyä!

Source: https://levelup.gitconnected.com/building-a-200tb-chia-farming-rig-c9478ed7b92f?source=rss——-8—————–cryptocurrency