HFT Verileri PlatoBlockchain Veri Zekası için AWS Kafka Hizmeti Oluşturma. Dikey Arama. Ai.

HFT Verileri için AWS Kafka Hizmeti Oluşturma

HFT Verileri PlatoBlockchain Veri Zekası için AWS Kafka Hizmeti Oluşturma. Dikey Arama. Ai.

4 Adım: Tıkla Örnekleri Çalışan bulut sunucularınızın listesini görmek için sol taraftaki menüden. Çalışan örneği tıklayın ve kaydedin Genel IPv4 adresi gelecekteki kullanım için.

EC2 Sunucusuna Bağlanma ve Kafka Kurulumu

1 Adım: SSH aracılığıyla EC2 Sunucusuna bağlanın. Linux veya Mac'te bu, bir terminal açıp daha önceki anahtar çifti dosyasının depolandığı dizine taşınarak yapılır. Daha sonra anahtar çifti dosyasının izinlerini değiştiriyoruz ve bunu yeni oluşturulan EC2 Örneğimize SSH olarak kullanıyoruz.

Not: CryptoFeedKafkaServer.pem, anahtar çifti dosyasının adıdır ve anahtar çifti dosyanızın adı ile değiştirilmelidir. Ayrıca EC2-PUBLIC-IP, AWS Ubuntu sunucusunu başlatmanın son adımında topladığınız EC2 sunucunuzun genel IP adresidir. Windows kullanıyorsanız bu referansa bakabilirsiniz. EC2 Sunucusunda Putty'den SSH'ye nasıl kullanılır

2 Adım: Kafka'yı indirmeden, kurmadan ve yapılandırmadan önce CryptoFeed ve Kakfa için gerekli bağımlılıkların karşılandığından emin olmalıyız.

Yukarıdaki komutlar Ubuntu EC2 sunucusunu günceller, Kafka desteği için Java'yı yükler ve ardından CryptoFeed Kafka üreticilerimizi oluşturmak için gereken python CryptoFeed ve Aiokafka paketlerini eklemek için pip kullanırız.

Not: CryptoFeed sürümü çok önemlidir. CryptoFeed 2.0 gelecekteki veri depolama adımlarıyla çalışmayacaktır.

3 Adım: Kafka'nın kurulumu. Aşağıdaki komutları takip edin ve yorumları oku Her adımı anlamak için. Yorumlar gerekli Kafka yapılandırmalarının ayarlanmasına yardımcı olur, böylece tüketicilerimiz Kafka aracılarına sunucu dışından erişebilir ve veriler yalnızca minimum EC2 sunucusundaki depolama alanını yönetmek için gerekli olduğu sürece saklanır.

EC1 bulut sunucusunda 8 GB'tan az depolama alanı olduğundan ve veri toplama hızı, sürücünün yalnızca birkaç saat sonra dolmasına neden olduğundan, ileti saklama süresi 2 saat olarak ayarlandı. Örneğinize daha fazla depolama alanı ayırırsanız, mesajların günlüklerde tutulacağı süreyi daha uzun süre ayarlayabilirsiniz.

CryptoFeed Komut Dosyasını Hazırlama

Kafka çalışırken, sunucudaki son adım, WebSocket aracılığıyla istediğimiz borsalara bağlanacak ve kripto para birimi ticaret verilerini toplayacak bir python betiği oluşturup çalıştırmaktır.

1 Adım: Önce n aracılığıyla boş python betiğini oluşturarak main.py kodunu yazın.ano main.py ve sonra ekleyebilirsiniz

Adım 2: Daha sonra betiği şununla çalıştırın: python3 ./main.py

Borsaları, madeni paraları veya ticaret verilerini ayarlamak istiyorsanız, şuraya göz atın: CryptoFeeds deposu Ilham almak için

Source: https://medium.com/@davidpedersen/creating-an-aws-kafka-service-for-hft-data-913e1e144ec0?source=rss——cryptocurrency-5

Zaman Damgası:

Den fazla Orta