ایجاد یک سرویس AWS Kafka برای داده های HFT

مرحله 4: کلیک کنید موارد از منوی سمت چپ برای مشاهده لیست نمونه های در حال اجرا خود. روی نمونه در حال اجرا کلیک کنید و آن را ضبط کنید آدرس IPv4 عمومی برای استفاده بعدی

اتصال به EC2 Server و Kafka Setup

مرحله 1: از طریق SSH به سرور EC2 متصل شوید. در لینوکس یا مک، این کار با باز کردن یک ترمینال و انتقال به فهرستی که فایل جفت کلید قبلی در آن ذخیره شده است انجام می شود. سپس مجوزهای فایل جفت کلید را تغییر می‌دهیم و از آن برای SSH در نمونه جدید EC2 خود استفاده می‌کنیم.

توجه: CryptoFeedKafkaServer.pem نام فایل جفت کلید است و باید با نام فایل جفت کلید شما جایگزین شود. علاوه بر این، EC2-PUBLIC-IP آدرس IP عمومی سرور EC2 شما است که در آخرین مرحله راه اندازی سرور اوبونتو AWS جمع آوری کرده اید. اگر از ویندوز استفاده می کنید، می توانید به این مرجع نگاه کنید نحوه استفاده از Putty به SSH در سرور EC2

مرحله 2: قبل از دانلود، نصب و پیکربندی کافکا، باید مطمئن شویم که وابستگی های لازم برای کریپتوفید و کاکفا وجود دارد.

دستورات بالا سرور اوبونتو EC2 را به روز می کند، جاوا را برای پشتیبانی از کافکا نصب می کند و سپس از pip برای اضافه کردن بسته های پایتون CryptoFeed و Aiokafka مورد نیاز برای ایجاد تولیدکنندگان CryptoFeed Kafka استفاده می کنیم.

توجه: نسخه CryptoFeed بسیار مهم است. CryptoFeed 2.0 با مراحل ذخیره سازی داده در آینده کار نخواهد کرد.

مرحله 3: تنظیم کافکا. دستورات زیر را دنبال کنید و نظرات را بخوانید برای درک هر مرحله نظرات به تنظیم پیکربندی های لازم کافکا کمک می کند، بنابراین کارگزاران کافکا می توانند در خارج از سرور توسط مصرف کنندگان ما دسترسی داشته باشند و این داده ها فقط تا زمانی که برای مدیریت فضای ذخیره سازی در سرور حداقل EC2 لازم است حفظ می شوند.

ذخیره پیام روی 1 ساعت تنظیم شد زیرا کمتر از 8 گیگابایت فضای ذخیره سازی در نمونه EC2 وجود دارد و سرعت جمع آوری داده ها باعث می شود که درایو فقط پس از چند ساعت پر شود. اگر فضای ذخیره بیشتری را به نمونه خود اختصاص دهید، می‌توانید زمان بیشتری را تنظیم کنید که پیام‌ها در گزارش‌ها نگهداری شوند.

آماده سازی اسکریپت CryptoFeed

با اجرای کافکا، آخرین مرحله روی سرور، ایجاد و اجرای یک اسکریپت پایتون است که از طریق WebSocket به صرافی‌های مورد نظر ما متصل می‌شود و داده‌های تجارت ارزهای دیجیتال را جمع‌آوری می‌کند.

مرحله 1: با ایجاد اسکریپت خالی پایتون از طریق n، main.py scipt را بنویسیدano main.py و سپس می توانید اضافه کنید

مرحله 2: سپس به سادگی اسکریپت را از طریق اجرا کنید python3 ./main.py

اگر می خواهید مبادلات، سکه ها یا داده های تجارت را تنظیم کنید، بررسی کنید مخزن CryptoFeeds برای الهام گرفتن

Source: https://medium.com/@davidpedersen/creating-an-aws-kafka-service-for-hft-data-913e1e144ec0?source=rss——cryptocurrency-5