Tạo Dịch vụ AWS Kafka cho Dữ liệu HFT

Bước 4: Nhấp chuột trường từ menu bên trái để xem danh sách các phiên bản đang chạy của bạn. Bấm vào phiên bản đang chạy và ghi lại Địa chỉ IPv4 công cộng để sử dụng trong tương lai.

Kết nối với máy chủ EC2 và thiết lập Kafka

Bước 1: Kết nối với Máy chủ EC2 qua SSH. Trên Linux hoặc Mac, việc này được thực hiện bằng cách mở một thiết bị đầu cuối và di chuyển đến thư mục lưu trữ tệp cặp khóa trước đó. Sau đó, chúng tôi thay đổi quyền của tệp cặp khóa và sử dụng nó để SSH vào Phiên bản EC2 mới tạo của chúng tôi.

Lưu ý: CryptoFeedKafkaServer.pem là tên của tệp cặp khóa và phải được thay thế bằng tên tệp cặp khóa của bạn. Hơn nữa, EC2-PUBLIC-IP là địa chỉ IP công cộng của máy chủ EC2 mà bạn đã thu thập ở bước cuối cùng khi khởi động máy chủ AWS Ubuntu. Nếu bạn đang sử dụng Windows, bạn có thể xem tài liệu tham khảo này của cách sử dụng Putty để SSH vào Máy chủ EC2

Bước 2: Trước khi tải xuống, cài đặt và định cấu hình Kafka, chúng tôi phải đảm bảo rằng các phần phụ thuộc cần thiết đáp ứng cho CryptoFeed và Kakfa.

Các lệnh trên cập nhật máy chủ Ubuntu EC2, cài đặt java để hỗ trợ Kafka và sau đó chúng tôi sử dụng pip để thêm các gói Python CryptoFeed và Aiokafka cần thiết để tạo các nhà sản xuất CryptoFeed Kafka của chúng tôi.

Lưu ý: Phiên bản CryptoFeed rất quan trọng. CryptoFeed 2.0 sẽ không hoạt động với các bước lưu trữ dữ liệu trong tương lai.

Bước 3: Thiết lập Kafka. Thực hiện theo các lệnh dưới đây và đọc bình luận để hiểu từng bước. Các nhận xét giúp thiết lập các cấu hình Kafka cần thiết, để người tiêu dùng của chúng tôi có thể truy cập các nhà môi giới Kafka bên ngoài máy chủ và dữ liệu đó chỉ được giữ lại trong khoảng thời gian cần thiết để quản lý không gian lưu trữ trên máy chủ EC2 tối thiểu.

Thời gian lưu giữ tin nhắn được đặt thành 1 giờ vì phiên bản EC8 có ít hơn 2 GB dung lượng lưu trữ và tốc độ thu thập dữ liệu khiến ổ đĩa đầy chỉ sau vài giờ. Bạn có thể đặt thời gian lưu giữ thông báo trong nhật ký lâu hơn nếu bạn phân bổ thêm dung lượng lưu trữ cho phiên bản của mình.

Đang chuẩn bị tập lệnh CryptoFeed

Khi Kafka đang chạy, bước cuối cùng trên máy chủ là tạo và chạy tập lệnh python sẽ kết nối với các sàn giao dịch mong muốn của chúng tôi thông qua WebSocket và thu thập dữ liệu giao dịch tiền điện tử.

Bước 1: Viết main.py scipt bằng cách trước tiên tạo tập lệnh python trống thông qua nsau main.py và sau đó bạn có thể thêm

Bước 2: Sau đó chỉ cần chạy tập lệnh qua python3 ./main.py

Nếu bạn muốn điều chỉnh các trao đổi, tiền xu hoặc dữ liệu giao dịch thì hãy kiểm tra Kho lưu trữ CryptoFeeds cho cảm hứng

Source: https://medium.com/@davidpedersen/creating-an-aws-kafka-service-for-hft-data-913e1e144ec0?source=rss——cryptocurrency-5