为 HFT 数据创建 AWS Kafka 服务 PlatoBlockchain 数据智能。垂直搜索。人工智能。

为 HFT 数据创建 AWS Kafka 服务

为 HFT 数据创建 AWS Kafka 服务 PlatoBlockchain 数据智能。垂直搜索。人工智能。

步骤4: 点击 实例 从左侧菜单中查看正在运行的实例的列表。单击正在运行的实例并记录 公共 IPv4 地址 供将来使用。

连接到 EC2 服务器和 Kafka 设置

步骤1: 通过 SSH 连接到 EC2 服务器。在 Linux 或 Mac 上,这是通过打开终端并移动到之前存储密钥对文件的目录来完成的。然后,我们更改密钥对文件的权限,并使用它通过 SSH 连接到我们新创建的 EC2 实例。

注意:CryptoFeedKafkaServer.pem 是密钥对文件的名称,应替换为您的密钥对文件的名称。此外,EC2-PUBLIC-IP 是您在启动 AWS Ubuntu 服务器的最后一步中收集的 EC2 服务器的公共 IP 地址。如果您使用的是 Windows,您可以查看此参考 如何使用 Putty 通过 SSH 连接到 EC2 服务器

步骤2: 在下载、安装和配置 Kafka 之前,我们必须确保 CryptoFeed 和 Kakfa 满足必要的依赖关系。

上述命令更新 Ubuntu EC2 服务器,安装 java 以支持 Kafka,然后我们使用 pip 添加创建 CryptoFeed Kafka 生产者所需的 python CryptoFeed 和 Aiokafka 包。

注意:CryptoFeed 版本非常重要。 CryptoFeed 2.0 不适用于未来的数据存储步骤。

步骤3: 卡夫卡的设置。请按照以下命令操作并 阅读评论 了解每一步。这些注释有助于设置必要的 Kafka 配置,因此我们的消费者可以在服务器外部访问 Kafka 代理,并且数据仅保留管理最小 EC2 服务器上的存储空间所需的时间。

消息保留设置为 1 小时,因为 EC8 实例上的存储空间不足 2 GB,并且数据收集的速率导致驱动器仅在几个小时后就被填满。如果您为实例分配更多存储空间,则可以将消息在日志中保留的时间设置得更长。

准备 CryptoFeed 脚本

Kafka 运行后,服务器上的最后一步是创建并运行一个 Python 脚本,该脚本将通过 WebSocket 连接到我们所需的交易所并收集加密货币交易数据。

步骤1: 首先通过 n 创建空的 python 脚本来编写 main.py sciptano main.py 然后你可以添加

第 2 步:然后只需通过以下方式运行脚本 python3./main.py

如果您希望调整交易所、货币或交易数据,请查看 CryptoFeeds 仓库 寻求灵感

Source: https://medium.com/@davidpedersen/creating-an-aws-kafka-service-for-hft-data-913e1e144ec0?source=rss——cryptocurrency-5

时间戳记:

更多来自 M中号