如何为大量用户的交易平台克服 OHCL 数据的 API/Websocket 限制?

问题描述

我将 CCXT 用于某些 API REST 调用获取信息和 websocket。 1 个用户可以,如果我想让很多用户使用该平台,我将如何进行内部解决方案?

目前每个图表要么使用 websockets 要么使用休息调用,如果我有 20 个图表,那就是 20 个调用,如果我增加用户,那么无论用户如何,都是 20 倍。如果我从 1 个交易所获得一个包含实时价格的完整代币列表,那只会减慢一切。

到目前为止我想到的一些想法是:

  1. 在 REST/Websockets 中使用代理
  2. 使用 timescale DB 来存储数据并提供服务
  3. 在服务器上使用缓存,并将其提供给用户

这会是一个解决方案吗?必须有一种方法来克服速率限制并减少对交易所的调用量。

解决方法

可能,考虑将层分开是很好的:

  1. 接收市场数据(向 OHLC 处理器广播数据的单一连接)
  2. 处理 OHLC 直方图(订阅内部市场数据)
  3. 提供直方图数据(订阅已处理的数据)

市场数据流是巨大的,如果你独立思考这些层,它会很容易扩展,甚至在必要时以后将组件解耦。

使用时间刻度,您可以构建可轻松访问和检索信息的物化视图。每个物化视图都可以根据直方图的间隔设置continuous aggregate policy

一直为所有用户获取所有数据并不是一个好主意。 分页可以帮助首先显示可见的直方图并限制查询结果,以避免在具有大内存块的服务器中进行大量 IO。