高效查询和处理 InfluxDB 数据

编程问答 2022-05-16

问题描述

我有一个 InfluxDB，我在其中存储每个数据集有 20.000-40.000 个字段键的数据集。

现在我想通过 Python 脚本（python 3.7x，influxdb_python 5.3.1）从数据库中提取数据。我使用 HTTP 连接连接到 influxdb，然后我执行如下查询：

queryResult = influxClient.query('SELECT * FROM measurement_with_many_field_keys')

此查询会在不到一秒的时间内返回。现在我想处理数据，所以我想将它映射到 Pandas DataFrame。目前我正在使用以下代码：

output = pd.DataFrame()
points = queryResult.get_points()
for point in points:
    output = output.append(Series(point),ignore_index=True)
return output

结果集中有 16 个点，此代码需要 100 秒或更长时间（在标准 Windows PC 上）。有没有办法以更有效的方式完成这项工作。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

influxdbinfluxdbinfluxdb-pythonpandaspandaspython