问题描述
我有一个大型的csv数据文件，记录超过500万。它包含“开始日期时间”和“结束日期时间”。 这是数据外观的一个示例
2019-08-06 16:07:25,2019-08-06 16:07:42
2019-08-06 17:21:42,2019-08-06 17:21:59
2019-08-06 15:43:03,2019-08-06 15:43:20
2019-08-06 13:48:13,2019-08-06 13:48:30
2019-08-06 16:18:56,2019-08-06 16:19:13
2019-08-06 14:34:10,2019-08-06 14:34:27
2019-08-06 16:59:47,2019-08-06 17:00:04
2019-08-06 16:14:57,2019-08-06 16:15:14
2019-08-06 13:04:38,2019-08-06 13:04:55
2019-08-06 16:09:28,2019-08-06 16:09:45
我的目标是能够可视化数据，以识别何时具有最高活动并发连接。理想情况下，我们能够看到的时间间隔越窄越好。该数据的日期介于2个月之间。
我尝试使用Python遍历每个记录的整个文件，以确定有多少个并发连接。当我进行了几千条记录的小规模测试时，它运行良好。但是，对于具有超过500万条记录的文件，该方法将无法很好地工作，因为遍历所有500万条记录（每次500万次）将花费相当长的时间。
解决方法
我仅解决一个中心问题，即如何转换数据以显示事务的并行度。
我使用（Oracle）SQL来演示这个想法。
我们假设这是您的数据
select * from tab;
START_DT END_DT
------------------- -------------------
06.08.2019 16:07:25 06.08.2019 16:07:42
06.08.2019 16:07:30 06.08.2019 16:07:35
06.08.2019 16:07:33 06.08.2019 16:07:50
06.08.2019 16:07:50 06.08.2019 16:07:55
第一步，将每一行分为两部分（使用UNION ALL）
第一部分将确定交易开始将将有效交易的计数增加1 。
第二部分标识交易的结束将有效交易的计数减少1 。
作为时间戳，您可以使用交易的开始或结束日期。
select start_dt trans_dt,1 trans_cnt from tab union all
select end_dt trans_dt,-1 trans_cnt from tab
order by 1;
TRANS_DT TRANS_CNT
------------------- ----------
06.08.2019 16:07:25 1
06.08.2019 16:07:30 1
06.08.2019 16:07:33 1
06.08.2019 16:07:35 -1
06.08.2019 16:07:42 -1
06.08.2019 16:07:50 1
06.08.2019 16:07:50 -1
06.08.2019 16:07:55 -1
已经准备好日期，您只需要累积，这是通过对事务时间戳排序的分析中的聚合函数SUM完成的。以后再说吧。
最后，您合并了多个事务在同一时间戳中开始或结束的情况-您使用GROUP BY和MAX并行度。
完整查询
with trans as (
select start_dt trans_dt,-1 trans_cnt from tab),trans_cum as (
select trans_dt,trans_cnt,sum(trans_cnt) over (order by trans_dt,trans_cnt) parallel_trans_cnt
from trans)
select trans_dt,max(parallel_trans_cnt) parallel_trans_cnt
from trans_cum
group by trans_dt
order by 1;
结果
TRANS_DT PARALLEL_TRANS_CNT
------------------- ------------------
06.08.2019 16:07:25 1
06.08.2019 16:07:30 2
06.08.2019 16:07:33 3
06.08.2019 16:07:35 2
06.08.2019 16:07:42 1
06.08.2019 16:07:50 1
06.08.2019 16:07:55 0
可以使用普通的x，y图简单地可视化此数据。
应该小心，因为一个事务与下一个事务在同一秒结束。 在此后的两笔交易中，还是只有一笔？
上面的查询假设后一种情况，如果您想考虑前一种情况，只需将累加逻辑调整为
sum(trans_cnt) over (order by trans_dt,trans_cnt DESC) parallel_trans_cnt
在同一秒内，您将首先考虑开始事务（这将增加并行度），而不是结束事务。
您可以使用任何编程语言来实现此逻辑，但是请注意， SQL ：1）非常简洁，2）您不受主存储器的限制，3）您可以从框。