查询大型数据时,表的超集仪表板表类型为何而慢?

问题描述

现在我使用超集仪表板(表)来查询详细数据,但是当查询结果超过50K行时,由于浏览器中呈现的数据量很大,这将使Web浏览器崩溃并且运行缓慢,我认为是否有解决方解决这个问题。

案例:我使用超集仪表板作为详细数据查询,但是数据行向浏览器返回了超过5万行,这将导致浏览器崩溃并且运行缓慢。

我认为,如果有任何可以控制仪表盘下载和显示行数限制的解决方案将是完美的。例如,一次查询超过500行,仅在浏览器上显示前500行,以csv格式下载时,可以将完整的数据集下载到csv。

解决方法

有两种方法可以优化此效果。

  1. 数据库级优化::评估查询在数据库上直接运行多长时间,并将其与超集进行比较。如果差异不大,那么您需要考虑在数据库级别优化查询。理想情况下,您希望将尽可能多的繁重工作推到数据库中。

  2. 超级集级别优化:

    a)元数据库:离开sqlite并迁移到mysql或 postgres或其他受支持的数据库。

    b)缓存:查看superset documentation