为财务数据构建数据库

问题描述

我有很多股票价格数据保存在我已经收集了一段时间的CSV文件中,并打算继续收集,但是现在保存到数据库而不是CSV中。 有73个文件(每个资产一个文件),每个文件约有200万行。所有数据的格式都相同:

date,timestamp,open,high,low,close,volume

我想为每个CSV文件创建一个单独的表,因为:

  • 对于我的用途,我一次不会需要多个资产。
  • 我知道1.4亿行对于RDBMS来说并不是沉重的负担,但我认为搜索2M记录的表而不是140M记录将有更好的表现。
  • 按资产分隔,我可以创建一列具有唯一性约束(例如日期或时间戳记)的列,并防止重复记录。

这些观点中是否有错误的假设或错误的做法?是否有充分的理由将它们全部保存在一个表中?

我已经读过这个question,尽管类似的问题也不认为答案适用于我的情况。

如果不清楚,我在DB方面没有太多经验,因此对指导和教育性回答表示高度赞赏。

解决方法

我将它们存储在一个表中只是因为我不必维护73个表。 如果您每天,每周或什至每月更新数据,则必须将73个csv文件中的73个表插入其中,或者为此目的维护一个自动化脚本,对此我觉得有点过分了。

  • 对于我的用途,我一次不会需要多个资产。 ->我不明白。
  • 按资产分隔我可以创建一列具有唯一性约束(例如日期或时间戳记)的列,并防止重复记录。 ->如果将它们存储在单个表中,则可以添加一列asset_id,该列将标识哪个资产和日期,时间戳就是其数据。
  • 我知道1.4亿行对于RDBMS来说并不是沉重的负担,但我认为搜索2M记录的表而不是140M记录将具有更好的性能。 ->您可以按日期和asset_id对表进行分区,但这是更广泛的讨论,其中包含您将提供的详细信息。

相关问答

依赖报错 idea导入项目后依赖报错,解决方案:https://blog....
错误1:代码生成器依赖和mybatis依赖冲突 启动项目时报错如下...
错误1:gradle项目控制台输出为乱码 # 解决方案:https://bl...
错误还原:在查询的过程中,传入的workType为0时,该条件不起...
报错如下,gcc版本太低 ^ server.c:5346:31: 错误:‘struct...