在R中从Oracle数据库读取数据的更快方法

问题描述

我有以下情况：

library(RODBC)
channel <- odbcConnect("ABC",uid="DEF",pwd="GHI")
df <- sqlQuery(channel,query)

行数是10M +。有没有更快的读取数据的方法？

数据在oracle数据库中。

解决方法

这绝对应该是评论，但就此目的而言太长了。

执行SQL时可能会遇到一些瓶颈

1. 执行查询本身
2. 从数据库下载数据
3. 将数据转换为与特定语言类型一致的数据（例如R整数而不是BIGINT等。

如果直接在数据库UI上执行查询时运行速度很快，则执行查询本身时不太可能出现瓶颈。如果您的查询仅包含简单的[RIGHT/LEFT/INNER/OUTER] JOIN，则也可以立即清除，因为它们本身不是“复杂的”查询运算符。这通常是由使用WITH子句或window functions的更复杂的嵌套查询引起的。解决方案是创建一个VIEW，以便对查询进行预优化。
现在更可能是问题2和3。您声明表中有10M数据点。假设您的表是财务表，并且只有5列，它们都是8位浮点数（FLOAT(8)或8位整数，则要下载的数据量为(8 * 5 * 10 M / 1024^3) Gbit = 0.37 Gbit，这本身将花费一些时间下载取决于您的连接。假设您有10 Mbit的连接，则在最佳条件下的下载将至少花费37秒。在这种情况下，您的数据只有 5 列！您还有更多的可能性。
现在，对于3.，如果不进行仔细的代码分析，则很难预测所花费的时间。这是RODBC，odbc或RJDBC必须将数据转换为R可以理解的类型的步骤。我很遗憾地说，在这里要弄清楚哪个软件包最有效是一个“反复试验”的问题。但是，对于oracle而言，我认为DBI + odbc + ROracle（似乎由oracle自己开发？）对于一个好的竞争者来说是一个相当安全的选择。

但是请记住，从任何数据库导入数据到R中所花费的总时间是上述度量的总和。一些数据库提供了用于将查询/表下载为平面文件（csv，镶木地板等）的优化方法，这在某些情况下可以大大加快查询速度，但以不得不从磁盘读取数据为代价。与执行查询本身相比，这通常也变得更加复杂，因此人们必须评估这是否值得解决麻烦，还是值得等待原始查询在R中完成执行。