如何将一个非常大的文件导入 R用逗号分隔

问题描述

我有一个包含超过一百万行数据的 xls 文件。一切都在一列中，并用逗号分隔。 Excel打开需要很长时间，我只需要两条信息——客户ID和交易金额。

我的方法是将文件导入R（以逗号分隔），然后提取我需要的两列。问题是导入后所有内容仍然在一列中。我已经尝试过 read.csv(file,sep = ",") 中的 read_csv(file,col_names = T) 和 readr。没有一个工作。但是，我将前五行另存为另一个 xls 文件以进行测试，并且导入正常（正确分隔），没有任何问题。

我也尝试过 cSplit 用逗号分割导入的数据集，但我得到了 Error: C stack usage 14478558 is too close to the limit。我想这是由于文件大小。很抱歉，我无法提供可复制的示例，但数据如下所示，有一百万行：

  customer_id,type,note_number,amount,company
  1,cc,abc,5,A
  2,dc,bcd,7,B
  3,cde,10,C

编辑

感谢@akrun 建议data.table::fread(file)，函数的警告信息让我意识到源文件中的, 中的某些字段包含""。使导入和分离变得更加棘手的是，有些文件有多个 ""。例如，某人的名字可以显示为 ""Joh,Dep"" 而不是 "Joh Dep"。

此外，正如@RonakShah 所建议的，我创建了一个 sample test file。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

r r read.csv readr