如何仅将几行 CSV 文件读入 SequenceRecordReader

问题描述

我正在使用 Deeplearning4j 在随机选择的记录数量上运行模型。有超过 80k 条记录被拆分为自己的 CSV 文件（实际上分为两个单独的 CSV，一个用于数据，一个用于标签），如果您想迭代数千条记录，这不仅效率低下而且非常耗时。下面的代码示例显示了我如何在 SequenceRecordReader 的帮助下遍历这些文件以将它们放入 DataSetIterator 中，并随后逐一评估它们。

for (int g : randomNumbers) {
  Pair<SequenceRecordReader,SequenceRecordReader> rrTest =
      getCreditCardDataReader(testFeaturesDir,testLabelsDir,g,g);
  DataSetIterator testIter =
      new SequenceRecordReaderDataSetIterator(
          rrTest.getLeft(),rrTest.getRight(),1,CLASSES,false,SequenceRecordReaderDataSetIterator.AlignmentMode.ALIGN_END);
  evaluateTestData(network,testIter);
}

以及 getCreditCardDataReader() 的实例：

public Pair<SequenceRecordReader,SequenceRecordReader> getCreditCardDataReader(
  File featureDir,File labelDir,int minIndex,int maxIndex) throws Exception {
int skipNumLines = 0;

InputSplit featureFileSplit =
    new NumberedFileInputSplit(featureDir.getAbsolutePath() + "/%d.csv",minIndex,maxIndex);
SequenceRecordReader features = new CSVSequenceRecordReader(skipNumLines,",");
features.initialize(featureFileSplit);

InputSplit labelFileSplit =
    new NumberedFileInputSplit(labelDir.getAbsolutePath() + "/%d.csv",maxIndex);
SequenceRecordReader labels = new CSVSequenceRecordReader();
labels.initialize(labelFileSplit);

return new ImmutablePair<>(features,labels);
}

现在，需要将所有记录放入两个文件中（一个带有标签，一个带有特征；已经完成）并有选择地选择要使用神经网络进行评估的随机行。问题是似乎没有证据表明 dl4j 库中的任何方法或类使您只能读取 CSV 文件行而不是整个文件本身。有人对如何解决这个问题有任何想法或提示吗？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

deep-learning deeplearning4j dl4j java java