java – 多核环境中的BufferedReader

我有8个文件.它们中的每一个大约是1.7 GB.我正在将这些文件读入字节数组,并且该操作足够快.

然后读取每个文件如下：

BufferedReader br=new BufferedReader(new InputStreamReader(new ByteArrayInputStream(data)));

当使用单个核心按顺序处理时,需要花费60秒才能完成.但是,当在8个单独的核心上分配计算时,每个文件花费的时间远远超过60秒.

由于数据都在内存中并且没有执行IO操作,因此我认为每个核处理一个文件所需的时间不应超过60秒.因此,总共8个文件应该在60秒内完成,但事实并非如此.

我错过了BufferedReader行为的一些内容吗？或上述代码中使用的任何读者.

值得一提的是,我正在使用此代码首先上传文件：

byte[] content=org.apache.commons.io.FileUtils.readFiletoByteArray(new File(filePath));

所有代码如下所示：

For each file
 read the file into a byte[]
 add the byte[] to a list
end For
For each item in the list
 create a thread and pass a byte[] to it
end For

解决方法

你是如何实际“分发计算”的？是否涉及同步？你只是创建8个线程来读取8个文件？

你在运行什么平台(linux,windows等)？我从Windows调度程序看到了看似奇怪的行为,之后它将单个进程从核心移动到核心,以尝试平衡核心之间的负载.这最终导致性能降低,而不仅仅是允许单个核心比其余核心使用更多.