我有一个程序,使用fwrite保存许多大文件> 1GB它工作正常,但不幸的是由于数据的性质,每次调用fwrite只写1-4字节.结果是写入可能需要一个多小时,大部分时间似乎是由于系统调用开销(或至少在fwrite的库函数中).我对fread有类似的问题.
解决方法
首先,fwrite()是一个库而不是系统调用.其次,它已经缓冲了数据.
您可能希望尝试增加缓冲区的大小.这是通过使用setvbuf()来完成的.在我的系统上,这只能帮助一点点,但是YMMV.
如果setvbuf()没有帮助,你可以自己做缓冲,只有在你积累了足够的数据后才调用fwrite().这涉及更多的工作,但几乎肯定会加快写作速度,因为你自己的缓冲可以比fwrite()更轻量级.
编辑：如果有人告诉你这是问题的fwrite()调用的绝对数量,需要查看证据.更好的是,做自己的性能测试.在我的计算机上,使用fwrite()的500,000,000个双字节写入需要11秒.这相当于大约90MB / s的吞吐量.
最后但并非最不重要的是,我的测试中的11秒与您的问题中提到的一小时之间的巨大差异暗示了您的代码中可能存在导致性能非常差的其他因素的可能性.
