我有两个大文本
文件,每个
文件有超过1000万行.如何使用C比较
文件并在
文件中
获取不同的行.
我尝试将一个文件加载到内存中并对内存进行排序,并使用二叉树逻辑来比较文件.它比较并给了我20秒的结果.但它消耗更多的内存. (文本文件大约500 MB).
我想比较两个文件而不消耗更多内存,良好的性能和对硬盘的影响最小.
你可以使用两遍法.
第一遍,你读取文件但只存储行的哈希值和行起始位置,然后你可以根据哈希值比较文件,你只能在第二遍中读取行再次完成比较,当两行具有相同的哈希值时.这样可以节省内存消耗和cpu时间,两次读取一些行会有点损失.
