正则表达式 – 跨多个目录按内容查找重复文件

我从互联网上下载了一些与特定主题相关的文件.现在我想检查文件是否有任何重复.问题是文件的名称会有所不同,但内容可能会匹配.

有没有办法实现一些代码,它将遍历多个文件夹并通知哪些文件是重复的？

解决方法

如果你正在使用 linux / * nix系统,你可以使用sha512sum之类的sha工具,因为md5可以被破坏.

find /path -type f -print0 | xargs -0 sha512sum | awk '($1 in seen){print "duplicate: "$2" and "seen[$1] }(!($1 in  seen)){seen[$1]=$2}'

如果你想使用Python,一个简单的实现

import hashlib,os
def sha(filename):    
    ''' function to get sha of file '''
    d = hashlib.sha512()
    try:
        d.update(open(filename).read())
    except Exception,e:
        print e
    else:
        return d.hexdigest()
s={}
path=os.path.join("/home","path1")
for r,d,f in os.walk(path):
    for files in f:
        filename=os.path.join(r,files)
        digest=sha(filename)
        if not s.has_key(digest):
            s[digest]=filename
        else:
            print "Duplicates: %s <==> %s " %( filename,s[digest])

如果您认为sha512sum不够,可以使用像diff或filecmp(Python)这样的unix工具