如何为数字列表计算唯一的“签名”？

问题描述

给出一个数字列表，例如一些唯一的整数或长ID，这是计算可重现“签名”（最好与元素顺序无关）的最佳方法是什么？

用例是检测是否已在（对象的）列表中添加或删除任何ID。

Java的array.hashCode()不符合要求，因为即使JVM调用之间看起来很一致，但如果元素的顺序更改或创建了另一个具有相同元素的实例，它也会返回不同的哈希值：

int[] ids1 = {1,2,3};
System.out.println(ids1.hashCode());
// output: 980546781

int[] ids1Copy = {1,3};
System.out.println(ids1Copy.hashCode());
// output: 2061475679

int[] ids2 = {2,1,3};
System.out.println(ids2.hashCode());
// output: 140435067

我的理解是ids1.hashCode()为数组的内存地址计算哈希，而对数组中的原始元素进行不是累积哈希代码。

在这种情况下，除了分别哈希每个元素之外，还可以使用其他方法吗？

解决方法

您可以首先在数组中创建一个数量与数量比较的哈希表。然后，您可以使用哈希图的哈希码。

但是，请记住，就像@khelwood建议的那样，两个不同的哈希图可能有可能（虽然很少）返回相同的哈希码。

因此，如果您想可靠地检查2个数字列表是否相同，则可以如上所述创建它们的频率哈希图，然后进行以下检查：

hashmap2.size（）== hashmap1.size（）
对于hashmap2中的每个（键，值）{hashmap1 [key] == value}

其算法时间复杂度与计算和比较哈希码一样高效。

编辑：

我刚刚意识到上述算法是Java HashMap equals()内部使用的算法。

因此，我们可以只创建频率哈希图并使用hashmap2.equals(hashmap1)检查它们的相等性。

编辑2：

如果数组中的所有数字都是不同的，则可以从它们中创建一个哈希集，然后只需检查是否set2.equals(set1)。

约束

可重现的“签名”（最好与元素顺序无关）

使这个问题具有挑战性。

有两种方法可以解决我的问题：

方法1 ：

a。在O(N lg N)时间内对整数列表进行排序。

b。将整数列表视为基数M中的数字，其中M是列表中最大的数字。假设您有一个像[A,B,C]这样的整数列表。然后，您可以将该列表哈希为：hash = A*M^0 + B*M^1 + C*M^2。如果M很小，则此方法是合理的。您也可以选择一个小的M作为2的幂（例如2 ^ 8），然后对大于该整数的任何整数将其分解为8位的块，并使用相同的算法。

总时间：O(N lg N) + O(N)。空格：O(1)个长整数累加器。

方法2 ：

a。在O(N lg N)时间内对整数列表进行排序。

b。构建您的整数列表的字符串表示形式，然后对字符串进行哈希处理。例如，对于[1,2,3]之类的整数列表，创建一个字符串1_2_3并对其进行哈希处理。

总时间：O(N lg N) + O(N)。空格：O(N lg N)大小的字符串。

请注意，所有基于散列的解决方案都不可靠。也就是说，有可能发生碰撞。

假设没问题，这是一种简单的方法。

首先，为整数对构建一个哈希函数。有很多可用的。

接下来，让我们进行思考练习。

想象一下将所有整数排列成2 ^ 64个存储桶。然后看看计数。因此，像[2,2]这样的数组将成为...,0 0,1,....

这样的频率计数列表

现在，将这些频率与其下一个邻居配对。这样我们得到...,(0,0),(1,(2,...。现在，将每对替换为其哈希值。重复。经过64个级别后，我们将获得一个代表整个频率计数的哈希值。

现在我们实际上不能执行此操作。但是，在每个级别上，大多数条目都从0开始，然后是hash(0,0)，然后是hash(hash(0,hash(0,0))，依此类推。都是一样的。因此，如果数据结构是具有值和两个指针的链表，则大多数指针将仅指向通用的0填充块数据结构。

因此，我们可以写出一个“树”，其中0块的所有指针都指向相同的规范值。当我们拥有这棵树时，插入一个元素的问题是将路径导航到适当的根，创建一个具有正确值的新节点，然后返回树以插入新值。这需要O(64)的时间。插入所有值，我们将在时间O(64 n)中用散列符号表示这些值的确切频率计数。（创建相同数量的数据，然后可以丢弃其中的大部分数据。）

但是它会变得更好。如果您创建了两个具有此数据结构的列表，则不仅可以判断它们是否可能不同，还可以实际找到它们的区别！（rsync实用程序使用类似的技巧来找出远程文件之间的更改，从而可以限制复制的数量。）

根据评论和反馈，已确定以下方法（由于btilly概述的潜在哈希冲突，因此可能不可靠）：

import java.util.Arrays;
import java.util.Collections;
import java.util.List;

public class NumberHash {

    public static void main(String[] args) {

        // ######## Arrays.deepHashCode() ########

        Integer[] ids1Sorted = {1,3};
        Integer[] ids1Unsorted = {3,2};
        
        System.out.println(Arrays.deepHashCode(ids1Sorted));
        // 30817

        Arrays.sort(ids1Unsorted);
        System.out.println(Arrays.deepHashCode(ids1Unsorted));
        // 30817


        // ######## toString() based ########

        int[] idsSorted = {1,3};
        System.out.println(Arrays.toString(idsSorted).hashCode());
        // -412129978

        int[] idsUnsorted = {3,1};
        Arrays.sort(idsUnsorted);
        System.out.println(Arrays.toString(idsUnsorted).hashCode());
        // -412129978

        List<Integer> oids = Arrays.asList(2,3,1);
        Collections.sort(oids);
        System.out.println(oids.toString().hashCode());
        // -412129978
    }
}

我会像 CRC32 或 Adler32 这样的校验和作为唯一标识符
包裹在一个准备使用的 lambda 中：

int[] yourArray = {1,3};
long checksum = Arrays.stream(yourArray).boxed().collect(Collector.of(
    CRC32::new,CRC32::update,(l,r) -> {return l;})).getValue();

{1,3}: 0x55bc801d
{1,2}: 0x3ba081ca
{2,3}: 0x7cd76d87

algorithm hash integer-hashing java java uniqueidentifier

如何为数字列表计算唯一的“签名”？

问题描述

解决方法

相关问答