有没有什么办法可以增加我的散列的冲突次数以进行音频处理?

问题描述

所以我正在尝试制作一种针对澳大利亚鸟类的鸟类沙赞(因为我还没有在这里看到这个)。请不要告诉我它不适用于真实的音频样本,我很清楚这一点,我这样做只是为了好玩和学习更多编码:)

到目前为止我已经得到了这个代码(我承认其中很多是从互联网上偷来的):


def hash_file(filename):
   """"This function returns the SHA-1 hash
   of the file passed into it"""

   # make a hash object
   h = hashlib.blake2s()

   # open file for reading in binary mode
   with open(filename,'rb') as file:

       # loop till the end of the file
       chunk = 0
       while chunk != b'':
           # read only 1024 bytes at a time
           chunk = file.read(1024)
           h.update(chunk)

   # return the hex representation of digest
   return h.hexdigest()

import os
from pydub import AudioSegment
from pydub.utils import make_chunks
list_of_sounds = {}

directory = r'Bird_Calls'
for filename in os.listdir(directory):
    if filename.endswith(".mp3"):
        #print(os.path.join(directory,filename))
        #print(hash_file(os.path.join(directory,filename)))
        hasha=hash_file(os.path.join(directory,filename))
        list_of_sounds[hasha] = [filename]
    else:
        continue

print(list_of_sounds)


import pyaudio
import wave

CHUNK = 1024
FORMAT = pyaudio.paInt16
CHANNELS = 1
RATE = 44100
RECORD_SECONDS = 5
WAVE_OUTPUT_FILENAME = "tmp.mp3"

p = pyaudio.PyAudio()

stream = p.open(format=FORMAT,channels=CHANNELS,rate=RATE,input=True,frames_per_buffer=CHUNK)

print("* recording")

frames = []

for i in range(0,int(RATE / CHUNK * RECORD_SECONDS)):
    data = stream.read(CHUNK)
    frames.append(data)

print("* done recording")

stream.stop_stream()
stream.close()
p.terminate()

wf = wave.open(WAVE_OUTPUT_FILENAME,'wb')
wf.setnchannels(CHANNELS)
wf.setsampwidth(p.get_sample_size(FORMAT))
wf.setframerate(RATE)
wf.writeframes(b''.join(frames))
wf.close()

recorded=hash_file("tmp.mp3")

if recorded in list_of_sounds:
    print(filename)

问题是,当我录制音频时(即使只是播放我知道在数据库中的电话,然后只是录制它以获取哈希值),哈希值仍然不同。我知道这是由于时间/音频质量/背景噪声等的轻微偏移造成的。有没有办法让我的哈希值“更模糊”以增加碰撞的机会?或者我完全以错误的方式处理这个问题。请不要将我指向 dejavu 程序的方向,我确信它很好用,但我想看看我是否可以自己编写代码。谢谢!

解决方法

您已选择 Blake2S 作为哈希函数。这是一个加密散列函数,这意味着它旨在对每个输入字节产生非常不同的结果。

对您来说,这意味着:如果您的 MP3 仅在 1 个字节中有所不同,那么生成的哈希值就会大不相同。

增加碰撞次数无济于事。实际上,情况正好相反:任何其他文件(甚至是文本文件、Word 文档或类似文件)都会有更高的更改以匹配您的鸟鸣。

您需要的是专为音频设计的哈希函数。对于类似 Shazam 的功能,即:

  • 时间可能相对严格,因为我们希望所有播放都具有相同的速度(这可能会因制造公差和温度而有所不同,但可能小于 1%)
  • 它必须允许时移,因为录制可能迟早开始
  • 它可能对频率相对严格,因为它是以特定频率录制的,我们希望播放能产生类似的结果(如果使用均衡器并且每个扬声器具有不同的谐振频率,这可能会有所不同)
  • 它必须允许幅度变化,因为回放可以更大声或从更远的地方录制
  • 它必须允许噪音和环境声音

对于鸟类,算法变得更加困难,因为

  • 它必须允许时间差异,因为不是每只鸟都以相同的速度唱歌
  • 它必须允许频移,因为鸟儿可能会以不同的频率唱歌,而且它们没有什么可调谐的

Potential changes

为了解决图片中显示的一些问题,Shazam 使用频谱而不是波形,因此您需要的是傅立叶变换(通常是 FFT,而不是很多 DFT)。而且他们不会做一次,而是以小增量做,所以他们得到了瀑布光谱图,比如

Spectrogram

但他们仍然需要考虑时间偏移(X 轴上的偏移)和响度差异(更强烈的颜色)。您还需要考虑两个轴上的移位和拉伸。

也许可以对频谱图进行图像处理之类的操作。您可以尝试识别具有当前频率和不存在频率的边缘和区域,如下所示:

Feature detection

这样你就可以说这两个声音都包含 4 个边缘、2 个缺失频率区域和 4 个当前频率区域,并且它们之间的相对位置是相似的。

这正是你的哈希值。