将录制的音频转换为数字数据

问题描述

我正在制作一个 Java 个人项目,您可以在其中录制自己演唱的歌曲,然后程序将加载一首与该旋律最匹配的歌曲(从预选的小选曲中选择)。到目前为止,我已经实现了用户使用 Java Sound API 将音频文件录制为 WAVE 文件功能。我已经看到,对于音频相似度,可以在音频文件之间进行关联,通过测量关联图中是否存在高幅度峰值,可以确定音频文件是否相似。

我在信号处理堆栈交换中阅读了以下帖子 https://dsp.stackexchange.com/questions/736/how-do-i-implement-cross-correlation-to-prove-two-audio-files-are-similar 讨论了使用快速傅立叶变换来完成卷积(适用于延时音频的相关性)。我已经在 Github 上导入了 JTransforms 项目以使用 FFT,但我不确定如何将 WAVE 文件转换为可用于执行相关或卷积的数值表示(类似于大量值)。非常感谢任何有关如何解决此问题的建议!

解决方法

要阅读 .wav,您将使用 AudioInputStream 类。教程“Using Files and Format Converters 这是文章中的第一个代码示例,在“读取声音文件”部分中提供了一个示例。

下一个障碍是将字节转换为有意义的 PCM。在上面的代码示例中,有一条注释行,内容如下:

  // Here,do something useful with the audio data that's 
  // now in the audioBytes array...

这就是您可以将字节转换为 PCM 的地方。确切的算法取决于您可以通过 AudioInputStreamgetFormat 方法检查的格式,该方法返回 AudioFormat

格式会告诉您每个 PCM 值有多少字节(例如,16 位编码是每个 PCM 值两个字节)和字节顺序,可以是小端或大端。如果音频是立体声,PCM 值会在左右交替。

从字节构建 PCM 值涉及位移位。我猜你知道如何处理这个问题。假设数据是有符号 PCM 格式,创建 16 位值的自然结果将是有符号短整数。因此,最后一步通常是除以 Short.MAX_VALUE 以将 short 转换为范围从 -1 到 1 的有符号浮点数。