记录带有确切时间戳的音频

问题描述

我想在Android Wear设备上录制原始音频，并将其与其他传感器数据（例如加速度计）完全同步。 要录制原始音频，我使用AudioRecord，但是如何确定音频流中任何部分的正确时间戳？

基本问题是我从缓冲区中获取原始音频帧，而没有有关这些帧在缓冲区中存在多长时间，丢失了多少帧等信息。

因此要循环获取AudioRecord.read()的帧数据，但是如何知道何时记录了特定帧？

我可以看到三种确定时间戳记的方法，而这些方法在我看来都是错误的：

1. 通过调用AudioRecord.startRecording()获得在调用SystemClock.elapsedRealtimeNanos()之前或之后的当前系统时间，然后根据采样率和帧大小计算每个块的时间。但是根据我的测试，在实际开始录制之前会有一个明显的延迟。每当某些帧丢失时，例如处理暂停一会儿。

2. 获取AudioRecord.read()之前或之后的当前系统时间。但这可能不是记录该数据的时间，这可能会更早发生。而且如果没有可用数据，read（）将被阻塞，之前获取的时间戳将完全错误。

3. AudioRecord.getTimestamp()给出当前正在录制的帧的时间。但这不一定是我当前正在阅读的帧，我可能落后了几帧，或者可能错过了一些帧。而且根据初步测试，开始后的一段时间内时间戳仅为零。

这将给我留下6个可能错误的时间戳，如下面的代码所示。有没有一个甚至接近准确？

recorder = new AudioRecord(...)

// timeBeforeStart =  SystemClock.elapsedRealtimeNanos()
recorder.startRecording()
// timeAfterStart =  SystemClock.elapsedRealtimeNanos()

...

// timeBeforeRead =  SystemClock.elapsedRealtimeNanos()
// recorder.getTimestamp(frameTimeBeforeRead,AudioTimestamp.TIMEBASE_BOOTTIME)
recorder.read(myArray,mySize);
// recorder.getTimestamp(frameTimeAfterRead,AudioTimestamp.TIMEBASE_BOOTTIME)
// timeAfterRead =  SystemClock.elapsedRealtimeNanos()

其中哪些是确定与字节数组中的数据相对应的时间戳的最准确方法？

是否有另一种方法来获取带有准确时间戳的原始音频数据？

解决方法

您需要创建相关的音频和加速度计信号- 您还可以将手电筒，照相机和扬声器等放入混合器中。

您需要测试哪些演员和传感器具有哪些延迟和抖动，以找到能够关联事件的最佳解决方案（无需使用外部设备），以便计算接收到的音频延迟和抖动。