问题描述
我正在维护一键通 VoIP 应用程序。 当 PTT 呼叫正在运行时,应用创建音频会话
m_AudioSession = AVAudioSession.SharedInstance();
NSError error;
if (!m_AudioSession.SetCategory(AVAudioSession.CategoryPlayAndRecord,AVAudioSessionCategoryOptions.DefaultToSpeaker | AVAudioSessionCategoryOptions.AllowBluetooth,out error))
{
IOSErrorLogger.Log(dammLoggerLevel.Error,TAG,error,"Error setting the category");
}
if (!m_AudioSession.SetMode(AVAudioSession.ModeVoiceChat,"Error setting the mode");
}
if (!m_AudioSession.OverrideOutputAudioPort(AVAudioSessionPortOverride.Speaker,"Error redirecting the audio to the loudspeaker");
}
if (!m_AudioSession.SetPreferredioBufferDuration(0.06,out error)) // 60 milli seconds
{
IOSErrorLogger.Log(dammLoggerLevel.Error,"Error setting the preferred buffer duration");
}
if (!m_AudioSession.SetPreferredSampleRate(8000,out error)) // kHz
{
IOSErrorLogger.Log(dammLoggerLevel.Error,"Error setting the preferred sample rate");
}
if (!m_AudioSession.SetActive(true,"Error activating the audio session");
}
使用 OutputAudioQueue 播放接收到的音频,并使用语音处理 I/O 单元捕获麦克风音频(如 Apple 文档中所述:https://developer.apple.com/documentation/avfaudio/avaudiosession/mode/1616455-voicechat)。 语音处理I/O单元的初始化代码为:
AudioStreamBasicDescription audioFormat = new AudioStreamBasicDescription()
{
SampleRate = SAMPLERATE_8000,Format = AudioFormatType.LinearPCM,FormatFlags = AudioFormatFlags.LinearPCMIsSignedInteger | AudioFormatFlags.LinearPCMIsPacked,FramesPerPacket = 1,ChannelsPerFrame = CHANNELS,BitsPerChannel = BITS_X_SAMPLE,BytesPerPacket = BYTES_X_SAMPLE,BytesPerFrame = BYTES_X_FRAME,Reserved = 0
};
AudioComponent audioComp = AudioComponent.FindComponent(AudioTypeOutput.VoiceProcessingIO);
AudioUnit.AudioUnit voiceProcessing = new AudioUnit.AudioUnit(audioComp);
AudioUnitStatus unitStatus = AudioUnitStatus.NoError;
unitStatus = voiceProcessing.SetEnableIO(true,AudioUnitScopeType.Input,ELEM_Mic);
if (unitStatus != AudioUnitStatus.NoError)
{
dammLogger.Log(dammLoggerLevel.Warn,"Audio Unit SetEnableIO(true,ELEM_Mic) returned: {0}",unitStatus);
}
unitStatus = voiceProcessing.SetEnableIO(true,AudioUnitScopeType.Output,ELEM_Speaker);
if (unitStatus != AudioUnitStatus.NoError)
{
dammLogger.Log(dammLoggerLevel.Warn,"Audio Unit SetEnableIO(false,ELEM_Speaker) returned: {0}",unitStatus);
}
unitStatus = voiceProcessing.SetFormat(audioFormat,"Audio Unit SetFormat (MIC-OUTPUT) returned: {0}",unitStatus);
}
unitStatus = voiceProcessing.SetFormat(audioFormat,"Audio Unit SetFormat (ELEM 0-INPUT) returned: {0}",unitStatus);
}
unitStatus = voiceProcessing.SetRenderCallback(AudioUnit_RenderCallback,"Audio Unit SetRenderCallback returned: {0}",unitStatus);
}
...
voiceProcessing.Initialize();
voiceProcessing.Start();
RenderCallback 函数是:
private AudioUnitStatus AudioUnit_RenderCallback(AudioUnitRenderActionFlags actionFlags,AudioTimeStamp timeStamp,uint busNumber,uint numberFrames,AudioBuffers data)
{
AudioUnit.AudioUnit voiceProcessing = m_VoiceProcessing;
if (voiceProcessing != null)
{
// getting microphone input signal
var status = voiceProcessing.Render(ref actionFlags,timeStamp,ELEM_Mic,numberFrames,data);
if (status != AudioUnitStatus.OK)
{
return status;
}
if (data.Count > 0)
{
unsafe
{
short* samples = (short*)data[0].Data.ToPointer();
for (uint idxSrcFrame = 0; idxSrcFrame < numberFrames; idxSrcFrame++)
{
... send the collected microphone audio (samples[idxSrcFrame])
}
}
}
}
return AudioUnitStatus.NoError;
}
我面临的问题是,如果启用了扬声器:m_AudioSession.OverrideOutputAudioPort(AVAudioSessionPortOverride.Speaker,out error) 那么麦克风音频已损坏(有时无法理解语音)。 如果未启用扬声器(未设置 AVAudioSessionPortOverride.Speaker),则音频非常好。
我已经验证过Render函数返回的AudioBuffer中的NumberChannels为1(单声道音频)。
任何帮助解决问题的点击都非常感谢。谢谢
更新: AudioUnit_RenderCallback 方法每 32 毫秒调用一次。当扬声器被禁用时,接收到的帧数是 256,这是准确的(采样率为 8000)。启用扬声器时,接收到的帧数为 85。 在这两种情况下,GetAudioFormat 都返回预期值:BitsPerChannel=16、BytesPerFrame=2、FramesPerPacket=1、ChannelsPerFrame=1、SampleRate=8000
更新: 我最终使用来自硬件的采样率并执行下采样自我。必须理解音频单元应该能够执行下采样 https://developer.apple.com/library/archive/documentation/MusicAudio/Conceptual/AudioUnitHostingGuide_iOS/AudioUnitHostingFundamentals/AudioUnitHostingFundamentals.html#//apple_ref/doc/uid/TP40009492-CH3-SW11)) 但在启用扬声器时我无法使其工作。
解决方法
我希望您是在实际设备而不是模拟器上进行测试。
在代码中,你有没有试过使用这个:
sampleRate = AudioSession.CurrentHardwareSampleRate;
与其强制采样率,不如从硬件检查采样率。可能是在扬声器使用过程中,它改变了采样率,从而产生了问题。
我建议根据上述更改进行录制,看看音频是否有所改善,然后尝试使用其他标志。