从iOS上的麦克风输入进行语音活动检测

我正在开发一个基于语音的AI的iOS应用程序;即它意味着从麦克风接收语音输入,将其转换为文本,将其发送到AI代理,然后通过扬声器输出返回的文本.我已经完成了所有工作,但是使用按钮开始和停止录制语音(SpeechKit用于语音识别,API.AI用于AI,亚马逊的Polly用于输出).

我需要的是让麦克风始终打开,并在用户开始和结束谈话时自动开始和停止录制用户的声音.这个应用程序正在开发一个非正统的环境,在那里将无法访问用户的屏幕(但他们将有一个用于录制文本的高端霰弹枪麦克风).

我的研究表明,这个难题被称为“语音活动检测”,似乎是整个基于语音的AI系统中最困难的步骤之一.

我希望有人可以提供一些简单的(Swift)代码来自己实现,或者指向我可以在这个项目中实现的一些像样的库/ SDK的方向.

解决方法

为了获得良好的VAD算法,您可以使用 py-webrtcvad.

它是C代码的Python接口,您只需从项目中导入C文件并从swift中使用它们即可.

相关文章

UITabBarController 是 iOS 中用于管理和显示选项卡界面的一...
UITableView的重用机制避免了频繁创建和销毁单元格的开销,使...
Objective-C中,类的实例变量(instance variables)和属性(...
从内存管理的角度来看,block可以作为方法的传入参数是因为b...
WKWebView 是 iOS 开发中用于显示网页内容的组件,它是在 iO...
OC中常用的多线程编程技术: 1. NSThread NSThread是Objecti...