如何从棱镜媒体@ discordjs / opusopus流转换为适合picovoice /豪猪的格式？

问题描述

我使用discord.js创建了一个 discord机器人，并尝试使用porcupine实现基本的语音功能。

我每个用户都有音频流，并且正在尝试对每个数据块豪猪使用process（frame）方法。
为了获得数据单通道和16k的采样率，我正在使用棱镜媒体作品解码器手动解码流，然后尝试传递这些块：

execute(connection,user,args) {
        userHandlers[user] = new Porcupine([GRASSHOPPER,BUMBLEBEE],[0.5,0.65]);
        if (!receiver) {
            receiver = connection.receiver;
        }

        userStreams[user] = receiver.createStream(user,{mode: 'opus',end: 'manual'});
        const decoder = new prism.opus.Decoder({frameSize: 640,channels: 1,rate: 16000});
        
        userStreams[user]
        .pipe(decoder);
        
        listeningToUsers[user] = true;

        try {
            console.log("Start utterance");
            decoder.on('data',(chunk) => {//Need to make stream single channel,frame size 512
                let keywordindex = userHandlers[user].process(chunk);

                if (keywordindex != -1) {
                    meme.execute(connection,null,args);
                }
            });
        } catch (error) {
            console.error(error);
        }
    },

但是，我的问题是，块的大小为640，而方法必须为512。由于答案here中所述的原因，更改传递给解码器的frameSize无效。

如果有人知道将我的数据转换为正确的块大小的最佳方法，或者完全是一种更好的方法，那么我将不胜感激。

解决方法

我最终通过使用此demo file中包含的一些代码来使此工作正常进行。

我们包含一个chunkArray函数：

function chunkArray(array,size) {
    return Array.from({ length: Math.ceil(array.length / size) },(v,index) =>
        array.slice(index * size,index * size + size)
    );
}

并更改之前发布的代码，如下所示：

execute(connection,user,args) {
        userHandlers[user] = new Porcupine([GRASSHOPPER,BLUEBERRY],[0.7,0.85]);
        const frameLength = userHandlers[user].frameLength;
        if (!receiver) {
            receiver = connection.receiver;
        }
        userStreams[user] = receiver.createStream(user,{mode: 'opus',end: 'manual'});
        userDecoders[user] = new prism.opus.Decoder({frameSize: 640,channels: 1,rate: 16000});
        
        userStreams[user]
        .pipe(userDecoders[user]);
        
        listeningToUsers[user] = true;
        userFrameAccumulators[user] = [];
        try {
            userDecoders[user].on('data',(data) => {
                // Two bytes per Int16 from the data buffer
                let newFrames16 = new Array(data.length / 2);
                for (let i = 0; i < data.length; i += 2) {
                    newFrames16[i / 2] = data.readInt16LE(i);
                }
                // Split the incoming PCM integer data into arrays of size Porcupine.frameLength. If there's insufficient frames,or a remainder,// store it in 'frameAccumulator' for the next iteration,so that we don't miss any audio data
                userFrameAccumulators[user] = userFrameAccumulators[user].concat(newFrames16);
                let frames = chunkArray(userFrameAccumulators[user],frameLength);

                if (frames[frames.length - 1].length !== frameLength) {
                    // store remainder from divisions of frameLength
                    userFrameAccumulators[user] = frames.pop();
                } else {
                    userFrameAccumulators[user] = [];
                }
                for (let frame of frames) {
                    let index = userHandlers[user].process(frame);
                    if (index !== -1) {
                        if (index == 0) {//GRASSHOPPER
                            play.execute(connection,null,args);
                        } else if (index == 1) {//BLUEBERRY
                            play.skip();
                        }
                    }
                }
            });
        } catch (error) {
            console.error(error);
        }
    }

这将获取我们解码后的流，然后将其转换并适当地分块。

我想这里有效率低下的地方，还有改进的地方，但是它在discord服务器中运行良好，我想发布一个答案，以防将来有人试图将discord.js与豪猪集成在一起。

discord.js opus