如何在不降低FPS速度的情况下在Raspberry Pi上的TensorFlow Lite对象检测脚本中向语音添加快速文本？

问题描述

我是这个论坛的新手，我只知道基本编码，所以如果对任何内容不清楚，请提前抱歉。我试图在来自picamera的实时视频feed上运行对象识别，该picamera连接到运行Buster的Raspberry Pi 4。我正在运行Tensorflow Lite对象检测模型，因为它具有更快的帧速率。我遵循了EdjeElectronics的GitHub教程here，并成功地运行了TFLite_detection_webcam.py脚本。我能够获得4.6到4.8的FPS，对此我感到非常满意。但是，我想向模型添加语音输出，以便Pi告诉我可以识别出什么对象。为此，我使用espeak作为模型中语音引擎的文本。我能够使文字转换为语音，但是它导致FPS急剧下降至0.2 FPS。显然，我希望它至少比以前快4 FPS，但是，我不知道如何更改代码。代码块在下面（代码来自EdjeElectronics），文本到语音的代码在最后几行。我添加的行是：call(["espeak",object_name]) #object_name is the name of the object being recognized and changes when a new object is recognized。如果有人有任何建议可以帮助我在脚本中添加文本到语音而不降低检测速度/ FPS，我将不胜感激。或者，如果您有任何有用的建议，例如将更快，更轻巧的文本用于类似Festival的语音引擎，或有关如何更改代码的任何想法，那将是很棒的。预先感谢。

 # Loop over all detections and draw detection box if confidence is above minimum threshold
for i in range(len(scores)):
    if ((scores[i] > min_conf_threshold) and (scores[i] <= 1.0)):

        # Get bounding box coordinates and draw box
        # Interpreter can return coordinates that are outside of image dimensions,need to force them to be within image using max() and min()
        ymin = int(max(1,(boxes[i][0] * imH)))
        xmin = int(max(1,(boxes[i][1] * imW)))
        ymax = int(min(imH,(boxes[i][2] * imH)))
        xmax = int(min(imW,(boxes[i][3] * imW)))
        
        cv2.rectangle(frame,(xmin,ymin),(xmax,ymax),(10,255,0),2)

        # Draw label
        object_name = labels[int(classes[i])] # Look up object name from "labels" array using class index
        label = '%s: %d%%' % (object_name,int(scores[i]*100)) # Example: 'person: 72%'
        labelSize,baseLine = cv2.getTextSize(label,cv2.FONT_HERSHEY_SIMPLEX,0.7,2) # Get font size
        label_ymin = max(ymin,labelSize[1] + 10) # Make sure not to draw label too close to top of window
        cv2.rectangle(frame,label_ymin-labelSize[1]-10),(xmin+labelSize[0],label_ymin+baseLine-10),(255,255),cv2.FILLED) # Draw white box to put label text in
        cv2.putText(frame,label,label_ymin-7),(0,2) # Draw label text
        call(["espeak",object_name])

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）