从 Twilio Video Streams 读取数据

问题描述

Tl;dr:我想在 python 中读取来自此 https://tfvideo-5708-dev.twil.io/video.html 的所有参与者的视频流

详细信息:我有一个使用 Twilio Video API 进行视频课程的直播辅导网站。我想在输入流上运行对象检测和其他计算机视觉模型。 我不知道如何获取可以运行机器学习模型的输入视频流

  • 使用 Python。我可以通过 open cv2.VideoCapture(....) 方法读取,然后使用一些预先训练的模型或使用来自 open-cv 的内置计算机视觉模型运行我的推理。我想了解 cv2.VideoCapture() 括号下的参数应该是什么。
  • 使用 tensorflow.js API - 通过在网站的 Javascript 中集成 tf.js 代码并在该流上运行推理。可行吗?

我无法获取用于我的 Ml 模型的流数据

为了测试,我创建了一个利用 Twilio Video 的网络聊天应用程序。这里是原始页面link,这里是 github repo。以下是您可以加入视频网络聊天的链接 here 如果您打开此链接,您可以加入房间(我必须先部署才能加入)然后我的要求是访问加入的所有参与者的流。

这是我浏览过的一些链接

https://github.com/twilio/twilio-video.js/issues/333

https://www.twilio.com/blog/build-video-chat-application-python-javascript-twilio-programmable-video

https://www.infoq.com/articles/video-stream-analytics-opencv/

谁能帮我解决这个问题。还有别的办法吗?

如果问题不清楚,请告诉我还需要什么..我可以提供更多详细信息

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)