问题描述
这是一个令人困惑且非常笼统的问题，因为我还不知道正确的术语。我需要帮助进行搜索以及关于该做什么或应该避免什么等方面的建议。
我在 Google Colab pro 上使用 TensorFlow/Keras 在 MobileNetV2 上训练了一个 CNN，它有效，耶！有人（我再也无法访问）提到我可以将模型直接加载到 GPU 内存上并设置它以进行实时预测。我是博士学生，如果我可以为我的模型展示这一概念的证明，那么我的设置对我们的实验室可能会有很大帮助！！！
问题是我不知道从哪里开始！！！我想测试将我们完成的模型加载到 GPU 以进行实时预测的过程。我们每秒流式传输 1000 帧视频，每帧 61x61 像素，灰度一次大约 4 秒。我希望能够在 google colab 上进行设置，因为我们还没有好的 GPU。我只是在寻找概念证明，因为我知道如果我上传了所有数据，我将无法获得实时预测（我现在可以在 python 中伪造视频源）。
那么如何将模型直接加载到 GPU 内存中？
关于如何使用哪些模块、要避免的事情有什么建议吗？
对这种设置的实际延迟有什么想法吗？
我知道延迟会因很多事情而异，但是如果有人对任何远程类似的事情有经验，您的延迟是多少？我想要 的延迟
任何事情都可能有帮助，我非常乐意阅读大量书籍，我只是需要您的帮助！非常感谢大家！
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）