TensorFlowLite,TendorFlow-TRT和TensorRT之间的主要区别是什么?

问题描述

我正在使用Coral开发板和Nvidia Jetson TX2。这就是我如何了解tensorflow-lite,TensorFlow-TRT和TensorRT的方式。 我对他们有一些疑问:

  1. 在TensorFlow-TRT和TensorRT之间: 在TensorRT中使用完全优化/兼容的图时,哪个更快,为什么?

  2. 在Google Coral中使用TFlite的管道(使用TensorFlow 1.x ...时)是:

a。使用TensorFlow动物园中可用的模型

b。将模型转换为冻结的(.pb)

c。使用probbuff序列化图

d。转换为Tflite

e。应用量化(INT8)

f。编译

使用TensorFlow-TRT和TensorRT时会有什么管道? 在哪里可以找到有关它的良好文档?

到目前为止,我认为TensorRT更接近TensorFlow Lite,因为:

  • TFlite:编译后,您最终得到一个.quant.edtpu.tflite文件,该文件可用于在devboard中进行推断

  • TensorRT:您将最终得到一个.plan文件,以便在开发板上进行推断。

谢谢您的回答,如果您能指出比较它们的文档,将不胜感激。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)