问题描述
我正在对 Tensorflow 及其使用 nvprof 的 XLA jit 编译进行一些分析。有趣的是，XLA 会引入更多的 cuMemcpyHtoDAsync 调用。
比如V100上的resnet50，在batch=64 inference下，xla jit平均会有5000多cuMemcpyHtoDAsync调用。该脚本可用 dl-infer-perf，nvprof -f --csv --print-api-summary python3 infer_perf/to_xla.py mobilenet --batch=64 --threads=1。
对此有任何想法将不胜感激。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）