问题描述
在 CUDA 11.2 中引入设备链接时间优化 (DLTO) 之前,确保向前兼容性相对容易,而无需过多担心性能差异。您通常只会创建一个包含 PTX 的 fatbinary,用于您通常针对的特定架构的最低可能架构和 SASS。对于任何未来的 GPU 架构,JIT 编译器随后会将 PTX 组装成针对该特定 GPU 架构优化的 SASS。
然而,现在有了 DLTO,我不太清楚如何确保在这些未来架构上向前兼容并保持性能。
假设我使用带有以下选项的 nvcc
编译/链接应用程序:
编译
-gencode=arch=compute_52,code=[compute_52,lto_52]
-gencode=arch=compute_61,code=lto_61
链接
-gencode=arch=compute_52,code=[sm_52,sm_61] -dlto
这将创建一个包含 cc_52
的 PTX、sm_52
和 sm_61
的 LTO 中介以及 sm_52
和 sm_61
的链接时间优化的 SASS 的 fatbinary (或者至少在使用 cuobjdump -all
转储生成的 fatbin 部分时似乎是这种情况)。
假设以上是正确的,当应用程序运行在较新的 GPU 架构(例如 sm_70
)上时会发生什么? JIT 编译器是否只是在不使用链接时优化的情况下组装 cc_52
PTX(导致不太理想的代码)?或者它是否使用链接时优化以某种方式链接 LTO 中介?有没有办法确定/指导 JIT 编译器在做什么?
解决方法
根据 CUDA forums 上的 NVIDIA 员工的说法,答案是“还没有”:
好问题。我们正在努力支持 JIT LTO,但在 11.2 中不受支持。因此,在您在 JIT 时间给出的示例中,它将 JIT 每个单独的 PTX 到 cubin,然后执行 cubin 链接。这与我们一直为 JIT 链接所做的一样。但是我们应该在未来的版本中更多地支持 JIT LTO。