使用 Nsight Systems 跟踪自定义 CUDA 内核

问题描述

我致力于在 C++20 和 CUDA 11 中实现的库。这个库是从 Python 通过 ctypes 通过一个 C API 调用的，该 API 只是交换 JSON 字符串。我们使用 Clang 11 编译它。

为了分析代码，我在 C++ 代码中添加了很多 NVTX 范围。这对我使用 Nsight Systems 很有效，当使用 nsys profile -t nvtx … 收集数据时，我可以看到带有手动选择名称的范围堆栈。但这并没有告诉我有关 GPU 的任何信息。所以我指定 nvtx,cuda,cublas,cudnn 以获取更多信息。

但我得到的只是许多内核中的一个。输出如下所示：

可以看到漂亮的 NVTX 上下文，可以看到对 CUDA API（memcpy 等）的调用。但是只显示了一个内核，我用红色箭头标记了它。

我们有许多不同的内核，并使用 <<<>>> 文件中的 .cu 语法启动它们。

感觉就像我缺少 nsys 的跟踪标志、CUDA 代码的一些编译选项或内核代码的一些代码注释（如 NVTX）。我该怎么做才能让我的自定义内核显示在配置文件中？

解决方法

问题可能是我没有正确停止数据收集，我们的程序是一个交互式服务器，它以 SIGINT 停止。可能是中断后数据没有正确存储。

我在代码中添加了对分析器 API 的调用，以便在主循环完成后显式调用 cudaProfilerStop()。我已经用一个小的 RAII 包装器完成了它，这样它甚至可以与 SIGINT 一起使用。

#include <cuda_profiler_api.h>

class ProfilingRange {
 public:
  ProfilingRange() {
    cudaProfilerStart();
  }

  ~ProfilingRange() {
    cudaProfilerStop();
  }
};

在 nsys profile 命令行上，我指定了 --capture-range=cudaProfilerApi 并且它似乎工作正常。现在出现了很多内核，我可以了解更多关于系统的信息。