cudnnCreate调用是否在内部创建多个流？

编程问答 2022-06-07

问题描述

我正在编写一个简单的多流CUDA应用程序。以下是我创建cuda-streams，cublas-handle和cudnn-handle的代码部分：

cudaSetDevice(0);

int num_streams = 1;

cudaStream_t streams[num_streams];
cudnnHandle_t mCudnnHandle[num_streams];
cublasHandle_t mCublasHandle[num_streams];

for (int ii = 0; ii < num_streams; ii++) {
    cudaStreamCreateWithFlags(&streams[ii],cudaStreamNonBlocking);
    cublasCreate(&mCublasHandle[ii]);
    cublasSetStream(mCublasHandle[ii],streams[ii]);
    cudnnCreate(&mCudnnHandle[ii]);
    cudnnSetStream(mCudnnHandle[ii],streams[ii]);
}

现在，我的流计数为1。但是当我使用Nvidia Visual Profiler对上述应用程序的可执行文件进行配置时，我得到以下信息：

enter image description here

对于我创建的每个流，它还会创建另外4个流。我用num_streams = 8进行了测试，它在分析器中显示了40个流。我想到了以下问题：

  1. cudnn是否在内部创建流？如果是，那为什么？
  2. 如果它隐式地创建流，那么利用它的方式是什么？
  3. 在这种情况下，显式创建流有意义吗？

解决方法

cudnn是否在内部创建流？

是的

如果是，那为什么呢？

由于它是一个库，因此可能需要组织CUDA并发。流用于组织CUDA并发。如果您想详细说明流的确切用途，则不会记录库内部。

如果它隐式创建流，那么利用它的方式是什么？

这些流不适合您单独/独立使用。它们供库使用，位于库例程的内部。

在这种情况下，显式创建流有意义吗？

您仍然需要在库使用之外显式创建管理CUDA并发所需的任何流。

我想指出的是，这句话有点误导人：

“对于我创建的每个流，还会创建另外4个流。”

您正在做的是遍历一个循环，在每次循环迭代中，您都在创建一个新的句柄。您的观察与您创建的句柄的数量有关，而不与您创建的流的数量有关。

cudacudacudnngpgpu