Nsight计算中使用的术语

问题描述

两个问题：

1. 根据Nsight Compute，我的内核受计算限制。相对于峰值性能，SM利用率为74％，内存利用率为47％。但是，当我查看每个管道利用率百分比时，LSU利用率要比其他管道利用率高得多（75％比10-15％）。那不是表明我的内核受内存限制吗？如果计算和内存资源的利用率与管道利用率不符，我不知道该如何解释这些术语。

2. 调度程序仅每4个周期发出一次，这是否意味着我的内核受延迟限制？人们通常根据计算和内存资源的利用率来定义它。两者之间是什么关系？

解决方法

在CC7.5 GPU上的Nsight Compute中

SM％由sm__throughput定义，并且 内存百分比由gpu__compute_memory_throughtput

定义

sm_throughput是以下指标的最大值：

• sm__instruction_throughput
  • sm__inst_exected
  • sm__issue_active
  • sm__mio_inst_issued
  • sm__pipe_alu_cycles_active
  • sm__inst_executed_pipe_cbu_pred_on_any
  • sm__pipe_fp64_cycles_active
  • sm__pipe_tensor_cycles_active
  • sm__inst_executed_pipe_xu
  • sm__pipe_fma_cycles_active
  • sm__inst_executed_pipe_fp16
  • sm__pipe_shared_cycles_active
  • sm__inst_executed_pipe_uniform
  • sm__instruction_throughput_internal_activity
• sm__memory_throughput
  • idc__request_cycles_active
  • sm__inst_executed_pipe_adu
  • sm__inst_executed_pipe_ipa
  • sm__inst_executed_pipe_lsu
  • sm__inst_executed_pipe_tex
  • sm__mio_pq_read_cycles_active
  • sm__mio_pq_write_cycles_active
  • sm__mio2rf_writeback_active
  • sm__memory_throughput_internal_activity

gpu__compute_memory_throughput是以下指标的最大值：

• gpu__compute_memory_access_throughput
  • l1tex__data_bank_reads
  • l1tex__data_bank_writes
  • l1tex__data_pipe_lsu_wavefronts
  • l1tex__data_pipe_tex_wavefronts
  • l1tex__f_wavefronts
  • lts__d_atomic_input_cycles_active
  • lts__d_sectors
  • lts__t_sectors
  • lts__t_tag_requests
  • gpu__compute_memory_access_throughput_internal_activity
• gpu__compute_memory_access_throughput
• l1tex__lsuin_requests
  • l1tex__texin_sm2tex_req_cycles_active
  • l1tex__lsu_writeback_active
  • l1tex__tex_writeback_active
  • l1tex__m_l1tex2xbar_req_cycles_active
  • l1tex__m_xbar2l1tex_read_sectors
  • lts__lts2xbar_cycles_active
  • lts__xbar2lts_cycles_active
  • lts__d_sectors_fill_device
  • lts__d_sectors_fill_sysmem
  • gpu__dram_throughput
  • gpu__compute_memory_request_throughput_internal_activity

在您的情况下，限制器为sm__inst_executed_pipe_lsu，它是指令吞吐量。如果您查看节/SpeedOfLight.py，则延迟绑定定义为sm__throughput和gpu__compute_memory_throuhgput

某些指令流水线集的吞吐量较低，例如fp64，xu和lsu（随芯片而异）。管道利用率是sm__throughput的一部分。为了提高性能，可以选择以下选项：

1. 减少对超额订阅管道的说明，或者
2. 发布不同类型的指令以使用空的发布周期。

产生故障

从Nsight Compute 2020.1开始，没有一个简单的命令行即可在不运行性能分析会话的情况下生成列表。目前，您可以使用breakdown:<throughput metric>avg.pct_of_peak_sustained.elapsed收集一个吞吐量指标，并解析输出以获取子指标名称。

例如：

ncu.exe --csv --metrics breakdown:sm__throughput.avg.pct_of_peak_sustained_elapsed --details-all -c 1 cuda_application.exe

生成：

"ID","Process ID","Process Name","Host Name","Kernel Name","Kernel Time","Context","Stream","Section Name","Metric Name","Metric Unit","Metric Value"
"0","33396","cuda_application.exe","127.0.0.1","kernel()","2020-Aug-20 13:26:26","1","7","Command line profiler metrics","gpu__dram_throughput.avg.pct_of_peak_sustained_elapsed","%","0.38"
"0","l1tex__data_bank_reads.avg.pct_of_peak_sustained_elapsed","0.05"
"0","l1tex__data_bank_writes.avg.pct_of_peak_sustained_elapsed","0.05"
...

关键字breakdown可以在Nsight Compute部分文件中使用，以扩展吞吐量指标。在SpeedOfLight.section中使用。