AVX512 - 如何将所有设置位向右移动？

编程问答 2022-05-10

问题描述

如何将掩码寄存器的所有设置位向右移动？ （到底部，最不重要的位置）。

例如：

__mmask16 mask = _mm512_cmpeq_epi32_mask(vload,vlimit); // mask = 1101110111011101

如果我们将所有设置位向右移动，我们将得到：1101110111011101 -> 0000111111111111

我如何才能有效地实现这一目标？

您可以在下面看到我如何尝试获得相同的结果，但效率低下：

__mmask16 mask = 56797;
// mask: 1101110111011101
__m512i vbrdcast = _mm512_maskz_broadcastd_epi32(mask,_mm_set1_epi32(~0));
// vbrdcast: -1 0 -1 -1 -1 0 -1 -1 -1 0 -1 -1 -1 0 -1 -1
__m512i vcompress = _mm512_maskz_compress_epi32(mask,vbrdcast);
// vcompress:-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 0 0 0 0 
__mmask16 right_packed_mask =   _mm512_movepi32_mask(vcompress);   
// right_packed_mask: 0000111111111111

最好的方法是什么？

解决方法

BMI2 pext 是 v[p]compressd/q/ps/pd 的标量按位等价物。
在掩码值上使用它，将它们左包装到值的底部。

  mask = _pext_u32(-1U,mask);    // or _pext_u64(-1ULL,mask64)  for __mmask64
// costs 3 asm instructions (kmov + pext + kmov) if you need to use the result as a mask
// not including putting -1 in a register.

__mmask16（在 GCC 中也称为 uint16_t）和 uint32_t 之间的隐式转换有效。
如果您愿意，可以使用 _cvtu32_mask16 和 _cvtu32_mask16 使 KMOVW 显式。

有关以此类方式使用 pext/pdep 的更多信息，请参阅 How to unset N right-most set bits。

所有采用 AVX-512 的当前 CPU 也具有快速 BMI2 pext（包括至强融核），性能与 popcnt 相同，但如果 AMD 引入 AVX-512 CPU，这种情况可能会改变。对于 AMD，您可能需要
(1ULL << __builtin_popcount(mask)) - 1 因为 pext/pdep 在当前的 AMD 上非常慢。

如果您打算使用 vpcompressd，请注意源向量可以简单地为全 1 _mm512_set1_epi32(-1)； compress 不关心掩码为零的元素，它们不需要已经为零。

（不管哪个 -1 你打包；一旦你使用布尔值，来自你原始的 true位掩码 vs. 一个常量 true 只是坐在那里，你生成的更便宜，不依赖于你的输入掩码。同样的推理适用于 pext，为什么你可以使用 -1U 作为源数据而不是 pdep。即 -1 或设置位没有标识；它与任何其他 -1 或设置位相同）。

所以让我们尝试两种方式，看看 asm 的好坏。

inline
__mmask16 leftpack_k(__mmask16 mask){
    return _pdep_u32(-1U,mask);
}

inline
__mmask16 leftpack_comp(__mmask16 mask) {
    __m512i v = _mm512_maskz_compress_epi32(mask,_mm512_set1_epi32(-1));
    return _mm512_movepi32_mask(v);
}

查看这些的独立版本没有用，因为 __mmask16 是 unsigned short 的 typedef，因此在整数寄存器中传递/返回，而不是 k 寄存器。当然，这使得 pext 版本看起来非常好，但我们想看看它如何内联到我们生成和使用带有 AVX-512 内在函数的掩码的情况。

// not a useful function,just something that compiles to asm in an obvious way
void use_leftpack_compress(void *dst,__m512i v){
    __mmask16 m = _mm512_test_epi32_mask(v,v);
    m = leftpack_comp(m);
    _mm512_mask_storeu_epi32(dst,m,v);
}

注释掉 m = pack(m)，这只是生成然后使用掩码的简单 2 条指令。

use_mask_nocompress(void*,long long __vector(8)):
        vptestmd        k1,zmm0,zmm0
        vmovdqu32       ZMMWORD PTR [rdi]{k1},zmm0
        ret

所以任何额外的指令都将是由于左包装（压缩）掩码。 GCC 和 clang 彼此使用相同的 asm，区别仅在于 clang 避免 kmovw 而支持始终 kmovd。 Godbolt

# GCC10.3 -O3 -march=skylake-avx512
use_leftpack_k(void*,long long __vector(8)):
        vptestmd        k0,zmm0
        mov     eax,-1                        # could be hoisted out of a loop
        kmovd   edx,k0
        pdep    eax,eax,edx
        kmovw   k1,eax
        vmovdqu32       ZMMWORD PTR [rdi]{k1},zmm0
        ret

use_leftpack_compress(void*,zmm0
        vpternlogd      zmm2,zmm2,0xFF   # set1(-1)  could be hoisted out of a loop
        vpcompressd     zmm1{k1}{z},zmm2
        vpmovd2m        k1,zmm1
        vmovdqu32       ZMMWORD PTR [rdi]{k1},zmm0
        ret

所以不可起吊的部分是

  • kmov r,k (port 0) / pext (port 1) / kmov k,r (port 5) = 3 uops，每个执行端口一个。 （包括端口 1，它的矢量 ALU 在 512 位微指令运行时关闭）。 kmov/kmov 往返行程有 4 cycle latency on SKX，pext 是 3 个周期的延迟，总共 7 个周期的延迟。

  • vpcompressd zmm{k}{z},z (2 p5) / vpmovd2m (port 0) = 3 uops，两个用于端口 5。vpmovd2m 有 3 cycle latency on SKX / ICL，和 { {1}}-zeroing-into-zmm 从 k 输入到 zmm 输出（SKX 和 ICL）有 6 个周期。所以总共有 9 个周期的延迟，而且 uops 的端口分布更糟。

此外，可提升部分通常更糟（vpcompressd 比 vpternlogd 更长并且竞争更少的端口），除非您的函数已经需要一个全1 向量来表示某些东西而不是全1注册。

结论：BMI2 mov r32,imm32 方式在任何方面都不差，在几个方面更好。 （除非周围代码严重在端口 1 uops 上出现瓶颈，如果使用 512 位向量，这是不太可能的，因为在这种情况下，它只能运行标量整数 uops，如 3 周期 LEA、IMUL、LZCNT，当然还有简单的 1 周期整数，比如加/减/和/或）。

avx512bit-manipulationcintrinsicssimd