如何使用intel内在函数移动数组的元素

问题描述

我有一个大小为16的数组，该数组与64字节边界对齐，我试图使用intel内在函数向左移1个索引。

int history[16] __attribute__((aligned(64)))
for (std::size_t i = 0; i < 15; i++) {
    history[i] = history[i + 1];
}
history[15] = 0;

这是我要使用512位宽矢量指令的初始循环。具有低延迟内在函数的任何方法。

解决方法

您有2个不错的选择，可以进行512位装载和存储之间的随机存取，可以对整个高速缓存行进行混洗。（vpsrldq将执行4个单独的128位右移，因此很遗憾，这不是您想要的。）

vpermd将需要向量控制操作数，并且需要使用零掩码来“移位”为零。因此，编译器将需要额外的指令来加载控制向量，并将kmov的常量放入掩码寄存器。

valignd是SSSE3 / AVX2 vpalignr的32位粒度全通道穿越版本。但是它没有任何可怕的AVX / AVX2“行内”行为，它会执行多个单独的128位混洗，因此实际上可以将整个256或512位向量向左或向右移动恒定数目的双字。。 您需要零掩码或归零向量才能从中移入零。归零向量与在Intel CPU上创建NOP一样便宜。

（来自https://www.uops.info/table.html-valignd的性能编号对于Skylake-AVX512上的端口5为1 uop，与vpermd甚至vpermt2d相同，它们可以类似地从中获取零另一个寄存器。）

#include <immintrin.h>

alignas(16) int history[16];  // C++ has had portable syntax for alignment since C++11


// assumes aligned pointer input
void shift64_right_4bytes(int *arr) {
    __m512i  v = _mm512_load_si512(arr);    // AVX512 load intrinsics conveniently take void*,not __m512i*
    v = _mm512_alignr_epi32( _mm512_setzero_si512(),v,1 );   // v = (0:v) >> 32bits
    _mm512_store_si512(arr,v);
}

编译为该asm（Godbolt）：

# GCC10.2 -O3 -march=skylake-avx512
shift64_right_4bytes(int*):
        vpxor   xmm0,xmm0,xmm0
        valignd zmm0,zmm0,ZMMWORD PTR [rdi],1
        vmovdqa64       ZMMWORD PTR [rdi],zmm0
        vzeroupper
        ret

很明显，如果您显示的循环周围有外部循环，则在内联之后，vpxor调零和vzeroupper开销可能会从循环中提升/降低。

因此，真正的ALU工作仅是端口5的1 uop。当然，如果您最近使用较窄的商店编写了此阵列，则可能会遇到商店转卖摊位。仍然值得，只是增加额外的延迟，实际上不会使整个管道停滞不前，也不会导致独立工作的无序执行。

如果您的其余代码未使用512位向量，则可能要在这里避免使用它们（SIMD instructions lowering CPU frequency）

重叠两个int的2x 256位负载可能很好，然后存储它们。即15字节的memmove，其策略与glibc的memcpy / memmove用于小副本的策略相同。然后在末尾存储一个零。

// only needs AVX1
// With 64-byte aligned history,no load or store crosses a cache-line boundary
void shift64_right_4bytes_256b(int *history) {
    __m256i  v0 = _mm256_loadu_si256((const __m256i*)(history+1));
    __m256i  v1 = _mm256_load_si256((const __m256i*)(history+8));
    _mm256_store_si256((__m256i*)history,v0);
    _mm256_storeu_si256((__m256i*)(history+7),v1);   // overlap by 1 dword
    history[15] = 0;
}

或者用valignd ymm代表高半部，将零移位到向量中，而不是单独的标量存储。（对于该版本，这将需要AVX512VL而非仅AVX1，但这在AXV512 CPU上是可以的。）

部分取决于您要如何重新加载它，以及周围的代码是否存储大量内容。（后端对存储执行单元和存储缓冲区的压力）。

或者，如果它最初是与2个256位对齐存储一起存储的，那么未对齐的负载可能会碰到存储转发停顿，您可以通过使用valignd在双高半低之间移动双字来避免这种情况，以及将零移到高半部分。

avx512 c++intrinsics simd vectorization