原点 MPI_Win_create 的运行时间随着目标窗口大小的增加而增加

问题描述

我刚刚开始研究 MPI，正在做一个实验，我正在测量 MPI_Win_create 的运行时间。我正在使用 .odc 库。在这个实验中，我有两个进程——origin 和 target。我有以下几行代码来测量运行时：

mpich 3.4.1

在我的实验中，原始进程的 bufferSize (rank==0) 始终为零。但是，在目标进程（等级== 1）中，我将缓冲区大小增加到大约 2GB。我在源进程和目标进程的运行时 MPI_Win_create 中看到以下趋势：

目标进程的 bufferSize 约为 100MB，double startTime,endTime; startTime = MPI_Wtime(); MPI_Win_create(buffer,bufferSize,sizeof(char),MPI_INFO_NULL,MPI_COMM_WORLD,win); endTime = MPI_Wtime(); double winCreateTime = endTime - startTime; 在源进程中，MPI_Win_create time = 2.21 在目标进程中。目标进程的缓冲区大小约为 1GB，源进程0.001071，目标进程MPI_Win_create time = 25.21。在大约 2GB 时，我在源进程 0.000894 和目标进程 MPI_Win_create time = 41.580131 中看到了这一点。对于我尝试过的各种数据大小，这种趋势是相同的。也就是说，源进程的 MPI_Win_create 时间始终高于目标进程（并随着数据大小的增加而增加）。在目标进程中，它要低得多。

据我了解，在调用 MPI_Win_create 时，相应的进程会创建一个 RMA 窗口，该窗口在相应进程的地址空间公开内存区域，从 MPI_Win_create time = 0.000999 指向的位置开始，该区域的大小为 { {1}}。当目标进程的 bufferSize 增加时，我无法理解为什么 MPI_Win_create 的运行时间在原始进程中增加。以及为什么在目标进程端，即使增加 buffer，MPI_Win_create 的运行时或多或少是恒定的并且非常小。源端发生了什么而目标端没有发生？

解决方法

回答我自己的问题。深入挖掘后，我发现源进程和目标进程之间运行时不平衡的原因是由于在测量开始时间之前缺乏同步。

MPI_Win_create 是一个集合函数调用，其中通信器中的所有进程进行通信并创建一个 MPI 窗口。因此，到达此函数调用的任何进程似乎都被阻止，其他参与进程也将在其各自的代码中到达此点。就我而言，目标进程在调用 MPI_Win_create 之前生成了大量数据。然而，在此之前原点做的工作很少。所以对于原点来说，startTime 的点比 Target 早得多。因此，我在源进程的endTime - startTime也包括目标进程的数据生成时间，因为它需要等待目标进程完成数据生成并到达其对应的MPI_Win_create。但是，在目标端，endTime - startTime 是目标在其 MPI_Win_create 上花费的实际时间。

解决方案：我能够在测量 startTime 之前使用 MPI_Barrier() 获得合理的运行时间，如以下模型代码片段所示。通过此更改，对于大约 2GB 的缓冲区大小，我在大约 0.000347 秒的原始进程和大约 0.000382 秒的目标进程中获得 MPI_Win_create 运行时。

#include <mpi.h>

#define ORIGIN 0
#define TARGET 1

int main(int argc,char *argv[]) {

    MPI_Init(&argc,&argv);

    int my_rank;
    MPI_Comm_rank(MPI_COMM_WORLD,&my_rank);

    double startTime,endTime;

    char *buffer = nullptr;
    long bufferSize = 0;
    if (my_rank == TARGET) {
        bufferSize = 2000000000;
        buffer = new char[bufferSize](); //OR,getLargeData()
    }

    MPI_Barrier(MPI_COMM_WORLD);

    MPI_Win window;

    startTime = MPI_Wtime();

    MPI_Win_create(buffer,bufferSize,sizeof(char),MPI_INFO_NULL,MPI_COMM_WORLD,&window);

    endTime = MPI_Wtime();

    MPI_Win_fence(0,window);

    printf("\nMPI_Win_create time at %s = %lf",(my_rank == ORIGIN)?"ORIGIN":"TARGET",endTime-startTime);

    MPI_Win_free(&window);

    if (buffer) delete[] buffer;

    MPI_Finalize();
}

c++mpi mpich parallel-processing performance performance performance