我想减少在 C++ 中对 1 亿个复杂数据计算 2D FFT 的时间

问题描述

我正在尝试对 1 亿个复杂数据 (100000x1000) 计算 2D FFT，大约需要 4.6 秒，但我想减少时间。然后我尝试使用 fftw_thread 计算它。但是随后计算时间增加了（2 个线程耗时 - 8.5 秒，4 个线程耗时 - 16.5 秒）。 我正在为 C++ 和 OS 使用 FFTW3 库 - ubuntu 18.04 我在下面附上 C++ 代码：

#include <iostream>
#include <time.h>
#include <fftw3.h>
using namespace std;
#define ROW 100000
#define COL 1000

int main() {
        fftwf_complex *in = (fftwf_complex *)calloc(ROW*COL,sizeof(fftwf_complex));
        fftwf_complex *out = (fftwf_complex *)calloc(ROW*COL,sizeof(fftwf_complex));

        // generating random data
        for(uint32_t i = 0 ; i < ROW*COL ; i++) {
            in[i][0] = i+1;
            in[i][1] = i+2;
        }
        int thread_number = 2;
        fftwf_plan_with_nthreads(thread_number);
        int h = fftwf_init_threads();
        fftwf_plan p = fftwf_plan_dft_2d(ROW,COL,in,out,FFTW_FORWARD,FFTW_ESTIMATE);
        fftwf_execute(p);
        fftwf_destroy_plan(p);
        fftwf_cleanup_threads();
}

我没有收到任何错误。我想减少执行时间。任何人都可以在这件事上帮助我减少计算 1 亿个数据的 2D FFT 的时间。

解决方法

你们是如何衡量执行时间的？请注意，实际的 FFT 是使用 fftwf_execute 完成的。剩下的就是初始化和清理。请参阅下面的代码（如果您不在 Linux 上，请修改 time_in_secs 以适合您的系统）。在我的电脑上，下面的代码用一个线程大约需要 10 秒， 两个线程需要 6 秒，四个线程需要大约 3.6 秒。这是 FFT 部分 (t3-t2)。

#include <iostream>
#include <time.h>
#include <fftw3.h>
#define ROW 100000
#define COL 1000

double
time_in_secs()
{
  struct timespec   t;

  clock_gettime( CLOCK_MONOTONIC /* CLOCK_PROCESS_CPUTIME_ID */,&t );

  return (double)t.tv_sec + 1.0E-09 * (double)t.tv_nsec;
}


int main() {
        fftwf_complex *in = (fftwf_complex *)calloc(ROW*COL,sizeof(fftwf_complex));
        fftwf_complex *out = (fftwf_complex *)calloc(ROW*COL,sizeof(fftwf_complex));

        // generating random data
        for(uint32_t i = 0 ; i < ROW*COL ; i++) {
            in[i][0] = i+1;
            in[i][1] = i+2;
        }
        int thread_number = 6;
        
        double  t1 = time_in_secs();
        
        fftwf_plan_with_nthreads(thread_number);
        int h = fftwf_init_threads();
        fftwf_plan p = fftwf_plan_dft_2d(ROW,COL,in,out,FFTW_FORWARD,FFTW_ESTIMATE);
        
        double  t2 = time_in_secs();
        
        fftwf_execute(p);
        
        double  t3 = time_in_secs();
        
        fftwf_destroy_plan(p);
        fftwf_cleanup_threads();
        
        std::cout << "Time for init: " << t2-t1 << " sec\n";
        std::cout << "Time for FFT:  " << t3-t2 << " sec\n";
        std::cout << "Total time:    " << t3-t1 << " sec\n";
        std::cout << "# threads:     " << thread_number << '\n';
}

可以利用智慧加快初始化过程，如下所示。在程序的第一次运行中，不会找到智慧文件。计划的计算需要时间。在连续调用中，智慧将用于加速计算计划。请注意，必须在读取智慧文件之前调用 fftwf_init_threads。

        double  t1 = time_in_secs();
        
        fftwf_plan_with_nthreads(thread_number);
        int h = fftwf_init_threads();
        
        const char * wisdom_file = "fftw_wisdom.dat";
        FILE   *w_file= fopen( wisdom_file,"r" );
        if( w_file )
        {
          int ec = fftwf_import_wisdom_from_file( w_file );
          fclose( w_file );
          std::cout << "Read wisdom file " << ec << '\n';
        }
        else
        {
          std::cout << "No wisdom file found\n";
        }
        
        fftwf_plan p = fftwf_plan_dft_2d(ROW,FFTW_MEASURE);
         
        w_file= fopen( wisdom_file,"w" );
        if( w_file )
        {
          fftwf_export_wisdom_to_file( w_file );
          fclose( w_file );
          std::cout << "Wrote wisdom file\n";
        }
        
        double  t2 = time_in_secs();

与初始示例相比，我们将 planner flag 设置为 FFTW_MEASURE。这使得智慧储存的效果更加明显。