提高/优化C中的文件写入速度

我在编写文件时遇到了一些问题,即无法写得足够快.

为了解释,我的目标是捕获通过千兆以太网传输的数据流,然后将其保存到文件中.

原始数据以10MS / s的速度进入,然后将其保存到缓冲区中,随后写入文件.

以下是代码的相关部分:

std::string path = "Stream/raw.dat";
    ofstream outFile(path,ios::out | ios::app| ios::binary);

    if(outFile.is_open())
        cout << "Yes" << endl;

    while(1)
    {
         rxSamples = rxStream->recv(&rxBuffer[0],rxBuffer.size(),MetaData);
         switch(MetaData.error_code)
         {

             //Irrelevant error checking...

             //Write data to a file
                std::copy(begin(rxBuffer),end(rxBuffer),std::ostream_iterator<complex<float>>(outFile));
         }
    }

我遇到的问题是将样本写入文件花费太长时间.一秒钟后,发送样品的设备报告其缓冲区已经溢出.经过一些快速代码分析,几乎所有的执行时间都花在std :: copy(…)上(99.96%的时间是准确的).如果我删除这行,我可以运行程序几个小时,而不会遇到任何溢出.

也就是说,我对于如何提高写入速度非常抱歉.我浏览了这个网站上的几篇文章,似乎最常见的建议(就速度而言)是通过使用std :: copy实现文件写入.

如果这是有帮助的,我在Ubuntu x86_64上运行这个程序.任何建议,将不胜感激.

解决方法

所以这里的主要问题是您尝试以相同的线程写入,这意味着您的recv()只能在复制完成后再次调用.几点意见:

>将写入移动到不同的线程.这是关于USRP,所以GNU Radio可能真的是您选择的工具 – 它本质上是多线程的.
>您的输出迭代器可能不是最有效的解决方案.简单的“write()”到文件描述符可能会更好,但是性能测量取决于你
>如果您的硬盘驱动器/文件系统/ OS / cpu不符合从USRP进入的速度,即使从线程方式解除接收,那么您无法做到 – 获得更快的系统.
>尝试写入RAM磁盘

其实我不知道你是怎么想出了std :: copy方法的. rx_samples_to_file example that comes with UHD一个简单的写法来做这个,你一定要喜欢这个复制;文件I / O可以在良好的操作系统上经常使用一个副本,并且迭代所有元素可能非常慢.

相关文章

对象的传值与返回说起函数,就不免要谈谈函数的参数和返回值...
从实现装饰者模式中思考C++指针和引用的选择最近在看...
关于vtordisp知多少?我相信不少人看到这篇文章,多半是来自...
那些陌生的C++关键字学过程序语言的人相信对关键字并...
命令行下的树形打印最近在处理代码分析问题时,需要将代码的...
虚函数与虚继承寻踪封装、继承、多态是面向对象语言的三大特...