我有一个6.8亿行(19gig)的文件,我需要在每一行上附加日期时间.我每晚都得到这个文件,我必须将处理它的时间添加到每行的末尾.我尝试了很多方法,包括sed / awk并将其加载到sql数据库中,最后一列默认为当前时间戳.
我想知道是否有快速的方法来做到这一点？到目前为止,我最快的方法需要两个小时,考虑到此文件中信息的紧迫性,这个方法还不够快.这是一个平面的CSV文件.
EDIT1：
这是我到目前为止所做的：
awk -v date="$(date +"%Y-%m-%d %r")" '{ print $0","date}' lrn.ae.txt > testoutput.txt
时间= 117分钟
perl -ne 'chomp; printf "%s.pdf\n",$_' EXPORT.txt > testoutput.txt
时间= 135分钟
MysqL load data local infile '/tmp/input.txt' into table testoutput
时间= 211分钟
解决方法
一个简化
mjuarez’ helpful approach的解决方案：
yes "$(date +"%Y-%m-%d %r")" | paste -d',' file - | head -n "$(wc -l < file)" > out-file
请注意,与链接答案中的方法一样,您必须事先知道输入行的数量 – 这里我使用wc -l来计算它们,但如果数字是固定的,只需使用该固定数字.
> yes不断重复其参数,每个参数都在其自己的输出行上,直到它被终止.> paste -d’,’file – 在单个输出行上粘贴文件和标准输入( – )中相应的一对行,用以下内容分隔,>因为yes产生“无限”输出,所以head -n“$(wc -l< file)”确保一旦处理完所有输入行就停止处理. 管道的使用充当了内存限制,因此内存不足是一个问题.