bash – 按日期使用命令行工具拆分access.log文件

我有一个Apache access.log文件,大小在35GB左右。通过它浏览不再是一个选择,没有等待很多。

我想把它分割成许多小文件,通过使用日期作为分割标准。

日期格式为“[15 / Oct / 2011:12:02:02 0000]”。任何想法我该怎么做只使用bash脚本,标准文本处理程序(grep,awk,sed和喜欢),管道和重定向

输入文件名是access.log。我希望输出文件有格式,如access.apache.15_Oct_2011.log(这将是诀窍,虽然不太好,当排序..)

使用awk的一种方式:
awk 'BEGIN {
    split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec ",months," ")
    for (a = 1; a <= 12; a++)
        m[months[a]] = a
}
{
    split($4,array,"[:/]");
    year = array[3]
    month = sprintf("%02d",m[array[2]])

    print > FILENAME"-"year"_"month".txt"
}' incendiary.ws-2009

这将输出如下文件

incendiary.ws-2010-2010_04.txt
incendiary.ws-2010-2010_05.txt
incendiary.ws-2010-2010_06.txt
incendiary.ws-2010-2010_07.txt

对于150 MB的日志文件,Chepner的答案在3.4 GHz 8 Core Xeon E31270上花费了70秒,而这种方法花了5秒钟。

原创灵感:“How to split existing apache logfile by month?

相关文章

用的openwrt路由器,家里宽带申请了动态公网ip,为了方便把2...
#!/bin/bashcommand1&command2&wait从Shell脚本并行...
1.先查出MAMP下面集成的PHP版本cd/Applications/MAMP/bin/ph...
1、先输入locale-a,查看一下现在已安装的语言2、若不存在如...
BashPerlTclsyntaxdiff1.进制数表示Languagebinaryoctalhexa...
正常安装了k8s后,使用kubect工具后接的命令不能直接tab补全...