我有一个填充本地’/’挂载的org.apache.solr.hadoop.MapReduceIndexerTool / MorphlineMapper进程.
它运行几分钟,磁盘填充,Nagios警报被触发,然后我终止进程.一旦进程被终止,文件利用率就会下降到40％的基本级别.
这种情况发生得相当快,因为它是一个生产系统,所以没有太多时间仔细阅读文件系统来查看哪些文件是新文件.还有一些NFS挂载会导致du -sh挂起.我们正在运行RHEL 6.7.
有没有一种聪明的方法可以弄清楚究竟是什么填满了磁盘？也许从lsof中捕获,区分和聚合文件大小的快速方法？我想这是一个相当常见的场景,因此可能是一个很好的awk单行程序,在每个sysadmin的工具包中.
解决方法
这个事件看起来就像它发生之前的8分钟.这将是一个惊人的响应时间,以避免手动,特别是如果管理员在它开始时不在系统上.
你需要更多的反应时间.给它更多的空间来咀嚼.以某种方式限制或限制工作.
iotop是一个很好的python脚本,可以看到进行最多I / O的进程.这可能包含你的失控.它可以有正确的批量输出和正确的选项,比如iotop -bkto.