我需要对大量数据进行tcpdumping – 实际上是从混杂模式中剩下的2个接口中可以看到大量流量.
把它们加起来
>从2个接口以混杂模式记录所有流量
>这些接口未分配IP地址
> pcap文件必须每~1G旋转一次
>存储10 TB文件时,开始截断最旧的文件
我目前在做什么
现在我像这样使用tcpdump：
ifconfig ethX promisc ifconfig ethX promisc tcpdump -n -C 1000 -z /data/compress.sh -i any -w /data/livedump/capture.pcap $FILTER
$FILTER包含src / dst过滤器,以便我可以使用-i any.原因是,我有两个接口,我想在一个线程而不是两个线程中运行转储.
compress.sh负责将tar分配给另一个CPU核心,压缩数据,为其提供合理的文件名并将其移动到存档位置.
我不能指定两个接口,因此我选择使用过滤器并从任何接口转储.
现在,我不做任何看家,但我计划监控磁盘,当我剩下100G时,我将开始擦除最旧的文件 – 这应该没问题.
现在;我的问题
我看到丢包了.这是来自已经运行了几个小时的转储,并收集了大约250个pcap文件：
430083369 packets captured 430115470 packets received by filter 32057 packets dropped by kernel <-- This is my concern
如何避免丢弃这么多数据包？
这些东西我已经尝试或看过了
更改了/ proc / sys / net / core / rmem_max和/ proc / sys / net / core / rmem_default的值确实有帮助 – 实际上它只处理掉了一半丢弃的数据包.
我也看了gulp – gulp的问题是,它在一个进程中不支持多个接口,如果接口没有IP地址,它会生气.不幸的是,在我的案例中,这是一个交易破坏者.
接下来的问题是,当交通流经管道时,我无法进行自动轮换.获取一个巨大的10 TB文件并不是非常有效,我没有一台10TB RAM的机器,我可以运行wireshark,所以这就是了.
你有什么建议吗？也许甚至可以更好地完成我的流量转储.
解决方法
The default ring buffer size is probably 2048(2MiB).
要增加缓冲区大小,请添加-B选项：
tcpdump -B 4096 ...
您还应该尝试使用更快的磁盘存储.