我有一个通过http(> 10k生产者,每天10个日志,每个约100行文本)从不同地方接收日志文件的系统.
我想存储它们以便能够计算杂项.每晚统计,出口(按抵达日期或一线内容排序)…
我的问题是：存储它们的最好方法是什么？
>平面文本文件(具有正确的锁定),每个上传的文件一个文件,每天/生产者一个目录
>平面文本文件,每个一个(大)文件为所有生产者(这里的问题将索引和锁定)
>数据库表与文本(MySQL是首选内部原因)(pb与DB清除作为删除可以很长！)
>数据库表,每行文本有一条记录
>分片数据库(每天一个表),允许简单的数据清除. (这是分区,但是我有权访问的版本(即内部支持)不支持它)
>基于文档的DBàla couchdb或mongodb(问题可能是索引/成熟度/摄入速度)
任何建议 ？
