我正在研究一个小型研究项目,目前作为ec2上的一个实例运行,我希望弄清楚我是否正走在正确的道路上.我们和其他一千人一样,正在利用一些twitters流式传输来收集一些数据以获得乐趣,而我的数据库似乎遇到了问题,并且查询需要花费很长时间.我不是交易DBA,所以我只是在这里转储一些信息并在需要时添加更多信息.
系统规格：
ec2 xl,15演出的公羊
ebs：4个100 GB的驱动器,突袭0.
我们得到的流我们看到每分钟大约10k插入.
3个主要表格,我们正在跟踪当前26M行附近的用户.
这个硬件上的插入量是否过多而不能问出ebs？应该看看像mongodb这样开销较少的东西吗？
@Gnanam的链接指向了一些好的建议,特别是
this description of a working setup.我认为没有理由避免使用EBS,而是像处理真实服务器中的单个硬盘一样处理EBS卷：容易出现故障.因此,您需要一个具有良好抗故障能力的RAID级别,因此不需要RAID 0.根据您的要求,您需要一个写入速度也很快的RAID级别.所以6-10卷的RAID 10似乎是最好的起点.
至于实际性能,它将取决于您的索引要求以及您要插入的数据的大小和类型.关于AWS的好处是,找出某个配置的执行方式相对便宜.因此,您需要做的是提出一些示例数据以及模拟您尝试处理的传入源的方法(一次一个地插入记录并且每隔X写一个带有时间戳的日志语句的脚本)例如,行数.如果样本数据随着时间的推移重复出现可能没问题,但请确保您的脚本至少可以运行一个小时或更长时间.
现在,针对在各种EBS配置上设置的postgresql数据库运行该脚本,使用快照或亚马逊的新Cloud Formation服务生成一些可靠的可重现起点,并在更改配置时测量性能变化(并且随着时间的推移也将是重要的).您可能希望仅仅为了比较而投入单卷和RAID5配置.
