Presto优化与Impala对比
一、Presto优化
1、数据存储
一般Presto与Hive整合使用，针对这种使用情况有如下几点优化建议：
- 合理设置分区
合理设置分区在读取数据时可以针对分区数据读取，可以减少Presto数据读取量，提升查询性能。
- 使用列式存储
Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储。相对于Parquet，Presto对ORC支持更好。
- 使用压缩
数据压缩可以减少节点间数据传输对IO带宽压力，对于即席查询需要快速解压，建议采用Snappy压缩。
2、查询优化
- 只查询必要的字段
由于采用列式存储，查询时指定字段进行查询分析，减少读取数据量，避免使用“*”查询。
- 过滤条件加上分区字段
这样可以减少全表扫描，加快查询速度。
- Group By 语句优化
合理安排Group by语句中字段顺序对性能有一定提升。将Group By语句中字段按照每个字段distinct数据多少进行降序排列。
[GOOD]: SELECT col1,clo2 from tbl GROUP BY uid, gender
[BAD]: SELECT col1,clo2 from tbl GROUP BY gender, uid
- Order By时使用Limit
Order by需要扫描数据到单个worker节点进行排序，导致单个worker需要大量内存。如果是查询TopN或者BottomN，使用limit可减少排序计算和内存压力。
- 使用Join语句时将大表放在左边
使用Join语句时将大表放在左边Presto中join的默认算法是broadcast join，即将join左边的表分割到多个worker，然后将join右边的表数据整个复制一份发送到每个worker进行计算。如果右边的表数据量太大，则可能会报内存溢出错误。
二、Presto与Impala对比
Impala性能比Presto相对来说要快一些，两者都对内存消耗比较大，虽然Impala速度快但是Presto支持的数据源丰富。