Lanson

V1

2022/12/03阅读:28主题:丘比特忙

大数据Presto(五):Presto优化与Impala对比

Presto优化与Impala对比

一、Presto优化

1、​​​​​​​​​​​​​​数据存储

一般Presto与Hive整合使用,针对这种使用情况有如下几点优化建议:

  • 合理设置分区

合理设置分区在读取数据时可以针对分区数据读取,可以减少Presto数据读取量,提升查询性能。

  • 使用列式存储

Presto对ORC文件读取做了特定优化,因此在Hive中创建Presto使用的表时,建议采用ORC格式存储。相对于Parquet,Presto对ORC支持更好。

  • 使用压缩

数据压缩可以减少节点间数据传输对IO带宽压力,对于即席查询需要快速解压,建议采用Snappy压缩。

2、​​​​​​​​​​​​​​查询优化

  • 只查询必要的字段

由于采用列式存储,查询时指定字段进行查询分析,减少读取数据量,避免使用“*”查询。

  • 过滤条件加上分区字段

这样可以减少全表扫描,加快查询速度。

  • Group By 语句优化

合理安排Group by语句中字段顺序对性能有一定提升。将Group By语句中字段按照每个字段distinct数据多少进行降序排列。

[GOOD]: SELECT col1,clo2 from tbl GROUP BY uid, gender

[BAD]: SELECT col1,clo2 from tbl GROUP BY gender, uid

  • Order By时使用Limit

Order by需要扫描数据到单个worker节点进行排序,导致单个worker需要大量内存。如果是查询TopN或者BottomN,使用limit可减少排序计算和内存压力。

  • 使用Join语句时将大表放在左边

使用Join语句时将大表放在左边Presto中join的默认算法是broadcast join,即将join左边的表分割到多个worker,然后将join右边的表数据整个复制一份发送到每个worker进行计算。如果右边的表数据量太大,则可能会报内存溢出错误。

二、​​​​​​​​​​​​​​Presto与Impala对比

Impala性能比Presto相对来说要快一些,两者都对内存消耗比较大,虽然Impala速度快但是Presto支持的数据源丰富。

分类:

后端

标签:

大数据

作者介绍

Lanson
V1

CSDN大数据领域博客专家