同样的SQL语句在SparkSQL中运行和在hive运行,结果不同

参考:https://blog.csdn.net/happylin0x29a/article/details/8855716


问题原因:为了优化读取parquet格式文件,spark认选择使用自己的解析方式读取数据,结果读出的数据就有问题。

解决办法:将配置项spark.sql.hive.convertmetastoreParquet 改为false就行了

 

相关文章

1.SparkStreaming是什么?SparkStreaming是SparkCore的扩展A...
本篇内容介绍了“Spark通讯录相似度计算怎么实现”的有关知识...
本篇文章给大家分享的是有关如何进行Spark数据分析,小编觉得...
本篇内容主要讲解“Spark Shuffle和Hadoop Shuffle有哪些区别...
这篇文章主要介绍“TSDB的数据怎么利用Hadoop/spark集群做数...
本篇内容介绍了“Hadoop与Spark性能原理是什么”的有关知识,...