问题描述
下面是我的代码：
spark.range(1,10000).withColumn("hashId",col("id")%5).write.partitionBy("hashId").bucketBy(10,"id").saveAsTable("learning.test_table")
火花配置：
./spark-shell --master yarn --num-executors 10 --executor-cores 3 --executor-memory 5
有5个分区和每个分区里面，有61个文件：
hdfs dfs -ls /apps/hive/warehouse/learning.db/test_table/hashId=0 | wc -l
61
当我检查后端创建此表后，将其创建文件305 + 1个_SUCCESS文件。
可能有人请解释为什么它是创造305个文件？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）