问题描述
关于按某列划分的数据集的读取效率，两者之间是否存在差异？
// (1) read all dataset then filter
spark.read.parquet("/root/path").filter(col("mycolumn") === 42)
和
// (2) read directly the required data subset
spark.read.option("basePath","/root/path").parquet("/root/path/mycolumn=42")
？
我是在数据文件没有与spark存储在同一群集中的情况下问这个的（因此，没有数据局部性）。而且我特别想知道是否在情况（1）中，它将在spark集群上检索完整的数据集文件，然后对其进行过滤（希望实际上不读取文件），或者是否在提取文件之前实际完成了过滤，是我期望的情况（2）。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）