问题描述
我的工作是从 s3 存储桶中读取大约 3500 个文件并对其执行转换。我正在使用带有配置的现货实例： m4.16xlarge ，1 个主控，10 个核心。我在集群模式下使用 master 作为纱线运行作业。
我正在使用以下语句读取文件，分区为 1000 以一次读取 1000 个文件，（使用 WholeTextFiles 的原因是在处理文件时检索文件名）：
S S disTRIBUTOR
我使用了多种 spark 配置参数组合，但一次无法读取超过 495 个文件。
帮助我读取495个文件的spark提交作业的配置如下：
spark.sparkContext.wholeTextFiles(srpath,int(partition))
问题是：每个文件大小为 17 MB，执行器内存配置为 22g，每个执行器只有 5 个内核。每个执行程序使用的最大内存为 8 GB（17*495/1024）。 Spot 实例的总内存为 256 GB，有没有其他参数可以帮助我获得比这个更好的结果？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）