问题描述
我正在尝试从EMR群集中的S3上托管的公共CommonCrawl数据中提取WET文件。为此，CommonCrawl有一个cc-pyspark repo，其中提供了示例和说明，但是，我不理解使事情进展的说明。 如何将此存储库部署到群集中？这应该是引导脚本的一部分吗？
最终目标是通过Spark作业处理WET文件中的文本。到目前为止，我一直在使用托管笔记本尝试通过boto3下载WET文件，但没有成功。
Here is the code我曾经使用其他python软件包来引导EMR。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）