从MapReduce调用S3命令

问题描述

我正在EMR群集上执行MapReduce程序，并从MapReduce程序的aws s3 ls s3://my_bucket_name函数调用reduce()命令。但是，出现以下错误：

HTTPSConnectionPool(host='s3.amazonaws.com',port=443): Max retries exceeded with url: /my-bucket-name&encoding-type=url (Caused by ConnectTimeoutError(<botocore.awsrequest.AWSHTTPSConnection object at 0x7fd043ed71d0>,'Connection to s3.amazonaws.com timed out. (connect timeout=60)'))

从驱动程序代码的main()函数调用s3命令有效。

如果我从同一EC2节点的命令行执行aws s3 ls s3://my_bucket_name，那么它也可以工作。

为什么它不能从化简代码中使用？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）