无法将 HDFS 数据复制到 S3 存储桶

编程问答 2022-05-04

问题描述

我有一个与 similar question asked before 相关的问题。我无法将数据从 HDFS 复制到 IBM Cloud 中的 S3 存储桶。

我使用命令：hadoop distcp hdfs://namenode:9000/user/root/data/ s3a://hdfs-backup/

我在 /etc/hadoop/core-site.xml 文件中添加了额外的属性：

<property>
  <name>fs.s3a.access.key</name>
  <value>XXX</value>
</property>

<property>
  <name>fs.s3a.secret.key</name>
  <value>XXX</value>
</property>

<property>
  <name>fs.s3a.endpoint</name>
  <value>s3.eu-de.cloud-object-storage.appdomain.cloud</value>
</property>

<property>
  <name>fs.s3a.multipart.size</name>
  <value>104857600</value>
</property>

我收到以下错误消息：

root@e05ffff9bac9:/etc/hadoop# hadoop distcp hdfs://namenode:9000/user/root/data/ s3a://hdfs-backup/
2021-04-29 13:29:36,723 ERROR tools.distCp: Invalid arguments:
java.lang.IllegalArgumentException
        at java.util.concurrent.ThreadPoolExecutor.<init>(ThreadPoolExecutor.java:1314)
        at java.util.concurrent.ThreadPoolExecutor.<init>(ThreadPoolExecutor.java:1237)
        at org.apache.hadoop.fs.s3a.S3AFilesystem.initialize(S3AFileSystem.java:280)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3303)
        at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:124)
        at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3352)
        at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3320)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:479)
        at org.apache.hadoop.fs.Path.getFileSystem(Path.java:365)
        at org.apache.hadoop.tools.distCp.setTargetPathExists(distCp.java:240)
        at org.apache.hadoop.tools.distCp.run(distCp.java:143)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
        at org.apache.hadoop.tools.distCp.main(distCp.java:441)
Invalid arguments: null

使用 AWS CLI 连接到 S3 存储桶工作正常。预先感谢您的帮助！

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

distcphdfsibm-cloud-storage