如何使用 hdfscli python 库?

问题描述

我有以下用例,
我想连接一个远程 hadoop 集群。因此,我获得了所有的 hadoop conf 文件(coresite.xml、hdfs-site.xml 和其他)并将其存储在本地文件系统的一个目录中。我获得了用于 kerberos 身份验证的正确密钥表和 krb5.conf 文件。我安装了 hadoop 并将 untar 文件放在某个目录下,比如 /User/xyz/hadoop。 我设置了以下环境变量: JAVA_HOME(),HADOOP_HOME,HADOOP_CONF_DIR 并最终将我的 krb5.conf 文件放在 /etc/ 下。此设置帮助我成功使用 kinit -kt <keytab> <principal user> 进行身份验证,并从本地终端执行 hadoop fs -ls / 等 hadoop 命令并访问集群。

但是,我想在不下载 hadoop 的情况下执行相同的操作。有办法吗?我正在使用 python 并遇到 this hdfs python library。但是,我很难理解和使用这个库。

  1. 我正在努力实现的目标,这可能吗?
  2. 如果是这样,正确的方法是什么?
  3. 有人可以指导我使用正确的配置设置 hdfscli 库吗?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)