EMR上的s3-dist-cp是否使用EMR一致的视图元数据?

问题描述

运行某些Hive查询时,我在EMR上使用了EMR一致视图功能

现在,我需要使用s3-dist-cp绕过Hive接口直接从s3访问和复制对象,该接口使用DynamoDB中存储的EMRFS一致视图元数据。

当我在官方文档中查找s3-distp-cp或其他资源时,我没有找到确切的答案。

根据2017年夏季的线程,s3-dist-cp缺少对EMR一致视图功能支持

  1. 当前,EMR版本中的s3-dist-cp 没有完全使用EMRFS,并且有直接使用 aws-java-sdk。这样做的原因是,这将提供 在某些情况下,直接使用EMRFS可以提高性能。 我们已努力增加s3-dist-cp中EMRFS的使用,但是 还不在那里。因此,目前,我建议您尝试 distCp。

https://forums.aws.amazon.com/thread.jspa?messageID=787883

2020年有什么变化吗?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...