减少 JEE 项目的战争文件大小
我是大数据领域的初学者，我的任务是减少 JEE 项目的...
如何在 SparkSQL 上获取文件系统统计信息，如 totalNumberFiles、totalFileSize、maxFileSize 等？
在 hive 中，为了获得 FileSystemStats，比如我们运...
计算 Hadoop Map/reduce 中的 shuffle 时间
我使用 Hadoop map/reduce 框架编写了一个 java 程序...
hadoop - 使用 bzip 压缩镶木地板文件
我有一个巨大的数据库，我正在尝试使用 distcp 将其...
在我们必须将数据从一个集群复制到另一个集群的情况下，distcp 是如何工作的
我正在尝试将大量数据从一个集群 (120) 个节点复制到...
如何在 Spark Scala Shell 中获取 S3 存储桶的子目录列表？
我希望使用 scala 和 spark 获取 S3 存储桶中的子目...
我希望镶木地板文件数据为以下字符串格式有人可以帮助我吗？
我正在尝试获取以下格式的数据。有人可以帮我获得一...
如何在本地环境中正确配置 gcs-connector
我正在尝试在我的 scala 项目中配置 gcs-connector，...
一些映射器反复报告 UgiMetrics
我运行了一个 Hive 作业，它在 <code>map: 34...
如何导入其他python模块和包
我有以下项目结构， <pre><code>work_d...
我们可以在数据仓库中存储多种类型的数据吗？
我想问一下，我们可以在Hadoop数据仓库中存储各种类...
使用 hadoop distcp 在 Hadoop 集群上复制数据时排除一些目录
在将 hadoop 数据从一个集群复制到另一个集群时，有...
Hive+Tez 作业性能问题
我有两个作业 Job1 和 Job2 在 Hadoop 集群中运行。...
如果基本 RDD数据帧中的文件加载不推荐使用缓存和持久性，那么解决方案是什么，文件大小大于内存大小？
从学习中了解到，最佳实践表明不应将 Base RDD 缓存...