问题描述
我必须尽可能地将用 pig 和 java 编写的 map reduce 代码替换为 Apache Spark 和 Scala，并在不可能的情况下重用或找到替代方案。 我可以找到大部分猪转换为火花。现在，我遇到了我所知甚少的 java 级联代码。 我研究了级联并了解管道的工作原理，但我无法得出是否用火花代替它的结论。以下是我的一些基本疑问。
- 在 Apache Spark 中可以完全重写级联 Java 代码吗？
- 如果可能，应该用 Apache Spark 替换级联代码吗？它是否更优化和更快？（考虑到 RAM 不是 RDD 的问题）
- Scalding 是一个构建在 Cascading 之上的 Scala 库。这是否应该用于将 java 代码转换为 Scala 代码，这将删除 java 源代码依赖？这会更优化吗？
- 级联适用于 mapreduce，它读取 I/O 流，而 Spark 从内存中读取。这是唯一的区别，还是有任何限制或特殊功能只能由其中一个执行？
我对大数据领域很陌生，对所有大数据相关术语 Hadoop、Spark、Map-Reduce、Hive、Flink 等的概念/比较非常不成熟。我掌握了这些大数据责任与我的新工作简介和最少的高级知识/经验。如果可能，请提供解释性的答案。谢谢
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）